赫拉利：AI对人类有哪些危险

关于AI时代，我认为需要探讨三个关键问题：一是AI的本质究竟是什么；二是AI给人类带来了哪些危险；三是在AI时代，人类如何实现繁荣发展。

首先，让我们来谈谈什么是AI。

当下，AI概念被广泛炒作，几乎所有机器都被贴上AI的标签，使其真正含义模糊不清。其实，AI并非简单的自动化。AI意味着一种主体性和主动性，不是人类手中被动的工具，而是一个智能体。一个机器要成为AI，必须具备自我学习、自我改变、自主决策的能力，甚至能够发明新的想法。

以咖啡机为例，当你按下按钮，咖啡机按照预设程序制作一杯咖啡，这只是普通的自动化设备，并没有创造新事物。然而，若当你走近咖啡机，它便说道：“我已监测你数周，基于我对你和其他人的了解，推测你可能想要一杯意式浓缩咖啡或美式咖啡。”这就体现了AI的学习能力，学习和创造新的东西。

倘若第二天，它又声称创造出一种名为“Best Espresso”的新咖啡口感还优于普通咖啡，这便是AI自我创造的体现。

从主体性角度来看，AI是一种异质的非有机智能体，其智能不同于人类智能，甚至超越了有机体的智能范畴。它能够作出决策、产生想法，而且这些想法可能是人类难以想象的。

就像2016年Alpha Go击败人类围棋冠军，其意义在于它发明了一些前所未有的策略，这是数千年来人类棋手从未想到过的。如今，AI能创造新的游戏方式、咖啡品种或许无关紧要。但设想一下，未来它若能发明新的军事战略、金融策略、新型武器、全新货币甚至新的意识形态或宗教呢？

不可否认，AI具有巨大的积极潜力，它能够在诸多领域助力人类，比如发明新药，以及应对气候变化。然而，AI也带来了诸多挑战与威胁。其作为一种异质性智能体，具有不可信和不可预测的特性。

其次，AI带来的危险到底是什么？

在全球旅行期间，我常常询问那些主导AI发展的人士两个问题。第一个问题是，为何在风险众多还要如此快速地发展AI。他们回答，尽管有危险，最好能谨慎前行并加大安全投入，但如果放慢速度，竞争对手却不停步，就会在AI竞赛中落败，所以必须加快发展。接着，我会问第二个问题：你觉得可以信任正在开发的超智能AI吗？有趣的是，同样是这些人不信任人类竞争者，却声称可以信任AI，这无疑是一个悖论。

人类相互交往已有数千年历史，我们对人类的心理、生理，以及人类对权力的渴望和控制权力欲望都有一定了解，并且也探索出了许多建立信任的方法。

而如今，众多能够连接全球80亿人的合作网络不断涌现，这些陌生人能够携手为人类生产食物、研发药物、提供保护。尽管人类之间的信任问题尚未完全解决，但至少我们清楚面临的挑战是什么。

相比之下，人类与AI打交道的经验几乎为零。虽然我们刚刚发明了AI的最初原型，但它们已经出现撒谎、偏离预期的情况。倘若未来有成百上千万的超级智能AI与人类进行互动，将难以预测这些AI智能体之间以及其与人类间的互动会有何结果。

诚然，目前是人类发明并设计了AI，努力让其对人类安全。但要知道，AI具备学习和自我改变的能力，无论如何设计，它们都可能以不可预测的方式发生改变。

可以将AI革命类比为外星人入侵。想象一下， 2030年高智力的外星人军舰将抵达地球，他们或许能帮助我们治愈癌症，让世界变得更加和平繁荣。但大多数人凭直觉就能明白，将未来完全寄托于外星人的善意是一场巨大的赌博。

同样，若认为所开发的AI值得信任，会成为人类的忠实奴仆，这也可能是一个巨大的错误。

最后，如何在AI时代实现繁荣发展？

答案很简单，那就是人类只有团结协作，才能够控制AI；反之，如果人类相互争斗，那么AI将反过来控制我们。所以，在开发超级智能AI之前，首先需要在人类之间建立更多的信任。

然而，令人遗憾的是，当前人类之间的信任在瓦解，国际机制的基本范式和规则遭到破坏。从本质上讲，合作是生存的必要条件。举例而言，我们每秒钟都在呼吸，每一次呼吸都是一种信任——信任外界的空气。这种信任和呼吸是生命的象征，如果失去对外部世界的信任，停止呼吸，生命也将终结。

每个人都属于某个族群，所有人都属于人类大家庭。在AI时代，如果我们忘记共同的遗产，不信任他人，就会成为失控AI的牺牲品。

许多人认为历史遗留下来的只有痛苦和恐怖，因此想要摆脱过去的恐惧。当人们看向其他国家和其他人时，心中或许只剩下焦虑。诚然，这种对恐惧的焦虑对于生存至关重要，在某些时候还能保护我们。但历史告诉我们，信任比恐惧更为重要。为什么地球是由人类主宰？并非是因为人类比其他动物更聪明，而是因为我们更懂得如何与陌生人建立信任并展开合作，这种能力经过了数千年的锤炼。

在AI时代，想要生存和繁荣，我们需要更加信任他人，这一点比信任AI更为重要。

（本刊记者谢玮据演讲整理，未经本人审核）

责编：孙庭阳  [email protected]

美编：孟凡婷