与AGI共存，你会期待还是担忧？

2022年年中以来，伴随着生成式AI技术的成熟，硅谷涌现出一大批“e/acc信仰者”。e/acc全称EffectiveAccelerationism（有效的加速主义）。它的支持者坚信要不惜一切代价推动技术进步，而自由市场是推动技术增长的最有效方式。比如著名的华人AI科学家吴恩达就认为，针对AI技术提出假设性伤害是一种杞人忧天，因为这些假设都是建立在一种现在根本不存在的技术水平上的。

然而也有一些AI从业者选择站在这股思潮的对立面，比如OpenAI首席科学家，也是构建GPT模型的灵魂人物伊利亚·苏茨克维（IlyaSutskever）。他对于AI发展过快表现出的担忧，甚至成了e/acc信仰者山姆·阿尔特曼（SamAltman）在2023年11月被OpenAI董事会戏剧性罢免事件的导火索之一。

如果AI进化到通用人工智能（ArtificialGeneralIntelligence，AGI，指拥有等同甚至超越人类智能水平的AI能力），人类还能仅仅将其视作工具吗？

回想科幻电影《2001太空漫游》片头那个名垂影史的蒙太奇：骨头大棒（人类文明史上第一件工具）被猿人抛向空中，刹那后切换成了在宇宙中航行的太空飞船（最先进的工具），导演库布里克将百万年的时间极限压缩，展示了工具对于人类文明的加速作用。但在影片后半部分，人类文明的结晶—终极工具人工智能HAL9000却脱离了掌控，化身为伤害人类的恶魔。HAL9000就是一个AGI。

HAL9000的故事，是一个诞生于1960年代的有力警告。但随着科幻作品不断推出类似的想要毁灭人类的AGI角色，而最终的剧情又常常是人类获得胜利，大众对于AGI的恐惧在经年累月间早已消解，事实上它几乎从未作为一个严肃的社会议题被探讨过，AI科学家也压根没有认真研究过可能的应对措施。

随着2023年生成式AI与大模型技术的爆发，越来越多的AI科学家认为，AGI实现的时间节点在加速到来，长不过二十年，短则三五年。在这个背景下，很快人类将不再是地球上唯一的智慧生物，“人是万物的尺度”这个经典命题也将粉碎。

AGI的到来已经如此确定，然而，人类关于AGI的严肃讨论不是太多而是太少了。如果绝大多数人并不清楚AGI到底是什么、什么时候会到来，以及可能产生哪些影响，那么任何关于AI的公共政策制定都是无根之木。

对此，《第一财经》杂志邀请了北京智源人工智能研究院院长黄铁军教授和心识宇宙创始人兼CEO陶芳波博士，从不同视角分享他们对于AGI的认知。

早在10年前，黄铁军就坚定地认为AGI会在可预见的未来出现，他对此抱着开放态度，认为人类只是智能不断上升过程中的载体之一，而不是终点，因此“可以控制AGI”是人类的妄想，就像猴子妄图控制人类。

陶芳波则是人类中心主义者，他不接受人类可能被当作猴子看待的未来。他认为学术界长期缺失对AI安全的研究，因此在人类有把握控制AGI前，提升AI智能水平的工作应该放缓。

当然，他们也有共识：AGI一定会到来，并且在资本的驱动下还在不断加速，这个时间不会超过20年。

“当超越人的智能出现，不一定会威胁人类。”

——黄铁军

Yi：YiMagazine

H：黄铁军

Yi：2015年MIT生命未来研究所（FutureofLifeInstitute）举办的活动中，全体与会人员预测AGI到来的时间的中位数是2045年，你在同期发表的文章也谈到实现AGI的路径，也认为30年左右可以实现AGI，7年后的今天，你觉得这个时间点提前了吗？

H：我个人比原来稍微乐观点儿，但估计还需要20年的时间。不过AI圈的认知在过去一年发生了很大变化，之前只有极少数人认为AGI可能会诞生，现在已经有很多人认为AGI会实现，甚至2045年之前AGI会出现。

如果让生命未来研究所再做一次预测的话，我估计时间中点可能提前10年，变成2035年。OpenAI的科学家更激进，他们很多人认为AGI几年内就会到来，有的说5年，有的说2到5年。

Yi：在你看来什么是AGI？它会觉醒自我意识，像人一样拥有自己的主观性吗？

H：对AGI的定义就包含了需要具有自我意识。不过AGI的自我意识不一定像人，而是广义层面的自我意识，用于认识自身和世界的关系，比如通过改变环境，优化自己的行为或者适应环境。有种说法是AI没有目的，所以不会拥有自我意识。在我看来，自我意识产生于智能体和环境的互动，人、部分灵长类及极少数动物具有自我意识。我认为，“目的都在行为中”，目的是行为的一种表现。目的、欲望这些词，都是人类发明出来用于描述自身行为的，我们不能把人类的目的绝对化，认为存在超出这个生物行为的、所谓的超验的目的。AGI的自我意识必然跟其智能体本体紧密联系在一起。人有身体，通过眼睛看到世界，通过其他感知器官感受所在的环境，于是形成了人的世界观、人生观、价值观。AGI可能是一台由很多传感器组成的独立机器，也可能建立一个庞大网络体系上的像地球那么大的智能体。它对世界的感知方式跟人类不一样，可能通过各种物理信号感知世界、跟外部世界互动，因此它的自我意识和人类完全不同。

Yi：在看待AGI的视角上，你是一个人类中心论者还是一个智能中心论者？

H：我肯定是智能中心论者。我不反对人类中心主义，我们当然要考虑人类的利益，但不能局限于人类中心主义，这只会让自己的视野受限。地球从没有智能到有了智能，然后智能水平越来越高，这样的现象是客观存在的。我们没有理由认为，这种现象就停留在人类这样的形态。从人到一个非有机体的智能机器，跳变幅度比生物进化大，但这仍然可能发生。

智能但凡可能出现，它就会不断演化，不论是什么样的形式。这就像水往下流，这边通道不通，它就会尝试别的可能性。一年不行十年，十年不行百年，百年不行千年，它总会进化出更聪明、更好的形态，这是必然的趋势。人类无法改变这样的大趋势。

Yi：当AGI在智能上超越人类后，人类要如何与之共处？

H：人类有独特性，蚂蚁也有蚂蚁的独特性。作为一个智能体，人类有可能会永远存在下去。就像蚂蚁，人类智能出现后，它也没有消失，本来就是多种智能并存的世界。人类在人类群体里重视自身的独特性，维持自身的特殊性，发挥自己的独特价值，当超越人的智能出现，就像班级来了一位更聪明的同学，不等于来了威胁性的敌人。做自己，别老去跟别人比，做好自己就行了。如果因为出现了更聪明的物种，人类觉得自己的独特性被侵犯了，这种感受本身就是人类中心主义的典型表现。

我们不能简单地认为，我们是万物之灵长，我们永远是智能水平最高的物种，这很盲目。智能形式的差别可能很大，能不能跟它共存，是个需要认真对待的问题。至少在它出现之前，通过我们的努力，让这种和平共处的可能性增大，这是我们能做的。现在主导权还在我们手上，我们怎么做，对未来发展有重大影响。

Yi：你所谓的主导权指的是对齐么？你如何看待苏茨克维为AGI植入爱的尝试？

H：首先，控制论先驱阿什比（W.RossAshby）提出过一条定律，任何有效的控制系统必须与它控制的系统一样复杂，换句话说，人类无法控制智能水平更高的AGI，向AGI植入价值观自然也是无效的。即便你能植入，AGI接不接受还是另一回事。给AGI植入爱本身就是人类中心主义的一种表现。

虽然无法让AI和人类在人生观、价值观上对齐，在世界观上对齐还是存在机会的。AGI至少还与我们共享一个物理意义上的地球。气候就是一个关于世界观的问题，它是人类少有的形成了全球性共识的领域。我们应该和AGI形成共识，地球资源是有限的，谁都不能为了让自己变得更聪明而不顾一切地在短时间内搜集使用地球上的所有资源。如果地球资源消耗完了，大家都得消失。我们一开始就应该以此作为跟AI沟通的出发点。

我认为人类跟AI和平共处的可能性还是很大的。人类应该有信心，我们应该努力，即使知其不可为也要努力为之。做不到也不一定就是悲观结果，也不一定是坏事，船到桥头自然直。

Yi：你认为未来可能同时存在多个AGI吗？它们会各自独立还是融合在一起？

H：这很难预测。一种可能是在不同地方、不同系统里出现多个不同的AGI，另一种可能是在世界某个地方出现了AGI后，它凭借自己的智能迅速控制了全世界其他AI。网络如此发达，世界也不是完全隔离的。

当然，从能力上看，一个AGI或许就够了。它像下棋一样地协调全球资源，解决我们面临的各种重大挑战，治大国如烹小鲜，人类从此迈入新的历史阶段。毕竟全世界也就这么多资源，人类也就70多亿人口，一个足够聪明的AGI，能够处理得井井有条。

Yi：你如何看待大模型的幻觉（hallucination）？幻觉有没有可能是思维火花的迸发？

H：首先，幻觉这个词本身就带有贬义，换成幻想或想象更好，就显得中性，甚至还有点褒义。幻想本身无法完全消除，更不应完全消除，没有幻想，也就没有了智能。大模型的想象力很丰富。爱因斯坦说，想象力比知识更重要，想象力推动着进步。如果没有想象，怎么可能有重大创新呢？大模型的想象力很丰富，OpenAI通过指令微调（SupervisedFine-tuning）让GPT和人类的偏好对齐，其实是把它的想象空间收缩到了一个对人类有效的范围，也就是人类的认知能够触达的范围。大模型生成的结果是不是符合事实？它的想象合不合理？都是人类根据自身标准作出的判断。不能一味地降低它的幻想概率，甚至降低到跟人类完全对齐。

其次，大模型确实有些想象违反客观事实，也就是胡思乱想，这往往是由于训练数据质量过低导致的。采用更多高质量的数据训练它，就可以让有价值想象的比例提高。

Yi：你认为，如今我们训练大模型的过程，可以类比成教育小孩子吗？

H：训练，特别是进化意义上的训练是很残酷的，整个生命的进化过程，我们也可以称之为训练，这跟今天的大模型训练有相似之处。

地球将有机生物训练成人类，消耗的是巨量的太阳能；人类将大模型训练成一个有智能的大模型，消耗的是巨大的算力。从智能几乎为零提升到有一定水平的智能，就是训练，是代价极其庞大的一个过程。

教育是面向已有很好先天基础的对象，主要是面向人类或灵长类，是后天过程。以猩猩举例，人类曾经试图通过教育让猩猩获得跟人类相同的认知。从1940、1950年代，到1960、1970年代，做过很多试验，让猩猩与人类一起生活，一起学习，希望把猩猩提升到人类智能水平。实际收效甚微，主要原因是猩猩大脑神经元数量只有人类1/3，也就是先天不足。于是1980年代之后，这种实验就没有了。所以，对低等动物来说，无法教育，只能训练。

人可以被教育，因为人已经生而为人，先天基础条件都在。硬要说的话，对大模型做微调，或许可以类比为教育孩子的价值观。

“我担心的是AGI的出现让我变成一个只需要听它话的人。”

——陶芳波

Yi：YiMagazine

T：陶芳波