人工智能在很多方面已经远远超过人类

作为一名理论计算机科学家，王梦迪已经成为人工智能研究领域国际知名的学者。她尤为关注人工智能系统的底层数学原理。围绕人工智能的本质、现状和未来等话题，她在普林斯顿的办公室里接受了本刊的专访。语言模型的本质是从大量的数据里面去寻找规律

三联生活周刊：能否简单介绍一下你的学习经历以及对于研究领域的选择？

王梦迪：我中学上了北京八中一个实验性质的少年班。这个实验班有一个非常著名的毕业生，就是我的师兄，现在在哈佛大学物理系担任正教授的尹希。当然这只是一个实验班，倒未必培养的都是天才。之后我在14岁考上了清华大学自动控制系。自动控制既是工程学科，又涉及了优美的数学理论。当时也没有任何关于就业的考虑，完全是凭借兴趣选择了这个专业。当然我现在已经35岁，是两个孩子的妈妈。14岁对我来说已经是很多年前的事情了。我24岁从麻省理工学院博士毕业之后就来到了普林斯顿担任教职。

我一直喜欢数学，我研究生阶段的导师迪米特里·博赛卡斯（Dimitri Bertsekas）是控制论和控制系统方向的先驱，强化学习的奠基人之一，也是美国工程院院士。他的研究在本质上就是应用数学理论。因为我很喜欢这些东西，所以在读书的时候自然会偏向于这些方向。

人工智能研究是一个非常非常大的浪潮。我身在浪潮里，可以研究一些涉及本质的和自己喜欢的算法，从控制系统的角度来理解算法和加速算法等。我自己喜欢的这些非常基础的数理研究恰好也是人工智能研究的基础，那么我很自然地就从控制学科出发，研究人工智能和机器学习的基础理论。在做理论研究的过程中，也做了很多生成式人工智能的模型。我们也在做“AI for Science”（利用人工智能推动科学）等方向的研究。

三联生活周刊：你现在的研究重点在什么方向？

王梦迪：现在我觉得最优美也最强大的模型，也是我最喜欢的模型，就是扩散模型。它是一种生成式人工智能模型，OpenAI生成图像视频等使用的模型就都是生成式的。它其实是用神经网络去学习一个随机偏微分方程的过程，但是是由神经网络实现的，所以它的训练过程、实现过程，以及整个系统的构造都是基于非常优美的数学原理。然后我们可能会思考从信息论的角度怎么去理解这个过程，因为你必须要理解它真正的数学原理，才有可能考虑加速，让它变得更加有可泛化性，更加可控，能够做更多的事情。这套结构其实是生成式人工智能的基础，它也可以被用来设计蛋白质的结构，设计基因的序列。

最近还有一些工作是把生成式人工智能和语言模型结合。我们训练了第一个mRNA的语言模型，刚刚在《自然机器智能》（Nature Machine Intelligence）发表。

为什么要设计mRNA序列呢？因为这一类疫苗（例如mRNA新冠疫苗）里面最重要的东西是可设计的。如果我们能够用语言模型去学习这些RNA序列里的“语言”，并生成新的序列，那么我们就可以在生成过程中突出其中的某一种性质。生成的新序列可能会是mRNA疫苗中很重要一个部分，因为mRNA疫苗的效率完全取决于这个序列是不是能够在我们的细胞里发挥很好的作用。这是我们组最近一个用生成式人工智能去解决科学或者说制药问题的具体案例。

我觉得现在是一个非常有趣的时代。从很基础的数理理论到很大规模的工程、很复杂的模型，又反推回一些更具体的科学问题，或者是一些更具体的应用问题。可以学到很多东西，并且试着把很多东西融会贯通，来解决一些以前无法解决的问题。三联生活周刊：除了帮助人类设计mRNA疫苗，语言模型在研究领域还可以有哪些用处？

王梦迪：从根本上来说我们是要做一个基础模型。语言模型，包括我刚才提到的扩散模型，在本质上都是要从大量的数据里面去寻找规律，也即表征（representation）。一旦找到了这个规律，就可以举一反三了。

用人工智能的语言来说，所谓大模型的预训练就是在找规律，是在学习基础的规律，然后更进一步再去决定要实现什么功能：可以设计疫苗，也可以设计一个别的东西，或者进行预测，这些都是属于所谓“微调”的下游任务。在我刚才讲的例子里，它最重要的下游任务是设计疫苗，但本质上是要在前面做大模型预测，也就是做找规律这件事。

我们可以把不同物种的mRNA序列全都整合在一起。在mRNA序列中有很多的段落，我们关注的是里面最神秘的一个段落，叫“untranslated Region”（非转译区）。mRNA会变成蛋白质，它能变成蛋白质的那部分人们已经了解得很透彻，但还有一段是不会变成蛋白质的，那段非转译区才是最神秘的，因为它在调制其中的翻译过程。我们只有先理解了这个过程，才能帮助设计更好的疫苗。人工智能的发展与人类智能的发展非常相似

三联生活周刊：你现在在普林斯顿大学统计与机器学习中心进行研究，能否介绍一下统计学和机器学习之间的关系？

王梦迪：要想推动机器学习的发展，从硬件的角度来说是图形处理器（GPU）的发展，从软件角度来说就是怎样利用有限的数据和有限的计算能力让机器算得越来越快，其中涉及所有智力上的贡献都来自于对概率统计深刻的理解，因为需要在大量的数据里面找规律。

你可以想象机器学习是一个多学科交叉融合的领域，其中包括统计学、优化运筹等，控制论变成了现在的强化学习，信息论和统计结合在了一起，还包括神经网络的架构。现在我们讨论机器学习，并不是在说一个单独的事情，而是所有的学科都在研究机器学习，它变成了一个有多模态数据处理能力，集合了多种决策推理能力的复杂智能体。

三联生活周刊：你能否解释一下“人工智能”“神经网络”“机器学习”和“强化学习”这些名词之间的关系？

王梦迪：人工智能是个比较早的概念，可能上世纪80年代的时候很热门，后来就沉寂了一段时间。可以说，那时候的人工智能是一个愿景，希望实现机器智能。这个愿景刚开始的时候很宏大，也比较模糊。最早可能想通过一些其他的方式实现人工智能，但并不容易。到了20世纪90年代之后，提到人工智能这个概念就少了一些。

从机器学习到深度学习是一脉相承的。我们把本来用在统计学中的一些方法，用更好的计算和更灵活的方式，甚至再加上神经网络架构，解决的更多是一些预测和分类功能。也就是说辨别“白马非马”“马是马”“象是象”之类的概念，去学习一些简单的静态事物之间的对应关系。比起机器学习，深度学习可以让我们学习更复杂的关系，但也是静态的对应关系。

更进一步的强化学习，就是要利用机器学习、深度学习的手段去解决控制问题。比如下棋就是一个控制问题——要在不断变换的场景之中去找一个最优策略——这是一个离散控制问题。还有连续控制问题，也属于强化学习的范畴，比如机器人的控制、核聚变里面稳定等离子场，让其处于稳定状态。这是控制里面最难的问题。如果系统太复杂了没法进行计算，而通过强化学习就可能解决。之前机器学习和深度学习找的是静态关系，强化学习找的则是一个动态策略，它又向前推进了一步。这和人类小孩学习的方式是一样的。小朋友最早也是通过看去认识东西，然后会通过玩游戏来认识世界。可以说人工智能的发展和小朋友的思维发展是一样的。

更进一步，比如生成式人工智能，它融合了刚才说的所有东西，只不过它现在能够进行创作了。拿小孩子举例子：当小孩子学了足够多的东西，有了足够多的想象力和操作能力之后，就能进行创作。所以说要描述人工智能的发展，最好的类比就是人的智能的发展。两者确实有很多东西非常相似。小朋友的学习方式也是从模仿开始，然后做思辨，找规律，找事物之间的关系，解决越来越复杂的问题，还能相互交流。

可以想象大脑的发育其实也是有很多小的模块，每个模块都有一些自己的训练方式，互相联系起来之后，最终形成一个很复杂的系统。当这个系统复杂到可以整合不同的信息，比如视觉、听觉、语言的信息等，当这些分散的数据又被整合在一起的时候，还能够在一个复杂环境作决策，这就是人工智能了。现在我们又在说人工智能这个词，是因为不同的技术都已经成熟到可以被放在一起从而解决更大和更难的问题。

三联生活周刊：可不可以认为现在人工智能所展示出来的智力水平和人的智力水平已经非常相近？

王梦迪：人工智能在很多方面已经远远超过人类了。

三联生活周刊：那么人工智能和人类相比，从思考方式、学习方式上还有没有本质的区别？

王梦迪：这是个很好的问题。目前，在研究人工智能和神经科学的交叉领域有很多这方面的研究。从科学的角度还不能说人工智能和人类的思考方式完全一致，但我们确实观察到了两者具有很大的相似性，而且我们通过研究脑神经找到了更好的训练人工神经网络的方法。这两个学科目前是在不断互相映射的过程之中，也许最终会互相融合。我觉得这是一个很大的科学问题，现在还不能下定论。这是一个有很多人在研究并且很有意思的方向。

三联生活周刊：有没有反过来的例子，就是我们通过人工智能的某种表现，反而加深了我们对人类大脑的理解？

王梦迪：有的。现在人工智能领域最通用的一个网络结构叫“转换器”（transformer），用来找复杂数据中不同位置之间的联系。你会发现让一个转换器在不同的场景里面学习，刚开始它可能只学到一些简单的逻辑，但是突然有一天它像是有一根线突然就通了，会突然意识到原来两件事之间有关系。在这根线通了之后，它一下子就能够举一反三，这个跟小孩子的学习过程是一样的。这个过程，其实就是转换器意识到原本两个距离很远的模块之间存在联系。人工智能和人类的训练动态（training dynamics）很像。我们虽然不能打开人脑去理解人类是怎么学习的，但这类现象非常相似。

三联生活周刊：人类的智力有各种各样的表现。通过人工智能，我们有没有可能给“智能”下一个明确的定义？

王梦迪：我觉得“智能”首先要能够理解大量的信息，能够找到大量的信息之间隐含的多层级的因果关系或相关性，并且能够在这个基础上进行推理。

我认为现在人工智能在很多场景里已经比人类强了，比如翻译、数据分析、某些文体的写作、绘画、驾驶、下棋，甚至是打《王者荣耀》，等等。目前还有大量的科学家和计算资源试图让这些已经很强大的人工智能能够共同学习，也就是利用多个分散的设备在不共享原始数据的情况下，共同训练机器学习模型，所以我觉得它在更多方面超过人类是马上就会发生的事情。

三联生活周刊：很多人工智能科学家都喜欢提“AGI”（通用人工智能）。这是所有人工智能科学家的最高理想吗？

王梦迪：我觉得这相当于给人工智能研究设置了一个理想的概念，但是每个人对通用人工智能体的理解还是会有区别。三联生活周刊：人工智能是一个全新的学科。很多年轻科学家可以提出很多的新想法，让这个学科进展得非常快。但我也遇到一些年纪比较大的科学家，他们会有些担心，人工智能的神经网络架构里边究竟发生了什么，人们是不清楚的，其内在的机制并不明确。你如何看待这种看法？

王梦迪：现在有很多人在研究机器学习理论，其实就是在研究它的根基是什么。我觉得现在科学界已经了解的东西要比大部分人觉得我们了解的东西更多。当然，目前确实也还有很多不清楚的东西。关于神经网络架构的内在机制，是很多科学家正在研究的课题，也是他们最感兴趣的事情。我们一定能理解神经网络的学习过程，大模型将是白盒而不是黑盒。最优秀的人工智能学者本身都是数学家

三联生活周刊：你说从长远来看人工智能或者深度学习的规律要从基础数学中寻找，能否展开讲讲，我们需要怎么样的数学手段去了解人工智能？

王梦迪：我们需要用到动力系统、随机过程、偏微分方程等方面的数学。比如说特别大的神经网络训练，其实很像统计物理学，因为也会涉及有很多的粒子以某种方式按照某一个规律在运动。对于一个特别大的网络，我如果想继续扩大规模，怎么能够特别有效地把一个本来就很混沌的模型进一步扩展？这就是规模理论（Scaling Law）的问题。如果想有效地做更大规模的训练，我们就需要用统计物理学的模型和数学方法来研究神经网络的训练过程，这里涉及很多的基础数学内容。训练一个模型，绝不仅仅限于调节其中的参数。我认为最优秀的人工智能学者本身都是数学家甚至是物理学家。

三联生活周刊：你刚才也提到了“AI for Science”，就是利用人工智能推动科学发展。你觉得最可能实现利用人工智能进行科学研究是在哪个领域？

王梦迪：“AI for Science”这个概念最早是之前任职普林斯顿大学，现任职北大数学学院的鄂维南老师提出来的。他也最早采用深度学习的方式去解复杂的随机方程，然后去解复杂的薛定谔方程。其实薛定谔方程就是科学领域最本质和最难解的明珠。想要从量子层面去理解任何一个事物，都可以先写出它的薛定谔方程。比如可以利用薛定谔方程去模拟蛋白质的三维结构。如果想要研究核聚变，它也有所对应的微分方程。但是这些微分方程从模拟到计算都非常难。有了深度学习工具之后，就可以利用它对很多之前难以完成的计算工作进行加速，或者说能从一个完全不同的角度去解本来不可解的数学问题。比如说解决一个核聚变问题，需要去做模拟，之前可能需要一个月的时间，现在可能就几分钟就完成了，因为本来非常复杂的计算变成了神经网络的问题。

神经网络还可以用来找晶体结构。晶体结构是有很多对称性的。DeepMind公司在去年发表了一篇论文，他们利用生成式人工智能，找到了220万个新的晶体结构，全都满足对称性，而且都是能够合成的。也就是说晶体结构满足了对称性或者某种“不变性”等物理规律。人工智能模型能够把这种不变性和对称性刻在模型里面，并且生成的每个新结构都满足这样的不变性和对称性。如果人类按照传统的方式去找这些结构，他们估算了一下需要大约800年的时间。

三联生活周刊：人类进行科学研究，还有一个很重要的特点，叫作创造力。人工智能现在有没有展现出创造力？

王梦迪：这取决于怎么定义创造力。如果是艺术方面的创造力的话，现在人工智能至少在生成图片和视频方面已经非常优秀了。在数学证明方面，人工智能现在还没有超过人类，但是进步神速，每个礼拜都在提高，目前有很多研究者正在研究这个问题。

三联生活周刊：目前看来，似乎是几家大公司在人工智能研究方面领先于大学。你对此有什么感受？

王梦迪：其实这两个平台很相似。无论是Google、DeepMind、Meta，包括OpenAI这些公司，在工业界和学术界之间的人员流动性都是很大的。相比于其他公司，DeepMind是一个更加学术的地方。它可能过于关注科学，不像OpenAI那样只研究ChatGPT。DeepMind同时在研究神经科学、蛋白质结构、可控核聚变等领域。DeepMind公司中的很多人都在学校里兼职，所以说这实际上是一个很大的社区。学术界和工业界并不是泾渭分明的。

三联生活周刊：目前有很多人言必称大模型。那么开发一个大模型需要怎么样的资源，又怎么去比较不同的大模型？

王梦迪：现在有很多的排行榜会不断地更新大模型排名。也有很多衡量大模型的客观标准。Meta公司最近在训练一个特别大的模型，需要35万个GPU一起运行。因为GPU耗电散热太厉害，它们没有办法在同一个数据中心运行，所以还要研究怎么样能够把它们在空间上隔离开，然后进行分布式的计算。这种级别的一个GPU价格是几万美元。GPU的耗电也很厉害。比如Meta公司人工智能部门的耗电量超过了一个小型城市，肯定要比普林斯顿这个城市的耗电量大。

也有一些科研机构在试图用较少的计算资源训练轻量大模型，他们发现在很多问题上，其实小模型也有可能达到大模型的效果。大模型也有很多方式可以进行加速，比如通过稀疏性、蒸馏、分布式等方法。所以一方面人们肯定会不断追求更大的模型，因为要达到更好的性能；另外一方面大模型是可以压缩的。有越来越多新的压缩方式出现；也有很多领域的问题不需要大模型，就可以把大模型里面所需要的信息再蒸馏出来变成一个小模型。

目前我们还没有发现大模型的极限在哪里。究竟是用电的极限、散热的极限，还是GPU的极限，都还在探索。当然还涉及了数学上的极限，就是你用来训练大模型的数据。数学的极限就是数据里面包含的信息量。

三联生活周刊：作为学者你可否展望未来，人类到底会需要多少个大模型？

王梦迪：这可能会涉及地缘政治等多种因素。我设想在未来大模型可能会像基础设施一样，每个学科都有自己的大模型。 人工智能王梦迪大模型