人工智能系统需要变得更有效

蒙特利尔学习算法研究所（MILA）是由人工智能领域的先驱人物、2018年图灵奖得主约书亚·本吉奥（Yoshua Bengio）创办的一所专门进行人工智能研究的机构。蒙特利尔高等商学院副教授洛朗·夏林（Laurent Charlin）同时也是蒙特利尔学习算法研究所的研究员。关于ChatGPT的分析和发展前景等问题，夏林接受了本刊的专访。

三联生活周刊：我们从ChatGPT开始谈起。它已经成为一个“现象级”的应用。从研究者的角度来看，它为什么会如此成功？对于专业人员来说，它也是一个令人意外的产品吗？

夏林：我认为ChatGPT和其他类似产品最大的不同在于它已经可以给人带来实际的帮助。之前也有类似的语言模型，它关于某些领域所给出的答案非常不错，人们可以用它写作一些文件的草稿，或者根据一些想法写出具体文档。而且OpenAI（ChatGPT的开发公司）将这个应用通过互联网向大众免费公开，这也让它迅速流行起来。

三联生活周刊：从自然语言处理的角度来看，它有哪些突破？

夏林：在2022年11月ChatGPT发布之后，很多人立刻对它的功能感到惊奇。但大多数研究者对于这个系统还并不算了解。我们可以和它互动，但是并不知道开发者使用了哪些数据对它进行训练。本周有一篇学术论文介绍了ChatGPT的一些细节，但是并没有涉及太多关于其模型的技术细节，因此整个学术界没法严格地检查、研究和理解这个模型。

三联生活周刊：ChatGPT对于学术界产生了哪些影响？

夏林：目前在蒙特利尔学习算法研究所，每个人都在谈论它，讨论该如何应对。显然，作为研究者，我们都想做出能够与之相提并论的产品。但是（要达到这个目标）需要有能力获得相当大的数据，以及巨大的计算能力。作为研究人员，我们不得不去考虑怎么样才能获得这些资源。一些人工智能研究项目可以像物理学界的大型粒子对撞机（Large Hadron Collider）那样，不同研究机构的人员都能够利用一些开源的数据，合作训练机器模型，尝试得到和ChatGPT相似的结果——这是可能之一。

另外一种可能就是，研究者们意识到在大商业公司中可以利用大语言模型完成一些工作，但在学术研究中还有很多其他的基础性问题，大商业公司可能对此并不感兴趣，学术界的研究人员就可以研究这些更加基础性且被商业公司忽视的问题。

三联生活周刊：目前看来ChatGPT有哪些局限性？

夏林：关于ChatGPT有几个问题：首先，我们如何确定它给出的答案是正确的？目前它给出的答案中并不包括数据来源——如果包含的话，人们就有机会去检查答案是否真实且正确。还有一个问题就在于它不能表达某种程度的不确定性。当我们在对话时，如果我不了解某个问题，我会说我不了解。如果我对某个问题不大确定，我会在回答的同时表达我不确定的程度，比如说我觉得只有几成把握认为这是对的——这些都是人与人之间交流的基础，但是目前ChatGPT还没有这样的能力。

另一个普遍的看法是，除非我们可以真正理解ChatGPT，也就是说创造这个语言模型的公司公开它的代码，以及对模型进行训练的数据来源、训练模型的方法，否则我们对于它的理解就总是非常有限的。我们不能理解它的偏见和限制从何而来，而这些都是非常重要的问题。三联生活周刊：在未来可能还会出现ChatGPT-5和ChatGPT-6等，对于这些语言模型的发展前景，目前看来还有哪些我们无法跨越的限制？

夏林：对于这个问题现在我们还没有答案。人们发展的语言模型越来越大，对它们进行训练的数据也就越来越多。有多种训练类似于ChatGPT这种语言模型的方法，哪种方法更好，我们究竟会得到怎样的反馈，目前都还难以判断。有人认为规模是最重要的，只要语言模型和训练数据的规模越大，得到的效果也就越好。但我个人认为，直到我们达到某个极限之前，对于这个问题都没有明确的答案。当我们再也不能取得进步的时候，才会意识到存在着一个基础性的限制。也有人认为，对于这样的数据模型和训练形式确实存在着基础性的极限，但是会在何时达到这个极限，以什么方式达到极限，人们并不清楚。

三联生活周刊：ChatGPT给出的所有答案都是基于它受到训练所接触到的数据，并不能展示出创造性和想象力。这可能是人工智能的一个弱点吗，或者说这揭示了人工智能与人脑之间根本性的差别？

夏林：确实。目前在很多领域人工智能都可以被当作一种工具来使用，让我们的工作更有效率，但是我们必须提供最初的想法，比如让它画出什么样的图形，或者生成某种文本。我们可以从不同的角度对它进行限制。

但是我并不认为存在着一种根本性的机制制约人工智能导致不能够产生创造力，尤其是我们现在对于创造力并没有一个明确的定义。作为一个人，我在生活中可以收集所得到的数据，通过这些数据，可以产生新的想法。当很多的想法聚在一起，就可能会产生一些不同的，甚至是具有创造性的想法。那么是否存在着基础性的限制，让ChatGPT无法产生这样的效果？我并不确定。

三联生活周刊：在自然语言处理领域，你希望能够取得什么突破？

夏林：目前的语言模型已经能够产生一些相当于人类水平的文本，我希望它也能产生同样水平的图片和视频，甚至是音频，然后把这些输出都结合在一起。还有一个问题在于我们如何让语言模型精通某个领域。比如说律师可能希望有能够精通法律的人工智能应用，它对于各国的法律都非常熟悉，这就可以帮助律师进行很多专业性的工作。

三联生活周刊：目前在你的研究领域中最大的挑战是什么？

夏林：继续学习（continue learning）。我们训练机器模型学习一些数据，之后要让它能够适应与之前训练稍微有差别的数据，这是一个很大的挑战。人会忘记事情，但人也有很强的学习能力。对于机器来说，只有让它通过不断变化的数据持续地学习，更新之前的知识，才会让它更有效。每次出现新数据时，我们就不需要对它进行重新训练了。

三联生活周刊：谈到基础性的问题，你认为在人工智能和人类大脑之间存在哪些基础性的差别？

夏林：目前看来，人类的大脑可以完成各种各样的任务，而目前我们训练的人工智能，还只能完成很窄范围的任务。ChatGPT目前还只能产生文字（注：在ChatGPT-4所展示的性能中，已经可以完成制表和制图等功能），也只能针对一些文本问题在一定范围内做出回答。而人类大脑则可以控制身体运动，进行谈话，同时产生各种各样的想法。目前看来，电脑还无法达到这样的程度。另一方面，电脑可以消化大量的数据，比如ChatGPT阅读了大量的数据，而人类是完全没有能力阅读同等数量的数据的。不过人类表现得非常有效率，可以进行推理，已经对各种概念进行修正，目前电脑无法完成这样的工作。如何让人工智能做得更有效，通过更少的数据来学习某种概念，这对于人工智能研究是很大的挑战。如何通过一般化认知从而学习到新的知识？比如说我生活在一个从来不会下雪的地方，之后我到了北京，第一次见到了雪。那么我可能很快就会适应这种全新的环境——虽然周围的颜色不同，路面比较滑，但是物理学定律都是一样的。目前计算机还无法做到这一点。研究者们正在朝着这个方向努力。人类可以迅速适应陌生的环境，那么，研究者希望能够训练计算机适应与训练内容稍微不同的环境，这是有可能实现的。

三联生活周刊：如果我们对一个人工智能系统进行训练，比如说给它数千万张关于猫和狗的图像，那么它就可能具有分辨猫或狗的能力。但是如果我们给它输入一张牛的图像，它会作何反应？是最终将其辨别为猫或者狗，还是承认无法分辨？

夏林：目前如果我们训练一个电脑模型专门用于一项任务，那么它就无法完成其他任务。如果我们训练一个模型分辨猫和狗，那么它就没法分辨牛的图像，甚至无法说自己从来没有见过这样的图像。这与人类的学习过程完全不同。在我们的童年不会只去识别两种动物，而是会见到很多不同的动物。我们会认识很多的动物，通过颜色、动作等特征，我们也可以知道哪些动物我们从未见过。可以想象，电脑模型可以发展到最终学习识别新的动物。我们可以训练它开始识别之前没有见过的动物。但是对于电脑模型来说，让它适应新的概念会非常困难，非常容易失败。

三联生活周刊：人脑利用能量非常有效，而语言模型所消耗的能量是人脑的数千倍乃至上万倍，其中的差异来自哪里？

夏林：我认为目前人们发展语言模型还没有对它的耗能有太大要求。人类大脑消耗的能量在很大程度上由其神经元数量决定，它的耗能也在进化过程中越来越低。人脑太大或是消耗能量太多的话，人很难活动。对于深度学习系统来说，目前耗能还不是一个太大的问题。只要能够提高性能，商业公司总会买入大量的电脑。目前也有让深度学习系统耗能更低，在更小内存条件下工作的研究，这样就可以让它在手机上工作。但这还不是研究的主流。主流研究仍然试图通过输入更多的数据以得到更好的结果。

三联生活周刊：根据我自己的使用经验，ChatGPT使用英文交流的表现要远超它使用中文的表现。这应该是因为研究者主要使用英文资料对它进行训练。那么这种语言模型有没有可能跨过多种语言的障碍，实现真正的多语言？

夏林：我认为目前人们还是在利用不同的语言资料对它进行训练，但人们已经开始意识到，如果能够理解不同语言的语法特点，那么在一种语言中的训练可能对使用其他语言的表现也有所帮助。当然，这仍然取决于模型能够接触到多少数据。对于某一种语言来说，如果目前用于训练的数据太少，那么它的表现仍然会差一些。

三联生活周刊：目前这些深度学习模型都在变得越来越大，训练的投入也越来越多。在这个领域的开发正在变成一个超级公司所独占的领域吗？

夏林：看一看目前ChatGPT所达到的效果，世界上确实只有几家公司有能力训练出这样的语言模型。有很多公司希望能够利用这样的系统，然后把它应用到一些专业领域，比如说法律领域。我当然希望可以出现更多合作性的、公开的语言模型。

三联生活周刊：ChatGPT已经成为微软Bing搜索引擎的一部分。搜索引擎也要用到自然语言处理。你认为未来搜索引擎可以有哪些进步？

夏林：我们目前倾向于把搜索引擎当作一个提问－回答的系统。如果利用一些关键词进行搜索，它已经能够产生非常有效的结果。在未来，搜索引擎可以变得更个人化、智能化，比如我搜索某个领域的学术论文，搜索引擎不仅可以列出结果，还能够对学术论文进行总结，告诉我在这个领域最新的研究进展，这就太好了。 Chatgpt