建立一个优秀的预测模型非常重要

作者:苗千

主笔·苗千(发自加拿大)建立一个优秀的预测模型非常重要0向量研究所(Vector Institute)是由人工智能领域的开创者之一、2018年图灵奖得主、多伦多大学教授杰弗里·辛顿(Geoffrey Hinton)创建。它与多伦多大学联系紧密,同时又保持着自己的独立性,为人工智能研究者提供合作和进行基础性研究的空间。很多加拿大人工智能领域的学者会同时在大学和向量研究所任职。多伦多大学计算机科学系助理教授拉胡尔·克里什南(Rahul Krishnan)同时也是向量研究所的成员,除了进行人工智能的基础性研究之外,克里什南还致力于研究通过构建新颖的机器学习算法以解决目前临床医疗方面的一些重要问题,并对人类的健康有更深刻的理解。关于他的研究领域,以及对于人工智能研究的看法,克里什南在向量研究所接受了本刊的专访。建立一个优秀的预测模型非常重要1三联生活周刊:能否简单介绍一下你的研究领域?

克里什南:我在多伦多大学计算机科学系和医学与病理生物学系任职,同时也是向量研究所的成员。我的研究领域在于机器学习和医疗保健的交叉领域。所以我会花很多时间思考如何能让医护人员的工作更容易、更迅速。我和医护人员共同工作,以便理解他们真正需要的是什么,他们的需要又如何能够被转化为机器学习的问题。一旦这些问题可以被翻译,那么这些医疗问题就变成了数学问题以及深度学习的问题。我们试图解决这些问题,然后再把解决方案发回给医护人员。所以在我的研究中,机器学习和深度学习占了很大的比重。

三联生活周刊:你能否用通俗的语言解释“机器学习”(Machine Learning)、“神经网络”(Neural Network)和“深度学习”(Deep Learning)这些专有名词?

克里什南:所谓“机器学习”在很多不同的领域都有所应用。比如最优化、概率预测、统计学研究、非线性动力学……当你把所有这些领域都结合在一起,就会发现它是一个从数据中寻找结构和某种机制的领域。在40年前人们就开始利用机器学习模型进行研究,例如线性回归(Linear Regression)或是随机森林(Random Forest)等方法,都是想要从数据中找到可以进行预测的结构,然后再把它压缩成为一种可以进行计算的模型参数。如果有了这样一个模型,你可以把它应用到新的数据上进行预测。机器模型的目标,正是建立好的模型,从而做出尽量准确的预测。

随着机器学习的进步,研究者们产生了发展神经网络的想法。关于神经网络的发展有多年的很丰富的历史,但其中最关键之处就在于模仿人类大脑的工作方式。大脑的神经元有不同的层级(layer),每一个层级都是通过线性和非线性的方式进行建造,而后不同的层级叠加在一起就形成了一个极其复杂的网络,它代表着一个极其复杂的非线性公式。也就是说,如果我们希望模仿大脑的方式来建造一个机器,就必须建造一个复杂的非线性模型。神经网络的研究原则也是一样的,就是把数据中的模式压缩为神经网络中的不同参数。这要比线性模型和决策树(Decision Tree)等模型复杂得多。

从神经网络发展到深度学习,是在最近15年时间里,主要是由向量研究所的建立者辛顿教授参与的。其主要想法就是利用非常简单的一阶优化方法,来理解深度神经网络。关于神经网络和深度神经网络的区别,第一个实际的例子,在于深度神经网络非常“深”,其中叠加了非常多的层级。有一个举办了多年的ImageNet竞赛(注:ImageNet Large Scale Visual Recognition Challenge,是一项始于2010年的在计算机视觉领域的重要竞赛),多年来人工智能对于图像的识别能力都相对较低,而辛顿和学生训练了一个非常非常深的神经网络,最终在竞赛中表现得非常出色。他们建立的机器学习模型也可以进行普通化的推广。(注:在2012年,辛顿领导多伦多大学团队参加ImageNet竞赛,他们开发了一款名为“AlexNet”的深度神经网络,以出色的成绩赢得冠军。这被认为是神经网络研究过程中的一个标志性事件。)

三联生活周刊:能否列举一些具体的研究问题?

克里什南:我可以说一些我进行研究的具体内容。其中一个非常有意思的题目就是如何将深度学习领域中用于视觉分析的能力,例如在自动驾驶方面的应用,用来帮助肿瘤学家进行诊断。在肿瘤学研究领域,尤其是癌症医生进行诊断时,一个重要的参考数据是分析组织学图像(histological images)。所谓组织学图像,就是从患者身上提取组织样本,再把它经过染色和数字化处理形成图像。医生通过显微镜对这些图像进行观察,希望能够在这些图像中找到某种模式,例如其中肿瘤细胞的模式,以及正常细胞的模式,等等。所有这些观察结果最后会被写进检查报告,肿瘤医生会根据检查报告决定对患者进行怎么样的治疗。

计算病理学(computational pathology)已经出现了一段时间,而且目前非常流行应用深度学习理论。人们会好奇,能否利用机器学习的工具,用以往的病理学图像来训练计算机,让它们分析未来的病理学图像,并且对病情的发展进行预测?这就是医疗人员拥有数据,而科学家利用机器学习算法对这些数据进行分析,并且发展出可能帮助肿瘤学家进行诊断的例子。

另一个例子是关于医学中的风险评分(risk score)。所谓风险评分,指的是医疗人员通过一个数字用以评估患者治疗结果的方法。比如医生会对不同患者进行肾脏移植等疗法进行风险评分。通过这样的评分,就可以确定哪些人需要优先进行肾脏移植手术。总而言之,风险评分是一个很好的关于预测模型的例子。这个模型通过不同患者的不同参数和一个数学模型最终得出一个评分。我和一位医疗人员合作,希望把这种风险评分过程通过机器学习进行自动化。我们希望它能比目前医生使用的方法更有效,也希望它能够更公平:无论性别、年龄等差别,它对不同的人群都能得出同样的结论。因此,建立一个优秀的预测模型非常重要。因为我们不仅需要这个模型在平均意义上表现优秀,还需要它在一些特定人群中同样表现优秀,因为我们希望这种用于医疗领域的机器学习模型能够对所有的用户都公平。

三联生活周刊:利用人工智能辅助医疗,就难免会涉及伦理问题。即便一些人工智能系统看上去比医生更聪明、更准确,患者可能依然会质疑,为什么要将自己的生命交付给一个人工智能系统呢?研究者该如何去面对这样的伦理问题?

克里什南:关于这个问题,有两个答案:第一个答案是我们并不希望用人工智能系统去取代医务人员。我们想要做的是建立一个人工智能系统去辅助医务人员进行治疗,更快速地做出决定。一个理想化的人工智能,是医务人员的工具,可以为医务人员提供各种治疗方案的选择,但最终还是要由医务人员做出决定,不过其中花费的时间会大幅减少。医务人员可以花更多的时间与患者进行面对面的交流,而不是把大量时间花费在研究和理解检查数据上。从这一点来说,人工智能只是一种辅助工具。

第二点在于,在一些人工智能尚未涉足的领域中,确实可能存在一些伦理问题。目前我们也并不知道关于这些问题的答案是什么。我们就只能与生物伦理学家(bioethicists)进行合作。比如在多伦多的一些医院里,生物伦理学家也会参与一些研究会议。我们会讨论,人工智能工具可能在某些医疗领域有所应用,那么我们是否应该使用这种工具?有哪些可能的优点和危害?我们又该如何理解可能造成的危害?作为计算机科学家,我们可能对于各种伦理学问题并不了解,但这正是生物伦理学家的领域。和他们合作,就给了我们理解这些问题,以及患者和医务人员之间关系的可能。建立一个优秀的预测模型非常重要2三联生活周刊:神经网络以及深度学习,是发展人工智能的唯一途径吗?

克里什南:还有很多其他的方法。人工智能研究一直在向前发展,比如说现在关于知识表示(knowledge representation,指把知识客体中的知识因子与知识关联起来,便于人们识别和理解知识。知识表示是知识组织的前提和基础,任何知识组织方法都是要建立在知识表示的基础上)以及符号推理(symbolic reasoning,指人类学习两个现象之间的关系规则,然后将这种关系编码到一个计算程序之中,构建出一个符号推理系统)方面的研究。在向量研究所,也有研究人员试图研究通过独特的方式利用人工智能模型来表现知识。如果我们需要解决一个问题,如何解决这个问题的想法就包含了解决这个问题的一些关键步骤。比如当我们观察一个机器人从冰箱里拿一瓶果汁递给你,机器人就需要理解一些关键的概念,什么是门,如何开门,开门的后果是什么,又如何在不同的房间里行走等。这些概念人类都可以理解,它们代表着不同的符号;我们希望能够建造拥有同样能力的人工智能。“符号表现学习”(symbolic representation learning)目前是一个非常活跃也非常丰富的研究领域。

三联生活周刊:神经网络试图学习人类大脑的工作方式。目前脑科学仍然处于起步阶段,我们对于大脑的工作方式仍然不是很了解。大脑处理问题也是通过不同的层级进行处理的吗?我们真正从人脑中学到了什么?

克里什南:关于这个问题可以给出两个答案。首先,我并不是一个神经科学家,我的理解是,自然界通过进化过程,(在生物中)出现了很多模式化的行为。作为一个计算机科学家和机器学习专家,我希望能够模仿这样的方式。多层感知器(Multilayer perceptron)正是出于一些人对于大脑神经元工作方式的理解。它可能并不是大脑神经元的完美复制,神经元可能也并不是完全以这样的方式进行工作的,但是在最原始的设计方面,它显然是受到了神经科学的启发。

另一个例子就是卷积神经网络(Convolutional Neural Networks,是一类包含卷积计算且具有深度结构的前馈神经网络,也是深度学习的代表算法之一)。这正是受到了视觉皮层(Visual cortex)工作方式的启发而开发出来的,它具有某种空间不变性。另一个更近期的例子就是注意力机制(Attention Mechanism),它的基本原理是:当人类处理信息时,我们并不是同时处理在某一个时间点接收到的所有信息,而是选择注意哪里。比如说在进行谈话的时候,我就会有选择地将视觉注意力集中在谈话对象上,把思维的注意力集中在对话上。注意力机制是一种神经元的结构,也是一种非常有趣的应用。我们把这种应用发挥到极致,就会出现像ChatGPT这样的工具。

三联生活周刊:人工智能的发展非常迅速,而人类大脑在过去几百万年时间里并没有太大的变化。因此有人断言,人工智能全面超越人脑的能力是一个“数学上的必然”。你认为这是一种必然会发生的事件吗?

克里什南:人工智能的发展确实是呈现了指数型的增长,但现在就断言人工智能将全面超越人脑还不是特别令人信服。从目前的情况来看,人类大脑利用能量的方式更加有效,在不同环境中处理信息的方式也更具有适应性。起码在我们进行采访的时间点,机器学习模型仍然无法做到这些。

在我个人进行医疗保健方面的人工智能研究中,最大的失败就在于我们通常可以训练一个模型表现得非常出色,但是当我们把这个模型从一个医院转移到另一个医院,模型就无法使用了。造成这种失败有很多原因,其中一个可能的原因在于模型已经学会了在之前的医院里进行预测时采取的某些“捷径”,而这种所谓的捷径在新医院中并不存在。在这方面还需要很多的研究工作,建造出更强大,也更值得信赖的机器学习模型。这也是我和我的研究组正在做的事情。

我认为人工智能的发展是让人难以置信的。现在人工智能的水平已经远远超过了我在研究生院学习时了解的水平。现在我们可以利用CahtGPT创造出很多网络资源。只在不到10年的时间里就发生了这么大的转变,我想这个趋势还在加速中。但我认为关于人工智能的基础研究仍然有进步的空间。目前人工智能的发展还不足以超越人类大脑的能力。

三联生活周刊:你在医疗保健方面的人工智能研究中,遇到最大的挑战是什么?

克里什南:其中最大的一个问题就在于预测模型的耐用性。机器学习的目标在于将不同的信号压缩为模型中的参数,而后进行预测。目前最大的挑战在于需要有一个模型适用于不同的医疗机构。之所以它的挑战极大,就在于不同医疗机构的标准和处理方式都有所不同。一组病人在A医院得到的治疗和在B医院可能是不同的,结果模型通过数据所理解的特征就会完全不同。我们需要为此找到一个解决方案,以便对所有的医疗机构都能够适用。建立一个优秀的预测模型非常重要3三联生活周刊:人类有没有可能通过人工智能的发展对于大脑的工作方式有更深的认识?

克里什南:我想有一种可能,就是利用神经网络和深度学习工具来加速人类进行脑科学研究的进程。科学发展源于提出假设,验证假设,随后修正我们对于人类大脑工作方式的认识。科学家可能对于在过去100年间提出的各种脑科学理论和假说并不完全了解,也不会完全了解目前所有的新理论、新假说,目前一些人工智能模型,例如一些语言模型,则可能进行更全面的分析工作。

三联生活周刊:通过对人工智能的研究,我们该如何定义智力?

克里什南:就像是人工智能在过去几十年里发生了重大变化一样,我们对于智力的理解也在不断变化之中。比如说,我们是否能够辨别一段对话是来自人类还是来自机器。现在我们已经可以制造出模仿人类的聊天机器人,它表现得非常出色。(当然机器人也会失效,我们需要理解它们失效的原因。)我们希望将人工智能称为智能,因为机器能够做的事情随着时间在变化。如果10年前的一个人忽然来到现在,他完全不会理解ChatGPT这样的人工智能是如何工作的,但是现在我们对它有详细的理解。

三联生活周刊:目前看来人工智能发展的极限在哪里?

克里什南:过去10年里人工智能的发展展现出了令人难以相信的创造力。从可以分辨是哪一种动物的机器模型,到可以和你展开对话的机器人。整个学术群体正在用巨大的创造力克服一个又一个之前认为无法逾越的困难。人工智能的表现会越来越好,能力会越来越强,但我个人的迷惑在于能否让机器理解因果关系(causality)。机器是否能够真正理解原因和结果,以便可以真正进行预测?这是一个开放的空间,也是一个极端困难的问题。

三联生活周刊:在未来几年里,你最期待在人工智能研究领域取得哪些突破?

克里什南:在我所研究的医疗健康领域,我希望最大的突破是可以从不同的医疗机构获取数据,然后通过一些语言模型对它们进行处理。人们发现这些大型语言模型不仅可以进行对话,还可以对国际象棋的走法等进行预测——如果我们把国际象棋的对弈翻译成一种语言信息。也就是说,这些模型有处理除了自然语言之外问题的能力。在医疗健康领域,我们可以利用语言模型将毫无结构的信息转换为结构化的信息进行解读。这已经被用于医疗人员的工作,比如撰写医疗报告。

三联生活周刊:人工智能给大众留下深刻印象的事件有“深蓝”(Deep Blue)在1997年战胜了国际象棋世界冠军卡斯帕罗夫,AlphaGo在2016年战胜了围棋世界冠军李世石,以及ChatGPT的诞生等。作为一个研究者,对你来说有哪些这样“决定性的时刻”?

克里什南:你已经总结了很多重要事件。对我来说,10年前神经网络在ImageNet竞赛中夺冠也是一个决定性的时刻(注:指辛顿团队在2012年通过“AlexNet”深度神经网络赢得冠军)。在医疗健康领域,如果能够出现一个患者和研究者一致接受的人工智能模型,也将是一个决定性的时刻。 AI向量