机器人自主性的伦理困境

刘哲：公众往往会把模仿人的外观与行为的机器人视为人形机器人。但业界没有这样单独的划分。机器人有多种专业分类原则。按照应用领域，国际标准化组织（ISO）将机器人分成工业机器人和服务机器人。而从2016年AlphaGo出现以来，随着人工智能技术的快速发展，在一般机器人之外，智能机器人领域迎来新的浪潮。

相较单纯的人工智能技术，智能机器人可以看作具有物理载体的人工智能。如果涉及“人形”，也许从外部功能上来看更容易理解，比如具备类似人的感知、决策与控制能力，类似人的双足运动能力，甚至具有类似人的柔性皮肤。人形机器人的远景目标当然是通用性，但目前我们看到的主要是根据具体应用场景进行研发的，比如护理类机器人在医疗健康场所应用，目前业界或许不会首先考虑使用复杂的双足而是采取轮式设计；另外还有支持患者运动能力康复的外骨骼机器人。

三联生活周刊：如果从功能层面来看，能够模拟出人的样态和功能，是机器人科学家的终极目标吗？

刘哲：不同科学家可能会给出不同的答案。总体来看，因为创造出的机器人是要为人类生产、生活服务，所以功能上越容易与人交互越好。同时，在一些领域，模拟人的功能的难度确实很大。比如大家最为熟知的双足行走，像人一样保持平衡非常难，我们经常能在机器人大赛上看到，双足机器人上个台阶或是开一下门就会摔倒。

但在其他一些方面就不见得如此。像在智能领域，模拟人的行为确实很难。机器人研究者曾告诉我，如果一个五六岁的孩子在旁边看见父母抱着东西，用胳膊肘蹭冰箱，他一般都会很自然地帮着打开冰箱门。但这个看似十分平常的行为，机器人就很难实现，察觉人的细微动作背后的含义很难。而公众可能也会认为，机器人智能的发展像人一样，3岁、6岁、12岁循序渐进。但“是否只有人类有智能”本身就是问题，像宠物狗有没有智能？如果智能并不限于人类，即使仅仅从功能上看，人工智能为什么只能模仿人的智能？

还有意识问题。我的主要研究方向是研究人的主体性，智能机器人的意识可能性问题是我的研究的自然延伸。但在我看来，人的主体性涌现与我们的身体息息相关，朦胧的感受、梦境、口误，这些无可名状的模糊经验与主体性的涌现有密切的关联，但这都是智能机器人所不具备的。智能机器人是否会具备像人一样的主体意识，是一个遥远而充满争议的问题。三联生活周刊：那么做一假设，如果当机器人在方方面面都具备了与人类匹敌，甚至超越人类的能力，会不会给人类社会带来危机？

刘哲：首先，目前距离智能机器人方方面面达到人的能力还很遥远，是否能够达到那种超级智能程度还是未知数。目前智能机器人的发展主要依赖四个技术基础，算力、数据、算法和机电一体化。仅从智能需要的数据和算力来看，当下大模型训练需要的数据已经捉襟见肘，一些科学家提出用人工智能自己生产的数据训练自己，但那样的数据如何保证质量？另外，现在的算力已经对能源造成巨大的消耗。根据国外的研究，ChatGPT每天的耗电量相当于1.7万个美国家庭的用电量。

除此之外，虽然学者们有对通用人工智能的设想，但这个设想的理论含义以及实现它的技术路线仍存在巨大争议。科学研究具有一定的自主性，可以由内部问题驱动。今天的科技发展同社会与市场需求的联系日益紧密，科技研发与转化需要巨额投资，而投资需要考虑技术的实际用途。人形机器人要实现取代人的完美能力，并不是科学家和产业人士的短期愿景。从专业角度看，我们不能更不应该依据科幻作品来构想和理解智能机器人的发展给人类社会带来的挑战。

最为重要的是，技术一旦制造出来，就始终处在与社会交互的过程中。技术的意义不在科学家的掌控中，而是由不同的符号系统决定，而这套符号系统则是由人类生活社会心理模式所构成。对于未来机器人的想象，实际上是由不同的既有文化传统、伦理所预设的，比如在欧美文化的想象中，一个全能的机器人往往意味着危险，而在日本的文化里，像曾经的《铁臂阿童木》之类的动漫作品，会把机器人想象成是对人类友善的。与此同时，技术在不断地融入人类生活，每一次技术的融入都会呈现出不同的意义，人类的社会心理也在随之变化。在当下和历史中也能找到例证。美国此前研发人机协作机器人Cobot时，应用场景就是产业升级改造。但为了不造成大规模失业，就要设计与工人协同工作的机器人。而人机协作时，就要考虑人与机器的匹配度，其中就要顾及流水线上出现错误时，机器的复位速度，因为如果按照机器的速度来，人就会崩溃甚至受伤。也要考虑人如果一整天都与机器打交道，可能就会逐步出现回避社交的心理障碍。Cobot的工作节奏、工作环境的布置都需要专门设计。

而18世纪第一次工业革命开始后，英国纺织工人曾一度捣毁蒸汽纺织机，但这并非人与蒸汽机之间的仇恨，而是失业者表达对当时社会现实的不满。随着工业革命的深入进行，捣毁机器的事件逐渐减少直至消失，同样这也不是因为人对蒸汽机的仇恨减少，而是社会制度发生了改变。蒸汽机的价值与意义在工业革命发展的不同阶段呈现出变化，智能机器人的前景也许同样如此。

三联生活周刊：那么，人形机器人的前景就很乐观吗？

刘哲：实际上，不必说“人形”，仅仅是智能机器人有外形、能活动这一点，就存在着风险。根据国外研究成果，麻省理工学院的研究人员在实验室研发机器人时，明知它是个机器，但当他在训练机器人并与机器人互动的过程中，突然有那么一瞬间，感觉跟它有一种情感意义上的联结。之所以会如此，是因为人对于世界最底层的感知，是感性层面的。比如我们会看到一个背影，就感觉是某个人，或是刚接触一个人，还没开口说话，就对对方有种感觉，后面说的话只是在印证你的感觉。这是人的感受意识，在我们的情绪、肢体的交互中，这种感性感知会展现得非常清晰。而因为机器人有形体、能运动，就会自动触发人的感受。

这种拟人化的特征，会让人形成情感依赖。比如美国研究者曾做过调查，发现一些独处老人的子女给老人买了扫地机器人，对方觉得很可爱。扫地机器人在屋里打扫，有时候转到老人脚边，机器人传感器的信号是遇到障碍物要绕开，而老人却会觉得这机器人像宠物一样很亲近自己。老人就和机器人形成了情感绑定，机器人完成地面清洁后，老人会精心把它擦干净，放到特定的地方让它“睡觉”，旅行时还要把它装到箱子里带在身边。而这类人机单向的情感依赖会造成风险，比如企业可以操纵这些机器来敛财，自闭症儿童与护理机器人长期互动后，可能会越发疏远人类，甚至军队的机器狗出现危险时，军人会冒着生命危险营救。

为了避免这些风险，负责任的企业往往会刻意把机器人设计得更简单，比如将扫地机器人设计成圆形，尽可能让人们意识到它是机器而非宠物。而面对人形机器人时，情况变得更为复杂。除了情感依赖之外，当人形机器人与真人似像非像时，人会产生日本机器人专家森政弘提出的“恐怖谷效应”，对机器人的好感会大幅下降，感到恐惧、不安、厌恶。三联生活周刊：从功能的角度看待人形机器人，哪些方面会带来显著的伦理问题？

刘哲：问题主要集中在智能的层面。因为伦理问题涉及决策，而智能机器人有一定的自主性。

三联生活周刊：如何理解机器人的自主性？

刘哲：提到机器人的自主性，首先要与自控性区分。这也是近些年提出的智能机器人同此前的机器人最大的区别。以往大众提起机器人，脑海中浮现的最普遍图景之一就是汽车工厂里面的机器臂，它们可以24小时不停地工作。但那种状况就是自控性，因为机器是在一个封闭的空间、设定好的程序里自动运转，一旦环境改变，机器就会出问题。而自主性的不同之处在于，机器所处的环境是开放的，机器需要根据环境的变化自主做决策。最典型的，就是无人驾驶汽车和沿封闭轨道运行无人驾驶地铁的区别。

不过，当下机器人的自主性与人的自主性还是有根本不同的。我们可以类比人类的两种行为模式，一种是强迫症个体做事的方式，另一种是出于热爱的做事方式，从外部观察两者都是锲而不舍地做一件事，但强迫症个体却是“不得不做”。目前来看，智能机器人的自主性肯定不是出于热爱，也绝不是哲学家所谓的理性“自己为自己立法”含义的人类自主性，而至多是功能上的自主性，就是机器人看起来是在做一个自主的运动。

三联生活周刊：既然是从功能上区分出的自主性，而机器人是依据算法做出的决策，那么机器人的决策会带来伦理问题吗？

刘哲：会的。一个决策会涉及伦理风险的高低，被称为“伦理敏感度”。而自主性的高低与伦理敏感度的高低不一定完全一致。比如空客飞机在高空巡航时就是一台智能机器人，它完全是在自主飞行。虽然它也会涉及伦理问题，像飞行器的伦理首先是要保障乘客安全，同时飞机在做方向改变时，也不能只考虑效率和经济性，而是要保证乘客的舒适感。但是，这些伦理风险相对单一。与此相比，很早之前美国实验室就曾设计过一个针对医院病患的专家系统，那个系统的智能程度没法与空客比，只是当医生面对绝症患者时，它帮忙提供医疗和伦理建议。但可以想见，这个专家系统要比空客的伦理敏感度高多了。

不过，依照现在的技术发展路径，机器人的自主性越强，确实意味着伦理敏感度越高。当机器人越来越多地进入人类日常生活的场景，面临的伦理问题也就会随之增加，而且这些场景往往又要求技术的进一步升级。一个典型的案例就是护理机器人应用的场景。比如养老院里瘫痪的老人需要机器人帮忙托举、翻身，机器人要保证老人不能受伤。有的老人不能说话，只能通过老人的表情判断感受，老人皱一下眉，觉得不舒服，机器人就要停止动作。这个时候，一方面智能机器人要有非常高的灵活度才能完成托举的动作，另一方面智能系统对老人微表情的觉察就非常重要，而这些都需要技术的积累。还比如机器人既要监督老人按时吃药，又要监督老人不能服用禁忌饮品。可以想象，现实中有些老人某天就是想喝口酒，家人或护工陪护时，有时候就顺着老人了。但机器人如何把握这个尺度，这就是很棘手的问题。还有目前已经初露端倪的伦理问题。比如医院使用人工智能系统来筛查患者的CT或核磁检查影像结果。通常患者最终拿到的检查影像数量有限，但那其实是医生根据临床经验挑出来的，而医生往往不可能把所有检查图像都仔细看一遍，经验又因人而异。与此相比，人工智能系统会把所有的结果都仔细看一遍。当人工智能得出的结论与医生冲突时，应该听谁的？目前通行的做法还是以人类医生的判断为准，人工智能的结论作为参考。可是，患者有知情权，一旦两者结果不相符，医生还错了，我们将如何面对类似的冲突？

三联生活周刊：研发人员是否可以通过设计指令，使得机器人的决策符合伦理要求？艾萨克·阿西莫夫（Isaac Asimov）曾经提出的“机器人三原则”（机器人不得伤害人类，或坐视人类受到伤害；除非违背第一原则，机器人必须服从人类的命令；在不违背第一及第二原则下，机器人必须保护自己），如今是否是智能机器人做决策的一个原型？

刘哲：阿西莫夫的三个原则提出了一种以规则为基础的决策方式，而且提出规则之间不能彼此冲突。但是，他提出的三原则更多是为他的小说剧情发展服务，而现实中的伦理问题往往是同一条原则内部发生冲突，所以远比阿西莫夫的三原则复杂得多。

最典型的就是“轨道车困境”——无人驾驶汽车遇到故障，发现直着开会撞到前面五个人，拐弯会撞到一个人，它该如何抉择。这是在同一条“不伤害人”原则内部的冲突。面对这种伦理冲突，机器人专家曾提出三种决策设计方案，一种是完全交由机器通过算法做决策，把人彻底排除在外，但人是否能够接受无法干预机器的行为是一个问题。第二种决策方式是交给人来做决策，而问题也很直接，人的决策就比机器更可靠吗？甚至，人的决策可能来自所处文化背景下的“偏见”，并不具有普遍性。最后还有一种决策方式是由人和机器共同决策。但这却是最为棘手的，因为人的反应没有那么快，而且人的心理状态本身就不好预测，危急时刻的人机交互会是一个异常复杂的系统。面对“轨道车困境”这类场景，当下工程师更倾向的设计还是第一种，把人排除后，形成一个决策闭环。决策背后需要承担的责任，再交由之后的法律来处理。

实际上，只有在智能机器人这里，才有真正意义上的道德困境。因为比如虽然人也会面临“轨道车困境”，但人不具备在那种情况下做决策的能力，他做的决策就是一个瞬间的反应，这个反应是长期在一个共同体里生活形成的倾向，这种道德倾向可能从别的共同体的角度觉得是偏见，不过在自己的共同体里，大家觉得这就是合理的。但对于智能机器人，它无法像人那样依靠道德倾向，而必须基于自己的算法来做出理性决策。

与此同时，棘手的问题是，智能机器人的决策目前是一个“黑箱”，它是根据具体环境变化，依靠算法、数据做出决策和行动，科研人员现在需要了解智能机器人是如何做出决策的。比如聊天机器人在与用户交互中出现异常语音反应情况，这时研究人员就要关停它们。而正因为人类目前还无法完全掌控这个“黑箱”，所以智能机器人的应用需要非常谨慎，实验室在研发的机器人，要比市面上可以见到的多得多。这也是全世界智能机器人相关的伦理文件，都要提出机器人系统“透明”“可解释”的原因。伦理“指南针”

三联生活周刊：虽然智能机器人做决策的机制是“黑箱”，也会在许多场景面临伦理困境，但既然它的自主性是有限的，是不是在它做出决策后，从后果的角度让设计者、制造者、拥有者、运营者和使用者分别承担相应的责任，可以挽回甚至规避智能机器人的风险？

刘哲：是的。虽然欧盟曾在2017年讨论赋予机器人“电子法人”的地位，但是因为当前机器人技术发展水平所限，认定机器人有“人格”超出现实条件以及人们直觉太多，所以多数看法是将机器人的责任归到人类身上。

由于机器人的自主性有限，当下一个新兴的观点是，参照对待动物的法律原则对待机器人，因为动物自古作为工具参与到人类社会之中，而动物同样具有一定自主性，人们可以根据风险的不同，对动物有不同层级的约束。同时，由于动物会感到痛苦，基于动物福利，《动物保护法》要求人们不应虐待动物。与此对照，由于人虐待机器人可能会造成人养成虐待动物，甚至伤人的举动，所以也应该禁止人虐待机器人。

不过，这样的观点在学界尚未达成共识，毕竟机器人的自主性与动物不同，而且随着机器人在人类生活中的普及，人们也许会像处理废旧手机，或是生气时摔手机一样，只把机器人当作机器，诸如“不能虐待动物”的理由就不再成立。

与此同时，仅从法律层面来看，法律的归责无法根本解决伦理的问题。因为法律责任无法解决道德责任的问题，比如无人驾驶汽车出现事故，即使法律判定坐在驾驶位置的人无罪，坐在那个位置的人也会因为当时没有操作汽车而感到愧疚。另一方面，法律具有保守性，过早立法会阻碍技术正常发展。所以我们认为，更好的方式首先是伦理治理的方式。三联生活周刊：伦理治理的方式如何实现？

刘哲：2018年，我受国家标准化管理委员会和国家机器人标准化总体组委托，主持《中国机器人伦理标准化白皮书2018》项目时，就看到有很多论文来自荷兰的两所大学（代尔夫特理工大学和特文特大学）。他们的研究者发现，任何技术品都无法做到价值中立，即便像工程师的美感也会影响技术品的设计，所以他们将对人工智能和机器人的伦理的研究，紧密地融入到科技研发的平台上。这就是一种工程师的伦理治理方式。像前面提到的，设计扫地机器人时，就考虑到情感绑定的问题，刻意设计成金属外观的样子，就是一种类似的负责任实践。

但是，由于智能机器人的自主性在增强，它的决策系统目前仍是前面提及的“黑箱”，所以即使工程师给它设定了一个初始参数，经过它的自主学习，它做出的决策也可能会与设计者的初衷偏离，需要在算法中考虑诸多的因素。而像“轨道车困境”这样的问题，当被撞的人是孕妇、儿童、老人，还是其他身份，不同文化背景、不同性别、不同年龄的工程师都会有不同的选择。在这种情况下，伦理治理意味着，在设计机器人环节有伦理考量的同时，还要有一个具备社会共识的伦理框架。

三联生活周刊：您主编的《中国机器人伦理标准化前瞻2019》（简称“《前瞻》”），以及英国标准协会颁布的《机器人和机器系统的伦理设计和应用指南》、美国电气和电子工程师协会颁布的《人工智能设计的伦理准则》，都是一种建立伦理标准的尝试。它们之间有何异同？

刘哲：当时命名为“前瞻”，就有“投石问路”的意思，希望能够引起业界、公众的共同关注。我们希望得到广泛认可的伦理标准，是能够反映一段时间内符合社会共识的一种生活模式。

实际上，从《前瞻》出版至今，全球已经形成人工智能以及智能机器人伦理治理共识，颁布了众多伦理文件。除了“不能伤害人”“机器人的透明度”“保护用户隐私”等国际共识外，所有这些伦理要求，处在一个从“人类中心主义”立场到“去人类中心主义”立场的“光谱”之中。

“人类中心主义”意味着伦理价值的载体完全基于人类行为，而“去人类中心主义”需要考虑人与人、人与自然的整体性关系，甚至把智能机器人制品也纳入到整体关系中，考虑它所应承载的价值。我们的《前瞻》提出“优化共生”的方案，属于“去人类中心主义”的立场，这个立场既吸收了近代以来西方伦理思想资源，也结合了儒家的传统伦理。

当我们考虑的是整体的“善”，而“善”在不同时期、不同文化的含义各不相同，所以我们没有给“善”下定义、制定一个单一的规则，而是用纯形式的逻辑，构建了一个框架——由于单一不可能构成整体，故而伦理标准要求“多元”，它既涉及文化的多元，也涉及自然存在物的多元。而整体中的各部分有自己的“空间”，对于“空间”有多大，我们提出的要求是自然。“自然”也没有明确定义，比如机器人的道德身份，随着机器人不断融入人类社会，人们认知机器人的“自然身份”会变动。与此同时，各部分的比例分配则始终需要“公正”，正义的秩序要求根据每一部分在整体中的适配角色，分配它在文化和自然世界中所需要的“空间”。因为“自然”的认知在不断变动，所以“公正”的标准也是动态的。但在变动不居之中，具有整体善的共生系统，又要求每一部分能够各自得到良好的发展，也就是每一部分的“繁荣”。

由此，在《前瞻》里，多元、自然、正义、繁荣，成为构成伦理框架的元向度，我们希望它们像一个“指南针”，进入到任何时代和技术发展阶段，人们都能据此找到特定的伦理标准。

三联生活周刊：既然《前瞻》是一个颇为开放的框架，继续机器人伦理的研究需要哪些资源？如今距离《前瞻》的出版已经过去六年，各个领域落实伦理规范的进展如何？

刘哲：由于智能机器人的复杂性，在高校里首先同一学科内部、学科之间都要彼此沟通。比如仅从伦理学上看，就有古希腊的伦理学和中国传统的伦理学。有学者指出两者都有目的论预设，但古希腊伦理的目的论往往预设一个终极目标，而儒家伦理中生生变化的观念则指向开放的未来，也就是“持续生长、不断延续”的想法，则指向开放的未来。这些伦理观念如何兼容需要研究。而在学科之间，一方面像我们偏重哲学思考的研究人员，至少要能够到人工智能的实验室准确了解技术研发的实际情况。除此之外，高校的研究团队，也要跨界到产业部门和政府部门那里，了解、参与产品的研发、政策的制定。

正因如此，能够让智能机器人伦理的标准细化、落地，在世界范围内都任重道远。一方面，由于智能机器人涉足的场景各异，每个场景都必须有特定的伦理标准，本身就要求庞大的研究团队和细致的研究。另一方面，跨专业的研究团队需要不断扩大，心理、医学等领域的专家都要加入。而跨专业的团队本身也需要制度支撑。比如像前面提到法律责任和道德责任的问题，人们不能只认识到二者的差异，它们之间也有联系，但究竟如何联系到一起，就需要研究者对两个专业都有相当的了解。而只有建立一个平台，提供资金、认定跨学科的研究成果，才能保证这样的研究能够持续下去。

不仅如此，医疗机构有伦理委员会，智能机器人的设计、制造、使用，需不需要在社会层面也有一个伦理委员会？如果需要，如何设定、怎样做伦理认证，这些体系问题都需要思考。甚至，智能机器人产业将涉及全球的治理体系，而人类发展到今天，类似的体系只有两个看似成功，一个是国际金融体系，另一个是国际民航体系。但正如前面所说，空客的伦理敏感度低，而像陪护机器人会面对异常复杂的情况，统一的治理体系极难制定。

所以，目前的《前瞻》仍是一个宽泛的理论框架，我们将更多精力用于培养跨学科的人才上，其他很多国家、地区的规范也类似。

不过，人们对智能机器人的伦理意识也在潜移默化地提升。近两年，许多企业家团体参与人工智能与机器人伦理的讲座和课程。他们反馈说，以往投资时单纯考虑经济利益，现在发现，还要面对伦理价值。像脑机接口这类项目，伦理风险很高，投资时就会谨慎得多。最终人们会思考，是不是实验室里所有的技术，都有必要变成产业？

（实习记者余雯彤对本文亦有贡献） 机器人人工智能人形机器人