漫谈《西部世界》中的情、理、法

科幻连续剧《西部世界》海报。 资料图

有人预测，我们不久就能看到一个诸如西部世界般的疯狂乐园出现在我们的现实社会中，机器人的报复也将随之而来。阻止此类事件的发生，或许是法学及法律人涉足人工智能领域的意义所在

冯子轩

《西部世界》改编自迈克尔·卡莱顿的同名小说，故事发生在未来世界的一座以美国西部世界为主题的成人乐园中，讲述了为人类游乐提供服务的机器人自主意识和思维的觉醒，进而反抗人类并引发失控的科幻故事。

《西部世界》同名电影于1973年上映，当时就引发了热烈反响。2016年，该小说被拍成科幻连续剧。虽其并未摆脱好莱坞大片“机器人意识觉醒反击人类”的老套路，但由于恰好与当下机器人工程、人工智能技术突破性进展以及争议不断的时代背景高度相关，因此引发了观看热潮，并迅速成为世界性、现象级的神剧。

风险来临：人工智能的多重面孔

1956年，美国计算机科学家约翰·麦卡锡和他的同事最早提出人工智能(Artificial Intelligence，以下简称AI)概念，指出“让机器达到这样的行为，即与人类做同样的行为，可以被称为人工智能”。在随后的60多年时间中，人工智能曾经经历了三起三落，兴起与低谷常伴。

在2016年，阿法狗打败李世石和柯洁以前，多数公众对于AI的印象可能还仅仅停留在诸如《西部世界》之类的科幻电影中。但近年来，随着网络、云计算、大数据、深度学习技术的突破，人工智能发展迅猛异常。

当今的人工智能技术以机器学习为核心，在视觉、语音、自然语言等领域迅速发展，并开始进入到具体的应用场景中，包括自动驾驶、虚拟助理、研究和教育、金融服务、医疗和诊断、设计和艺术创作、法律、社交陪伴、服务业和工业，展现出广阔的发展前景。《西部世界》展现的成人主题乐园，也是其应用场景的一个表现。

但是，当前人工智能技术发展仍处于弱人工智能时代，即仅具备狭义的专业领域人工智能能力，与《西部世界》所展现的强人工智能相去甚远(强人工智能，又称通用人工智能，具备处理多种类型任务和适应未曾预料的情形和能力)。目前，科学界对于强人工智能何时实现并无定论，多数技术专家和业内人士认为，强人工智能在2045年之前不会实现。

人工智能的威胁，最著名的当属马斯克发表的“AI威胁论”，他认为AI有可能成为人类文明最大的威胁，呼吁政府迅速采取措施监管AI技术。与之相反，扎克伯格、李开复等多位业界人士表示人工智能对人类生存威胁尚且遥远。

这些辩论实则代表了当前公众与专业人士之间、技术研发人员与社科研究人员之间对人工智能基本认知方面的巨大鸿沟。当前，计算机或机器人正在逐渐成为某种具有一定自主性的能动体，原本只能由人类完成的各项工作开始被计算机接手，由机器来完成，例如开车、翻译、文艺创作等。

决策让渡于机器蕴含着人工智能的决策选择优于人类的经济动因。事实上，近年蓬勃发展的机器人产业，已经对人类社会产生了越来越深远的影响。例如，自动驾驶场景中，依靠人工智能、视觉计算、雷达、监控装置和全球定位系统协同合作，电脑可以在没有任何人类主动的操作下，自动安全地操作机动车辆。

另一方面，这一切都是建立在机器人会听从人类指挥，心甘情愿为人类服务的基础上。如若人工智能变得足够聪明，如同《西部世界》中所上演的那样不愿意再听从人类命令，甚至要夺取人类的统治权，那人类发展人工智能岂非玩火自焚?

阿法狗打败李世石和柯洁使得这种担忧迅速蔓延，或许我们还可开玩笑称关掉机器人的电源，人类依然能够立于不败之地，但当前机器人却也在朝着自主保证能源供给的方向发展。

正如波斯特洛姆提出的曲别针思想实验那样：如果一个人工智能被设置为工厂生产管理，其最终目标是使曲别针的产量最大化，那么，人工智能很可能具有无法满足的胃口，去不断地获取物质和能力，走上首先将地球、然后将整个可观察宇宙的大部分都变成曲别针的道路。

纵然，当前很多技术研发人员认为人工智能超越人类是杞人忧天，但需要注意到的是，科学家在很多时候并不能充分理解科学技术在未来的发展程度以及其发明的科学技术的具体应用。典型如核武器，其在发明后是否使用以及如何使用不能为发明它的科学家所决定。

同样，认为人工智能发展仅会停留在弱人工智能时代的观点似乎同样站不住脚。提姆·厄班提出了科技发展在时间维度上呈加速度趋势的观点——两百年前的人无法想象今天的社会发展程度，正如今天的人无法想象两百年后的科技发展程度一样，时间跨度越大，科技代差越明显。所以，没有人知道奇点会不会来、何时会来。

在人工智能未来风险处于不可完全认知，风险评估及成本效益分析等规制手段可能不完全有效的情况下，人工智能技术发展的风险规制应成为社会治理中重要环节。此外，即便于弱人工智能时代，机器人在决策与行动自主性上也有脱离被动工具的可能性;在放任自由的情况下，其判断和行为未必完全符合人类的价值观、道德观以及法律规范、伦理规范等。

《西部世界》中的惊悚场景离我们很远，但当前伴随着人工智能技术发展的隐私泄露、算法偏见、算法黑箱、归责困难等风险已为人们所逐渐觉察。

应对之一：机器人也有伦理

《西部世界》中有段对白：“我们一脱离现实世界，你就变成一个邪恶的混蛋了。”这在某个层面隐喻了人性的弱点，人类至今取得的辉煌成就有赖于集体创造的道德伦理、法制社会的束缚。随着机器智能的崛起，人类社会对人工智能的道德伦理约束业已提上日程。

早在1942年，阿西莫夫便在其小说《环舞》中提出了著名的“机器人三定律”，提出了机器人伦理思考：第一定律，机器人不能伤害人类，不能袖手旁观人类受到伤害;第二定律，机器人应当服从人类命令，除非该指令与第一定律相悖;第三定律，在不违背第一和第二定律的情况下，机器人应保护自身的存在。此后，阿西莫夫对三定律进行了修正，提出第零定律，即机器人必须保护人类的整体利益不受损害。

2016年8月，联合国世界科学知识与科技伦理委员会发布《关于机器人伦理的初步草案报告》，认为机器人不仅需要尊重人类社会的伦理规范，而且需要将特定伦理规范写入机器程序中。欧盟亦提出所谓“机器人宪章”，即人工智能研究需遵守诸如人类利益、正义、基本权利、包容性、可责性、安全性等伦理准则。将“道德代码”嵌入人工智能程序的呼声越来越强。

然而需注意的是，即便不谈技术上的困难，单从人类自身的角度而言亦难以达成关于伦理准则的统一标准。社会建构意义上的伦理法则并无贯之以四海皆行的意味。

例如，“机器人宪章”中所提及的“正义”“人类利益”等字眼便无法提取其最明确的内涵。不同社会、不同时代的正义观念以及利益取向有所不同，即便处于同一时代同一社会，亦不能将某一行动一概归为“正义”或“人类利益”。何况诸如电车难题等道德困境的存在同样无法忽视。此时，无论是功利主义抑或是绝对主义的行动准则似乎都无法被称为“正义”或都可被称为“正义”，在这种即便是人类也无法作出正确行动的情况下，如何妄想机器人能够设定正确的行动程序呢?

另一个有意思的问题就是价值对接问题，即机器人的行动真的就是你想要的吗?机器人帮你打扫屋子，但是可能扔掉了你最喜欢的旧雨鞋。它履行了自己的义务，但由此造成的结果却不是你想要的。

这种设定性矛盾看起来似乎并不少见，机器人对指令的理解更可能是五花八门。这使得为人类自身便利而设计出来的机器人最终使人类无时无刻不处于风险之中。诸如此类的问题还有很多，单纯期待依靠内涵宽泛、冲突且难以具化的伦理法则嵌入人工智能的程序似乎并不是万全之策。

应对之二：法律人的方案

人类拥抱科学和理性的过程不是一蹴而就的，法律习惯于对社会技术的发展做出相对滞后的回应，但在AI领域，我们需要作出具有前瞻性的立法布局，这是全世界需要共同面临的法律难题。

尽管各国关于人工智能立法均呈现分散化的特点，但针对人工智能法律责任及潜在风险方面均作出了积极的立法尝试。

如，德国在2017年通过自动驾驶汽车法案，制定了诸如自动驾驶汽车须安装“黑匣子”以及“司机必须始终坐在方向盘后”等规则;欧盟于2016年发布《欧盟机器人民事法律规则》。

针对公众普遍关注的隐私泄露问题，欧盟颁布了被称为史上最严格的关于数据保护的《欧盟一般数据保护条例》(GDPR);美国、日本、韩国等也对现有的个人信息保护立法展开修订工作。我国也于2016年通过《网络安全法》，要求网络运营者应当对其收集的用户信息严格保密，并建立健全用户信息保护制度。

在算法歧视的问题上，欧盟数据保护委员会发布《应对大数据挑战：呼吁通过设计和可归责性实现透明性、用户控制及数据保护》，提出警惕大数据对穷人及弱势群体的歧视。美国国会为避免在刑事司法程序中出现诸如“黑人较白人更易犯罪”等算法歧视，正积极推动《量刑改革法案》，引入“犯罪风险得分”。我国刚颁布的电子商务法亦有“电子商务经营者根据消费者的兴趣爱好、消费习惯等特征向其推销商品或者服务，应当同时向该消费者提供不针对其个人特征的选项，尊重和平等保护消费者合法权益”的规定。

凡此种种立法努力，为此后人工智能技术发展赖以存在的法律环境铺平了道路。

另一个有趣的问题是，《西部世界》中人类肆意杀戮机器人，这似乎提醒我们思考，机器人的权利是否需要保护?即使在当前工具意义的机器人状态下，是否需要赋予其最低限度的道德权利，如人类不能利用其主导地位对机器人进行肆意虐待?当机器人出现意志时我们又该如何对其定位?当前有学者提出的应当对机器人进行征税以补贴因机器人而失去劳动岗位的人的意见，是否可行?这些都是伴随着人工智能技术发展而抛给我们的新问题。

西部世界乐园是一个在法律和戒律之外的试验场，在这个试验场中人类可以进行他们最疯狂的放纵而不受指摘与处罚。或许对某些人而言，这是人工智能的一个绝佳用处。甚至有人预测，在10年、20年后我们就能看到一个诸如西部世界般的疯狂乐园出现在现实社会中，而无人对此感到不适，但机器人的报复也将随之而来。阻止此类事件的发生，或许是法学及法律人涉足人工智能领域的意义所在。

(作者系中国社科院法学所博士后研究人员、西南政法大学人工智能法学院副教授)

责编：高恒涛