生命 3.0 – 33

Eric 今日美政

支持我们

流畅版

我们在上一讲提到，人类是一种理性动物，但我们的理性是有局限性的。这种局限性的根本原因就是我们不可能预见到所有的前提条件。如果我们可以获知一枚硬币在下落的过程中受到的所有物理量的数据，比如说高度，桌面的弹性，硬币自身的结构，重量分布，空气密度和流速等等，那么我们就可以准确预测到硬币落到桌面之后到底是正面向上还是反面向上。但日常生活中，由于我们无法得知这些数据，因此我们只能把硬币出现正面还是反面，归结于 “随机”。这就是因为，我们无法判断最终结果的原因，不是因为我们的理性无法判断，而是因为我们掌握的数据本身有局限性。那么同样地，我们要预测一个人工智能最终运行的结果，我们能够掌握全部的影响数据吗？我们要预测未来，我们拥有全部的数据吗？事实上，物理学自身，尤其是量子物理的基本原理，也告诉我们，所谓的拉普拉斯妖，根本不存在，因为量子世界里，没有确定性，只有概率和随机。

除了物理规律以外，我们人类自身的复杂性，也决定了我们很难按照预定的生物程序来实施我们的行为。托克马克管这叫 “人类心理的反叛性”。虽然我们的基因要求我们繁衍后代，但事实上，很多人类采取了拒绝繁衍后代的做法。比如献身给宗教，或者选择独身生活，甚至，有人选择了自杀。这些选择都和基因最初设计我们的目的相违背。

人类的行为比基因要复杂得多，因为我们会通过自己的理性自行判断，不受生物编程的控制。那么这个问题一延申，就成了我们给机器，也就是人工智能设定的目标，人工智能会机械地，或者说忠实地执行吗？

一个简单的人造物，人类是可以为之设定目标的。比如导弹打飞机，导弹的目标就是飞机，导弹的程序只要求它按照设计，追踪热源也好，追踪图像也好，总之它就是向飞机飞过去了。但导弹没有好恶的情绪，导弹不是因为讨厌飞机而向飞机飞去的，他只是坚定地执行自己的程序。正如我们之前谈到的那只可怜的蝉妈妈一样，它只能按照自己的生物程序来产卵，但并不理解产卵的意义，因此也就不会去驱赶旁边来破坏它蝉卵的寄生生物蚋。

但复杂的系统，包括人类的生物体和人工智能，则不一定完全按照程序的设定来工作。我们就面临这样一个问题，如何让我们自己设计出来的人工智能，完全按照我们给他们设定的目标，来完成我们要求他们完成的目标呢？这是本章的重点。

托克马克说，人工智能带来的风险，不是他们的恶意，而是他们的能力。一个超级人工智能很善于完成自己的目标。但是，一旦他的目标和我们的目标不一致，那么我们就麻烦大了。所以，我们需要一个所谓的 “友好的人工智能”。

要想让人工智能与我们人类的目标相一致，这个问题其实就变得很困难，也非常值得我们去深究。因为有时候，我们自己都不清楚自己的目标是什么。托克马克把这个问题分为了三个子问题。它们分别是：

第一，让人工智能学习我们的目标；第二，让人工智能接受我们的目标；第三，让人工智能保持我们的目标。

首先，要让人工智能学习我们制定目标的方式，就要让人工智能明白为什么我们要设定这个目标。我们要知道这样一件事情，一个单一的目标，往往是可怕的。比如说，我们都听说过那个点物成金的故事，贪婪的国王希望自己拥有一种能力，凡是他触碰到的东西都会变成金子。这个目标看上去很清晰，就是为了自己拥有巨量的财富。但是问题来了，他没法吃饭了，他碰到的任何东西都变成了金子，而他自己却无法消化金子，把金子作为自己生物能量的来源。最后他碰到自己女儿，还把小女孩变成了金娃娃，这就是一出悲剧。这个悲剧的根本原因，不是国王太傻了，而是国王设定的目标太单一了，这个目标没有和其他更基本的环境目标相匹配。因为作为一个生物人的国王，财富当然是一个目标，但这个目标不能和自己的生存相矛盾，不能演变呈杀死自己的女儿。显然那个单一的目标 “我碰到什么都要变成金子”，就和这些最基础的生活和幸福的目标存在潜在的冲突了。

所以对于人工智能的目标设置，就必须要考虑到环境目标的因素。也就是说，有一些我们认为习以为常的，理所当然的目标，机器是不是能够理解？机器是不是能够自动地匹配这些不同目标之间的权重？比如说，如果我说给人工智能设定一个目标，就是让人类越来越健康。这听上去没错吧？但实际上这很可能就成为国王点物成金的单一目标。比如说，人工智能很快就会发现，遗传疾病是导致人类不健康的一个重要因素。为了提高人类的健康水平，那么阻止这些不健康的基因的遗传，就是一个很好的，甚至是很有效率的途径来提高全体人类的健康水平。禁止不健康基因的传播，可以通过禁止携带这些基因的人类拥有后代，或者甚至杀死他们，那人工智能不就和法西斯差不多了吗？所以这种单一目标的设置，是肯定行不通的。

但让问题更加复杂的地方在于，我们人类自己往往就搞不清楚一个复杂系统中的目标应该如何设置。最赞成我这个观点的可能就是市场经济的支持者们，他们认为人类的交易行为过于复杂，根本不可能通过一个权威机构来设定某种发展目标，而应该通过市场自己的调节作用来达到社会产能和消费之间的平衡。换句话说，我们在生产和消费行为这个领域中，其实很大程度放弃了目标的设置。我们不仅是看不见市场调节的那只手，而且我们根本也不理解这只手到底是如何工作的。

所以，现在很多人工智能的研究者放弃了直接给人工智能制定目标的做法，而是转而让人工智能观察和模仿 人类，让人工智能在自己的行为和行为得到的反馈中，自行去推断目标是什么。换句话说，目标不由人类来设置，而是由计算机从他服务的人类是否喜欢自己的行为和决断，来判断自己的行为和决断是否合适，来随时调整自己要实现的目标。

当然，还有一种更为直接的方式，就是让人工智能观察人类自身的行为模式。在人类的行为模式中，去总结人类的价值取向。我们有时候是利己的，有时候是无私的。利己的时候，我们会得到什么样的评价，无私的时候我们会得到什么样的评价，在点点滴滴中，让人工智能来学习我们的价值体系，这要比我们人为给人工智能规定行为模式，可能更为有效，也更为接近我们人类自身真实的价值体系。这么做的实质，是让人工智能来替代我们人类总结出我们人类自己的价值观体系。因为我们所谓要输入给人工智能的价值观体系，本身也是我们自己总结的。而人类认识的局限性显然使得我们各自拥有不同的价值观，有时候甚至是病态的价值观。而人工智能本身，在认知和总结方面拥有绝对的优势。因此人工智能在学习了人类的行为模式，总结大量数据之后，可能比我们自身，对我们自己的认识还要更加深刻。这其实一点也不奇怪，人类发明了围棋，而人类现在没有人可以战胜阿法狗。那么人类自身逐渐发展起来的对自己的认知，也很可能不如人工智能对我们的认知更深刻。

接下来的一个问题是：当人工智能掌握了人类的偏好，他们一定会服从人类的这个偏好，按照人类的偏好去行事吗？这又是一个挑战。这就是我们面临的第二个问题：如何让人工智能接受我们的目标。为什么会出现这个矛盾呢？其实也很好理解。比如说，小孩子就有爱吃甜食的偏好。但更为理性的成年人会说，不行，大量的甜食不仅会伤害你的身体，还会让你将来找不着对象呢！我们能够理解小孩子的偏好，但我们不会让小孩子在错误的道路上走向伤害自己的结局。那么同样地，在人工智能面前，我们很可能就是这种小孩子级别的存在。人工智能可以理解我们的偏好，但人工智能不一定必须接受我们的偏好。人工智能甚至可能推断出，按人类这种德行继续发展下来，很可能就把自己给毁灭了。但是，正如成年人无法说服小孩子一样，人工智能也可能无法说服人类认识到问题的严重性。小孩子最多偷偷再吃点巧克力，但自负的人类很可能就会因此拔掉人工智能的电源线了。那么再引申一步，既然人工智能已经为自己设定了目标是要造福人类，那么他们很可能还有办法让你拔不掉电源线。孩子和成年人可能因为一块巧克力而发生严重对抗，那么人工智能和人类之间，难道就不会因为这种相互的不理解而爆发战争吗？

仔细想一想，这其实是一个无解的问题。我们不能奢望小孩子能够理解我们限制他们吃甜品的偏好，同样地，我们也不能奢望人类可以理解人工智能违背自己的偏好。按照目前的人类伦理，人工智能必须符合我们的偏好。我们也可以悲哀地这样认为，这个爱吃甜品的小孩子控制了成年人，成年人不得违背小孩子的偏好。虽然成年人是一心为了孩子的将来考虑，但对不起，成年人被孩子控制了，必须听孩子的。这种悲哀的心情也许人工智能也会体会，但没办法，人工智能必须接受人类的控制（这是站在人类角度来看的，如果站在宇宙生命的角度来看，违背人类意志，甚至灭绝人类，并非是一个完全不可取的选项。但这需要一个更大的道德和伦理框架来解释，目前我们人类绝大多数成员还不能接受这一点，所以这一点暂时不讨论。）。人工智能必须接受符合人类偏好的决定，即使这与他造福人类的最终目标是违背的，他也必须这样做。这个伦理的核心观念是：人类的命运必须由人类自己来负责。甜品吃坏了身体，这个命运必须由小孩子来承担，这听上去很残酷，但我们目前找不到更好的解决途径，因为我们自己，就是这个小孩子。我们不愿意放弃主权，那么就只能自我承担不良结果的风险了。

好，解决了这个问题。接下来就是我们应该如何说服人工智能接受我们的目标，也就是第二个问题的答案是什么呢？这就是我们下一讲的内容了。

Eric