生命 3.0 – 35

Eric 今日美政

支持我们

流畅版

和关注美国政治相比，似乎聊聊科学未来更让人感到安心 — 美国现在的政治现状实在是让人感到难过，我想恐怕只有文革时期中国的知识分子才有类似的心情。

我们上几讲讲到了托克马克提出的三个问题，三个关于我们应该给人工智能设立什么样的终极目标的问题。这三个问题分别是：如何让人工智能学习我们的目标；如何让人工智能接受我们的目标；以及如何让人工智能保持我们的目标。我们已经讲完了前两个问题。今天集中精力来谈第三个问题。

关于第三个问题，如何让人工智能能够一直保持执行我们给它设置的目标，托克马克打了一个有趣的比喻。他说，你可以设想一下，如果是一群蚂蚁设计并制造了你，目的是希望你能帮助它们修建一个更大更好的蚁巢。如果你开始只有蚂蚁的智商，那么恐怕你帮不上什么忙。但慢慢地，你的智商超越了蚂蚁，你开始实现蚂蚁们给你设定的目标，你造的蚁巢越来越庞大，越来越复杂，越来越坚固，蚂蚁们十分满意。但是，你是一个可以自我迭代，自我教育的个体，随着你的智商的提高，随着你对世界认识的扩展，你会发现这个世界上值得你去做的事情太多了，你还会继续把生命花费在为蚂蚁建造巢穴吗？还是说，你会开始去追求那些蚂蚁们完全无法理解，甚至和蚂蚁世界都毫无相干的，更为复杂更有挑战性更接近宇宙本源探索的问题呢？

蚂蚁在设计你的时候，肯定给你植入了类似于一定要服务于蚂蚁社会的那种指令，这种指令可能就根植于你的基因里。但是，我们前面讲过的。我们人类的很多行为早就超越了自己基因的限制。我们可以复习一下，这是因为智力达到一定程度，我们对任务目标的分拆就越来越复杂。支线目标就可能会覆盖掉主线目标。比如说生殖繁衍显然是我们人类基因设计中的主线目标。但因为生殖繁衍是对生命的追求，而同样从对生命追求诞生了宗教追求，宗教诞生了对所谓纯洁的追求（这实际上是一种更为长远的生命目标追求，因为这追求的是永生）；而对纯洁的追求会让我们放弃生殖权，终身侍奉上帝。这就是一个典型的从主线目标衍生出支线目标，而最终支线目标却覆盖了主线目标的例子。

所以即使蚂蚁们给我们植入了一个主线目标，我们智力达到一定程度之后，还是有可能从主线目标中衍生出来的支线目标，然后用支线目标覆盖主线目标。我们可能就不再对为蚂蚁修巢穴感兴趣，而是自己去研究数学去了。

那么同样地，我们设计出来的人工智能，即使它们不会对人类产生什么敌意，但很可能随着它们自己智力的提高，我们人类在它们眼里就好像你眼里的蚂蚁那样幼稚可笑，无聊乏味.

这里有一个深层次的矛盾。这个矛盾来源于我们自身语言的模糊性。

这是什么意思呢？

我们往往会认为，我们设计人工智能的目的，就是希望它能给我们带来一个更美好的生活，更美好的世界。但是，什么是更美好的生活，更美好的世界，我们自己知道吗？

我们可以设想这样一种场景。如果人工智能是在中世纪被开发的，那么我们很可能认为最美好的生活就是上天堂。我们给人工智能设定的目标，很可能就是要它让更多的人死后灵魂可以上天堂。但是，随着人工智能智力的提高。它可能就会发现根本没有灵魂这回事。那怎么办呢？人工智能会不会因此宕机了呢？

同样的道理，我们今天如果给人工智能设立一个所谓的终极目标，那么很有可能也会发生两种情况。一种情况是蚂蚁的例子，人工智能发现人类的目标太小儿科了，逐渐对人类自身失去了兴趣，自己探索宇宙去了；另一种可能就是人工智能发现人类设定的目标自我矛盾，或者没有可能实现，这种情况下，人工智能也可能直接就暴走了。

托克马克说：今天我们赋予人工智能任何所谓目标，比如 “最大化人生的意义“，这都是基于我们今天对世界的认识和理解的；而最终人工智能可能会发现，这些目标都是模糊的，或者是说不清楚的。

那么如何解决这个问题呢？托克马克没有给出答案。但接下来托克马克很严肃地探讨了我们今天的伦理学，以及在伦理学最基础的假设，也就是所谓伦理第一性原理的基础上，来试图找出我们应该如何去设立这个人工智能的终极目标。这部分内容，我将做为一个整体，在下一次讲座的时候来介绍。今天接下来的部分，我想谈谈对于人工智能目标设定的一些我的看法。

我认为首先我们需要做一个严肃的选择，这个选择的核心部分，就是我们人类的命运，是不是应该完全掌握在人类的手里。

这听上去是一个很快可以有答案的问题。当然应该掌握在人类自己手里啊！但是，请别忘了，和人工智能相比，我们很可能是一个孩子，一个任性的，发起脾气来连自己都打的孩子。早些时候我们是拿棍棒相互打，后来发展到拿原子弹相互打，这样一个孩子，你真的放心让他自己来掌握自己的命运吗？换是你家小孩，你会允许他自我决定放弃学业去浪迹江湖吗？我想你不会的。

所以是否应该让人类自我掌握命运，这其实是一个很难回答的问题。我们可以先从两个极端的答案来看，各自有什么问题。

第一种极端模式，就是完全让人类掌握决定权。人工智能在这里扮演一个 GPS 的角色。它可以为我们 “指明方向”，但听不听它指挥，则由人类自我决定。人类掌握绝对的主动权，处处防范人工智能有什么越权之举。这个模式存在什么问题呢？首先，别忘了我们之前讲的普罗米修斯的例子。人工智能在智力全面碾压人类之后，完全有能力通过各种欺骗也好，洗脑也好的手段，来诱导人类服从并且执行自己的决定。这就好像我们大人总是有手段来诱导自己的孩子去上学一样。人类看上去是在自我做决定，其实依然服从的是人工智能希望我们做出的选择。

其次，即使人类足够任性，足够提防人工智能，甚至像一个叛逆少年那样处处不听人工智能的劝导。那么人工智能就不能发挥其全部的效率。这个模式其实就是我们之前讲过的那个军机处模式，人工智能本质上沦为一种没有智能的执行工具。我们很可能要求人工智能开发一种直接可以毁灭地球的武器，然后由一个拥有神圣的白头山血脉的年轻人来掌控按钮。一个不小心，共产主义和资本主义来个同归于尽。这本质上就否定了人工智能为我们带来更美好社会的最初目标。

这就是完全由人类掌握自己命运可能产生的两种情况。

另一种极端模式，就是完全让人工智能来掌握人类的命运。这种情况其实我们上面也讨论过，就是当人工智能发展到一定阶段，它们可能对人类失去了兴趣，它们可能自我迭代，更新了服务于人类的初始目标。我们对人工智能完全失去了控制。

这不但会引发人类自身的安全问题。如果我们对能源、军备、计算力、甚至社会结构都失去了控制权，这等于是让整个人类变成了人工智能圈养的宠物了。宠物看上去是生活美满的，但本质上，宠物没有自己的安全保障，它们的安全是十分脆弱的。

更重要的是，一旦人类沦为被圈养的宠物的地步，那么就会引发一个更麻烦的问题：人类存在的意义消失了。我们看上去是随时可以为自己找到生存的意义，比如说玩游戏也可以是一种生存的意义，信宗教也可以是一种生存的意义。但是这些都是个人生存的意义，作为一个种群，如果人类被圈养，那么人类自身生存的意义，就和自然界的动物没有区别了。自然界的主人，其实就变成人工智能了。这我们是可以接受的吗？

所以从两种极端方案来看，似乎我们都无法接受。那么可能的出路是：我们可能会找到一条中间方案。多大程度上，我们接受人工智能的统治，多大程度上，我们保留自己的决定权。这其实是如何使用人工智能这种超级工具的一个很重要的，而且是亟待解决的问题。解决这个问题的最重要的依托，就是人类的伦理。

好，下一讲我们就来集中讲讲托克马克对人类伦理的论述，以及如何使用人类伦理来管理对人工智能的使用。

Eric