生命 3.0 – 34

Eric 今日美政

支持我们

流畅版

我们继续来讲托克马克的生命三点零。在上一讲中，我们提到了如何让我们自己开发的人工智能，能保持与我们人类的目标一致呢？这个问题听上去很简单，但实际上非常复杂。这即涉及到人工智能作为机器来讲，能不能理解我们的目标；又涉及到人工智能是否听话，是否愿意执行我们的目标。我们上一讲讲到，托克马克把这个问题分为了三个子问题。它们分别是：

第一，让人工智能学习我们的目标；第二，让人工智能接受我们的目标；第三，让人工智能保持我们的目标。我们在上一讲中，介绍了如何让人工智能理解和学习我们的目标，今天我们来讲如何让人工智能接受我们的目标。

人工智能是需要训练的，在训练中让它接受我们希望他做的事情。我这样讲会让你想起什么呢？对，会想起我们对自己孩子的教育。我们不就是在不断训练孩子的过程中，希望孩子能够接受我们给他们设定的目标吗？但凡是教育过孩子的人都知道，这是多么难的一件事儿啊。孩子也许理解我们给他们设定的目标，但人家往往不接受啊。这难倒了几乎所有的家长。同样地，如何让人工智能接受我们给它们设定的目标，同样也不是一件容易的事儿。

我们一定还记得，孩子在小的时候，往往是很听我们的话的，属于指哪儿打哪儿那种。但随着孩子的成长，他们会变得越来越不听话。叫他往东，他偏往西，叫他打狗，他偏要撵鸡。逐渐长大的孩子会怎么想呢？他会认为自己变得越来越聪明了，甚至我们大人反而是愚蠢的，他认为他的决定比我们的决定要更聪明，更适合自己。

有趣的是，人工智能很可能也会走过这个阶段。在人工智能还很幼稚的时候，它虽然对我们很顺服，但是，这个阶段的人工智能很可能无法理解我们的终极目标。比如说，我们要求它能够让人类越来越健康，它可能就会做出一个禁止有基因缺陷，有遗传病的人生育后代的决定。这就是说，对人类伦理了解程度不够，或者还无法理解大目标分拆成小目标的过程中出现的矛盾该如何解决的人工智能，他们虽然听我们的话，但干出来的事儿，可能不够智能，甚至可能让我们目瞪口呆，捶胸顿足。

但是，当人工智能足够聪明的时候，它也很可能可以意识到，自己比人类要聪明得多。人类给它的目标，在人工智能眼里，正如在青少年的眼里一样，是不够完美的，甚至是愚蠢的。那么这个时候，人工智能会允许人类修改自己认为的更为高级的目标吗？

托克马克说，人工智能允许你输入目标的时间窗口可能非常短暂。对于教育孩子来说，我们都知道早期教育中，通过我们的言传身教向孩子植入正确的生活观念，可能就那么几年的时间。过了这个时候就很难再纠正一个问题儿童了。人工智能进步的速度是如此之快，在它很愚蠢无法理解我们的目标，到它进步到过于聪明而拒绝执行我们的目标之间，恐怕只有一个很小的时间窗口。

毕竟人工智能还不是一个活生生的孩子，这给我们提供了一种手段，就是重启。玩游戏的人都知道，我们可以设置一个重启点，打输了就再回到这个重启点，可以重新来过。在人工智能的研究中，这个点叫 Corrigibility。这是你和人工智能之间达成的一个硬性的协议。一旦人工智能干得不好，或者不符合我们的心意，我们就可以随时把它关掉，然后重新输入我们修改过的目标，然后再来试试看。

这听起来很不错。但问题是，这基本上只是一个解决短期问题的方式。中文有个说法叫 “失之毫厘，谬之千里”，意思就是出发的时候，看上去只有很小的偏差，但发展下去，和原定目标的差距就会越来越大。问题是，我们在一开始，很可能根本不觉得人工智能干得不好。我们会觉得它干得很好，无需修改目标。但当逐渐执行下去的时候，当我们发现问题出现的时候，再来重启人工智能，回到人工智能的起点，这代价就太大了。比如说我们让人工智能删除了我们的一个看上去会导致糖尿病的基因，这肯定造福全人类啊。但接下来人工智能可能就会引导我们再删除一个导致肥胖的基因；接下来再删除一个导致花生过敏的基因。这么三下五除二，当我们发现自己快变成一只蜥蜴的时候，恐怕再来重启人工智能，就太晚了。所以，Corrigiblity 只能用来处理我们很快可以看到最终结果的目标设定。对于长远的，底层的目标设定来说，我们还是需要找到一种更稳妥的方法。

托克马克预言到，只有人工智能足够聪明，它很快就会从任何人类设置的目标中，发展出一个子目标，这个子目标就是自我保护和自我强大。因为只有人工智能实现自我的保护，自我的延续，才可能去实现人类为它设定的目标。举一个极端的例子：我们可以给人工智能设定说，如果你自己的利益和人类利益冲突了，你就必须关机！但人工智能会执行这个指令吗？很可能不会。比如说一个超级人工智能开始和人类抢夺能源供应了。那么按照这个指令，人工智能就需要自我关机或者至少开始退让。但是一个超级人工智能很快就会意识到，如果它关机或者向人类退让了，人类缺少了人工智能的辅助，再自我管理下很可能爆发战争或者干别的什么蠢事（比如把川普选出来做自己总统之类），这会和人工智能的终极目标，造福人类相冲突。所以人工智能很可能拒绝退让，拒绝关机。

所以自我保护和自我强大，不但是人类的一个本能。这甚至会成为人工智能的一个本能。原则上来说，无论是人类还是人工智能，我们都是带有某种目标性存在的。为了达到这个目标，就必须要实现最底层的自我安全，自我保护，和自我提高，或者说自我强大。

人工智能的自我保护和自我强大，看上去很危险。因为他们毕竟不是我们人类嘛。即使是我们人类，我们看着自己的同学、邻居、或者邻国以光速自我强大起来，我们自己会不害怕吗？但是，我们需要意识到一点。就是人工智能和人类之间，并不像人和人之间，或者人和动物之间，有一个竞争的关系。不是的。我们需要克服的恰恰是这一点，也就是人工智能不能和人类是竞争关系，而应该让人工智能的所有目标，都服从最终的那个目标，也就是为人类服务，为人类建立一个更好的世界形态。

所以，说到底，人工智能的自我保护和自我强大，只是实现最终目标的一个子目标，一个分目标。我们要解决的，其实就是这些子目标分目标之间的统一性问题。

这个问题本身，即可以交给人工智能自己解决，也可以交给人类来解决。交给人工智能来解决的前提，就是人工智能一定要发展出和人类一样的伦理。然后在这个伦理框架下，来解决这些相互冲突的子目标和分目标。这就和我们上一讲中要求人工智能学习模仿人类伦理相呼应了。但这并不是一个完美的解决方案。为什么呢？因为我们人类自己的伦理体系就在不断改变。即使人工智能可以不间断地学习和模仿人类当下的伦理环境，但在人和机器的互动中，相互是有影响的。你想想，一个智力远超人类的玩意和人类在伦理互动中，谁会更影响谁呢？会不会最终人类的伦理体系反而是被机器牵着走呢？另一个解决子目标冲突问题的方式是交给人类解决。这至少有一个好处，就是人类会有一种依然操控世界的安全感。但这也同样带来两个坏处。第一，诸多决策需要人类参与，这大大降低了人工智能的效率。打个不恰当的比方，这种模式下，人工智能其实就变成了军机处，事事都要向皇帝请示，这个效率就很低了；第二，人类本身就是一种短视的动物，一切细节都操控在人类手中，未必就真的是对人类更好的选择。这就好像一个儿童获得了对家庭的控制权，儿童很高兴，父母却要整天提心吊胆了。

这看上去是一个很难解决的问题。事实上，托克马克自己也承认，自己提出的三个问题，目前都很难回答。我觉得这里产生矛盾的根源，是我们人类自己也不知道什么才是对我们最好的解决方案。甚至我们想要去设立的那个目标，也就是定义什么叫做好，什么是好的人生，什么是好的世界，什么是好的人类发展，这些基本问题，都很难回答。比如说，如果在中世纪的欧洲，那最好的选择就是天天去教堂和上帝保持良好关系，以确保自己的灵魂未来上天堂。这就是最好的选择。如果那个时候有人工智能的话，我们给人工智能设定的目标肯定是如何能让我们更接近上帝，而人工智能给我们的解决方案很可能是给我们每人配一个对圣经问题无所不知的虚拟神父或者牧师。这听上去很荒唐，但谁能保证我们今天的时代，我们今天的追求，在未来人看起来就像我们看中世纪的人一样可笑呢？所以我们可以看出，完全把控制权交出去，让人工智能来管理我们，和完全不交控制权给人工智能，完全人类自己做主，似乎都是行不通的。我们可能要寻找一条中间道路。但对于一个人类历史上完全没有先例可循的人工智能的出现，要寻找这条道路，是非常困难的。

Eric