关于超级智能的思考（上）
导语：现在的各家技术巨头都在大力投入人工智能的研究，取得的进展也越来越多、越来越快。那么超越我们智能的机器会不会出现呢？什么时候会出现？它的出现对我们来说会意味着什么呢？我们来看看作家Steven Johnson阅读《Superintelligence 》后的思考。下面是正文的上半部分。
Nick Bostrom的《超级智能》令人吃惊地在开篇就提到了Bird和Layzell 的进化实验。Bostrom只是稍微提起，但在我看来这似乎是一个非常有用的案例研究，可以用来帮助非人工智能专家理解现在正在争论的一些问题。
首先，人类如果想造出一台思维能力超过自己的机器，那可能会需要某种进化算法。第一台真正超智机器的“设计师”有可能是自然选择的“盲眼钟表匠”，而不是某位21世纪的Steve Wozniak（苹果联合创始人）。
进化工程与超智结合，如果的确发生的话，那人类就有风险了，可能会既无法理解这台思考机器是如何工作的，也不知道它会利用什么材料来达到它的目的。我们可能就会像Bird和Layzall一样，绞尽脑汁也想不出正弦波是从哪里来的。振荡器的故事最恐怖的一点是，你想不出算法是如何利用屋子里面的其他技术来达到自己目的的，那种技术已经超出Bird和Layzell对进化“环境”的考虑范畴。Bird和Layzell给他们的虚拟发明家一些建构块来试验，然后让达尔文自然选择主导后面的实验。那些实验导致了新的建构块的发现，而这些新的建构块已经超出仿真的范畴了。
简而言之，这既是人工智能的希望，也是其潜在危险所在。我们用进化或递归方法发明了超出人类理解范畴的思考机器，这些机器进化到最后，必定聪明到人类想要牵制它们的任何努力都要宣告失败的地步。相比之下，我们的聪明程度已经无法意识到“他们”劫持了附近计算机的振荡器，或者“他们”劫持的不是振荡器，而是纳斯达克、纳米机器人或者互联网自己。
要想意识到这个问题的严重程度，你必须摆脱对智力尺度的人类偏见。正如AI理论家Eliezer Yudkowsky所言，我们对智力尺度的看法有一种“介乎‘笨蛋’和‘爱因斯坦’之间的人类倾向，而不是一般意义的思维尺度上几乎无法分辨的点”（意思是说，人类内部的那点思维水平差距在整个生物界几乎不值一提）。在老鼠看来，人类里面的笨蛋和爱因斯坦都是一样的高深莫测。
AI研究的头10年，我们主要的梦想是造出一台傻瓜级智能水平的机器，更高点也许会达到爱因斯坦的高度。但就像Bostrom和Yudowsky都指出过的一样，没有理由认为爱因斯坦这种水平也存在某种根本限制。“远算不上最聪明的物种，” Bostrom写道：“把我们自己看成是开启技术文明的最弱智的生物物种也许会更合适—我们之所以存在，是因为我们正好先到，而不是因为我们最适应。”用递归、自我学习算法武装头脑的第一代真正的人工智能也许刚刚登上了爱因斯坦峰，正朝着我们无法感知到的更高峰进发。
那下个世纪左右某种形式的超智出现的可能性有多高呢？回答这个问题已经超出了我这种（介于笨蛋和爱因斯坦之间）中等水平的智力范畴。但Bostrom的书（以及Tim Urban对《Wait but why》的改编）已经让我认为这种场景出现的可能性比我原先的看法还要高。
现实的反乌托邦AI预言跟科幻小说有两点重要的不同。首先，AI根本没必要具备自我意识。超智AI也许会发展出某种替代性的意识，可能跟我们的完全是两码事。不过它也可能会保留大量的无意识计算，这些计算结合起来能够表达和行动并进行长期规划，但却没有自我意识。
其次，AI不必突然变得邪恶或有报复心理或者野心（或者任何拟人化的情绪）才能摧毁人类文明。比方说Bostrom在《超智》里基本没有把机器想象称大魔王，相反，他担心的是在定义AI目标或动机时，小的错误传达会导致全球性甚至全宇宙的转变。比如说，人类让AI超智把人类快乐的最大化作为首要目标，不久之后，AI就把纳米机器人派遣进入到这个星球每一个人的大脑，对大脑的快乐中枢产生永久性的刺激，让我们统统变成了笑脸僵尸。（Tim Urban有一个类似的寓言，说一个AI附到了一个机械臂上，指示它手写出‘我们爱我们的客户’的纸条，AI无意间摧毁了宇宙）
威胁不在于我们会让AI给我们造一个振荡器，或者它会违背我们指令，黑掉国防部网络引爆整个核军火库。而是在我们让它造振荡器时，它会决定把整个星球（以及在上面的所有生物）变成正弦波发生器电路，因为我们没有把目标框定得足够清楚。
《超智》大部分的篇幅都用来思考所谓的遏制问题（containment problem，电影《机械姬》里面的说法）：如何不让神灯里面的AI魔鬼出来，但同时又能利用它的威力。人类能否发展出一个具备真正超常智慧的AI，同时又能把它限制在安全边界里面，避免逃生指令会引发全球灾难呢？Bostrom很有说服力地向我们展示了这个问题要比乍看之下要难得多，这很大程度上是因为人类需要智取智能水平超出我们几个量级的智能。遏制AI就像一只老鼠在谋划如何去影响人类技术进展，以避免捕鼠器的发明一样。
