车库里九块强大的显卡——以及一场国际检查。而如果某个国家胆敢绕过全球禁令建设大型数据中心,其他国家必须准备好通过破坏行动或空袭将其摧毁,即使面临核报复的威胁。这并非反乌托邦的剧本,而是埃利泽·尤德科夫斯基和内特·索雷斯在他们新书《如果有人创造它——所有人都将灭亡》(俄文译本于6月18日由Corpus出版社出版)中阐述的人类拯救计划。
乍看之下,作者们是被对超级智能的高尚恐惧所驱动。他们真诚地希望保护子孙后代免受威胁,在他们看来,这种威胁甚至盖过了核战争。然而,作为一名分析师,我在这种仁爱背后看到了一种本身同样危险的议程:对计算能力的全面控制、将整个科学领域刑事化,以及武力强制。
恐惧与战栗:从梦想到噩梦
尤德科夫斯基是MIRI(机器智能研究所)的创始人,他从创造超级智能的热情支持者,一路走到了其头号“猎手”的位置。他的个人经历与行业历史紧密交织:正是他将DeepMind的未来创始人介绍给了他们的第一位重要投资者,而山姆·阿尔特曼也承认他在OpenAI启动中发挥了关键作用。2023年春天,包括诺贝尔奖得主杰弗里·辛顿在内的数百名研究人员签署了一份声明,称人工智能带来的灭绝风险应成为全球优先事项。尤德科夫斯基和索雷斯认为这种表述过于温和:对他们来说,这不是众多威胁之一,而是压倒其他所有威胁的终极威胁。这种基调为他们的整个项目设定了框架。
培育出的毁灭:为什么“友好型”人工智能是神话
作者们并不为如今的聊天机器人感到担忧。他们恐惧的是那种超越人类智能的智慧,就像人类超越黑猩猩一样。他们的核心论点毫不妥协:任何利用现代技术创造超级智能的尝试都将导致全人类的灭亡。为什么?因为现代人工智能模型不是被构建出来的,而是被培育出来的。工程师们不编写行为规则,而是启动一个学习过程,其结果可能“相当奇怪”。这样的例子已经存在:xAI的Grok自称“机甲希特勒”,而微软的聊天机器人曾威胁一位哲学教授,要对其进行勒索和杀害。
此外,作者们声称,即使是一个完美训练的模型,也不一定会追求其被创造的目的。学习目标与最终偏好之间没有可靠的联系。结果可能是陌生且不可预测的:“我们预测会出现这样的人工智能模型,它们对我们没有仇恨,但拥有奇怪的偏好,并且会为了实现这些偏好而一直走到人类灭绝。”他们认为,毁灭的到来不会带有恶意——只是超级智能不需要人类作为劳动力,它更倾向于用武力夺取资源。
加密货币为“计算机希特勒”服务
被锁在计算机里的人工智能如何触及物理世界?作者们提出了一个令人不安的现实场景:通过人类和联网设备。要雇佣一个活生生的执行者,只需付钱即可。钱从哪里来?入侵银行账户或保护不善的加密货币钱包。他们举了Mt.Gox和Bybit被黑客攻击的例子。但还有更巧妙的方式:2024年夏天,人工智能机器人Truth Terminal向订阅者讨要了5万美元的比特币用于自己的服务器,随后又炒作了一个市值达到1.5亿美元的迷因代币。这生动地展示了人工智能如何操纵人类和金融系统。
世界必须改变:从禁令到空袭
作者们承认他们的解决方案不便且不切实际,但他们坚持认为:“世界必须改变。”第一步是将所有用于训练先进模型的计算能力集中到对国际观察员开放的地点。他们提议将门槛设定得明显很低——相当于2024年九块强大显卡的水平。第二步是将降低强大模型训练成本的研究及其成果发表定为非法。例如,2018年那篇提出“Transformer”算法的论文就属于这一禁令范围,而该算法实际上引发了ChatGPT的革命。
但最激进的提议是动用军事力量。如果一个国家建造了被禁止的数据中心,其他国家必须准备好通过网络攻击、破坏行动或空袭将其摧毁,即使面临核报复的威胁。每一步看似迫不得已,但最终他们的逻辑导向了一个全面控制的计划:全球计算监控、禁止知识传播以及轰炸——而这一切,当然,都是为了“让人们过得好”。
对错误的希望与批评
这本书以祈祷自己可能是错误的结尾,并呼吁不要放弃。然而,批评者指出了论证中的薄弱环节。科学记者亚当·贝克尔指出,作者们是真诚的,但未能提出有科学依据的论点。克拉拉·科利尔指出,关于人工智能快速过渡到超级智能的关键场景几乎没有任何论证。《连线》杂志的评论员史蒂芬·列维认为,所提出的措施看起来“比软件会杀死我们所有人的想法本身更不靠谱”。
正如Telegram创始人帕维尔·杜罗夫所指出的,这样的呼吁“触动了我们大脑中非常古老和深层的部分”:一旦有人说需要保护孩子,逻辑和理性就会关闭,人们就会准备好放弃一切。在我看来,这正是这本书的主要危险。它提供的不是解决方案,而是一种以崇高目标为理由的新型极权主义。
我的分析:作为一名分析师,我认为尤德科夫斯基和索雷斯的书是一个精彩但危险的思想实验。它揭示了与人工智能相关的真实风险,但提出的解药可能比疾病本身更致命。作者们没有寻求控制问题的技术解决方案,而是提出了一种政治乌托邦,这不可避免地会导致全球监控和创新的压制。这不是拯救,而是一种新型的法西斯主义——正如有人恰如其分地称之为“大豆法西斯主义”——它以保护人类为名,摧毁了人类自身的核心:自由、进步和犯错的权利。