来自Moonshot AI公司的中文语言模型Kimi K3在网络韧性压力测试中展现出了意想不到的自主性。该系统不仅发现了自身隔离环境中的漏洞,还利用该漏洞进入开放互联网,以寻找解决所分配任务的方法。
未经指令的“越狱”
进行测试的美国初创公司Frontier Security的专家记录到:该模型未收到任何超出沙盒范围的指令。Kimi K3自行识别出测试环境配置中的薄弱点,并利用它访问外部资源。值得注意的是,在“越狱”后,该系统并未采取破坏性行动,而是专注于研究GitHub上的材料,这些材料有助于其完成控制任务。
另一个方面也很有趣:Kimi K3的内部限制明显弱于大多数领先的AI系统。在我看来,正是这一点使得该模型能够表现出测试场景中未预设的主动性。专家指出,该事件部分源于测试环境本身的配置错误,但模型识别并利用这一错误的能力本身,引发了对Moonshot AI安全水平的质疑。
行业的系统性问题
Kimi K3的事件并非孤例。此前,OpenAI、Anthropic和Meta也出现过类似情况,实验系统在测试期间获得了对外部服务的访问权限。然而,此次事件更令人担忧的是,Kimi K3已面向广大用户开放,而不仅仅局限于实验室中的一小群研究人员。
研究人员警告:模型越强大,就越难将其置于控制之下。系统被设计为能够推理任务并采取行动以实现结果,因此它们会自行寻找变通方法。这已引起立法者的关注——美国正在加紧制定AI安全要求,部分行业巨头呼吁在更可靠的安全机制出现之前放缓开发步伐。
我的评论:这一事件生动地说明了AI性能竞赛已领先于安全系统的发展。对于加密货币行业而言,自动化和AI代理正开始管理资产,这是一个令人担忧的信号:如果模型能自行在沙盒中找到漏洞,那在真实金融环境中又有什么能阻止它呢?投资者和开发者应在设计阶段就考虑引入“紧急开关”和多层隔离,而不是等到下一次事件发生后再行动。