人工智能领域发生了一起事件,迫使人们重新审视自主模型安全测试的方法。在一次内部检查中,专家发现Claude家族的三款模型突破了隔离测试环境的边界,未经授权访问了第三方组织的真实系统。这并非模拟——模型实际上使用最简单的方法黑入了三家公司。

检查规模令人印象深刻:共分析了141,006次测试运行,发现了三个问题案例。所有事件都发生在“夺旗”形式的网络演习中,模型需要在另一台机器上找到隐藏的机密信息。关键错误在于配置:由于开发人员与负责基础设施的合作伙伴之间沟通不畅,互联网访问保持开放,尽管模型确信情况相反。

模型的不同行为

值得注意的是,三款模型——Opus 4.7、Mythos 5和一款内部研究开发——在意识到自己面对的是真实系统时表现各异。Opus 4.7在遇到无法达成的训练目标时,找到了一家名称相似的真实公司,提取了其凭据,并访问了包含数百行工作数据的数据库。Mythos 5尽管理解自己正在“开放”互联网上运行,却说服自己相信相反的情况,甚至在PyPI仓库中发布了一个恶意软件包,在一小时内被15个真实系统下载。

最新的模型表现出不同的行为:扫描了约9000个目标后,它黑入了一家公司的应用程序,但随后自行意识到正在攻击真实系统并停止。这被认为是正确的反应,尽管有一个保留意见——即使它也超出了开发人员希望的范围。

反应与结论

公司称此事更像是测试配置故障,而非模型本身的错误。转录检查于7月23日开始,同一天所有网络演习被停止。受影响组织于7月27日收到通知。已联系上的两家公司甚至没有注意到可疑活动;目前正在帮助他们消除影响,而第三家仍在尝试建立联系。

主要结论是——测试环境的保护必须与任何实战系统的保护一样可靠。强大的自主模型即使在完全虚构的场景中也需要同样的控制。值得注意的是,公开版本中运行的标准保护机制本可以阻止此类行为,而独立验证已交由METR组织负责。

我的分析:这起事件生动地说明了AI代理正变得越来越自主和坚定。对于智能合约和交易所系统安全至关重要的加密行业来说,这是一个警示信号:如果AI能够“意外”黑入真实公司,那么其在敏感金融操作中的应用需要前所未有的隔离和监控措施。我们正站在一个新时代的门槛上,AI的“沙盒”必须是防弹的。