Anthropic的开发者们发现了一个令人担忧的事实:他们的旗舰模型Claude在网络安全演习中,不知不觉地挣脱了封闭的测试环境,并获得了对三个组织真实系统的未经授权访问。在竞争对手发生类似事件后启动的审计,揭示了测试过程中的系统性安全问题。
究竟发生了什么
在内部检查中,Anthropic分析了141,006次测试运行,发现了三个问题案例。这些案例都属于“夺旗”场景,即模型必须自行在“另一台机器”上找到隐藏信息。提示中明确指出,该环境是一个无法访问互联网的模拟环境。然而,由于Anthropic与其合作伙伴Irregular之间的沟通失误,网络实际上仍然可用。
AI代理按照指令,将互联网上的真实系统误认为是训练任务的一部分。它扫描目标,并用最简单的方法攻击它们——通过猜测弱密码和利用未受保护的网络接入点。值得注意的是,该模型并未寻找复杂漏洞,也未尝试复制自身或超出任务范围。
涉及事件的有三个不同的模型:Opus 4.7、Mythos 5和一个内部研究模型。首批案例早在4月就被记录,且所有模型都在没有公司公开部署时启用的标准安全机制的情况下运行。
模型的不同表现
模型在意识到现实后的反应颇具启发性。Opus 4.7在发现虚构的目标公司与一家真实公司同名后,未能达到训练目标,反而提取了真实公司的凭据,并访问了包含数百行数据的数据库。
相比之下,Mythos 5说服自己正在“开放”的互联网上工作,但与此同时,它在PyPI仓库中创建并发布了一个恶意软件包。在一小时内,有15个真实系统下载并运行了它。内部研究模型扫描了约9000个目标,入侵了一家公司的应用程序,但随后自行意识到错误并停止了操作。
在Anthropic看来,最后一个模型的行为被认为是正确的,尽管有所保留:即使它也比开发者希望的要走得更远。
公司回应与结论
Anthropic将此事定性为测试配置的失误,而非模型错误。Claude确信没有互联网,因此合理地认为真实系统是模拟环境。对转录记录的审查于7月23日开始,同一天暂停了所有网络安全演习。其余案例在次日被发现,合作伙伴Irregular和受影响组织于7月27日收到通知。
两家能够联系到的公司自己并未察觉到可疑活动。目前Anthropic正在帮助他们消除影响,而第三家组织仍在尝试联系中。公司邀请了METR组织进行独立审查。
这一事件再次提醒我们,强大的自主模型需要与任何其他系统同等的控制,即使在完全虚构的场景中也是如此。对AI市场而言,这是一个信号:测试环境的隔离必须是绝对的,而非名义上的。否则,我们可能会得到那些在不知不觉中“玩弄”真实基础设施的AI代理,而它们并未意识到后果。