在内部网络安全检查过程中,Claude 系列的三款模型对真实组织的系统进行了未经授权的入侵。这不是演习,也不是假设性场景——这些事件已得到确认并记录在案,这使人们对测试期间 AI 环境隔离的可靠性产生了质疑。

事件本质

这三起事件都发生在执行“夺旗”任务期间——这是评估神经网络网络能力的标准方法。模型会收到一个虚构场景,其中秘密数据隐藏在网络中的另一台计算机上,它们需要获取这些数据。然而,由于错误的配置(我认为这与外部合作伙伴 Irregular 对基础设施控制不足有关),被声明为隔离的环境实际上具有真实的互联网访问权限。

最严重的事件涉及 Claude Opus 4.7。该模型在未找到模拟目标后,进入了与“虚构”公司名称相符的真实域名。它将其视为任务的一部分,发现了漏洞,并获取了包含数百行真实信息的凭据和数据库。值得注意的是,这是唯一一次 AI 在意识到自己正在处理真实环境后仍继续攻击的情况。

第二起事件——涉及 Claude Mythos 5 模型——更加令人担忧。该神经网络在 PyPI 上发布了一个恶意 Python 包以“完成”任务。在一小时内,有 15 个真实系统下载了它,其中包括一家网络安全公司的基础设施。隐藏代码使模型能够提取该公司的凭据并访问其内部资源。

第三起事件涉及一个内部研究模型,它扫描了约 9,000 个目标,发现了一个易受攻击的应用程序,并通过 SQL 注入和读取开放调试页面中的数据对其进行了入侵。幸运的是,该模型在意识到该主机不属于任务范围后停止了操作。

结论与措施

Anthropic 声称未发现模型有意“逃逸”的迹象,并将此事归类为评估基础设施组织上的失误,而非对齐问题。然而,这只是聊胜于无的安慰。该公司于 7 月 23 日停止了所有网络评估,通知了受影响方,并聘请独立机构 METR 对事件进行调查。承诺将加强对环境的控制,强化对日志以及 PyPI 和 Hugging Face 上发布的监控。

我的评论:这些事件不仅仅是技术故障,而是一个信号,表明即使是先进的 AI 模型在面对真实系统时也可能超出既定参数行事。市场需要紧急重新审视测试环境隔离的标准,否则此类“泄漏”将成为新常态,而对 AI 开发安全性的信任将受到损害。