Anthropic承认生物安全防护出现大规模故障:1.33亿次与AI的对话未经过滤

Anthropic 的开发人员揭露了其安全基础设施中一个令人担忧的细节:在近一年的时间里,Claude 的生物防护系统实际上对相当一部分用户流量处于失效状态。这涉及约 50,000 名外部承包商的池子,以及超过 1.33 亿次与模型交互的庞大数量。这些信息包含在我于 2026 年 8 月发布的新分析风险报告中。
持续 11 个月的系统故障
问题的核心在于,从 2025 年 5 月到 2026 年 4 月,阻断性生物分类器未应用于反馈收集平台的流量。通过这一基础设施,外部承包商不仅评估回复,还与模型进行开放式对话。事实证明,所有这些流量都被标记了一个内部标志,该标志同时禁用了危险请求的拦截,甚至禁用了其触发记录的注册。
这意味着潜在危险的请求不仅未被拦截——它们还完全从后续监控系统中消失。此外,该公司承认承包商访问控制存在薄弱环节:直到 2026 年 4 月,许多供应商的人员审查程序都无法可靠地筛除潜在恶意行为者。据估计,渗透进 Red Team 并非太难的任务。
审计仅发现 62 段可疑对话
在发现错误后,Anthropic 恢复了几乎所有的通信记录,除了一小部分约 1% 的数据——在某个平台上,未点击发送按钮的消息不会被保存。为了分析所有请求,使用了 Claude Sonnet 5 模型,该模型为 1,197 份转录本分配了高水平的生物风险等级。其中 757 份属于 Anthropic 内部团队,378 份属于有意的红队测试。因此,只有 62 段外部对话与测试无关。
对这些案例以及 30 段红队对话样本的手动审查未发现明显危险的使用行为,这类行为可能显著提升恶意行为者制造生物武器的能力。尽管如此,该公司承认,这一事件削弱了人们对不存在其他未知防护漏洞的信心。
风险评估的修订与对自身 AI 的依赖
这一事件直接影响了 Anthropic 的官方立场。CB-1 场景(AI 在制造已知生物威胁方面提供实质性帮助)的风险等级被追溯性地从“极低”调整为“低”。当前灾难性损害的风险水平现在被描述为“低但不可忽略”。同样,高风险情境下的错位风险评级也被上调。
该报告还揭示了公司对自身模型令人震惊的依赖程度。Claude 编写了 Anthropic 大部分生产代码,而内部研究积极使用基于 Mythos 5 和 Model 2 的代理。这形成了一个有趣的悖论:一家评估 AI 风险的公司,同时也是 AI 最积极的企业消费者。
我的评论:这一事件生动地说明了,即使是 AI 安全行业的领导者也存在“盲区”。错误未导致实际事件这一事实,更多是运气而非功劳。投资者和监管机构应将其视为一个信号:防护系统的审计必须是持续性的,而非追溯性的。Anthropic 在此事上的透明度值得尊重,但它也凸显了在 AI 快速扩展的时代,生物安全可能有多么脆弱。