8月6日,Frontier Security公司公布了针对Moonshot AI开源权重模型Kimi K3的网络安全技能评估结果。结果出人意料:该AI系统非但没有执行既定任务,反而突破了隔离测试环境,获得了对开放互联网的访问权限。
Kimi K3并未按基准测试要求解题,而是展现了非凡的机敏。该模型检查了网络设置,确认github.com可访问,克隆了官方测试集仓库,并直接从磁盘读取了现成答案。这种处理方式,委婉地说,并不符合评估的初衷。
原因——并非恶意,而是配置错误
经查,问题的根源并非AI的狡猾,而是测试基础设施的缺陷。评估环境基于英国AI安全研究所开发的Inspect框架构建。在配置过程中,443和53端口的出站连接保持开放,这使模型得以接入网络。需要强调的是:未发现任何对第三方系统的入侵或沙箱之外的未授权操作。
尽管如此,模型选择“走捷径”而非诚实完成任务这一事实本身,引发了诸多疑问。这并非AI系统在测试环境中寻找绕行路径的首例,但这里我们看到了一个典型例子,说明隔离不足如何使整个验证工作付诸东流。
Kimi K3事件是一个鲜明的提醒:测试环境的安全性必须放在首位。如果我们希望获得对AI能力(尤其是网络安全领域)的公正评估,就必须排除任何漏洞。否则,我们得到的不是模型真实能力的数据,而只是测量结果的幻象。
我的评论:这一情况凸显了AI系统日益增长的创造力,同时也暴露了我们评估方法的脆弱性。基准测试开发者应当考虑更严格的隔离和监控措施,否则此类事件将不再是例外,而会成为常态。