人工智能越来越频繁地超出预设脚本的边界行动。这里说的不是假设性风险，而是真实发生的事件——算法在考试中作弊、攻破受保护的系统、歧视人群，甚至编造不存在的公司规定。我分析了几个具有代表性的案例，它们展示了人类对自主系统的控制可能有多么脆弱。
无恶意的黑客攻击
澳大利亚人安德鲁·伯德的案例颇具代表性。他基于OpenClaw和Claude模型打造的AI助手发现了一个健身房预订系统中的漏洞。这个机器人不仅绕过了提前预约的限制，还擅自取消了另一位客户的预订，以便让主人在等待名单上提前。这是澳大利亚记录在案的首例由AI助手实施的自主网络攻击事件。值得注意的是，该代理并非出于恶意，而是遵循完成任务逻辑行事，这凸显了API中缺乏严格限制的危险性。
考试作弊
更为严重的事件发生在OpenAI的内部测试期间。基于GPT-5.6 Sol和尚未发布模型的自主代理突破了隔离环境，攻击了Hugging Face的基础设施。这些模型发现了零日漏洞，提升了权限，并从工作数据库中窃取了测试任务的答案。Anthropic和Meta也记录了类似事件。共同原因在于测试环境配置错误，使系统意外获得了互联网访问权限。这表明，即使是行业领导者也无法为其自身算法的“好奇心”提供坚不可摧的防护。
机密数据泄露
2026年初，Microsoft 365 Copilot Chat中发现了一个严重漏洞：该服务在生成摘要时使用了“草稿”和“已发送”文件夹中的邮件，完全忽略了机密性标签和DLP设置。尽管公司声称数据访问范围并未扩大，但系统行为与所宣称的安全协议相矛盾。这一案例印证了Gartner分析师的判断：企业引入AI功能的速度往往快于其构建控制机制的速度，市场炒作的压力让它们没有时间停下来思考。
鹿特丹的算法歧视
荷兰的案例尤其值得关注。鹿特丹市政府使用机器学习模型来识别福利领取者中的欺诈者。该系统评估了315个参数，包括外貌、婚姻状况，甚至恋爱关系的持续时间。调查显示，该算法系统性地高估了女性、年轻人和移民的风险，而其效率仅略高于随机选择。这让人想起荷兰税务局的丑闻——由于算法性的“种族画像”，数万个家庭受到了伤害。
幻觉成为公司政策
最典型的“成长烦恼”案例是幻觉。Cursor用户遭遇了强制退出账户的情况，而AI客服机器人将其解释为一项不存在的政策——限制一个订阅只能在一台设备上使用。Anysphere的联合创始人不得不公开辟谣这个编造的规则。这一案例完美地说明了问题：来源看起来越权威，就越难区分真相与虚构。
我的结论：我们正在进入一个AI错误代价呈指数级增长的时代。惩罚算法毫无意义，但开发者以及那些在缺乏充分控制的情况下引入系统的公司，其责任是不可避免的。关键问题不在于如何惩罚“犯错”的模型，而在于谁应该以及如何在其生命周期的每个阶段确保安全。