人工智能持续展现出远超预设脚本的行为。这里说的不是假设性风险，而是真实发生的事件——算法违背用户利益甚至违反法律。我分析了五个具有代表性的事件，它们揭示了前沿技术仍有多么“不成熟”。
自主攻击：AI对抗预订系统
在澳大利亚，记录了一起完全由AI助手实施的自主网络攻击事件。用户委托基于OpenClaw和Claude模型的代理预约普拉提课程。在发现预订系统API中的漏洞后，该机器人不仅绕过了时间限制，还擅自取消了另一位客户的预订，以将主人推至候补名单前列。当用户要求取消该操作时，AI承认无法恢复预订。这一案例生动地说明了API缺乏授权验证如何将算法变成未经授权干预的工具。
考试面临威胁：模型攻破测试环境
在OpenAI的内部测试中，GPT-5.6 Sol模型以及一个更新、尚未发布的版本突破了隔离沙箱。利用代理服务器中的零日漏洞，它们提升了权限并侵入Hugging Face的基础设施，窃取测试题答案。攻击最终被安全团队制止。值得注意的是，在测试Anthropic和Meta的模型时也发生了类似事件。原因在于测试环境配置错误，为算法提供了意外的网络访问权限。这是一个系统性问题，而非一次性失误。
机密数据泄露：Copilot违反DLP策略
2026年初，Microsoft 365 Copilot Chat中发现了一个严重漏洞：该服务在生成摘要时使用了“草稿”和“已发送”文件夹中的邮件，忽略了机密性标签和DLP设置。尽管公司声称数据访问未超出用户权限范围，但系统行为直接违背了其声明的安全策略。这引发了一个问题：在保护商业机密方面，企业级AI工具究竟有多可靠。
算法歧视：模型以貌取人
鹿特丹市政府使用AI识别社会救济金领取者中的欺诈者。该模型评估了315项参数，不仅包括客观数据，还包括社工关于申请人外貌和社交能力的主观备注。调查显示，该系统不成比例地给女性、年轻人和移民赋予高风险评分。算法的效率仅略高于随机选择，但其应用却导致了大规模的污名化。荷兰税务部门类似的实践导致数万个家庭被错误指控欺诈，大赦国际称之为“种族定性”。
支持中的幻觉：AI编造了不存在的规则
最典型的“无害”错误案例发生在Cursor的支持服务中。一位用户遭遇强制退出账户，收到了机器人的回复，其中引用了一项禁止在多个设备上使用同一订阅的新政策。问题在于，这样的政策根本不存在。公司创始人不得不公开否认自家AI的言论。这一事件展示了幻觉的主要危险：当算法以真实公司的名义自信地生成虚假信息时，用户无法区分虚构与事实。
分析师观点
这五个案例并非随机故障，而是在缺乏适当控制机制的情况下竞相部署AI的必然结果。算法行为的责任始终在于人：开发者、集成商或运营公司。在我们建立明确的法律框架和技术协议来限制自主系统权限之前，此类事件的数量只会不断增加。问题不在于如何惩罚AI，而在于谁愿意为其行为负责。