谷歌公司被迫紧急关闭了基于Nano Banana模型、集成在Google Earth中的AI图像生成器。该工具上线不到24小时就被下架——如此迅速的撤除功能表明,在启动阶段的内容审核方面存在严重失误。

这项新功能的核心在于,用户可以通过文本指令在地图上“补绘”任意物体或事件。然而,在最初几个小时内,该机制就成为了公然破坏性内容的来源。网络上迅速传播了生成的图像,描绘了洛杉矶的爆炸弹坑和被淹没的美国国会大厦。这不仅仅是技术故障,更是对信息安全的直接威胁,考虑到此类虚假信息的病毒式传播潜力。

专业社区的反应也颇具代表性。开放数据研究员亨克·范·埃斯在测试中发现,他的请求——包括生成墨西哥边境难民场景和伊朗核设施图像——没有遇到任何拦截。这表明过滤系统要么不存在,要么设置得过于肤浅,连明显敏感的话题都无法识别。

开发人员将移除该工具解释为“用户发布了违反服务规则的AI生成图片”。然而,这种表述更像是试图掩盖问题——问题不在于用户行为,而在于产品本身的安全架构,该产品在未经过充分漏洞检测的情况下就发布了。

我的评价:这一事件再次提醒我们,将生成式模型引入大众产品的竞赛往往领先于适当控制机制的开发。对于将自己定位为AI领域负责任领导者的谷歌来说,这样的失败在声誉上尤其痛苦。市场和监管机构正越来越密切地关注此类案例,仓促发布不仅可能带来技术后果,还可能带来法律后果。