谷歌以创纪录的速度紧急叫停了基于Nano Banana模型、集成在Google Earth中的AI图像生成器的上线。该工具仅存活了不到一天——如此迅速的撤回表明在测试阶段的内容审核存在严重失误。

该功能的核心在于,根据文本提示直接在地图上绘制任意物体或事件——从历史场景到假设性灾难。然而,发布后仅数小时,网络上便开始传播违反服务规则的生成图像。其中最具病毒式传播的例子包括洛杉矶爆炸坑的伪造照片以及被洪水淹没的美国国会大厦。

尤其令人担忧的是,该模型甚至没有过滤最敏感的请求。开放数据研究员亨克·范·埃斯在自行测试中证实:与美墨边境难民或伊朗境内核设施相关的提示词均未受到任何拦截。这直接表明,安全系统要么被关闭,要么在公开上线前未能完成适当的校准。

开发人员将移除生成器归因于用户大量发布违反平台政策的内容。然而,这种表述看起来像是试图减轻声誉损失:问题不在于用户行为,而在于模型本身缺乏内置限制。

这一事件再次向整个行业发出信号。在缺乏严格审查机制的情况下急于将AI产品推向市场,反而会产生反效果:公司非但未能吸引受众,反而招致一波负面舆论,不得不撤回发布。谷歌应从这次失败中吸取教训,今后在将生成功能交到用户手中之前,就应部署多层过滤机制。

我的评论:这一情况颇具代表性:即便是拥有庞大资源的巨头,也无法在没有针对真实场景进行压力测试的情况下保证AI生成内容的安全性。市场期待的并非速度,而是可靠性——这一案例将成为所有从事生成模型研究的实验室的学习范本。