谷歌公司紧急停用了其在Google Earth中集成的新AI图像生成工具,该工具基于Nano Banana模型构建。该功能上线不到24小时便被撤下——如此迅速的叫停表明内容审核方面存在严重失误。
这项创新功能允许用户通过文本提示在地图数据上“补绘”任意物体或事件。然而,在服务上线的最初几小时内,网络上就开始传播违反平台政策的AI生成图像。其中最引人注目的例子包括洛杉矶爆炸坑的虚假照片和华盛顿国会大厦被淹没的伪造图像。
尤其令人担忧的是,该系统甚至没有过滤潜在危险的请求。开放数据研究员亨克·范·埃斯证实,他的提示词(包括墨西哥边境难民的视觉化或伊朗核设施的图像)均未受到任何限制。这不禁让人质疑谷歌在其生成式产品中部署的安全算法的有效性。
开发人员将移除该功能归因于用户违反服务规则,但从反应速度来看,问题更为深层次——这涉及AI模型在处理地理空间数据时的根本性准备不足,而在这类数据中,上下文和敏感性至关重要。
我的分析:这一事件再次证明,将生成式AI引入大众产品的竞赛已超前于控制体系的发展。谷歌再次面临两难困境:市场推出速度与声誉风险之间的权衡。值得注意的是,即使是谷歌这样的巨头也无法预见所有滥用场景,尤其是在涉及真实地理对象可视化的情况下。市场需要在类似工具向广大受众开放之前,制定更严格的内容验证标准。