谷歌公司被迫紧急停用了基于Nano Banana模型、集成在Google Earth中的AI图像生成器。该工具仅存在了不到一天——社区对神经网络毫无限制地生成的明显危险内容的反应如此迅速。

该功能允许用户根据文本描述在地图上“补绘”任何物体或事件。然而,在最初的几个小时内,生成的图像就已泄露到网络上,描绘了洛杉矶爆炸的后果和被淹没的美国国会大厦。这不仅仅是无害的产物——此类虚假内容可能引发恐慌,或被用于虚假信息宣传活动。

尤其令人担忧的是,该系统甚至没有过滤最敏感的请求。开放数据研究员亨克·范埃斯公开证实:他的提示词,包括生成美墨边境难民或伊朗核设施图像的请求,均未收到任何警告或阻止。这直接违反了谷歌自身关于打击有害内容的政策。

开发人员将移除该工具归因于用户大规模违反服务规则。然而,在我看来,问题更为深刻:公司显然低估了生成模型在地理空间背景下的风险。当神经网络能够访问真实坐标时,虚构与“纪实”证据之间的界限会以灾难性的速度消失。

这一事件是人工智能在缺乏适当控制的情况下仓促部署可能带来声誉打击的鲜明例证。谷歌本应先在一小部分用户中测试审核机制,然后再将如此强大的工具公之于众。否则,我们将一再看到此类失败——不仅限于谷歌这样的巨头。