人工智能市场的最大参与者——Google、OpenAI、Microsoft和Anthropic——已达成协议,支持robots.txt文件中的统一机制,该机制将允许网站所有者集中禁止将其内容用于训练神经网络。这一新信号被称为__usage_ai-training。

机制要点

迄今为止,发布者不得不为每个AI开发者分别设置限制,这造成了碎片化且繁琐的控制体系。统一信号消除了这一问题:robots.txt中的一条指令将被协议所有参与方识别,从而形成内容权利管理的通用标准。

实施时间表

各公司的部署时间表有所不同。OpenAI计划在未来几个月内实施支持,这使其成为该倡议中行动最迅速的参与者。Google宣称将在2027年内实施,而Microsoft将从2027年2月起开始支持该机制。这种不同步意味着过渡期将至少持续一年。

为何重要

该倡议反映了发布者和版权方日益增长的压力,他们要求对自身数据在大型语言模型训练语料库中的使用拥有控制权。信号的统一为内容创作者与AI开发者之间更透明的关系创造了技术基础——并有可能为数据货币化的许可模式开辟道路。

对市场而言,这是一个制度化的信号:最大的公司自愿接受此前分散存在的限制。然而,该机制的实际有效性将取决于其被遵守的严格程度以及违规后将受到何种制裁。

Cryptalist分析:__usage_ai-training信号的统一降低了发布者的运营成本,但并未解决强制执行这一根本问题——该机制仍然是声明性的。对加密行业而言,这为去中心化解决方案创造了空间,用于验证数据权利并通过区块链协议实现数据货币化,这可能成为AI数据市场演进的下一个阶段。