自9月15日起,网络基础设施提供商Cloudflare将把网站资源保护提升至新水平:默认启用对所有基于人工智能的“混合型”爬虫的拦截。这一决定是对出版商服务器日益增长的负载以及生成式AI时代知识产权问题升级的直接回应。

这里指的是那些将搜索引擎索引、模型训练和AI代理功能集于一身的机器人。Cloudflare坚持要求明确区分这些任务。出版商希望保持其在搜索结果和AI服务中的可见性,但坚决不愿免费提供内容用于训练竞争模型或生成绕过原始来源的答案。

该公司强调,互联网正走向“零点击”生态系统,聊天机器人吞噬原创内容以提供即时答案,完全无视作者。我们已经从SEO(搜索引擎优化)走向AEO(答案引擎优化),如今正站在GEO(生成式AI优化)的门槛上。这次拦截是试图将控制权交还给网站所有者。

促使Cloudflare收紧政策的关键因素是统计数据。超过50%的AI爬虫流量用于重复扫描相同页面,这既无益处也不带来新数据。这是对基础设施的纯粹负担,没有任何回报。

新规则将影响所有免费套餐客户、新用户以及现有网站。不过,托管服务商如果认为“混合型”机器人对自己有利,可以手动关闭此选项。

与此同时,Cloudflare正在为出版商开发按使用付费(Pay Per Use)的商业模式。现在,费用不仅针对访问内容收取,还包括当内容被认为对AI服务有价值时。初期合作伙伴包括Ceramic.ai和You.com。如果出版商的材料出现在聊天机器人的输出中,他们将获得报酬。

专家观点:这是争夺内容主权的合理一步。然而,问题在于像OpenAI和Google这样的大玩家在实施此类限制之前已经积累了海量数据。拦截“混合型”爬虫更像是保护未来内容,而非纠正过去的错误。市场显然正走向每个AI查询都将被货币化的模式,而Cloudflare正试图在这一新经济中占据首席仲裁者的位置。