自2024年9月15日起,网络基础设施提供商Cloudflare将自动屏蔽所有基于人工智能的"混合型"网络爬虫。这一决定将影响通过该公司网络服务的页面,并成为生成式AI时代争夺内容控制权的新里程碑。

所谓"混合型"爬虫,是指同时用于搜索引擎索引、语言模型训练以及AI代理工作的机器人。Cloudflare要求开发者明确区分这些功能:搜索爬虫、训练爬虫和代理爬虫必须相互独立。如果同一个机器人执行所有三项任务,它将被屏蔽。

采取这一严格措施的原因是出版商和网站所有者的不满日益加剧。他们希望在搜索引擎和AI服务中保持可见性,但不愿免费提供内容用于模型训练和生成即时回答。Cloudflare指出,互联网面临沦为"零点击"生态系统的风险,即聊天机器人完全绕过原始来源收集原创材料。我们正在见证从SEO(搜索引擎优化)到AEO(答案系统优化),再到GEO(生成式AI优化)的转变。

除了保护版权,这项新措施还旨在减轻基础设施负担。据Cloudflare数据,超过50%的AI爬虫流量用于重复扫描页面,而这很少带来实际价值。这给服务器造成了过重负担,尤其是对小型网站而言。

这些变化将影响所有Cloudflare新客户、现有用户以及免费套餐的网站。如果认为有必要,托管服务提供商可以手动关闭屏蔽功能。

与此同时,该公司正在为出版商开发商业模式——按使用付费。该模式不仅要求为访问内容付费,还要求为材料对AI服务有价值的情况付费。第一阶段,Cloudflare与Ceramic.ai和You.com合作。如果出版商的材料出现在聊天机器人的搜索结果中,他们将获得报酬。

作为分析师,我认为这一举措是趋势的合理延续:互联网基础设施不再保持中立,而是开始主动过滤流量。Cloudflare控制着全球网络流量的很大一部分,实际上已成为该领域的监管者。问题在于,这些措施对不断进化的AI机器人能有多有效,以及它们是否会导致我们已经看到的网络碎片化。