Cloudflare 全面封禁“混合型”AI爬虫：内容保护新标准
自9月15日起，网络基础设施提供商Cloudflare将自动屏蔽所有基于人工智能的“混合型”网络爬虫。这一决定从根本上改变了游戏规则，对长期与不受控制的数据收集作斗争的出版商和网站所有者而言意义重大。
被屏蔽的机器人包括同时用于搜索引擎索引、模型训练和AI代理功能运行的爬虫。Cloudflare要求明确区分功能：搜索爬虫、训练系统和代理解决方案必须独立运作，互不干扰。
为何这对市场至关重要
公司代表强调，出版商希望保持其在搜索引擎和AI服务中的可见性，但不再愿意免费提供自己的内容。我们正目睹一场根本性转变：互联网正从SEO时代迈向AEO（答案系统优化）时代，进而走向GEO（生成式AI优化）时代。正如Cloudflare声明中所指出的，“互联网面临沦为‘零点击’生态系统的风险，聊天机器人收集原创内容以提供即时答案，完全绕过原始来源”。
超过50%的AI爬虫流量属于重复扫描页面，极少带来实际价值。新措施不仅保护内容，还能降低网页基础设施的负载。这一变更将影响Cloudflare的新客户、现有用户的网站以及所有免费套餐用户。托管服务商可手动关闭屏蔽功能，但这需要做出有意识的选择。
面向出版商的商业模式
与此同时，Cloudflare推出了Pay Per Use系统——一种商业方案，不仅要求为访问内容付费，还涵盖内容对AI服务具有价值的情况。第一阶段，该公司与Ceramic.ai和You.com合作。如果出版商的内容出现在聊天机器人的搜索结果中，他们将获得报酬。
专家评论：在互联网碎片化的背景下，这一决定是合乎逻辑的一步。Cloudflare实际上开创了一个可能成为行业标准的先例。出版商获得了变现工具，而AI公司则有了明确的规则。然而，问题依然存在：如何验证机器人“纯净性”的合规性？这是否会给合法开发者带来新的技术障碍？