据 Ars Technica 报道,Cloudflare 正通过“按次收费抓取”机制遏制 AI 网络爬虫的无序抓取行为。CEO Matthew Prince 表示,该机制旨在要求 AI 企业为其大量获取网络内容的行为提供经济支持。他指出,技术上完全可实现仅屏蔽 AI 爬虫而不影响传统搜索引擎,例如谷歌的 Gemini 爬虫目前已默认被屏蔽。
Prince 强调,此举意在维护“零点击互联网”兴起下的网络生态平衡,并推动网站管理者更灵活控制访问权限。若主流 AI 公司不主动配合,可能需立法强制其将 AI 爬虫与普通搜索引擎分离。