近日，网络服务商Cloudflare推出了一项名为AI Labyrinth的创新功能，旨在通过AI生成的内容干扰不遵守“禁止爬取”声明的AI爬虫及其他恶意爬取机器人。该功能通过设置人类用户无法察觉的隐藏链接，将恶意爬虫引入由AI生成的虚假页面，从而消耗其时间和资源。

Cloudflare指出，直接禁止恶意爬虫容易引发无休止的反爬与爬取对抗，而AI Labyrinth则通过巧妙的方式让爬虫误以为获取了真实内容，实际上却一无所获。这一策略不仅有效干扰了恶意爬虫，还为Cloudflare提供了更多关于这些爬虫行为特征的数据，进一步提升了机器人识别的能力。

值得一提的是，AI Labyrinth功能将面向包括免费客户在内的所有用户开放。