Cloudflare 推出 AI 爬虫付费市场：重塑网络爬取与内容创作者补偿机制
许可优先模式的转变
Cloudflare 作为领先的网络基础设施提供商，正在推动网络爬取向许可优先模式转型。从本周起，新托管在其平台上的网站将默认阻止所有 AI 爬虫访问。这意味着网站所有者需明确授权 AI 爬虫才能获取内容，从而增强对数据使用方式的控制。该策略旨在帮助内容所有者更好地管理知识产权，避免未经授权的刮取行为。
在技术层面，这一变化通过 Cloudflare 的 AI 爬虫控制工具实现，包括一键阻挡功能和爬虫仪表板，用于监控访问行为。AI 公司可声明爬取目的（如训练模型、推理或搜索），便于网站所有者制定细粒度规则。
传统业务模式的演变与挑战
传统上，内容发布者依赖搜索引擎如 Google 来驱动流量。爬虫刮取内容的同时，提供推荐流量，从而转化为广告收入。然而，随着 AI 驱动工具如 ChatGPT 的兴起，这一动态正发生剧变。
Cloudflare 的数据揭示了 AI 爬虫的侵略性：相较于 Google 爬虫每提供 1 次推荐流量刮取 14 次内容，OpenAI 爬虫的刮取比例高达 1:1700，Anthropic 则更极端。这种不对等导致发布者难以从 AI 访问中获益。
此外，AI 搜索代理可直接合成并交付信息给用户，绕过网站访问，进一步威胁广告驱动的收入模型。技术人员需关注爬虫行为分析，以优化站点防护策略。
按爬取付费市场机制详解
为应对上述挑战，Cloudflare 推出“Pay per Crawl”市场，这是一个实验性私有 Beta 功能，允许网站所有者为 AI 爬虫访问收取费用。核心机制包括：
- 定价控制：所有者可为整个站点设置统一每请求价格，或针对特定爬虫豁免收费。
- 交易流程：AI 爬虫通过请求头声明支付意图，成功访问（HTTP 200）时触发微支付；否则返回 HTTP 402（支付要求）响应，包含定价信息。Cloudflare 作为商户记录人，处理交易并分发资金。
- 访问选项：三种模式——完全阻挡、免费允许特定爬虫，或付费访问。该功能集成现有 Web 基础设施，支持细粒度规则覆盖训练、推理等阶段。
这一市场为 IDC 技术人员提供新工具，用于部署内容保护策略，同时开启潜在收入流。实施时，需配置 Cloudflare 账户支付细节，并监控计费事件。
| 功能组件 | 描述 | 技术实现 |
|---|---|---|
| 默认阻挡 | 新站点自动阻止 AI 爬虫 | Opt-in 许可模型，覆盖 20% Web 流量 |
| 付费访问 | 每爬取请求微支付 | HTTP 头认证 + 402 响应 |
| 监控仪表板 | 追踪爬虫目的与行为 | 行为分析、指纹识别与 ML 分类 |
| 灵活豁免 | 针对特定爬虫免费 | 规则集覆盖 WAF/Bot Management |
AI 内容爬取的未来展望
尽管“Pay per Crawl”提供可持续业务模式，但面临挑战：说服 AI 公司从免费刮取转向付费可能遭遇阻力，且补偿公平性需验证。该系统较大型许可协议更直接、可定制，尤其惠及中小发布者。
长远看，随着 AI 代理预算化访问高质量内容，这一模式可平衡创作者与 AI 公司需求，确保数字生态可持续。技术人员应评估集成 Cloudflare 工具以强化站点安全。
Cloudflare 的创新举措标志着网络爬取范式的转变，为内容保护注入新活力。欲了解更多 IDC 相关资源和技术解决方案，请访问 https://idc.net 主页。