云厂商巨头Cloudflare推出“按爬虫付费”新模式

重塑网站与AI公司的合作方式

近日，Cloudflare 推出一项颠覆性市场机制------"按爬虫付费"，旨在重新定义网站拥有者与人工智能（AI）公司之间的互动模式。该平台希望通过这一创新机制，赋予内容出版者更强的控制能力，同时为 AI 企业提供公平获取内容的渠道。

应对AI爬虫激增的持续探索

过去一年，Cloudflare 推出了多项工具以应对象 AI 爬虫数量剧增的问题，例如一键阻止所有 AI 爬虫访问的功能，以及用于监控 AI 爬虫行为的可视化仪表板。CEO 马修・普林斯在接受采访时指出，这些工具为"按爬虫付费"市场的诞生奠定了坚实基础。

网站主掌控内容使用的多重选择

在这一全新市场中，网站拥有者可自由决定是否允许 AI 爬虫以特定费率抓取其内容，也可以选择免费开放或完全禁止访问。这种灵活机制使网站运营方能够更有效地管理内容的使用权限。

解决中小型出版商收益困境

当前，新闻出版行业正面临前所未有的挑战，尤其是随着谷歌搜索流量逐渐下降，以及 AI 聊天机器人日益普及的趋势下，尽管部分大型媒体已与科技企业达成内容授权协议，但大多数中小型出版商仍难以获得合理的收益回报。Cloudflare 希望通过这一模式，帮助更多出版机构建立可持续的收入来源。

默认阻止AI爬虫的新策略

与此同时，Cloudflare 还宣布，所有新建网站将默认阻止 AI 爬虫访问，除非网站主主动授予特定爬虫权限。这项举措获得了包括康泰纳仕、时代杂志和美国新闻社等多家知名出版商的支持，各方均期待借此实现"基于许可的内容抓取"模式。

AI爬虫带来的严峻考验

不可否认的是，AI 抓取行为对出版商构成了巨大压力。数据显示，AI 爬虫的访问频率远超传统搜索引擎。例如，OpenAI 的爬虫每带来一次有效推荐流量，平均需要抓取 1,700 次；而 Anthropic 的爬虫甚至高达 73,000 次，这无疑对依赖用户点击的传统商业模式形成了冲击。

未来展望：智能代理的应用潜力

Cloudflare 认为，"按爬虫付费"市场的真正价值将在未来"智能代理"的广泛应用中得以体现。设想一下，用户可通过智能代理程序自动获取最新的科研论文或法律资讯，而这些代理可根据需求为优质内容支付相应费用。

注册参与实验，交易流程逐步完善

有意加入这一实验的 AI 公司和出版商需在 Cloudflare 平台注册账户，并通过系统设定价格与交易条款。虽然目前尚未采用加密货币进行结算，但公司首席执行官暗示，未来或将考虑引入稳定币作为支付方式。

新路径虽具挑战，前景值得期待

Cloudflare 的"按爬虫付费"市场为内容创作者开辟了一条全新的盈利路径。尽管仍面临诸多技术和商业层面的挑战，但其潜在价值不容忽视，有望在未来推动数字内容生态系统的深刻变革。