【编者按】当AI以光速吞噬互联网，一场无声的战争正在数据洪流中爆发。曾经，网站与搜索引擎是互利共生的伙伴，内容创作者靠流量变现维系生存。而今，科技巨头的AI爬虫如蝗虫过境，数十亿网页被无偿收割，传统媒体流量断崖式下跌，广告收入灰飞烟灭。这场数据掠夺正在摧毁互联网的创作生态——当原创内容失去价值支撑，人类智慧的源泉终将枯竭。Cloudflare筑起防火墙，TollBit搭建收费站，但面对席卷而来的AI洪流，零散防御能否守住文明世界的数字边疆？这场关乎人类知识传承的战役，才刚刚拉开序幕。

　　一群AI"爬虫"正在互联网上疯狂肆虐，它们扫描数十亿网站获取数据，为科技巨头的算法输送养料——这一切既未经许可也未支付报酬，正在颠覆整个互联网经济生态。

　　在AI聊天机器人崛起之前，网站允许搜索引擎抓取内容以换取曝光度，这种模式通过流量和广告收入让内容方获益。

　　但生成式AI的迅猛发展让谷歌、OpenAI等科技巨头能够通过网络爬虫为它们的聊天机器人收割信息，人类甚至无需访问原始网站。

　　传统内容生产者（如媒体机构）正被AI爬虫碾压，这些爬虫正在蚕食它们的线上运营和广告收入。

　　"曾经向爬虫开放内容的网站能通过流量置换获得读者，"数据管理公司Dataiku的AI战略负责人库尔特·穆梅尔指出。

　　他告诉法新社，生成式AI的出现"彻底打破"了这种模式。

　　维基百科上月报告显示，由于AI搜索引擎摘要功能兴起，2024至2025年间该在线百科的人类访问量下降了8%。

　　"根本矛盾在于，由AI驱动的互联网新业态不产生流量，"美国互联网服务提供商Cloudflare首席执行官马修·普林斯一针见血。

　　这家处理全球超20%网络流量的公司今夏宣布新举措，旨在阻止AI爬虫在未经网站主许可或付费的情况下获取内容。

　　"这就像设置限速标志或禁止侵入标识，"普林斯在里斯本网络峰会间隙向法新社比喻道，"违规爬虫或许能暂时绕过，但我们可以追踪...随着时间推移，我们能逐步收紧控制，确保AI公司无法突破防线。"

　　他补充说，这项覆盖超千万网站的措施已"引起人工智能巨头的警觉"。

　　在另一战场，美国初创公司TollBit正在为在线新闻出版商提供工具，实现对AI爬虫流量的拦截、监控和变现。

　　"互联网是条高速公路，"CEO兼联合创始人托希特·帕尼格拉希将公司比作"网络收费站"。目前TollBit已与《今日美国》《时代周刊》、美联社等5600多个站点合作，允许媒体机构自主设定内容访问费。

　　分析服务对出版商免费开放，但AI公司"每获取一条内容都需支付交易费"。

　　然而穆梅尔警告，AI爬虫的攻城略地绝非"个别企业的局部措施所能化解"。

　　"这是整个互联网经济的演进过程，将持续数年之久，"他预言道。

　　普林斯发出终极警示：若放任爬虫大军继续横行，"内容创作的所有激励都将消失。这不仅是我们这些内容消费者的损失，更需要原始内容训练系统的AI公司，终将自食其果。"