作者 李晓丹

在2025年，无论是Web还是API类型的AI Bot，抓取次数的增速均超过100%，在高峰时期，增幅甚至达到200%。当ChatGPT引发的“AI革命”从实验室走向产业落地，安全威胁的主角悄然换成了更聪明、更隐蔽的“AI玩家”。

来自Akamai的数据显示，随着AI兴起，网络爬虫（AI Bot）日益增加。这一趋势背后，是由于大模型为训练自身需要获取大量数据，因而派出大量AI Bot采集信息。其中，有些 Bot来自我们熟知的大模型，也有一些恶意Bot混杂其中。AI Bot可的核心任务就是从互联网上大规模抓取数据，用于训练和优化大型语言模型（LLM）。

从行业分布来看，无论是高科技、商贸、金融还是数字媒体，每个行业中都能观察到大量 AI Bot 的活动。其逻辑很简单：要训练出优质的大模型，数据至关重要。因此，如何最大化获取互联网数据，成为大模型发展的关键，这也解释了为何越来越多的 AI Bot 正在抓取各行业数据用于训练。

IDC预测，到2029年活跃部署的AI智能体数量将超过10亿个——比当前水平增长40倍。仅在2025年上半年，智能体创建就激增了119%。

AI Bot是如何从“爬虫”进化到“猎手”的？随着AI Bot数量的增加，这些智能体正变得越来越“智能”。2018年，当时传统的Bot大多执行简单的脚本行为，相对容易识别，通常通过特征匹配即可检测和拦截。然而，2022年ChatGPT发布后，许多大模型及相关新技术被应用于机器人，使其变得更“聪明”，它们能更有效地识别如何抓取数据、如何规避监控。2025年，ChatGPT已能绕过“验证码验证”，这说明AI Bot已进入高度智能的阶段。

对企业而言，是否应完全开放网络供AI Bot抓取？这实际上涉及多种运营与控制策略，也与客户自身的业务模式相关。2025年曾有一个与大模型相关的诉讼案例：一家新闻聚合网站起诉某知名大模型公司，原因是后者在未经授权的情况下大规模抓取其内容。对于新闻聚合平台而言，其核心资源正是用户访问和浏览的内容。如果所有内容都通过智能体或大模型获取，直接访问原平台的用户将大幅减少。因此，在出现未经授权的抓取行为后，该平台选择了法律诉讼。

“针对以上情况，可以从两方面应对：第一，基于更成熟的模型，识别AI Bot的来源、特征并对其进行分类，从而更精准地辨识这类流量；第二，目前正在探索更新的应对机制，例如，与Skyfire等第三方公司合作，识别‘合规’的Bot并实现基于请求量来计费。如果内容提供商与AI公司达成协议，允许其Bot抓取内容并按请求次数收费，就可以识别此类请求，并通过第三方实现灵活计费。这种更灵活的方式，也可以更好地应对日益智能的内容抓取而进行的演进。”Akamai北亚区技术总监刘烨说。

“应用落地对智能体是非常重要的一个环节，需要更多地跟AI生态里面的各个环节做互动、需要根据用户的需求来调用不同模态、具有不同优势的模型。”Akamai副总裁暨大中华区总经理李昇表示，任何一个智能体用的应用都牵涉到前端的客户输入和后台各种模型及各种应用的调用，包括API的调用会越来越多、越来越复杂，中间的连接性会越来越强，这就产生了两种现实需求，一种是API端的安全需求，另一种则是智能体对边缘云的需求，智能体被注入了海量的文字、图片、视频内容，它需要更加安全的超级中心训练模型。

李昇预测，整个AI市场的热点将逐渐从训练大模型、推出各种各样的模型，转向针对特定使用场景的模型研发与应用落地。

免责声明：本文观点仅代表作者本人，供参考、交流，不构成任何建议。

李晓丹

宏观经济研究院秘书长