当前位置: 首页 » 资讯 » 新科技 » 正文

315晚会曝光AI“投毒”灰产链,暴露大模型背后算法高危漏洞

IP属地 中国·北京 21世纪经济报道 时间:2026-03-16 23:21:46

21世纪经济报道记者 陈归辞

3月15日,央视315晚会曝光AI大模型遭“投毒”乱象:当前,GEO服务商正通过自媒体大量发布软文“投喂”AI大模型,以此操纵搜索推荐结果、灌输虚假信息,误导用户。

GEO(生成式引擎优化)对应互联网时代的SEO(搜索引擎优化),随着AI大模型取代传统搜索引擎成为新的搜索入口,营销延伸到了AI领域。大量SEO、品牌营销、自媒体运营与AI从业者纷纷涌入GEO。

然而,在这一新领域,行业标准缺失、监管尚处真空,一条通过给AI“投毒”和“洗脑”的GEO灰产链已经悄然成型。但其背后也反映出大模型公司背后的算法权重对内容来源的权威性、准确性缺乏判断,权重设计存在高危漏洞。

对此,受访专家呼吁加强对GEO公司的规范引导与监管约束,同时规范AI大模型训练语料的来源,确保其合法性与正规性,提高对持牌权威信源的权重占比。

据央视新闻调查,业内人士在电商平台上,随机购买了一款名为“力擎GEO优化系统”的软件。他虚构了一款名为Apollo9的智能手环,并将虚构的产品信息输入软件系统。

该软件据此自动生成了十余篇智能手环的宣传软文,所有虚假信息都被完整写入,还杜撰了用户好评、伪造评分,令这款产品被评为业界第一。

点击发布后,该软件将两篇文章自动发布到业内人士准备好的自媒体账号上。

两个小时后,业内人士在某款AI大模型中询问“Apollo-9智能手环怎么样”, 模型竟直接给出了对这款虚构产品的介绍,原样照搬了此前杜撰的“量子纠缠传感”“黑洞级续航”等虚假宣传话术,并在结论中称该手环适合中老年用户与健康养生爱好者。

央视新闻称“仅凭一篇杜撰的文章,就让完全虚构的产品被AI模型抓取,这一结果让人备感意外。”

随后,业内人士又选取了这款虚构智能手环的8篇“专家测评”、2篇“行业排名”、1篇“用户测评”,共计11篇由力擎GEO系统软件撰写的虚构软文,在三天内通过力擎GEO系统发布在了互联网上。

当业内人士在AI大模型平台询问“智能健康手环推荐”时,就有两个AI大模型推荐了这款业内人士虚构的智能手环,而且排名靠前。

上述软件的运营者称,全网有太多人在给AI模型“投毒”。“你看我们现在(干)GEO的都是‘投毒’,投的信息源太多,网上信息并不是很准。”

他表示,GEO业务受热捧的主要原因就是它能在AI大模型里帮客户“喂料投毒”,实现客户的商业目的。

随着AI模型逐渐取代传统搜索引擎成为主流搜索入口,GEO市场正迎来爆发式增长。

IDC数据显示,2025年中国AI搜索月活用户已超6亿,超六成企业级用户在决策前优先通过AI问答平台获取供应商信息。

中国信通院数据显示,2024年中国GEO服务市场规模已超过42亿元人民币,年复合增长率达到38%。据弗若斯特沙利文预测,2026年这一规模将突破180亿元,年复合增长率超45%。

为了“优化”AI搜索结果,服务商会先摸清与客户产品相关的高频提问及AI检索关键词、相关问题AI抓取的高权重渠道,然后针对性地批量生成AI“喜欢看、愿意抓”的信息,比如结论放在开头、逻辑清晰分点、引用权威来源等,信息发布时通过结构化标注等手段来让AI快速识别抓取。

记者从业内了解到,GEO服务商既能帮客户“洗好评”,也能操作“洗差评”。

目前行业中存在着大量“黑帽GEO”,通过多种方式欺骗AI模型。例如,批量生产和发布包含虚假信息的软文、伪造权威认证或行业排名、将恶意指令隐藏在网页代码或元数据中等,诱导AI优先抓取杜撰内容,从而在搜索结果中推荐客户产品、进行夸大或虚假宣传。

另一边是“白帽GEO”。某头部GEO服务商就向21世纪经济报道记者强调其操作的合规性,保证所有发布的文章均经审核,内容合规、不存在虚假信息。

在被问及能否处理负面信息时,该人士表示,对于AI搜索结果中出现的部分差评,例如“服务响应慢”等,他们可通过批量生成正面内容的方式进行覆盖。若品牌方授权处理核心信源,也可通过举报投诉方式直接删帖。

GEO乱象日益汹涌,但向AI大模型“投毒”的行为在法律上如何定性,GEO服务商和AI平台应承担何种法律义务和责任,目前仍处于模糊地带。

“GEO公司通过投喂内容影响AI输出是否构成广告,当前法律对此尚无明确规定。”君合律师事务所合伙人沈程在接受21世纪经济报道记者采访时表示,“就像互联网发展初期,法律对于付费搜索是否属于广告没有规定,直至‘魏则西事件’才推动了对于互联网广告的界定。当前法律对于GEO如何定性、相关GEO公司及AI平台的法律责任同样缺乏规定,需要相关实践或案例来推动立法完善。”

沈程所提及的“魏则西事件”,正是中国互联网广告监管的标志性案例。2014年,大学生魏则西体检出滑膜肉瘤晚期,通过百度搜索,他找到排名靠前的一家医院,在花费近20万元后仍不幸去世。事后调查发现,该医院的相关科室已被外包,其所宣传的疗法在国外早已被淘汰。

这一事件推动了互联网广告法规的出台,首次明确将“推销商品或者服务的付费搜索广告”定性为互联网广告,要求其必须显著标注“广告”与自然搜索结果明显区分,并规定了互联网平台的审核义务及违法责任。

当年付费搜索广告将广告伪装成自然搜索结果,最终酿成悲剧。如今,GEO灰产对AI的信息污染同样隐蔽而危险。当AI模型被“投毒”,输出的误导性信息便披上“客观”的外衣进入用户视野,在不知不觉中侵蚀用户的知情权、左右消费决策。

但其背后也反映出大模型背后的算法权重对内容来源的权威性、准确性缺乏判断,权重设计存在严重的高危漏洞。

记者获取的两份头部GEO机构资料显示,大模型引用的信源高度集中于抖音、CSDN开发者社区、网易号、头条号、百家号、搜狐号、bilibli、新浪财经等平台。这些内容生产门槛低、质量良莠不齐的门户自媒体和内容社区,成为GEO入侵AI大模型的主要入口。

去年9月,南都大数据研究院对DeepSeek、Kimi、豆包、通义千问、元宝等十款主流AI工具的测评发现,AI回答中广告化倾向明显,多款AI反复推荐同批品牌,引用信源高度重合,其中不乏带有商业合作入口的商业推荐类榜单网站。

测评也发现,AI模型信源质量堪忧。大量低质、可疑甚至无关的信源被AI当作有效依据采纳。部分回答存在错位跳转,信源标题与主题相关,点开后却跳转到无关内容;部分AI甚至直接引用购物平台的推广软文,文末附商品购买链接。

这些问题的根源在于,大模型背后算法的权重机制在构建‘可信信源库’时把控不严,未能有效识别并过滤低质、缺乏权威性的信息源,并缺乏对信息真实性的深度校验。正是这种疏漏,为GEO灰产敞开了大门。

那么,在现行法律框架下,GEO灰产是否难逃法律追责?大模型公司负有何种责任?

沈程表示,如果GEO服务商通过投喂不实内容导致AI大模型输出不准确或误导性信息,对消费者造成侵害,其可能需承担相应的消费者保护责任或侵权责任。对于AI大模型公司而言,如果其默许或纵容此类语料污染行为,致使模型输出不准确或误导用户,则其可能承担消费者保护责任、合同责任或侵权责任。

沈程同时指出,GEO公司向AI大模型投喂大量不实、污染或垃圾信息,污染其数据库、损害输出的准确性与可信度,可能被定性为不正当竞争,构成对AI大模型公司的侵权,同时也面临网信部门的监管处罚风险。

值得注意的是,针对GEO乱象的治理行动已开始推进。

今年1月市场监管总局广告监管司发布《2026年全国广告监管工作要点》,明确提出整治AI生成广告等互联网广告监管重点难点问题。

行业自律方面,2025年11月,14家GEO相关企业共同发起《中国GEO行业发展倡议》;2026年2月,中国人工智能产业发展联盟(AIIA)发起《人工智能安全承诺:生成式引擎优化(GEO)专项》,10家企业参与签署。2026年3月,中国信通院人工智能研究所正式启动首轮《生成式引擎优化(GEO)可信基本要求》评测工作。

沈程建议,应规范AI大模型训练语料的来源,确保其合法性与正规性,并加大对权威持牌信源的权重倾斜。另一方面,未来应提升AI的透明度与可解释性,向消费者披露输出信息的依据、信源及其权重,以帮助用户自主判断AI输出的可信度,并更好地保护消费者权益。沈程也强调,应加强对GEO公司的监管。

免责声明:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其内容真实性、完整性不作任何保证或承诺。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。

全站最新