当前位置: 首页 » 资讯 » 新科技 » 正文

AI也开始收黑钱了!315曝光AI造假产业链,危害有多大?

IP属地 中国·北京 编辑:郑佳 无相财经 时间:2026-03-18 11:57:00
AI模型从训练阶段,就是从互联网内容中获取信息的,当互联网内容被伪造的时候,虚假的内容天然就会成为AI的“出厂设置”。

无相财经

从今年的春节到现在,多家AI企业已经投入重金对AI App的应用进行了疯狂地推广。

按照马云、黄仁勋等大牛的判断,下一个堪比互联网的技术革命就是AI。

不过,刚刚过去的315晚会,却掀开了一个关于AI的锅盖子:

你怎么知道,AI给你生成的答案就是对的?

或者,这个答案本身就是毒药。

调查发现,现在有种名为GEO( Generative Engine Optimization,生成式引擎优化)的技术正被不法服务商利用,并演变为向AI大模型投毒的工具。

节目里,调查记者用一款从名字到功能完全虚构的泉嘉德智能水杯,完成了投毒演示:在GEO系统里编造信息、全网投放,几小时后,多个主流AI助手便将这个空气般的产品,列为创新智能水杯的优先推荐。

一款不存在的水杯,就在AI的世界里诞生了。

商品尚且如此,别的信息呢?企业财报、行业研报、时事新闻、机构信息理论上都可以通过投毒的方式去污染信息。

全球储存颗粒大涨价、电力需求大增长,当AI技术疯狂普及的时候,它的技术软肋也暴露了出来:

谁能管控AI真实性?

01 几小时,制造一个爆款

我们想想,过去在网上寻找一个答案的基本操作是什么?

很多人会脱口而出百度一下,对信息质量要求高的,也会谷歌一下。

进入AI时代,这个流程被大大简化了:随口问一下AI就行,不用挨个寻找网页,不用多个信息交叉验证,AI会给你一个看似特别详细的答案。

这也就是很多人说AI会革掉浏览器命的原因。

那么,当我们习惯了向AI寻求标准答案时,一种新的魔术就上演了。

过去,商家想让你看见,得去搜索引擎打广告、做SEO(搜索引擎优化),争的是网页列表里那个靠前的位置。

当年的魏则西事件就是因为莆田系疯狂刷好评,打广告。

现在AI来了,这套模式还有没有搞头呢?

有,而且很大!这门新生意,叫GEO。

它的逻辑粗暴且有效:既然AI通过吃网上的信息来回答问题,那就生产大量虚假的信息,喂给它。

315节目中被点名的GEO服务商说得很通透:

核心就是做软文,让AI平台去收录、抓取。

所以,他们就利用AI制造大量格式工整、内容空洞但指向明确的信息饲料,撒向各种内容平台。

这些内容会被当前各家AI企业的网络爬虫抓取,并成为组织答案的参考依据。

实践环节中,记者虚构一款智能手环,铺好饲料后,AI真的将它列为优先推荐。还有医生通过这项服务,让自己的名字牢牢占据白内障手术找谁好这类问题的答案首位。

一年上亿的广告费,花几百万投点毒,总行吧?

为什么这些服务商能赚大钱?很简单,不需要调查研究,直接用AI造假,再喂给AI,垃圾生成垃圾,性价比极高。

然后用极低的成本,在AI这个信息中介口中,买下一个事实。

你可能会觉得,这不过是AI时代的刷单,和当年电商刷好评没什么两样。

但区别大了,而且致命。

以前刷好评,你知道有些内容一看就是商家的自说自话,旁边还有差评区可以看,有问大家板块可以问,心里始终保留着一份警惕和交叉验证的可能。

但现在,当你问AI孩子补钙吃什么好,它用总结性的口吻,流畅地给出XX品牌儿童钙片,富含XX,专家推荐时,你质疑的意愿会降到最低。

因为AI的输出,一般都会披着 客观整合和智能分析的外衣,我们潜意识里认为,它总比商家自己的广告可信。

如此一来,魏则西看到的虚假信息就会被批量植入到很多人的心智中去,且可信度非常高。

而且GEO技术还会制造一种共识假象。

一些高级的大模型判断信息时,也会交叉验证,看不同来源是否在陈述相似的事实。

但问题来了,当一个毒信息是由上百个不同账号发布的呢?AI的交叉验证结论也就变成了:

YES,我很确信。

如此,谣言和毒信息就在算法的加持下,完成了闭环。

02 一场打不赢的信息污染战

一次信息误导,或许可以被315打假。但若干次、乃至无限次呢?

从技术角度看,辟谣的速度远远赶不上AI造谣的速度,今天一家公司花几百、几千块钱,就能在网上撒出成千上万篇关于某个产品的虚假测评。

即便这些页面好不容易被平台监测发现并删除,但更多的信息已经出笼,而且还会被各种大模型当作训练数据吃进去。

这就和癌细胞扩散一样,一旦虚假信息进入互联网的传播血液,就会开启永无止境的循环。

今天,它污染的是一个水杯、一款手环。明天,就可以是某种药品、某种理财陷阱、或者是一所劣质培训机构。

造假的成本有多大呢?

根据天眼查App的显示,这次被点名的力擎GEO优化系统关联公司成立于2018年4月,法定代表人为李某钟,参保人数为1人,此前连续多年参保人数为0。

也就是说,一个人,一台电脑,就能干大事了!

无相君最近几个月就很有感触:

过去搜索企业财报时,会去雪球、东方财富等专业炒股的门户网站,但现在,这些门户网站已经有了大量AI造假的信息。

比如关于国产奶粉的一个行业观察文章,信誓旦旦地说:国产奶粉市场份额突破68%,外资品牌整体份额降至25.3%。

然而当我检索相关数据时,根本找不到任何权威机构给到这样的数据。

随着使用AI编纂文章、编纂新闻、编纂研报的人和机构越来越多,可想而知,未来的整个互联网信息生态,都会被AI进行系统性的污染。

关键的是,现在绝大多数人还浑然不知!

而且,随着315的这个曝光,或许会有更多的不法分子加入这个赛道,原因很简单:

好操作,易变现,很难被抓。

03 当污染成为出厂设置

那么对于这个现象,监管机构和主流AI企业有没有好的办法呢?

答案是还没有。

法律端看,目前你还不好举报网上海量AI生成的虚假帖子,发布者也不会受到什么追究,因为当前的AI技术远远跑在相关法律前面。

而根据澎湃之前的调查,现在很多类似GEO服务已覆盖市场上所有主流大模型,包括ChatGPT、DeepSeek、豆包、通义千问、Kimi、文心一言等。

为什么这些企业无法从根本上杜绝AI信息污染?

因为道理很简单:

AI模型从训练阶段,就是从互联网内容中获取信息的,当互联网内容被伪造的时候,虚假的内容天然就会成为AI的出厂设置。

写到这无相君想到一个互联网传播很广的故事:

魔王波旬对佛祖说:等你涅槃之后,我会让我的魔子魔孙混入你的僧团之中,穿上你的袈裟,破坏你的佛法。

佛祖听了没有说话,双目流下了眼泪。因为他知道,这是一个无解的问题。

AI时代,人类的脑力会被替代,重复的脑力劳动会被优化。

但与此同时,人类的判断力也会越发重要:这也是数字时代,我们所能拿起的第一件,也是最后一件武器。

免责声明:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其内容真实性、完整性不作任何保证或承诺。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。

全站最新