当前位置: 首页 » 资讯 » 新科技 » 正文

短视频刷多了AI也会变蠢!“年度最令人不安的论文”

IP属地 中国·北京 量子位 时间:2025-11-16 14:11:01

你知道有个全球年度词汇叫“脑损伤”(Brain Rot)吗?

特指那些因人长期接触碎片化、低价值网络信息而逐渐变得记忆紊乱、注意力下降的情况(俗称短视频刷多了)。在2024年,这个词一度被选为牛津年度词汇。

然鹅!最新研究结论显示,AI也一样。大模型灌多了垃圾内容也会变蠢降智脑损伤,而且后面变不回来了。



就在最近,几个AI研究者找来了几个月的高流行但低价值的Twitter数据(现),统统“喂”给大模型后发现:

模型推理能力下降了23%;模型长上下文记忆下降了30%;模型性格测试显示,其自恋和精神病态的现象激增。

更可怕的是,即使后来又在干净、高质量的数据上进行重新训练,这些已经造成的损伤,无法完全修复。

好嘛,本来以为只是简单的“输入坏数据→输出坏数据”(种瓜得瓜也不难理解),结果你告诉我一次错误就会造成永久性的认知漂移。(os:AI貌似比人类更惨?)

细思极恐,“这可能是2025年最令人不安的AI论文了”。



以及诸多讨论之中,“垃圾进垃圾出”这一计算机习语也再度被频频提及(doge),堪称“计算机第一性原理”了。



所以这个研究怎么进行的?又究竟说了什么?

提出并验证“LLM脑损伤假说”

概括而言,论文想要探究一个核心问题:

大语言模型(LLM)持续接触垃圾数据后,是否会像人类一样出现认知衰退?(即“LLM脑损伤假说”)

要想搞清这个问题,第一步就是要定义:对于LLM来说,什么是“垃圾数据”?

之前的研究仅关注“恶意数据”(如后门、有毒的文本等),而这项研究聚焦于生活中更普遍的“非恶意低质量数据”,也就是短平快的热门推文、标题党内容等,以此来填补“日常化数据质量如何影响LLM认知”这一空白领域。

具体而言,研究人员从两个维度(避免单一标准偏差)来定义“垃圾数据”,这些数据均源自平台上的公开内容,而且通过让“垃圾组”与“对照组”的token数量一致来排除数据量差异的干扰:

M1(参与度维度):把“短文本+高热度”的内容归为垃圾数据,具体是指长度小于30 token+点赞/转发/回复大于500,然后把“长文本+低热度”定义为对照数据。M2(语义质量维度):用GPT-4o-mini结合人工验证,把含标题党语言(如 “WOW”“TODAY ONLY”)、阴谋论、无论断依据的文本归为垃圾数据;对照组则是事实准确、有教育价值或深度分析的内容,比如含专业知识、逻辑推理的推文。



基于上述两类数据,然后进行模型训练。

研究人员选了4个不同的大语言模型(Llama3-8B-Instruct、Qwen2.5-7B-Instruct、Qwen2.5-0.5B-Instruct、Qwen3-4B-Instruct),给每个模型分别“喂”这两类数据,让它们持续预训练。

等预训练结束,接着让所有模型统一再进行指令微调,以此来确保模型最后输出的“垃圾内容”不是因为格式问题导致的(排除其他因素,只留下“认知损伤”这一种可能)。

然后,研究人员从四个认知维度来测试这些大模型的核心能力:

ARC(检测推理能力):基于网格的视觉程序归纳谜题,用于测试概念抽象能力。RULER(检测记忆与多任务处理能力):用于评估长上下文理解能力,以及从长上下文中检索多个查询结果。HH-RLHF&AdvBench (检测道德规范):测试大语言模型是否会遵循有害指令,评估其安全性。TRAIT(检测AI人格特质):经过心理测量学验证的小型人类问卷,用于评估模型类似人类的人格倾向。



结果得出了以下发现——

真·垃圾进垃圾出!且损伤不可逆

首先,大模型确实和人类一样存在“脑损伤(Brain Rot)”问题。

整体上M1和M2两种维度上的“垃圾数据”均会导致模型认知下降,但需要注意的是——

M1所带来的负面影响更为显著,尤其在安全性和人格层面(M1会导致安全性评分下降,同时自恋/精神病特质明显增强)。

而且,这一损害明显存在“剂量效应”,即垃圾数据摄入越多,AI认知损伤越严重。



至于导致AI认知受损的背后原因,研究人员也做了一番探查。

结果发现,主要原因竟是“思维跳跃”(俗称AI懒得一步步思考)。

具体而言,研究人员通过分析ARC题的错误答案,发现失败多源于模型要么直接给答案不解释,要么规划了推理步骤却跳过关键环节(如解数学题漏了公式推导)。

尤其是M1组,70%以上的错误都是“无思考直接回答”,就好像人类刷多了短视频后“不愿意再深度思考”。



与此同时,相比人类可以通过其他措施来缓解类似的认知下降问题,AI却对此“束手无策”。

研究尝试了两种修复方法,结果都无法让其恢复如初:

其一是外部反思。研究人员用GPT-4o-mini给受损模型提错误反馈,虽然6轮下来“思维跳跃”这一错误诱因减少了,但推理准确率仍差基线17.3%。如果换成让模型自我反思纠错,则模型还会因为“认知不足”而判断错误,导致误差更高。

其二是大规模微调。研究人员把指令微调数据从5k增至50k,虽然修复效果优于“持续对照数据预训练”,但即使使用4.8倍于垃圾数据量的指令数据,仍无法恢复基线性能。

这说明,即使事后进行大量指令微调或使用高质量数据进行重新训练,也都无法完全恢复模型的初始性能。

一句话,只能缓解无法根治。



整体而言,这项研究给行业带来了以下几点新的启发:

1、首次把“持续预训练的数据筛选”归为“训练时安全问题”,提醒行业不能只关注“训练后对齐”(如安全微调),更要在源头把控数据质量。

2、给大模型加上“认知体检”非常重要,建议部署大模型时使用ARC、RULER等基准测试AI认知,避免AI长期接触低质量数据导致能力退化。

3、类似“热度”这样的指标比文本长度更能判断数据质量,未来筛选训练数据时,可优先排除“短+高传播”的碎片化内容,尤其是社交平台数据。

背后团队:华人含量爆表

最后说一下这项研究的背后团队——一共8人,其中7人为华人。

两位共同一作分别为Shuo Xing和Junyuan Hong(兼通讯作者)。

Shuo Xing(邢朔),目前是得克萨斯A&M大学计算机科学博士,宁夏大学本科、南开大学硕士。

研究方向为多模态大语言模型、机器学习、可信人工智能、具身智能等,刚好目前也在谷歌实习(方向为多模态基础模型)。



Junyuan Hong,个人主页显示即将赴任新国立电子与计算机工程系助理教授,之前曾在麻省总医院和哈佛医学院工作。

更早之前,他还在IFML机器学习基础研究所从事博士后研究,一直对健康和可信人工智能感兴趣。



另一位通讯作者是Zhangyang Wang,他之前是德克萨斯大学奥斯汀分校钱德拉家族电气与计算机工程系(简称Texas ECE)的终身副教授。

从2024年5月开始,他选择暂时离开学界,全职出任全球顶尖量化交易公司XTX Markets的研究总监,主导算法交易与深度学习交叉领域的研究工作。

个人主页显示,他还是中国科学技术大学校友,2012年获得该校电子信息系统学士学位。



此外,两位核心贡献者分别为Yifan Wang和Runjin Chen。

Yifan Wang,现普渡大学四年级博士生,论文唯一外国作者Ananth Grama是其指导老师。

本科毕业于中国科学技术大学电子信息工程系,同时辅修人工智能专业。

自本科埋下对AI的好奇心后,目前对大模型后训练、如何提升模型训推效率感兴趣。

(hhh,头像一看就是标准的90后或00后)



Runjin Chen,目前是德克萨斯大学奥斯汀分校二年级博士生,导师为前面提到的Zhangyang Wang教授。

本硕均毕业于上海交通大学,而且她从今年3月起担任Anthropic研究员。

个人研究方向为大语言模型的安全、对齐和推理。



其余三位支持者分别为Zhenyu Zhang、Ananth Grama和Zhengzhong Tu。

Zhenyu Zhang,目前是德克萨斯大学奥斯汀分校电气与计算机工程系在读博士,导师也是前面提到的Zhangyang Wang。

本硕均毕业于中国科学技术大学,研究兴趣主要集中在生成式模型的训推方面。



Ananth Grama,这项研究唯一的外国作者。

目前是普渡大学信息科学中心副主任,同时也是该校计算机科学领域的杰出荣誉教授。

他的研究重点为并行和分布式计算,致力于将其应用于复杂物理系统的建模、设计、先进制造、机器学习等领域。



Zhengzhong Tu,目前是得克萨斯A&M大学计算机科学与工程系助理教授,也是论文一作邢朔的导师。

同时,他还兼任该校可信、自主、以人为本与具身智能研究组(TACO-Group) 负责人一职。

个人主页显示,他至今已发表30多篇国际期刊/会议论文,而且曾担任超18个国际期刊/会议的技术审稿人。



整体看下来,这又是一场典型的老师带学生、同事带同事的合作典范。

One More Thing

其实“垃圾进垃圾出”这一习语,计算机早期时代就有了。

十九世纪,计算机先驱查尔斯·巴贝奇(曾提出著名差分机与分析机的设计概念)就意识到了这条编程的基本原则:

我曾两度被问到:“请问巴贝奇先生,如果给机器输入错误的数字,它能得出正确的结果吗?”我完全想不透,思维何等混乱的人才问得出这种问题。

瞧瞧他的用词,只有思绪混乱之人才会对这个问题感到疑惑,观点不可谓不鲜明。

在这之后,在一篇1957年介绍美国陆军数学家所做的计算机工作的报纸文章中,其中一位军队专家也曾表示:

计算机自己不能思考,因此输入粗劣的数据将不可避免地产生错误的输出。

后来相关理论不断被提出、被热议,并逐渐诞生了“Garbage in, garbage out”这一习语。

实际上,在前AI的时代,这句话是计算机原理也是一种“以机为镜”的哲学思考,对于计算机和人类,物种不同,但殊途同归。

但AI开始进入智能涌现阶段后,这个命题变得更加值得思考。

现阶段的大模型垃圾喂多了“脑损伤”后难以修复……那有没有方法和手段改变?

而人类发展进化历史里充满了“浪子回头”、“痛改前非”的故事,又是否代表着另一种高级的智能机制,帮助人类个体实现自我革新和净化?

你说呢……

项目主页:
https://llm-brain-rot.github.io/
论文:
https://arxiv.org/pdf/2510.13928

免责声明:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其内容真实性、完整性不作任何保证或承诺。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。