当前位置: 首页 » 资讯 » 新零售 » 正文

AI也爱看开头结尾?MIT团队揭秘大语言模型的位置偏见

IP属地 中国·北京 编辑:周琳 DeepTech 时间:2025-07-02 15:51:46

(MIT News)

研究表明,大型语言模型(LLM)往往会过度强调文档或对话开头和结尾的信息,而忽略中间部分。这种“位置偏差”意味着,如果律师使用 LLM 驱动的虚拟助手在 30 页的宣誓书中检索某个短语,当目标文本位于开头或最后几页时,LLM 更有可能找到正确的文本。

近期,麻省理工学院(MIT)的研究人员揭秘了这一现象背后的机制。

他们创建了一个理论框架来研究信息如何流经构成 LLM 核心的机器学习架构。结果发现,控制模型如何处理输入数据的某些设计选择会导致位置偏差

实验表明,模型架构(特别是那些影响信息在模型内部输入词之间传播的架构)可能引发或加剧位置偏差,训练数据也会加剧该问题。

除了找出位置偏差的根源,他们的框架还可用于诊断并在未来的模型设计中纠正这一问题。这可能会催生:在长时间对话中更能保持话题的可靠聊天机器人;在处理大量患者数据时推理更公平的医疗 AI 系统;能更仔细关注程序所有部分的代码助手。

麻省理工学院数据、系统与社会研究所(IDSS)和信息与决策系统实验室(LIDS)的研究生、该研究论文的第一作者 Xinyi Wu 表示:“这些模型是黑箱,因此作为 LLM 用户,你可能不知道位置偏差会导致模型输出不一致。你只是按自己希望的顺序将文档输入模型,并期望它正常工作。但通过更好地理解这些黑箱模型的底层机制,我们可以通过解决这些局限性来改进它们。”

其他作者包括麻省理工学院博士后 Yifei Wang,电气工程与计算机科学系副教授、IDSS 和计算机科学与人工智能实验室(CSAIL)成员 Stefanie Jegelka,以及土木与环境工程系教授兼系主任、IDSS 核心教员、LIDS 首席研究员 Ali Jadbabaie。该研究将在国际机器学习大会上发表。

分析注意力机制

Claude、Llama 和 GPT-4 等大型语言模型由一种称为 Transformer 的神经网络架构驱动。该架构专为处理序列数据设计,将句子编码为称为“token”的片段,通过学习 token 之间的关系来预测后续词汇。

这些模型之所以擅长此任务,得益于注意力机制。通过多层互联的数据处理节点,让 token 能够有选择地关注(即“注意”)与之相关的其他 token,从而理解上下文。

但当每个 token 都需要关注 30 页文档中的所有其他 token 时,计算量很快就会变得难以处理。因此工程师在构建 Transformer 模型时,通常会采用注意力掩码技术来限制 token 可关注的词汇范围。例如,因果掩码只允许词汇关注其前面的内容。

工程师们还使用位置编码技术,通过标记每个词汇在句子中的位置来提升模型表现。

MIT 研究团队建立了一个基于图论的理论框架,专门研究这些建模选择(注意力掩码和位置编码)如何影响位置偏差。“注意力机制内部所有元素都相互耦合纠缠,很难单独研究。图论作为一种灵活的语言,能清晰描述注意力机制中词汇间的依赖关系,并追踪其在多层网络中的传递路径。”Wu 解释道。

理论分析表明,因果掩码会使模型对输入文本开头产生固有偏好,即便数据本身并不存在这种偏差。当句子开头词汇对语义并不重要时,因果掩码仍会迫使 Transformer 过度关注起始部分。“虽然句子首尾词汇通常确实更重要,但如果将大语言模型用于非自然语言生成任务(如排序或信息检索),这种偏差会带来严重问题。”Wu 指出。

随着模型规模扩大、注意力机制层数增加,这种偏差会被放大,因为输入文本的前段内容会在模型推理过程中被更频繁地使用。

研究还发现,采用位置编码技术强化词汇与邻近词汇的关联可以缓解位置偏差。这种方法能将模型注意力重新聚焦到正确位置,但在深层网络中其效果会逐渐稀释。

需要注意的是,这些架构设计只是位置偏差的来源之一,部分偏差可能来自模型训练数据本身对词汇优先级的设定。“如果已知数据存在特定偏差,除了调整建模方案外,还应该对模型进行微调。”Wu 建议道。

“中间迷失”现象

在建立理论框架后,研究人员进行了一系列实验:在信息检索任务中,他们系统性地改变正确答案在文本序列中的位置。实验揭示出“中间迷失”现象——检索准确率呈现U型曲线:当正确答案位于序列开头时模型表现最佳;随着答案位置向中间移动,性能逐渐下降;而当答案接近末尾时,准确率又略有回升。

这项研究最终表明,通过采用不同的掩码技术、精简注意力机制的冗余层数,或策略性地运用位置编码,都能有效降低位置偏差并提升模型准确性。“通过理论与实验相结合,我们得以洞察那些当时尚不明确的模型设计选择所带来的影响。若要将模型应用于关键场景,必须清楚知晓其适用边界与失效原因。”Jadbabaie 强调。

未来,研究团队计划深入探究位置编码的影响机制,并研究如何在某些应用中策略性地利用位置偏差。“这项研究为 Transformer 模型的核心——注意力机制提供了珍贵的理论视角。他们通过令人信服的分析,阐明了 Transformer 行为中长期存在的异常现象,证明注意力机制(尤其是配合因果掩码使用时)会令模型对序列开头产生固有偏好。这篇论文实现了双重突破:既保持了数学严谨性,又深入揭示了现实系统的运行本质。”未参与该研究的斯坦福大学计算市场设计中心主任 Amin Saberi 教授评价道。

标签: 模型 注意力 偏差 机制 词汇 数据 系统 理论 掩码 框架 文本 信息 序列 实验室 架构 团队 麻省理工学院 编码 部分 句子 技术 核心 网络 语言 教授 答案 论文 计算机科学 机器 任务

免责声明:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其内容真实性、完整性不作任何保证或承诺。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。

全站最新