这项由韩国浦项科技大学（POSTECH）和HJ AI实验室联合开展的研究发表于2025年1月，论文编号为arXiv:2601.14152v1。有兴趣深入了解的读者可以通过该编号查询完整论文。

当我们做选择题时，通常认为无论先看题目还是先看选项，答题效果应该差不多。但是，浦项科技大学的研究团队发现了一个令人意外的现象：对于当前最先进的大型语言模型来说，"读题顺序"竟然会极大地影响它们的答题准确率。

这就像是发现了一个聪明学生的奇特习惯：如果你让他按照"先读背景材料，再看问题，最后看选项"的顺序来做题，他能答对70道题；但如果让他按照"先看问题和选项，再读背景材料"的顺序做同样的题目，他只能答对55道。这种巨大的差异让研究人员非常困惑：为什么仅仅改变一下阅读顺序，就能让AI的表现产生如此戏剧性的变化？

研究团队就像侦探一样，开始追查这个现象背后的真正原因。他们测试了21种不同的大型语言模型，涵盖了从5亿到90亿个参数的各种规模，还包括了LLaMA、Qwen、Gemma等主流模型家族。结果显示，这种"读题顺序敏感性"在所有模型中都普遍存在，平均性能差距竟然高达14.7个百分点。这相当于让一个原本能考70分的学生突然只能考55分，差异大得让人无法忽视。

更令人惊讶的是，研究团队发现这种现象的根源竟然隐藏在AI模型的基础架构中。大部分现代AI语言模型采用的是"解码器"架构，这种架构有一个特殊的限制：它只能"向前看"，不能"向后看"。换句话说，当AI在处理一段文字时，它只能根据前面已经读过的内容来理解当前的词语，而不能偷看后面的内容。

这种限制在正常情况下是合理的，就像我们读书时通常也是从左到右、从上到下按顺序阅读。但在选择题场景中，这个看似合理的限制却产生了意想不到的问题。当AI按照"问题-选项-背景材料"的顺序阅读时，它在分析每个选项的时候，背景材料还没有被读到，因此无法利用背景信息来判断选项的正确性。这就像让一个学生在没有看过课本内容的情况下就要做课后习题，自然难以得出正确答案。

一、揭开"读题顺序"之谜的三大假设

面对这个奇特现象，研究团队就像福尔摩斯面对复杂案件一样，提出了三个可能的解释假设，然后逐一进行验证。

第一个假设是"训练偏好假设"。研究人员怀疑，也许是因为AI模型在训练过程中见过的选择题大多都是"背景-问题-选项"的顺序，所以它们更熟悉这种格式，而对"问题-选项-背景"这种不常见的格式感到陌生。这就像一个人习惯了从左到右写字，突然让他从右到左写字时会觉得别扭。

为了验证这个假设，研究团队设计了两个巧妙的实验。首先，他们比较了基础版本和经过指令调优版本的AI模型。理论上，如果训练数据的影响是主要原因，那么经过更多指令训练的模型应该表现出更大的顺序偏好。然而，实验结果显示，两种版本的模型在"读题顺序敏感性"方面几乎没有差别，都表现出相似的14%左右的性能差距。

接着，研究团队尝试通过"示例学习"来让AI适应不熟悉的题目格式。他们给AI展示了1到5个"问题-选项-背景"格式的示例，然后再让它做测试题。如果格式陌生是主要问题，那么看过示例后，AI的表现应该会显著改善。然而，即使看了5个示例，AI的准确率也只提高了3.1%，仍然远远低于"背景-问题-选项"格式的表现。这个结果让研究团队确信，训练数据的偏好并不是造成这种现象的主要原因。

第二个假设是"记忆丢失假设"。研究人员想到，也许问题出在AI的记忆能力上。在"问题-选项-背景"的格式中，选项出现在中间位置，当AI读完背景材料后，可能已经忘记了前面的选项内容，这就像"选择性失忆"一样。这种现象在AI研究中被称为"迷失在中间"，指的是AI模型往往对文本中间部分的信息记忆较差。

为了检验这个假设，研究团队设计了一个"选项回忆测试"。他们让AI读完整个题目后，要求它准确复述出所有的选项内容。如果记忆丢失是主要问题，那么在"问题-选项-背景"格式中，AI应该更难准确回忆选项。

令人意外的是，测试结果显示AI在两种格式中的选项回忆能力几乎一样好，甚至在"问题-选项-背景"格式中的回忆准确率还略高一些。这意味着AI并没有忘记选项内容，它们都被完好地存储在AI的"记忆"中。这个发现让研究团队意识到，问题不在于AI是否记得选项，而在于它是否能够有效地使用这些信息。

经过前两个假设的验证，研究团队将注意力转向了第三个假设："因果注意力限制假设"。这个假设指向了AI模型架构的核心机制。

二、AI大脑中的"单向通道"限制

要理解第三个假设，我们需要深入了解AI模型的工作原理。现代大型语言模型的核心是"注意力机制"，这个机制就像人脑中的注意力系统一样，决定了AI在处理信息时应该关注哪些内容。

不过，目前主流的AI模型采用的是"因果注意力"，这是一种有方向限制的注意力机制。可以把它想象成一条单向的高速公路：信息只能从前往后流动，而不能逆向传递。当AI在读文字时，每个词语只能"看到"和"联系"前面已经出现的词语，而无法"预知"后面即将出现的内容。

这种设计在很多情况下是合理的。比如，当AI在生成文章时，它确实只能根据已经写出的内容来决定下一个词，这符合人类写作的自然过程。但是，在选择题场景中，这种单向限制却变成了一个问题。

当AI按照"问题-选项-背景"的顺序阅读时，会发生这样的情况：AI首先读到问题，比如"哪个选项能保证上述论证成立？"然后读到四个选项A、B、C、D。在这个阶段，AI必须对每个选项形成初步的理解和表示。关键问题在于，由于因果注意力的单向限制，选项A只能基于问题内容来理解，选项B只能基于问题和选项A的内容来理解，以此类推。

当AI最终读到背景材料时，虽然它知道了完整的上下文信息，但为时已晚。选项的表示已经在没有背景信息的情况下固定下来了。这就像是在没有看过电影的情况下就要对电影评论做判断，即使后来看了电影，之前形成的判断也很难改变。

相比之下，当AI按照"背景-问题-选项"的顺序阅读时，情况完全不同。AI首先读到背景材料，建立了完整的上下文理解，然后读到问题，最后在充分理解背景的基础上来分析每个选项。这时，每个选项的表示都融入了背景信息，就像在充分了解电影内容后再来分析影评，自然能做出更准确的判断。

三、架构实验：不同类型AI的表现差异

为了验证这个假设，研究团队进行了一个关键实验：比较不同架构类型的AI模型在相同任务上的表现。他们测试了三种不同的模型架构。

第一种是"解码器模型"，也就是目前最主流的大型语言模型，如GPT、LLaMA等。这类模型使用因果注意力，存在前面提到的单向限制。实验结果显示，这类模型在两种读题顺序下的平均性能差距达到了14.72个百分点，证实了显著的顺序敏感性。

第二种是"编码器-解码器模型"，如T5系列。这类模型的编码器部分可以同时"看到"整个输入文本的所有部分，没有方向限制。在这种架构下，无论选项出现在什么位置，编码器都能同时考虑所有信息。实验结果显示，这类模型的性能差距缩小到了2.30个百分点，大幅减少但仍然存在一些差异。

第三种是纯"编码器模型"，如BERT系列。这类模型完全没有方向限制，可以自由地在文本的任何部分之间建立联系。令人惊喜的是，这类模型的性能差距几乎为零，仅有0.02个百分点，基本可以忽略不计。

这个对比实验就像是在测试三种不同的阅读方式。解码器模型像是一个只能从左到右按顺序阅读的人，编码器-解码器模型像是一个可以先通读全文再分析的人，而编码器模型则像是一个可以随意跳跃阅读、前后参照的人。结果清楚地表明，阅读的灵活性越高，受读题顺序影响就越小。

四、进一步的验证实验

为了进一步确认因果注意力限制是真正的原因，研究团队还设计了几个巧妙的验证实验。

首先是"背景移除实验"。研究团队的逻辑是：如果AI在"问题-选项-背景"格式中确实无法有效利用背景信息，那么即使完全移除背景材料，AI的表现也不应该有太大变化。实验结果正如预期：当研究团队将"问题-选项-背景"格式简化为"问题-选项"（完全不提供背景）时，AI的准确率几乎没有下降，从54.5%仅降至52.8%。这强有力地证明了AI在原始格式中基本上忽略了背景信息。

接下来是"注意力流动分析"。研究团队深入分析了AI模型内部的注意力分布模式。在"背景-问题-选项"格式中，他们发现随着模型层数的增加，AI对选项的关注度逐渐降低，而对背景信息的整合逐渐增强，这表明AI正在将背景信息融入到决策过程中。相反，在"问题-选项-背景"格式中，AI对选项的关注度随着层数增加而上升，这意味着AI越来越依赖选项本身的信息，而不是背景内容。

最后是"梯度归因分析"，这是一种分析AI决策依据的技术。研究结果显示，在"背景-问题-选项"格式中，背景信息对最终答案的贡献度高达79.7%，而在"问题-选项-背景"格式中，这个比例仅为33.5%。这个巨大的差异再次证实了因果注意力限制导致的信息利用障碍。

五、影响因素的深度分析

研究团队还发现了几个影响这种现象严重程度的重要因素。

首先是背景材料的长度。就像预期的那样，背景材料越长，"读题顺序敏感性"就越明显。在LogiQA和SciQ这两个背景较短（约70词）的数据集中，性能差距相对较小，分别为6.2%和7.3%。而在RACE-M和RACE-H这两个背景较长（195-305词）的数据集中，性能差距大幅上升，分别达到24.8%和20.8%。这符合直觉：背景信息越多，无法利用这些信息造成的损失就越大。

其次是正确答案在选项中的位置。研究发现，当正确答案是选项A时，性能差距最大，达到22.4%；当正确答案是选项D时，性能差距最小，仅为9.9%。这个现象可以这样理解：在"问题-选项-背景"格式中，选项D离背景材料最近，虽然仍然受到因果注意力的限制，但相对来说能够获得稍多一些的背景信息。

这些发现揭示了一个重要规律：AI模型的这种局限性不是均匀分布的，而是会根据具体情况的复杂程度而变化。背景信息越丰富，正确答案的位置越靠前，AI就越容易受到"读题顺序"的影响。

六、创新性的解决方案

基于对问题根源的深入理解，研究团队提出了三种针对性的解决方案，每种都从不同角度验证了他们的理论。

第一种方案是"注意力剪枝"，用于验证问题的必要性。研究团队人为地阻断了"背景-问题-选项"格式中选项到背景的注意力连接，模拟"问题-选项-背景"格式中的限制。结果显示，原本表现良好的格式立即出现了大幅性能下降，平均下降26.8个百分点。这就像是给一个正常人戴上了眼罩，让他无法看到重要信息，结果自然大打折扣。这个实验证明了选项到背景信息的连接确实是高性能的关键。

第二种方案是"激活状态移植"，用于验证解决方案的充分性。研究团队将"背景-问题-选项"格式中选项的内部表示直接复制到"问题-选项-背景"格式的相应位置，让后者也能获得融合了背景信息的选项表示。这种方法使"问题-选项-背景"格式的性能平均提升了6.0个百分点，显著缩小了与优势格式的差距。这就像是将一个"有经验"选项的认知状态直接转移给一个"缺乏经验"的选项，让后者也能做出更明智的判断。

第三种方案最为简单直接，叫做"选项重复"。研究团队在"问题-选项-背景"格式的末尾再次重复所有选项，形成"问题-选项-背景-选项"的格式。由于因果注意力的单向性，这些重复的选项能够充分利用前面的背景信息。实验结果显示，这种简单的修改就能带来8.2个百分点的性能提升，效果甚至优于复杂的激活状态移植方法。

这三种解决方案从不同角度验证了研究团队的核心发现：问题确实出在因果注意力的单向限制上，而解决问题的关键就是让选项能够有效获取背景信息。

七、更广泛的意义与启示

这项研究的意义远远超出了选择题答题这个具体场景。它揭示了现代AI系统中一个根本性的设计权衡问题。

因果注意力机制是当前大型语言模型成功的关键之一，它使得AI能够以合理的计算成本生成连贯的文本。但这项研究表明，这种设计选择也带来了意想不到的副作用：在需要灵活整合不同位置信息的任务中，AI可能会表现出令人困惑的局限性。

这个发现对AI应用开发者具有重要的实践指导意义。在设计需要AI处理复杂信息的系统时，输入信息的组织顺序可能比想象中更加重要。合理的信息排列不仅能够提升AI的性能，还能避免一些难以察觉的错误。

从更宏观的角度来看，这项研究也提醒我们，即使是最先进的AI系统，也可能存在我们尚未完全理解的局限性。随着AI越来越多地应用到高风险领域，深入理解这些局限性的成因和影响范围变得至关重要。

此外，这项研究也为未来的AI架构设计提供了新的思路。也许未来的模型需要在保持生成能力的同时，增加更多的双向理解能力，或者开发出能够根据任务需求动态调整注意力模式的架构。

研究团队在论文中也诚恳地承认了他们工作的局限性。由于计算资源的限制，他们主要测试了参数规模在90亿以下的模型，对于更大规模的模型是否存在相同问题还需要进一步验证。同时，他们的研究主要集中在四选一的选择题格式上，其他类型的问答任务是否会受到类似影响也有待探索。

不过，研究团队通过在21个不同模型上进行的全面测试，已经充分证明了这种现象的普遍性和稳定性。无论是基础模型还是经过指令调优的模型，无论是小规模还是大规模的模型，都表现出了相似的"读题顺序敏感性"，这表明这个问题确实源于AI架构的根本特性，而不是某个特定模型的偶然缺陷。

归根结底，这项研究用严谨的科学方法揭示了一个看似简单却深刻的问题：即使是最先进的AI，在信息处理方面仍然存在我们人类直觉上难以理解的局限性。了解和认识这些局限性，不仅有助于我们更好地使用现有的AI工具，也为开发更加智能和可靠的未来AI系统指明了方向。通过这样的研究，我们离真正理解和掌握人工智能又近了一步。

Q&A

Q1：什么是因果注意力机制，为什么会影响AI答题？

A：因果注意力机制是AI模型的核心设计，它让AI只能根据前面已读的内容来理解当前词语，不能"预知"后面的内容。当AI按照"问题-选项-背景"顺序读题时，选项在理解时无法获取后面背景材料的信息，就像没看过课本就做习题一样，自然准确率会下降。

Q2：为什么改变读题顺序会让AI性能相差这么大？

A：研究发现性能差距可达14.7%，这是因为在"问题-选项-背景"格式中，AI的选项表示完全基于问题内容形成，无法融入背景信息。而"背景-问题-选项"格式让AI先充分理解背景，再分析选项，就像先看完电影再评价影评，准确性自然更高。

Q3：这个发现对普通人使用AI有什么指导意义？

A：这告诉我们在使用AI处理复杂问题时，信息的排列顺序很重要。建议先提供完整的背景信息，再提出具体问题和选项。比如让AI分析商业决策时，应该先描述完整的市场环境和公司状况，最后再问具体的战略选择，这样能获得更准确的建议。