这项由谷歌、范德比尔特大学、康奈尔大学等多家知名机构联合开展的研究发表于2025年，论文编号为arXiv:2510.00263v1。研究团队由来自谷歌的李卓航、李晓伟等研究者领导，联合了包括谷歌DeepMind、阿尔伯塔大学、弗吉尼亚理工大学以及Scale AI等机构的专家。有兴趣深入了解的读者可以通过论文编号arXiv:2510.00263v1查询完整论文。

当我们在网上购物时，经常会看到商品评价出现分歧——同一件商品，有人给五星好评，有人只给三星。这种现象在现实生活中司空见惯，因为每个人的标准、喜好和价值观都不同。然而，当前的AI评判系统却像一个固执己见的审判官，总是试图给出唯一的"标准答案"，完全忽视了人类判断中本就存在的多样性和不确定性。

这个问题在AI领域变得越来越严重。现在，许多AI系统都在使用其他AI作为"自动评判员"来评估和改进AI的表现，这种做法被称为"AI当法官"。但这些AI评判员都是按照传统方式训练的，它们只学会了给出单一的判断结果，就像一个只会说"对"或"错"的机器。这种简单粗暴的评判方式丢失了人类判断中的丰富信息，也抹杀了少数派的观点。

研究团队意识到，要让AI评判系统变得真正可靠，就必须让它们学会像人类一样思考——既要给出判断，更要表达判断的确定程度。就像一个好的法官不仅要做出裁决，还要说明这个裁决有多大把握一样。这项研究的核心创新就在于提出了一套全新的训练方法，让AI评判员不再只会给出"A比B好"这样的简单答案，而是能够说出"有80%的人会认为A比B好"这样更加细致和准确的判断。

一、从单一答案到概率判断的革命性转变

传统的AI评判系统就像一个非常死板的老师，面对一道有争议的题目，总是坚持只有一个标准答案。比如，当被问及"这篇文章写得怎么样"时，它可能会直接回答"好"或"不好"，完全不考虑不同读者可能有不同看法这一事实。

这种做法的问题在于，它采用了一种叫做"寻找众数"的训练目标。简单来说，就是让AI总是选择大多数人的意见作为答案。虽然这在某些客观问题上是合理的，但在涉及品味、价值观或复杂权衡的主观问题上，这种做法就显得过于简单粗暴了。它不仅丢失了宝贵的不确定性信息，还系统性地忽视了少数派的观点。

研究团队提出的新方法则完全不同。他们让AI评判员学会输出完整的概率分布，而不是单一的判断结果。这就像从黑白电视升级到彩色电视一样——原来只能看到"黑"或"白"的简单结果，现在能看到从黑到白之间所有细致的灰度变化。

具体来说，新的AI评判员在面对一个判断任务时，不会简单地说"B比A好"，而是会说"有70%的概率B比A好"。这个概率不是随便猜测的，而是基于对人类判断分布的深度学习得出的。当遇到一个争议很大的问题时，它可能会说"有50%的概率B比A好"，表明这是一个五五开的情况。当遇到一个大家意见比较一致的问题时，它可能会说"有90%的概率B比A好"，表明虽然不是完全一致，但大部分人都倾向于这个判断。

这种改变带来了三个重要的好处。首先是信息量的大幅增加。概率判断比简单的"是"或"否"包含了更多信息，让使用者能够了解判断的可靠程度。其次是对目标分布的更好对齐。当AI的概率输出能够准确反映人类判断的真实分布时，它就更好地捕捉了人类的集体智慧。最后是更好的校准性。所谓校准性，就是AI说"有80%概率"时，在实际情况中确实有大约80%的情况是正确的。

二、两种训练策略：密集数据的直接学习与稀疏数据的强化学习

要让AI学会这种概率判断，就需要合适的训练方法。研究团队设计了两种不同的训练策略，分别适用于不同的数据情况，就像针对不同体质的人设计不同的健身方案一样。

第一种策略叫做"直接监督微调"，适用于有充足多人标注数据的情况。这就像让一个学生直接从标准答案中学习。假设研究团队收集了很多判断任务，每个任务都有10个人给出了自己的意见。那么，他们就可以计算出每个任务的真实概率分布。比如，如果10个人中有8个人认为A比B好，那么真实概率就是80%。然后，他们让AI直接学习输出这个80%的概率。

这种方法的优势在于直接和高效。AI可以直接从人类的集体判断中学习，不需要复杂的试错过程。训练过程就像教孩子背乘法表一样简单直接——告诉它正确答案是什么，让它反复练习直到记住为止。

但是，收集这种密集的多人标注数据往往成本很高，时间很长。在很多实际场景中，研究者更容易获得的是稀疏的二元标注数据——也就是说，每个判断任务只有一个人给出了"A好"或"B好"这样的简单判断。

这时候就需要第二种策略——基于强化学习的方法。这种方法就像训练一个运动员，不是直接告诉他标准动作，而是根据他每次尝试的结果给予奖励或惩罚，让他在试错中逐步学会正确的技能。

在这种方法中，AI评判员会对每个任务给出一个概率判断，然后根据这个判断的准确性获得奖励。研究团队使用了两种不同的奖励函数，分别叫做"布里尔奖励"和"对数奖励"。布里尔奖励比较温和，它根据预测概率与实际结果的差距给予奖励，差距越小奖励越高。对数奖励则比较严厉，它会重重惩罚那些过于自信但错误的预测。

比如说，如果AI预测某个结果有90%的概率发生，但实际上这个结果没有发生，那么对数奖励会给予严厉的惩罚，而布里尔奖励的惩罚相对温和一些。这两种不同的奖励机制就像不同的教练风格，严厉的教练能让学生更加谨慎，温和的教练则提供更稳定的学习环境。

三、实验设计：从理论到实践的全面验证

为了验证这些新方法的效果，研究团队设计了一系列精心安排的实验。他们选择了两个不同大小的AI模型作为测试对象：Gemma-2-9B和Qwen-2.5-7B。这就像选择两种不同马力的车来测试新的驾驶技术是否有效。

实验的数据基础是JudgeLM语料库，这是一个包含10万多个提示的大型数据集，涵盖了各种指令跟随任务。研究团队从中选取了一部分数据进行实验，并且为了确保公平比较，他们特意设计了两种不同的数据分配方案：一种是给监督学习方法提供5000个提示，每个提示有10个人的标注；另一种是给强化学习方法提供50000个提示，每个提示只有一个人的标注。这样设计的目的是让两种方法使用相同总量的标注数据，从而进行公平的比较。

特别值得一提的是，由于现有的数据集缺乏足够的多人标注信息来可靠估计概率分布，研究团队使用了一个非常聪明的解决方案。他们让Gemini-2.5-Flash这个先进的AI模型充当"高级教师"，通过给这个模型设置不同的人格（比如注重事实准确性的技术专家、关注安全的倡导者、重视简洁的沟通者等），来模拟不同人群的判断偏好。这种方法既保证了标注的质量，又大大降低了收集真实人类标注的成本。

四、令人惊喜的实验结果：多个维度的显著改进

实验结果显示，新的概率判断方法在多个重要维度上都取得了显著的改进，这些改进的幅度甚至超出了研究团队的预期。

在对齐准确性方面，也就是AI的判断与真实人类判断分布的匹配程度，新方法取得了18%到51%的错误率降低。这相当于从一个经常猜错的学生变成了一个成绩优秀的学生。具体来说，在Gemma-2-9B模型上，使用布里尔奖励的强化学习方法将均方误差从传统方法的0.1162降低到了0.0764，这是一个相当显著的改进。

在校准性方面，也就是AI说话算话的程度，新方法同样表现出色。传统的AI评判员经常出现"说话不算话"的问题——比如它说有80%的把握，但实际正确率可能只有60%。新方法将这种校准误差降低了4%到45%。校准性的改进意味着用户可以更加信任AI给出的概率判断，这对于实际应用来说至关重要。

也许最令人印象深刻的改进是在位置偏见方面。位置偏见是AI评判系统的一个老大难问题——AI往往会因为选项的位置（比如A和B的顺序）而产生偏见，这显然是不公平的。新方法在一致性方面取得了7%到81%的改进，几乎消除了这种偏见。这就像从一个总是偏向坐在左边学生的不公平老师变成了一个真正公正的评判者。

更重要的是，这些改进并不是以牺牲在客观任务上的表现为代价的。在JudgeBench这个包含知识、推理、数学和编程四个客观领域的基准测试中，经过新方法训练的模型依然保持了与顶级模型相当的性能，总体准确率达到了46.57%，与Gemini-1.5-pro相当。

五、数据效率的意外发现：少而精胜过多而粗

实验中一个特别有趣的发现是关于数据效率的。研究团队原本预期，直接监督学习方法应该会比强化学习方法表现更好，因为前者可以直接从准确的概率标签中学习。然而，实验结果却显示，强化学习方法在大多数情况下都超越了监督学习方法。

这个结果背后的原因非常有启发性。虽然监督学习方法可以从更精确的概率标签中学习，但强化学习方法能够接触到10倍数量的不同提示。这种提示多样性带来的好处竟然超过了标签精确性的优势。这就像学语言时，虽然精读10篇文章能让你深度理解每篇文章，但泛读100篇文章能让你接触到更丰富的语言模式和表达方式，最终可能带来更好的整体语言能力。

这个发现对实际应用具有重要的指导意义。在有限的标注预算下，与其花费大量资源为少数样本收集多人标注，不如将这些资源分散用于收集更多样本的简单标注。这种策略不仅成本更低，效果可能还更好。

六、跨领域验证：从合成数据到真实人类判断

为了验证新方法的普适性，研究团队在多个不同的数据集上进行了测试。除了主要的JudgeLM数据集，他们还在PandaLM数据集上进行了验证。PandaLM数据集的特殊之处在于它包含了真实的人类专家标注，这让研究团队能够测试模型在面对真实人类判断时的表现。

结果令人鼓舞。在PandaLM测试集上，经过新方法训练的Gemma-2-9B模型达到了73.17%的人类判断一致性，不仅超过了所有基线方法，甚至超过了GPT-4这样的顶级模型。这个结果特别有意义，因为它证明了模型不仅在合成数据上表现良好，在面对真实的人类判断时也能保持优秀的性能。

为了进一步测试模型的能力，研究团队还在JudgeBench上评估了模型在客观任务上的表现。JudgeBench包含了知识问答、逻辑推理、数学计算和代码编程四个领域的客观评测任务。这些任务有明确的正确答案，可以用来测试模型是否在获得概率判断能力的同时还能保持在客观任务上的准确性。

结果显示，新训练的模型在客观任务上的表现并没有下降，甚至在某些子任务上还有所提升。比如在推理任务上，Gemma-2-9B模型达到了55.10%的准确率，这是所有测试模型中的最高成绩。这说明学会概率判断不仅没有损害模型的客观判断能力，反而可能帮助模型更好地理解和处理复杂的推理任务。

七、技术深度解析：从理论保证到工程实现

这项研究不仅在实验上取得了显著成果，在理论层面也提供了坚实的保障。研究团队从数学角度证明了他们提出的两种强化学习奖励函数都具有"费雪一致性"，这是一个重要的理论性质，保证了在理想条件下训练出的模型会收敛到真实的概率分布。

具体来说，费雪一致性意味着如果有无限的数据和无限的训练时间，使用这些奖励函数训练的模型最终会学会准确预测真实的人类判断概率分布。虽然实际训练中不可能达到这种理想条件，但这个理论保证为方法的可靠性提供了重要的支撑。

在工程实现方面，研究团队采用了一种巧妙的"口头概率"输出方式。不同于传统的在模型输出层添加分类头的方法，他们让模型直接生成包含概率数值的文本。比如，模型会输出"概率标签为0.75"这样的文本，然后通过文本解析提取出数值0.75作为概率判断。

这种方法有几个优势。首先，它保持了模型生成自然语言推理过程的能力，模型可以先解释自己的判断理由，然后给出概率估计。其次，它避免了修改模型架构的复杂性，可以直接在现有的语言模型基础上实现。最后，它使得概率判断成为了模型推理过程的一个自然组成部分，而不是一个外加的附件。

八、对AI评判系统未来发展的深远影响

这项研究的意义远远超出了技术本身的改进，它为整个AI评判系统的发展指明了新的方向。在当前AI快速发展的时代，如何评估和改进AI系统的性能变得越来越重要，而AI评判系统正是这个过程中的关键组件。

传统的AI评判系统由于只能给出简单的二元判断，在处理复杂、主观或有争议的任务时往往表现不佳。这不仅限制了它们的实际应用价值，也可能导致系统性的偏见和不公平。新的概率判断方法为解决这些问题提供了一条可行的路径。

从风险管理的角度来看，概率判断能够提供更丰富的信息来支持决策。当一个AI系统说某个判断有95%的把握时，决策者可以相对放心地采纳这个建议。但当系统说只有55%的把握时，决策者就知道这是一个需要额外谨慎考虑的情况，可能需要寻求更多的信息或采用更保守的策略。

从公平性的角度来看，概率判断能够更好地反映不同群体的观点差异。在一些文化敏感或价值观相关的任务中，不同背景的人可能确实会有不同的判断。传统的单一答案方法会强行选择一个"正确"答案，可能会系统性地忽视某些群体的观点。而概率判断方法能够承认这种分歧的存在，并在决策过程中给予适当的考虑。

九、实际应用前景：从研究到产品的转化路径

这项研究的成果已经显示出了巨大的实际应用潜力。在内容审核领域，新的概率判断方法可以帮助平台更好地处理边界案例。比如，当遇到一个可能涉及争议的帖子时，传统系统可能会简单地判断"违规"或"不违规"，而新系统可以给出"70%概率违规"的判断，让人工审核员知道这是一个需要重点关注的案例。

在教育评估领域，概率判断可以为自动评分系统提供更细致的反馈。传统的自动评分系统往往只能给出一个分数，而新系统可以同时提供对这个分数的信心度估计。这样，教师就能知道哪些评分是可靠的，哪些可能需要人工复核。

在推荐系统中，概率判断可以帮助系统更好地处理用户偏好的不确定性。当系统不太确定用户是否会喜欢某个内容时，它可以选择推荐一些更安全的选项，或者提供更多样化的推荐来探索用户的真实偏好。

在客户服务领域，概率判断可以帮助自动客服系统更好地识别复杂或敏感的问题。当系统对某个问题的处理方案不够确定时，它可以及时将问题转交给人工客服，避免给用户带来不良体验。

十、技术挑战与未来研究方向

尽管这项研究取得了显著的成果，但仍然存在一些需要进一步探索的技术挑战。其中一个重要挑战是如何更好地处理标注者之间的系统性偏见。虽然概率判断方法能够捕捉判断的不确定性，但如果标注数据本身存在系统性偏见，那么训练出的模型也会继承这些偏见。

另一个挑战是如何将这种方法扩展到更复杂的判断任务。目前的研究主要关注二元比较任务（A比B好还是B比A好），但实际应用中往往需要处理多选题、排序任务或者开放式评估任务。如何将概率判断的思想推广到这些更复杂的场景是一个值得探索的方向。

计算效率也是一个需要考虑的实际问题。概率判断方法通常需要更多的计算资源来训练和推理，特别是强化学习方法需要进行大量的试错和优化。如何在保持性能的同时提高计算效率是工程化应用的一个重要考虑因素。

此外，如何评估和验证概率判断的质量也是一个开放性问题。对于传统的分类任务，我们可以直接比较预测结果和真实标签。但对于概率判断，特别是在真实概率分布未知的情况下，如何设计合适的评估指标和验证方法仍然需要更多的研究。

说到底，这项来自谷歌等顶级研究机构的工作为AI评判系统带来了一次重要的升级。它让AI从一个只会说"对"或"错"的简单机器变成了一个能够表达不确定性、理解细致差别的智能助手。这种改变不仅在技术上意义重大，更重要的是它让AI系统变得更加诚实、更加可靠、也更加公平。

当我们站在AI技术快速发展的当口，这项研究提醒我们：真正优秀的AI系统不应该是那些总是装作什么都知道的系统，而应该是那些知道自己什么时候知道、什么时候不知道的系统。正如苏格拉底的名言"我知道我不知道"体现了真正的智慧，这项研究让AI系统也学会了这种谦逊而诚实的智慧。

对于普通用户来说，这意味着未来我们将拥有更值得信赖的AI助手。它们不会再盲目自信地给出可能错误的建议，而是会诚实地告诉我们它们的判断有多大把握。这种透明度和可解释性将让我们更好地与AI协作，也让我们对AI技术的发展充满期待。

Q&A

Q1：什么是AI评判系统的概率判断方法？它与传统方法有什么区别？

A：概率判断方法让AI评判系统不再只给出"A比B好"这样的简单判断，而是能说出"有80%的人会认为A比B好"这样包含确定性程度的判断。传统方法只会选择多数人的意见作为唯一答案，而新方法能够反映人类判断的完整分布，更好地处理主观性和不确定性。

Q2：这种新的训练方法在实际应用中有什么优势？

A：新方法在多个方面都有显著改进：判断准确性提高18-51%，校准误差降低4-45%，位置偏见减少7-81%。更重要的是，它让AI系统变得更诚实可靠，能够承认判断的不确定性，为用户提供更丰富的信息来支持决策，特别适用于内容审核、教育评估、推荐系统等需要处理主观判断的场景。

Q3：普通用户什么时候能体验到这种更智能的AI评判系统？

A：虽然研究团队已经在多个数据集上验证了方法的有效性，但从研究成果到实际产品应用还需要一定时间。目前这项技术主要在学术层面得到验证，未来可能会逐步集成到各类AI产品中，比如智能客服、内容推荐、自动评分等系统，让用户享受到更可靠、更透明的AI服务。