这项由中国人民大学高瓴人工智能学院的吕昂、腾讯大语言模型部门的谢若冰、东南大学的钱一宁等多位研究者共同完成的突破性研究，发表于2025年5月的第42届国际机器学习大会（ICML 2025）。有兴趣深入了解技术细节的读者可以通过研究团队在GitHub上公开的代码库（https://github.com/trestad/Autonomy-of-Experts）访问完整资料。

在人工智能的世界里，有一种被称为"混合专家模型"的技术，就像是在一家大型咨询公司里安排不同的专家来处理不同的问题。传统的做法是：当客户带着问题来时，前台接待员（也就是"路由器"）会根据问题的表面特征，决定把这个客户分配给哪位专家。比如听起来像法律问题就分给法律专家，像财务问题就分给财务专家。

但这种安排方式有个根本性的问题：前台接待员其实并不真正了解每位专家的实际能力和专长，也不知道这个问题是否真的适合某位专家处理。结果就可能出现这样的情况：一个复杂的商业纠纷被分配给了只擅长处理简单合同的律师，而真正的商业法专家却在处理一些基础问题。

更糟糕的是，当分配错误发生时，那位不太合适的专家为了完成任务，不得不硬着头皮学习处理这类问题，这就逐渐偏离了他原本的专长。同时，前台接待员也只能通过反复试错来学习如何更好地分配任务，这个过程既低效又浪费资源。

研究团队提出了一个革命性的解决方案：让专家们自己决定是否接手某个任务，这就是他们称之为"专家自主模型"的创新概念。在这个新系统中，当一个问题到来时，所有专家都会先快速浏览一下，然后根据自己的判断给出一个"兴趣度评分"。只有那些最感兴趣、最有把握的专家才会真正投入时间和精力来解决这个问题。

这种做法的巧妙之处在于：专家对自己的能力最了解。当一位商业法专家看到一个涉及复杂并购的案例时，他内心会产生强烈的"这正是我的专长"的感觉，这种感觉会反映在他的兴趣度评分上。相反，如果他看到一个简单的交通违章咨询，他的兴趣度就会很低，因为他知道这类问题更适合其他同事处理。

一、从现实发现到理论突破：专家真的"知道"自己知道什么

研究团队的发现始于一个有趣的实验。他们拿来了两个已经训练好的大型AI模型——一个叫Mixtral，另一个叫Phi-3.5，这两个模型都采用传统的专家分配方式。研究人员做了一个大胆的尝试：他们完全移除了这些模型中的"前台接待员"（路由器），然后让每个专家根据自己的"内心感受"来决定是否处理某个问题。

这就好比在一家医院里，突然取消了分诊台，而是让每位医生看到病人的症状后，根据自己内心的专业直觉来判断："这个病人的情况我最适合处理吗？"

结果令人惊喜。在处理一些智力挑战题时，即使没有分诊系统，这些"自选"的专家组合仍然能达到原系统95%的准确率。在另一个常识推理测试中，准确率甚至保持在71%。这个发现证实了一个重要观点：专家确实对自己的能力有着敏锐的自我认知。

研究人员进一步发现，专家的这种"自我认知"其实体现在它们处理信息时的"激活程度"上。当一个AI专家遇到适合自己的问题时，其内部神经网络的活跃度会明显升高，就像一个人遇到感兴趣的话题时会变得神采奕奕一样。通过测量这种激活程度的强弱，就能判断这个专家对当前任务的胜任度。

这个发现为整个领域带来了全新的思路。研究团队意识到，与其让一个外部的"分配器"来猜测哪个专家最合适，不如让专家们基于自己的内在感受来自主选择。这种方法不仅更准确，还能避免传统方法中决策制定和执行分离所带来的种种问题。

二、技术创新：让AI专家学会"毛遂自荐"

要让专家自主选择听起来简单，但在实际的AI系统中实现这一点却需要巧妙的技术设计。研究团队面临的第一个挑战是效率问题。如果让每个专家都完整地处理每个输入，然后根据结果来选择最佳答案，这就像让十位医生都给同一个病人做完整的检查，然后再选择最好的诊断结果，显然这样做成本太高。

研究团队想出了一个聪明的解决方案。他们让每个专家只需要做一个"初步诊断"——快速浏览问题并给出一个兴趣度评分，而不需要立即给出完整答案。这就像让医生们先看看病人的基本症状，判断一下"这个病人的情况我有多大把握处理好"，然后只有最有把握的几位医生才会进行详细诊断。

为了让这种"初步诊断"既快速又准确，研究团队对专家的内部结构进行了巧妙的改造。他们将专家内部负责"感知"的部分分解成两个更小的组件：一个负责快速形成初步印象，另一个负责基于这个印象进行深度思考。这种设计就像是给每个专家配了一个"直觉系统"和一个"分析系统"，直觉系统快速判断是否感兴趣，分析系统负责给出详细答案。

通过这种分层设计，每个专家可以用很少的计算资源快速判断自己对某个问题的胜任度，只有在确认自己最适合处理时，才会启动"分析系统"给出最终答案。这大大提高了整个系统的效率，让"专家自主选择"变得既实用又高效。

更有趣的是，研究团队发现这种自主选择机制还带来了意外的好处。在传统系统中，经常会出现某些专家工作过载而其他专家相对空闲的情况。而在新系统中，由于专家们会基于自己的实际能力来选择任务，工作负载自然就更加均衡了。这就像一个项目团队中，当大家都根据自己的专长和兴趣主动认领任务时，整个团队的效率和满意度都会更高。

三、深入验证：小规模实验揭示大道理

为了深入验证这种"专家自主"方法的有效性，研究团队设计了一系列精心控制的实验。他们构建了一些规模相对较小但功能完整的AI模型，就像在实验室里搭建微缩版的智能系统，来观察和分析各种现象。

这些小型模型包含12个处理层，每层有12个注意力头和8个专家，总参数量约为7.3亿个，其中实际激活的参数约为2.47亿个。研究团队让这些模型学习处理1000亿个文本片段，这个数据量相当于阅读数百万本书籍。训练完成后，他们在8个不同类型的任务上测试这些模型的表现。

实验结果令人印象深刻。采用专家自主选择机制的模型在所有8个测试任务上都超越了传统的专家分配模型。更有趣的发现是，即使不使用任何额外的负载均衡技术，专家自主模型也能自发地实现更好的工作分配。这就像一个团队中，当成员们都能根据自己的兴趣和专长主动选择任务时，整个团队的协作效果反而比强制分配任务时更好。

研究团队还深入分析了专家们在训练过程中的行为变化。他们发现了一个有趣的现象：在训练初期，不同专家处理问题时的"激活强度"相差很大，有些专家表现得很积极，有些则相对沉默。但随着训练的进行，专家们逐渐找到了自己的定位，那些处理同一类问题的专家最终会形成相似的激活模式。

这种自发的专业化分工过程特别引人深思。在传统系统中，专家的分工往往是通过外部的分配机制强制形成的。而在新系统中，专家们通过自主选择逐渐找到了最适合自己的"职业方向"，这种自然形成的专业化往往更加精准和稳定。

四、扩展验证：不同场景下的表现如何

为了确保这种方法不只是在特定情况下有效，研究团队还在多种不同的专家选择策略下测试了他们的方法。除了传统的"选择前K个最佳专家"策略，他们还测试了"动态概率选择"和"专家主动选择"等不同方案。

在动态概率选择方案中，系统不是简单地选择评分最高的几个专家，而是根据评分来计算每个专家被选中的概率，然后进行随机选择。这就像在组建项目团队时，不是只选择最顶尖的几个人，而是综合考虑多个因素，给不同水平的专家都留有机会。

在专家主动选择方案中，每个专家都会主动"申请"处理一定数量的任务，系统再根据申请情况进行协调。这更像是一个内部招聘系统，专家们根据自己的兴趣和能力主动申请参与不同的项目。

令人惊喜的是，无论采用哪种选择策略，专家自主方法都表现出了比传统方法更好的效果。这表明这种方法的优势不是偶然的，而是具有普遍适用性的。

研究团队还详细分析了系统的效率表现。他们发现，新方法能够达到传统方法97%的处理速度，同时在准确性上有明显提升。虽然存在一些额外的内存开销，但考虑到性能的显著改善，这种权衡是非常值得的。

特别值得注意的是，在实际的分布式计算环境中，专家自主方法还能带来额外的效率优势。由于专家们的工作负载更加均衡，那些处理能力强的服务器不会因为被分配过多任务而成为整个系统的瓶颈，这进一步提升了整体的处理效率。

五、规模验证：40亿参数的真实世界测试

为了验证这种方法在实际应用中的可行性，研究团队将实验规模扩大到了40亿参数的大型模型。这个规模的模型已经接近许多商业AI应用的水准，能够更好地反映真实世界的应用场景。

在这个大规模实验中，模型包含24个处理层，每层有20个注意力头，总参数达到40亿个，其中实际激活参数为11.8亿个。训练数据量也相应增加，模型需要学习处理更加复杂和多样化的任务。

大规模实验的结果进一步证实了专家自主方法的优越性。在所有测试任务中，新方法都表现出了比传统方法更好的性能。更重要的是，随着模型规模的增大，这种优势变得更加明显。这表明专家自主方法不仅在理论上合理，在实际的大规模应用中也具有很强的实用价值。

研究团队还观察到，在大规模模型中，专家们的专业化分工变得更加精细和明确。不同的专家逐渐专注于不同类型的语言模式和知识领域，形成了一个高效的"智力分工体系"。这种自然形成的专业化分工比人工设计的分工方案更加灵活和有效。

六、意外发现：AI专家的"专业直觉"

在研究过程中，团队发现了一个特别有趣的现象。他们注意到，那些表现更好的专家在面对适合自己处理的问题时，会表现出更强的"信心"——这种信心体现在其内部激活的集中度上。

这就像优秀的医生在面对自己擅长治疗的疾病时会表现得更加自信和专注，而面对不熟悉的症状时则会显得犹豫不决。研究团队通过测量这种"信心指数"，发现它确实能够很好地预测专家处理某个任务的效果。

更令人惊讶的是，专家们的这种"专业直觉"还表现出了层次性特征。在模型的浅层，专家们主要关注基础的语言模式和常见结构，它们的选择标准相对宽泛。而在深层，专家们变得更加挑剔和专业化，只有在遇到真正符合自己专长的复杂问题时，才会表现出强烈的处理意愿。

这种层次化的专业分工很像人类专家的成长轨迹：初级专家能够处理各种基础问题，而资深专家则专注于特定领域的复杂挑战。这种自然形成的层次结构为整个系统提供了既有广度又有深度的问题解决能力。

七、理论解释：为什么"自主选择"更有效

从理论角度来看，专家自主选择方法的成功可以从几个层面来理解。首先，它解决了传统方法中的信息不对称问题。在传统系统中，负责分配任务的路由器只能看到问题的表面特征，无法真正了解每个专家的内在能力。而专家自主选择让真正了解自身能力的专家来做决策，自然能够实现更精准的匹配。

其次，这种方法避免了决策制定和执行分离带来的问题。在传统系统中，如果路由器做出了错误的分配决定，被分配的专家要么勉强完成任务（导致质量下降），要么为了适应任务而改变自己的专长（导致专业化程度降低）。而在新系统中，专家只会选择自己真正擅长的任务，这保证了既高质量又专业化的处理效果。

从学习效率的角度来看，专家自主选择还能促进更有效的专业化发展。当专家们能够根据自己的兴趣和能力来选择任务时，他们更容易在特定领域积累深度的专业知识，而不是被迫成为"万金油"式的通用处理器。

研究团队通过一个简化的分类任务实验生动地展示了这种差异。在这个实验中，系统需要学会区分三类不同的输入。传统方法会让两个专家都参与所有类型的分类，结果每个专家都只能达到中等水平的专业化程度。而自主选择方法让一个专家专门处理其中两类相关的任务，另一个专家专门处理第三类任务，最终实现了更好的整体性能。

八、实际应用：从实验室到真实世界

这项研究的意义不仅仅局限于学术领域，它为现实中的AI应用提供了重要的改进方向。目前，许多大型AI系统都采用某种形式的专家分工机制，比如搜索引擎中的不同算法模块、推荐系统中的不同推荐策略、以及聊天机器人中的不同对话技能。

在搜索引擎的应用中，传统方法可能会有一个中央调度系统来决定对于每个查询应该使用哪种搜索算法。而采用专家自主选择的方法，各种搜索算法可以根据查询的特征自主判断自己的适用性，那些最有把握给出高质量结果的算法会主动承担任务。

在推荐系统中，不同的推荐策略（比如基于内容的推荐、协同过滤推荐、深度学习推荐等）可以根据用户的行为模式和偏好特征，自主判断哪种策略最适合为该用户提供推荐。这样不仅能提高推荐的准确性，还能让每种推荐策略在自己最擅长的场景中得到更充分的发展。

对于聊天机器人应用，这种方法可能带来更加自然和高效的对话体验。不同的对话技能模块（比如闲聊、问答、任务执行等）可以根据用户的输入自主判断是否适合自己处理，从而实现更流畅的对话切换和更准确的响应。

研究团队指出，这种方法还特别适用于需要处理多样化任务的大型AI系统。随着AI应用场景的不断扩展，单一的模型往往难以在所有任务上都达到最佳性能。通过让不同的专家模块自主选择最适合自己的任务，整个系统可以在保持高效的同时，在各个细分领域都达到专业化的水准。

当然，这项研究也指出了一些需要进一步改进的地方。比如随着专家数量的增加和任务稀疏度的提高，系统的效率可能会受到一定影响。研究团队正在积极探索针对这些挑战的优化方案，以使这种方法能够在更大规模的实际应用中发挥作用。

说到底，这项研究揭示了一个深刻的道理：在复杂的智能系统中，让最了解自身能力的组件来做决策，往往比依赖外部的统一调度更加有效。这不仅适用于AI系统，在人类组织和团队管理中也有着重要的启发意义。当团队成员能够根据自己的专长和兴趣主动承担合适的任务时，整个团队的效率和创新能力都会得到显著提升。

这项研究为AI领域带来了一种全新的思维方式，它告诉我们，有时候最好的管理就是让专业的人做专业的事，而判断什么是"专业的事"的最佳人选，正是专家自己。随着这种方法在更多实际应用中的验证和改进，我们有理由相信它将为AI技术的发展开辟出一条更加自然和高效的道路。

Q&A

Q1：专家自主模型和传统混合专家模型的核心区别是什么？

A：核心区别在于任务分配的决策者不同。传统混合专家模型依靠外部路由器来决定哪个专家处理哪个任务，就像公司前台分配客户给不同专家。而专家自主模型让专家自己根据内在判断来选择任务，类似专家们看到问题后主动说"这个我最擅长"。这种方式避免了外部分配可能出现的不匹配问题，让真正有能力的专家处理最适合的任务。

Q2：专家自主选择会不会导致某些专家一直不工作或工作过载？

A：实际上恰恰相反。研究发现专家自主选择机制能够自然实现更均衡的工作分配。因为每个专家都会根据自己的实际能力来选择任务，既不会勉强接受超出能力范围的任务，也不会错过适合自己的机会。就像技能互补的团队中，成员们根据专长主动认领任务时，工作分配往往比强制指派更合理。这种自然的负载均衡效果甚至比传统方法中专门设计的负载均衡机制还要好。

Q3：这种专家自主选择技术现在能在哪些实际应用中使用？

A：目前这项技术主要还处在研究验证阶段，研究团队已经在GitHub开源了相关代码。但其核心理念可以应用到很多AI系统中，比如搜索引擎的多算法协调、推荐系统的策略选择、聊天机器人的技能模块切换等。随着技术的进一步成熟，预计会逐步应用到需要多专家协作的大型AI系统中，让这些系统能够更智能地协调内部的不同能力模块。