想要让一个聪明的学生向天才老师学习，最好的方法是什么？华为诺亚方舟实验室联合伦敦大学学院人工智能中心的研究团队，在2025年提出了一个全新的思路。这项发表于arXiv预印本服务器（论文编号：2509.22921v1）的研究，首次将大语言模型的知识蒸馏过程重新定义为一个约束强化学习问题，为我们展示了如何让小模型在保持与老师相似推理能力的同时，获得更好的任务表现。

传统的知识蒸馏就像让学生完全照搬老师的答题步骤，不管这些步骤对学生来说是否过于复杂。而华为团队提出的新方法更像是给学生制定了一个学习规则：在不偏离老师思路太远的前提下，努力提高自己的成绩。这种方法不仅避免了传统方法中需要反复调整平衡参数的问题，还确保了学生模型在独立工作时不需要依赖老师的帮助。

研究团队在数学推理任务上的广泛实验证明，他们的方法在约束满足率和推理质量方面都表现出色，同时保持了与传统方法相当的最终答案正确率。这项研究为在资源受限环境中进行奖励感知蒸馏提供了理论基础扎实且实用高效的解决方案。

一、传统方法的困境：当学生盲目模仿老师时会发生什么

在人工智能的世界里，大语言模型就像是博学的老师，它们拥有强大的推理能力，但运行起来需要巨大的计算资源。为了让这些"老师"的知识能在普通设备上使用，研究人员开发了知识蒸馏技术，让小模型向大模型学习。

传统的知识蒸馏方法主要关注让学生模型的输出分布尽可能接近老师模型，通常使用KL散度这种数学工具来衡量两者之间的差异。这就好比让一个小学生完全按照大学教授的解题步骤来做数学题。问题在于，教授的复杂推理过程可能远超小学生的理解能力，强行模仿反而会让学生迷失方向。

当研究人员开始在蒸馏过程中引入任务特定的奖励信号时，新的挑战出现了。现有方法通常采用一种叫做"软拉格朗日松弛"的技术，用一个超参数λ来平衡任务性能和对老师的忠实度。这种方法的公式看起来是这样的：最大化期望奖励减去λ倍的散度惩罚。

这种平衡就像在跷跷板上放置重物。问题是，λ这个参数极难调节，就好比你需要在不同的学习阶段不断调整跷跷板两端的重量，而且不同任务需要完全不同的平衡点。更麻烦的是，奖励和散度的数值范围往往相差巨大，在训练的不同阶段变化幅度也不同，这让参数调节变成了一个噩梦般的任务。

华为研究团队发现了传统方法的另一个根本问题：纯粹的奖励优化无法保证推理过程的正确性。他们通过实验发现，即使最终答案正确，仅基于奖励训练的模型可能会产生逻辑错误的推理步骤。这就像学生通过猜测得到了正确答案，但推理过程完全错误，这样的"正确"显然不是我们想要的。

二、约束强化学习：为学习过程设定边界

面对传统方法的困境，华为团队提出了一个根本性的转变思路：将知识蒸馏重新定义为约束强化学习问题。这种方法不再纠结于如何平衡两个目标，而是明确设定一个约束条件：在确保与老师模型的差异不超过预定阈值的前提下，最大化任务奖励。

这种思路的优势立即显现出来。设定约束阈值比调节平衡参数简单得多，因为阈值直接以KL散度的尺度表示，研究人员可以直观地理解其含义。更重要的是，当学生模型足够接近老师时，约束条件自动满足，这时目标就简化为纯粹的奖励最大化，整个优化过程变得更加优雅。

为了解决这个约束优化问题，研究团队原本可以采用标准的对偶拉格朗日方法，但这种方法在大语言模型的尺度上会带来巨大的计算开销。相反，他们选择了一种叫做Saute的状态增强强化学习方法，这种方法通过重新设计奖励函数来松弛约束优化问题。

Saute方法的核心思想是创建一个增强的马尔可夫决策过程，在原有状态空间的基础上增加一个预算变量，用来跟踪每个时间步的剩余约束预算。这就像给学生一张"偏离老师思路"的额度卡，每次偏离都会消耗一定额度，当额度用完时就会受到严厉惩罚。

然而，直接应用Saute方法在知识蒸馏场景中会遇到一个根本性问题：它要求在测试时也能访问老师模型来计算约束值，这完全违背了蒸馏的初衷。蒸馏的目标就是让学生模型能够独立工作，不再依赖老师。

三、去除状态增强：让学生真正独立

华为团队的关键创新在于认识到，在大语言模型的设置中，状态增强实际上是不必要的。他们的洞察基于这样一个事实：在语言模型中，状态包含了完整的交互历史，因此诱导的控制过程是完全可观察的。

具体来说，在任何时刻T，都可以从完整的观察历史中重新计算剩余预算，因为预算值等于初始预算减去之前所有时间步的约束消耗。这意味着增强状态变量实际上是状态的确定性函数，移除它不会导致部分可观察性问题。

基于这个认识，研究团队提出了一个不带状态增强的约束马尔可夫决策过程公式。在这个新公式中，约束奖励函数直接结合了任务特定奖励和约束满足的可行性信号。当剩余预算大于等于零时，模型获得正常的任务奖励；当违反约束时，模型会受到一个大的负惩罚。

这种设计的巧妙之处在于惩罚的精细化。与原始Saute方法对所有不可行轨迹给予相同惩罚不同，新方法引入了一个策略依赖的差异项，让偏离老师越远的轨迹受到越重的惩罚，而轻微偏离的轨迹受到较轻的惩罚。这种差异化惩罚机制在保持可行性决策不变的同时，显著提高了训练的样本效率。

四、策略梯度优化：理论保证下的实用算法

将约束优化问题转化为修改后的马尔可夫决策过程后，下一个挑战是如何有效地优化这个新目标。华为团队详细推导了策略梯度的分解形式，发现梯度包含两个关键部分：似然比项和显式依赖项。

似然比项是标准策略梯度中的常见组件，它通过调整策略参数来影响轨迹分布。显式依赖项则是新方法的独特之处，它直接来自奖励函数对策略参数的依赖关系。这个额外的梯度项在可行轨迹上消失，但在约束边界附近提供有用的信号，帮助模型更好地探索约束违反的轨迹。

为了确保方法的理论严谨性，研究团队建立了两个关键假设。第一个假设要求差异函数在每个状态下都是有限且可微的，这在实践中通过选择合适的差异函数（如KL散度）和使用概率下界来保证。第二个假设要求存在一个有限值的最优策略，且该策略几乎必然满足约束，这确保了最优解存在于可行域内。

在这些假设下，团队成功地统一了梯度计算的所有情况，包括严格可行、不可行和边界情况。最终的梯度公式既包含了标准的策略梯度项，也包含了一个边界修正项，后者只在接近约束边界时起作用。

五、理论保证：证明方法的有效性

华为团队不仅提出了新方法，还为其提供了严格的理论保证。他们证明了三个重要的定理，这些定理确保了新方法在理论上是正确和有效的。

第一个定理证明了最优等价性：对于每个可行状态，去除状态增强的马尔可夫决策过程与原始增强版本具有相同的最优值函数。这个证明的关键在于认识到，由于预算变量可以从观察历史中确定性地重构，因此两种公式在可达集合上诱导相同的轨迹和逐步奖励。

第二个定理建立了贝尔曼最优性和值收敛性。在标准的连续性和紧致性假设下，去除状态增强的马尔可夫决策过程满足贝尔曼方程，且最优值函数随着惩罚参数n的增加单调收敛到极限情况。

第三个定理是最重要的约束满足保证：如果存在一个有限值的最优策略，那么当惩罚参数趋向无穷时，每个最优策略都几乎必然满足原始约束。这意味着在极限情况下，新方法确实能找到满足约束的最优解。

这些理论结果的重要意义在于，它们确保了新方法在保持约束满足保证的同时，消除了对测试时访问老师模型的需求。学生模型在部署时可以完全独立运行，同时仍然享有理论上的约束满足保证。

六、实验设计：在数学推理任务上的全面验证

为了验证新方法的有效性，华为团队设计了一系列全面的实验。他们选择了数学推理任务作为测试平台，因为这类任务不仅需要正确的最终答案，更需要合理的推理过程，这正好符合他们方法的设计目标。

实验涵盖了两个不同的蒸馏设置。第一个设置使用Qwen2.5-1.5B-Math作为学生模型，从Qwen2.5-7B-Math-Instruct教师模型学习，训练数据来自GSM8K数据集。第二个设置使用Llama-3.2-3B作为学生模型，从Llama-3.2-11B-Instruct教师模型学习，训练数据来自MATH数据集。两种设置都在20个训练轮次后，在Apple/GSM-Symbolic、GSM8K测试集和MATH测试集上进行评估。

为了确保实验的公平性，研究团队将他们的约束优化方法建立在GRPO策略梯度算法之上，并确保所有基线方法都使用相同的GRPO框架。这种设计消除了算法实现差异对结果的影响，让比较更加客观。

实验中的基线方法覆盖了当前主流的蒸馏方法。GRPO代表纯粹的任务奖励优化，GKD实现仅基于KL散度的蒸馏，GKD-GRPO系列则对应传统的拉格朗日松弛方法，使用不同的λ值来平衡奖励和散度，Mini-LLM实现在线反向KL散度最小化。为了近似传统方法的帕累托前沿，团队对λ进行了网格搜索，测试了从0.001到10的多个数量级。

七、评估指标：多维度衡量模型性能

华为团队采用了四个关键指标来全面评估模型性能，这些指标从不同角度反映了蒸馏的质量和效果。

最终答案正确率验证答案框内的最终答案是否正确，这是数学推理任务的基本要求，也是定义奖励函数的基础。然而，仅仅关注最终答案是不够的，因为模型可能通过错误的推理得到正确答案。

为了评估推理质量，团队引入了LLM作为评判者的设置，使用DeepSeek-R1-Distill-Qwen-32B模型进行成对比较。评判者会得到正确的最终答案，然后专门评估推理过程的逻辑有效性。这种评估产生推理胜率和推理败率两个指标，以百分比形式报告。

约束满足率衡量测试样本中KL散度低于预定义阈值的百分比，这直接反映了方法对约束的遵守程度。KL散度则是整个测试集上学生-教师策略散度的平均值，提供了偏离程度的定量测量。

这种多维评估体系确保了研究团队能够全面了解不同方法的优缺点，避免了单一指标可能带来的偏见。

八、实验结果：新方法的优势得到验证

实验结果清晰地证明了华为团队方法的有效性。在综合性能比较中，新方法实现了最平衡的性能表现，在推理质量和约束满足方面表现出色，同时保持了竞争性的最终答案正确率。

雷达图分析显示，纯奖励优化方法虽然在最终答案正确率上表现最佳，但在推理质量和约束满足方面表现糟糕。相反，仅关注KL最小化的方法能够很好地满足约束，但在最终答案正确率上明显不足。新的约束强化学习方法成功地在这些目标之间找到了最佳平衡点。

帕累托前沿分析进一步证实了新方法的优势。在最终答案正确率和约束满足率的权衡中，新方法始终占据帕累托前沿的优势区域，实现了更高的约束满足率而不牺牲太多的任务性能。这种表现在所有测试数据集上都保持一致。

外部奖励的价值通过比较基于奖励的方法和纯KL方法得到了确认。结果显示，在所有数据集和模型上，纯KL最小化方法的最终答案正确率都明显低于包含奖励信号的方法。这证明了任务特定奖励信号的重要性，它能够引导学生模型学习更有效的推理策略。

蒸馏信号的作用通过比较纯奖励优化和约束方法得到了验证。成对比较矩阵显示，纯奖励优化虽然能够达到较高的原始正确率，但在推理质量方面表现较差，胜率仅为百分之十几，败率却高达百分之三十到五十。新方法在保持竞争性成功率的同时，显著提高了推理质量。

九、深入分析：理解方法成功的原因

为了更深入地理解新方法成功的原因，华为团队进行了详细的定性分析。他们发现，约束强化学习方法产生的推理过程不仅在逻辑上更加连贯，而且在数学概念的应用上更加准确。

一个典型的例子展示了不同方法之间的关键差异。在一个关于鲸鱼和寄生鱼比例的数学问题中，新方法给出了清晰的逐步解答：首先将寄生鱼长度从英寸转换为英尺，然后计算总长度，最后求出正确的百分比。而纯奖励优化方法虽然最终得到了正确答案，但推理过程包含了错误的步骤，比如错误地将寄生鱼长度加到鲸鱼长度上。

这种差异揭示了一个重要问题：仅仅基于最终答案的奖励信号无法保证推理过程的正确性。模型可能会学会一些能够产生正确答案但逻辑错误的策略，这在实际应用中是危险的。约束条件的引入迫使模型保持与教师相似的推理模式，从而确保了推理过程的质量。

研究团队还观察到，差异化惩罚机制在提高训练效率方面发挥了重要作用。通过为不同程度的约束违反提供不同强度的负反馈，模型能够更好地学习约束边界，避免了传统方法中"要么完全可行要么完全不可行"的粗糙划分。

十、技术创新：理论与实践的完美结合

华为团队的研究在多个层面展现了技术创新。从理论角度看，他们首次证明了在历史条件策略的设置下，状态增强是不必要的，这一洞察为约束强化学习在序列决策问题中的应用开辟了新的可能性。

从算法设计角度看，差异化惩罚机制的引入是一个巧妙的创新。传统的约束方法通常采用二元的可行性判断，而新方法通过引入连续的差异度量，为模型提供了更丰富的学习信号。这种设计不仅保持了理论保证，还显著提高了实际训练的效率。

从实用性角度看，新方法完全消除了对超参数调节的需求，这在实际应用中是一个巨大的优势。研究人员只需要设定一个直观的约束阈值，而不需要在不同的任务和训练阶段反复调节平衡参数。

方法的另一个重要优势是其部署时的独立性。与需要持续访问教师模型的方法不同，新方法训练出的学生模型可以完全独立运行，这使其在资源受限的环境中具有显著优势。

十一、实际意义：推动AI民主化的重要一步

华为团队的研究成果具有深远的实际意义。在人工智能快速发展的今天，大型语言模型的计算成本问题日益突出，这限制了这些先进技术的普及和应用。知识蒸馏技术为解决这个问题提供了重要途径，而新方法的提出进一步提高了蒸馏的质量和可靠性。

对于工业界来说，这项研究提供了一个既理论严谨又实用高效的解决方案。企业可以使用这种方法来创建更小、更快、但仍然保持高质量推理能力的模型，从而在降低计算成本的同时维持服务质量。

对于学术界来说，这项研究展示了约束优化理论在深度学习中的新应用，为相关领域的进一步研究提供了重要参考。特别是在安全AI和可控生成方面，约束强化学习的思路可能会有更广泛的应用。

从更广阔的视角看，这项研究推动了AI技术的民主化进程。通过让高质量的AI能力能够在更多样的硬件环境中运行，更多的个人和组织将能够享受到AI技术带来的益处。

说到底，华为诺亚方舟实验室的这项研究为我们展示了一种全新的思路：不是简单地让小模型盲目模仿大模型，而是在保持合理边界的前提下，让小模型发挥自己的优势。这种思路不仅在技术上是先进的，在哲学上也是深刻的，它告诉我们，真正的学习不是完全的复制，而是在理解和约束下的创新。这项研究不仅推进了知识蒸馏技术的发展，更为整个AI领域的可持续发展提供了新的可能性。未来，我们可能会看到更多基于这种约束优化思路的AI训练方法，让人工智能技术变得更加高效、可靠和普及。对于有兴趣深入了解技术细节的读者，可以通过arXiv预印本编号2509.22921v1查阅完整的研究论文。

Q&A

Q1：约束强化学习在大语言模型蒸馏中是怎么工作的？

A：约束强化学习就像给学生设定一个学习规则：在不偏离老师思路太远的前提下努力提高成绩。具体来说，它设定一个KL散度阈值作为约束条件，当学生模型与教师模型的差异在这个范围内时，模型获得正常的任务奖励；超出范围就会受到惩罚。这样既保证了推理质量，又提高了任务表现。

Q2：这种新方法比传统的知识蒸馏方法有什么优势？

A：新方法有三个主要优势：首先，不需要反复调节复杂的平衡参数，只需设定一个直观的约束阈值；其次，学生模型在部署时完全独立，不需要访问教师模型；最后，通过差异化惩罚机制，能更好地保证推理过程的逻辑正确性，而不只是最终答案的正确性。

Q3：华为团队的实验结果表明了什么？

A：实验结果显示新方法在多个维度都表现出色：在约束满足率上远超纯奖励优化方法，在推理质量上显著优于传统方法，同时保持了竞争性的最终答案正确率。特别是在数学推理任务中，新方法产生的推理过程更加逻辑连贯，避免了通过错误推理得到正确答案的问题。