这项由上海交通大学严军池教授团队领导的研究发表于2025年10月的arXiv预印本平台，论文编号为arXiv:2510.18250v1，有兴趣深入了解的读者可以通过该编号查询完整论文。

训练大型语言模型就像教孩子学习一样，需要大量高质量的学习材料。但现实中，即使是精心挑选的教材也会包含一些无用甚至误导性的内容。如何在海量数据中挑选出真正有价值的部分，一直是人工智能领域的一个重要挑战。

传统的做法就像给孩子找一个经验丰富的老师作为参照标准。研究人员需要先训练一个"参考模型"，然后用这个模型来判断哪些数据片段值得学习。这种方法虽然有效，但存在明显问题：首先需要额外的时间和计算资源来训练参考模型，其次这种方法只关注数据的"难易程度"，却忽略了数据的"语义重要性"。

上海交通大学的研究团队提出了一种全新的解决方案，他们称之为ssToken（自调节和语义感知的令牌选择方法）。这个方法的巧妙之处在于，让模型像照镜子一样，通过对比自己的"过去"和"现在"来判断哪些数据最有学习价值。

一、突破传统思路：让模型成为自己的老师

想象一下，如果你正在学习一门新技能，比如学做菜。传统方法就像请一位大厨在旁边指导，告诉你哪些步骤重要，哪些可以忽略。但上海交大团队的方法更像是让你对比自己一个月前和现在的烹饪水平，从这种进步中发现哪些练习真正有效。

具体来说，ssToken方法不再依赖外部的参考模型，而是利用模型自身的训练历史。研究团队将当前模型与其历史版本（比如训练初期的状态）进行对比，计算每个数据片段上的损失差异。如果当前模型在某个数据片段上比历史版本表现好很多，这就说明这个数据片段包含了模型仍在学习的有价值信息。

这种"回顾式过量损失"计算方法的数学原理相当直观。研究团队用当前模型和历史模型分别计算同一个数据片段的预测概率，然后取对数比值。这个比值越大，说明当前模型在这个片段上的改进越明显，也就意味着这个片段对模型学习的价值越高。

更进一步，研究团队还设计了一种可选的动态更新机制。历史模型不是固定不变的，而是可以通过指数移动平均的方式逐步更新，这样既保持了历史信息的稳定性，又能适应模型的长期发展轨迹。这就像给学习者提供了一个逐渐进化的参照标准，避免了固定参考点可能带来的局限性。

二、融入语义理解：不只看难度，更看重要性

传统的数据选择方法就像只看考试分数来评价学生，虽然能反映学习效果，但忽略了知识的实际应用价值。一个数据片段可能在数学上很"困难"，但在语义上却不重要；相反，一些看似简单的片段可能承载着关键的语义信息。

ssToken方法的第二个创新在于引入了基于注意力机制的语义重要性评估。这个概念听起来复杂，但原理很直观。在处理对话数据时，模型需要根据用户的问题（提示词）来生成回答。研究团队发现，回答中每个词对问题的"注意程度"可以很好地反映其语义重要性。

具体实现时，研究团队测量回答中每个词分配给问题的注意力权重总和。注意力高的词通常承载着更多与任务相关的语义信息。比如在回答"如何做红烧肉"时，"红烧"、"调料"、"时间"等词的注意力权重通常会比"的"、"了"、"在"等功能词高得多。

为了确保这种方法在实际应用中高效可行，研究团队还专门设计了轻量级的实现方案。他们采用钩子函数在前向传播过程中保存特定层的隐藏状态，然后只重新计算该层以获取注意力矩阵，这样既能获得所需信息，又不会显著增加计算开销。更重要的是，这种设计完全兼容现有的高效注意力机制，如FlashAttention。

三、双重标准的智能融合：平衡损失信息和语义信号

有了自调节的损失信息和语义感知的注意力信号，下一个问题就是如何将它们有机结合。这就像在考虑一个员工的综合表现时，既要看工作成果（损失信息），也要看工作态度和协作能力（语义信息）。

研究团队设计了一个简洁而有效的融合机制。首先，他们将回顾式过量损失标准化到0到1的范围内，而注意力分数本身就在这个范围内。然后引入一个平衡系数γ，用来控制两种信号的相对权重。最终的评分公式是：γ × 标准化损失 + (1-γ) × 注意力分数。

这个平衡系数的选择经过了大量实验验证。研究团队发现，当γ等于0时，系统退化为纯粹的语义选择；当γ等于1时，系统退化为纯粹的损失选择。而γ取中间值（如0.5）时，通常能获得最好的性能，这说明两种信号确实具有互补性。

在实际应用中，系统会根据这个综合评分对所有数据片段进行排序，然后选择评分最高的一定比例（通常是60%）用于训练。这个选择比例也是经过大量实验优化的，既能过滤掉无用信息，又能保留足够的有效训练数据。

四、实验验证：多个维度的全面测试

为了验证ssToken方法的有效性，研究团队进行了大规模的对比实验。他们选择了四个不同规模的主流语言模型作为测试对象，包括LLaMA-3.2-3B、LLaMA-3.1-8B、Qwen-2.5-7B和Qwen-2.5-14B，参数规模从30亿到140亿不等。

实验数据来源于五个广泛使用的监督微调数据集，包括Flan v2、OpenAssistant、Stanford Alpaca、Dolly和WizardLM，总共包含30万个样本。研究团队从中精心挑选了5万个高质量样本作为实验数据池，确保了实验的公平性和可重复性。

评估环节同样严格全面。研究团队选择了十个不同类型的基准测试，涵盖了事实知识、推理能力、跨语言理解等多个维度。这些测试包括MMLU（大规模多任务语言理解）、TriviaQA（常识问答）、TruthfulQA（真实性问答）等知名基准。

实验结果令人印象深刻。与完整数据训练相比，ssToken方法在四个测试模型上分别获得了4.3%、3.4%、1.3%和2.1%的性能提升。更重要的是，与现有的令牌选择方法相比，ssToken方法的优势更加明显，最高可达2.8%的性能提升。

特别值得注意的是，ssToken方法在不同类型的任务上表现出了良好的稳定性。对于知识密集型任务如MMLU和ARC，令牌选择的效果相对有限，这符合预期，因为这些任务更多依赖预训练阶段积累的知识。而对于需要强指令跟随能力的任务如TyDiQA、TriviaQA和AGIeval，ssToken方法展现出了显著优势，这主要归功于其语义感知组件能够更好地识别与任务相关的令牌。

五、深入分析：方法的内在机制和优化策略

为了更好地理解ssToken方法的工作机制，研究团队进行了细致的消融实验。他们分别测试了不同平衡系数γ的影响，发现纯粹的损失选择（γ=1）和纯粹的语义选择（γ=0）都能单独取得不错的效果，但两者结合时能产生协同效应，获得更好的性能。

在注意力层选择方面，研究团队比较了使用浅层、中层和深层注意力的效果。结果显示，深层注意力通常能提供更好的语义信号，这与现有研究一致：深层网络更关注抽象语义和任务相关的全局信息，而浅层网络主要处理句法和位置信息。

选择比例的实验也很有启发性。研究团队测试了从20%到80%不同的选择比例，发现60%通常是一个不错的平衡点。过低的比例可能会丢失有用信息，而过高的比例则无法有效过滤噪声。有趣的是，对于更大的模型（如140亿参数的Qwen-2.5-14B），最优比例可能会稍高一些（80%），这可能反映了大模型更强的学习能力和对复杂模式的敏感性。

六、效率与实用性：兼顾性能和成本

除了性能提升，训练效率也是评估新方法的重要指标。传统的基于参考模型的方法需要额外训练一个参考模型，这不仅增加了计算成本，还延长了整个流程的时间。研究团队的对比实验显示，RHO-1和TokenCleaning等传统方法虽然能提升性能，但训练时间显著增加。

相比之下，ssToken方法几乎不增加训练时间。自调节机制直接利用现有的模型检查点，无需额外训练。语义感知组件通过巧妙的实现设计，只增加了微小的计算开销。这种效率优势使得ssToken方法在实际应用中更具吸引力。

从可扩展性角度看，ssToken方法也表现出了良好的潜力。随着模型规模和数据量的增长，训练额外参考模型的成本会快速上升，而ssToken方法的成本增长相对缓慢。这种特性对于资源受限的研究团队或应用场景特别重要。

七、案例展示：看得见的改进效果

为了让改进效果更加直观，研究团队提供了一些具体的选择案例。在一个关于如何进行哑铃弯举的指导中，传统方法和ssToken方法都能选择出关键的动作要点，但ssToken方法能更好地平衡技术细节和安全提醒。

在化学知识问答中，当用户询问有机化合物类型时，不同方法的选择结果大致相同，都能识别出"烷烃"、"饱和烃"等关键概念。但在更复杂的数学推理任务中，ssToken方法展现出了明显优势，能更准确地识别推理过程中的关键步骤。

这些案例表明，ssToken方法的改进不仅体现在数值指标上，更体现在对内容理解的深度和准确性上。特别是在需要复杂推理或深度理解的任务中，语义感知组件的价值更加明显。

说到底，ssToken方法的成功在于它巧妙地解决了人工智能训练中的一个根本问题：如何在没有完美老师的情况下，让机器自己学会选择最有价值的学习材料。通过让模型对比自己的成长轨迹，结合对语义重要性的理解，这种方法实现了既高效又智能的数据选择。

这项研究的意义不仅限于技术层面的改进。它为人工智能的自主学习能力开辟了新的可能性，让我们看到了机器在某种程度上具备"自我反思"和"价值判断"能力的前景。虽然目前的方法还需要人工设定一些参数，如选择比例和平衡系数，但研究团队已经指出，未来的发展方向是让这些参数也能自适应调整，进一步提升方法的自主性和适用性。

对于普通人而言，这项研究意味着未来的AI助手可能会变得更加智能和高效。它们不仅能更好地理解我们的需求，还能更有效地从海量信息中提取真正有价值的内容。当AI系统能够更好地"选择学习内容"时，它们在回答问题、生成内容和提供建议时的质量也会相应提升。

当然，正如研究团队坦诚指出的，这种方法也有其局限性。选择比例等关键参数仍需要根据具体应用场景进行调整，这在某种程度上限制了方法的通用性。但这些局限性也为后续研究指明了方向：开发能够自适应调整参数的智能算法，让数据选择过程变得更加自主和灵活。

有兴趣深入了解这项研究技术细节的读者，可以通过arXiv预印本平台搜索论文编号arXiv:2510.18250v1获取完整论文，其中包含了详细的算法描述、实验设置和结果分析。

Q&A

Q1：ssToken方法为什么不需要额外训练参考模型？

A：ssToken方法让模型成为自己的老师，通过对比当前模型与其训练历史版本的表现差异来判断数据价值。这就像学生通过对比自己的过去和现在的水平来发现哪些练习最有效，而不需要请外部老师来指导。

Q2：语义感知组件是如何工作的？

A：语义感知组件通过测量回答中每个词对问题的注意力权重来评估重要性。注意力权重高的词通常承载更多任务相关信息，就像在对话中我们会重点关注与话题相关的关键词一样。

Q3：ssToken方法在实际应用中效果如何？

A：实验显示ssToken方法比完整数据训练提升性能最高4.3%，比其他令牌选择方法提升最高2.8%，同时几乎不增加训练时间。特别是在需要强指令跟随能力的任务上表现更加出色。