这项由蚂蚁集团联合人民大学、浙江大学、西湖大学和香港科技大学的国际研究团队于2025年12月发表在arXiv预印本平台上的研究（论文编号：2512.15745v1），成功开发出了名为LLaDA2.0的全新AI语言模型系列。这个系列的"旗舰"版本LLaDA2.0-flash拥有惊人的1000亿参数规模，在AI语言生成领域开创了一个全新的技术路径。

在当今的AI世界里，绝大多数语言模型就像是一个只能从左到右阅读的学生。当你让它写一段文字时，它必须按照固定顺序，一个字一个字地思考和生成，就像我们平时说话一样——必须先说第一个字，再说第二个字。虽然这种方式很自然，但也带来了一个明显的限制：速度慢，特别是在生成长文本时，就像排队买票一样，每个人都得等前面的人办完才能轮到自己。

蚂蚁集团的研究团队采用了一种完全不同的思路，他们让AI模型学会了"并行思考"的能力。这就好比原来的AI是单线程处理器，只能一个任务接一个任务地完成，而新的LLaDA2.0则像是多核处理器，可以同时处理多个任务。具体来说，传统模型在生成文本时，就像一个人在黑暗中摸索着前进，只能看到已经写过的部分；而扩散语言模型则像是在明亮的房间里工作，可以看到整个上下文，从而做出更好的决策。

更令人惊喜的是，研究团队并没有选择从零开始训练这个庞大的模型，那样做就像是要重新发明轮子一样费时费力。相反，他们采用了一种巧妙的"改装"策略，将现有的优秀自回归语言模型作为起点，通过精心设计的三阶段训练流程，逐步将其转化为扩散模型。这种方法不仅大大节省了训练成本，还充分保留了原模型已经学到的丰富知识。

从实验结果来看，LLaDA2.0系列模型在多项任务上都表现出色，特别是在代码生成和数学推理等需要结构化思维的任务中，甚至超越了同规模的传统模型。更重要的是，得益于并行生成的特性，这些模型在保持高质量输出的同时，还能提供更快的推理速度，在某些场景下比传统模型快了2倍多。

一、化腐朽为神奇：从传统模型到扩散模型的华丽转身

传统的自回归语言模型就像是一个严格按照剧本演出的演员，它们必须严格按照从左到右的顺序生成每一个词。当模型需要生成"我喜欢在阳光明媚的下午读书"这样一个句子时，它必须先确定"我"，然后是"喜欢"，接着是"在"，以此类推。每个词的选择都只能基于前面已经生成的词，就像多米诺骨牌一样，一个接一个倒下。

这种方式虽然符合人类的说话习惯，但也带来了显而易见的问题。当需要生成长篇文章时，模型就像一个跑马拉松的选手，必须一步一步地跑完全程，无法跳跃或并行处理。更糟糕的是，如果在生成过程中出现错误，就像打字时按错了一个键，后续的所有内容都可能受到影响，而模型却无法回头修正。

蚂蚁集团的研究团队提出的扩散语言模型则完全打破了这种限制。扩散模型的工作原理就像是一个拼图游戏的高手，它首先看到整个画面的轮廓，然后同时在多个位置放置拼图块。在文本生成中，这意味着模型可以同时考虑句子的开头、中间和结尾，从而做出更加连贯和合理的决策。

具体来说，扩散模型的训练过程就像是教一个学生学会"完形填空"的超级版本。研究团队会随机遮盖句子中的一些词，然后让模型学习如何根据剩余的词来推断被遮盖的内容。与传统的完形填空不同，这里的"空白"可能出现在句子的任何位置，而且可能有多个空白需要同时填补。通过大量这样的练习，模型逐渐学会了理解整个句子的语境和逻辑结构。

然而，将一个已经训练好的自回归模型直接转换为扩散模型，就像是要让一个习惯了按部就班工作的员工突然适应多线程工作模式，这个过程充满了挑战。两种模型的"思维方式"截然不同：自回归模型习惯了线性思考，而扩散模型需要全局思考。如果转换过程处理不当，模型可能会"忘记"之前学到的知识，就像一个失忆症患者一样。

为了解决这个问题，研究团队设计了一个渐进式的转换策略。他们没有让模型一下子就适应全新的工作模式，而是采用了类似于"温水煮青蛙"的方法，让模型逐渐适应新的训练方式。这个过程被称为"热身-稳定-衰减"（Warmup-Stable-Decay，简称WSD）策略，就像是为模型设计了一个完整的"适应训练计划"。

在热身阶段，研究团队首先让模型练习处理小块的文本，就像是让一个新手司机先在停车场里练习，而不是直接上高速公路。模型从处理单个词开始，逐渐扩展到处理更长的文本片段，直到能够处理完整的句子。在稳定阶段，模型已经适应了新的工作模式，研究团队会用大量的数据对其进行强化训练，就像是让一个已经掌握基本技能的运动员进行大量的实战练习。最后在衰减阶段，研究团队会将模型调整到最适合实际应用的配置，就像是为赛车进行最后的调校。

这种渐进式的转换策略取得了令人惊喜的效果。实验结果显示，经过WSD策略训练的模型不仅成功地掌握了扩散生成的能力，还完整地保留了原始模型的知识和能力。这就像是一个人学会了新技能的同时，还没有忘记原来的本领，实现了真正的"技能升级"。

二、并行思维的艺术：让AI同时处理多个任务

传统语言模型的工作方式就像一个古老的打字机，每次只能敲击一个字母，必须等前一个字母完全确定后才能继续下一个。即使是最先进的自回归模型，在生成长文本时也必须遵循这种严格的顺序约束。当你要求模型写一篇文章时，它就像一个只能一笔一笔绘画的艺术家，无法跳跃到画面的其他部分进行创作。

扩散语言模型彻底改变了这种工作方式。它们就像是一群协同工作的画家，可以同时在画布的不同位置作画，相互参考，互相协调，最终创作出一幅和谐统一的作品。在文本生成中，这意味着模型可以同时思考一个句子的主语、谓语和宾语，从而确保语法的正确性和语义的连贯性。

为了实现这种并行处理能力，研究团队设计了一种名为"块扩散"（Block Diffusion）的创新机制。这个机制就像是将一长段文字分割成若干个小段落，然后让模型可以同时处理多个段落。与传统方法相比，这不仅提高了处理速度，还让模型能够更好地理解文本的整体结构。

在具体实现上，块扩散机制采用了一种巧妙的注意力掩码设计。传统的自回归模型使用单向注意力机制，就像一个只能向前看的司机，只能根据已经走过的路来决定下一步怎么走。而扩散模型使用双向注意力机制，就像一个可以360度观察周围环境的司机，能够同时考虑前方、后方和侧面的信息来做出最优决策。

研究团队特别注意到，在训练过程中，模型可能会形成一些"错误的联想"。由于训练数据通常是将多个不同的文档拼接在一起的，模型可能会错误地认为来自不同文档的内容之间存在某种关联。这就像是一个学生在阅读时错误地将两个不相关的故事联系在一起，从而产生混淆。

为了解决这个问题，研究团队开发了一种"文档级注意力掩码"机制。这个机制就像是在模型的"视野"中安装了隔板，确保模型在处理某个文档的内容时，不会被其他不相关文档的内容所干扰。这样一来，模型就能够更加专注地理解单个文档的内容，避免产生语义混淆。

在推理阶段，LLaDA2.0采用了一种创新的"置信度阈值"生成策略。这个策略就像是一个经验丰富的厨师品尝菜肴，只有当确信某道菜已经达到标准时才会端给客人。模型在生成每个词时，会同时评估自己的置信度。只有当置信度超过预设阈值时，这个词才会被最终确定。这种机制既保证了生成质量，又充分利用了并行生成的优势。

实验结果表明，这种并行生成策略在保持高质量输出的同时，显著提升了推理速度。在某些任务中，LLaDA2.0的生成速度比同规模的传统自回归模型快了2倍以上。更重要的是，由于模型能够同时考虑整个上下文，生成的文本在逻辑连贯性和语言流畅性方面都有明显改善。

三、精心设计的训练菜谱：三阶段转换策略

将一个训练好的自回归语言模型转换为扩散模型，就像是要将一个擅长独奏的音乐家培养成优秀的指挥家——不仅要保持原有的音乐才华，还要学会协调整个乐团的演奏。这个过程需要极其精细的规划和循序渐进的训练。

研究团队设计的三阶段转换策略就像是一份精心调配的训练菜谱。在第一阶段，也就是"热身"阶段，他们从最小的文本块开始训练。最初，模型只需要处理单个词的预测，这与原来的自回归训练方式非常相似，就像是让一个习惯了独奏的钢琴家先熟悉指挥棒的使用。然后，他们逐渐增加文本块的大小，从4个词扩展到32个词，再到64个词，最终达到4096个词。

这个渐进扩展的过程就像是教一个孩子学游泳，不会一开始就把他们扔进深水区，而是从浅水区开始，让他们逐渐适应水的环境。每当块大小发生变化时，模型都需要一段时间来适应新的训练模式。研究团队发现，这种渐进式扩展不仅避免了训练不稳定的问题，还帮助模型更好地理解了不同尺度上的语言结构。

当块大小达到4096个词时，模型实际上已经能够处理完整的长文本了。这时候就进入了第二阶段——"稳定"阶段。在这个阶段，模型就像一个已经掌握了指挥技巧的音乐家，需要通过大量的实战演出来提升自己的水平。研究团队使用海量的训练数据对模型进行强化训练，让它在处理各种类型的文本时都能游刃有余。

稳定阶段的训练特别重要，因为此时模型的计算效率得到了显著提升。由于不再需要维护传统的因果注意力结构，模型可以更高效地利用计算资源。这就像是从单线程处理升级到多线程处理，同样的硬件配置可以处理更多的数据，训练效率得到了大幅提升。

第三阶段是"衰减"阶段，这个阶段的目标是将模型调整到最适合实际应用的状态。研究团队会将块大小逐渐减小，最终稳定在32个词左右。这个过程就像是将一辆经过赛道测试的赛车调整为适合日常驾驶的配置，既要保持优秀的性能，又要确保实用性和稳定性。

在整个转换过程中，研究团队还采用了一种被称为"互补掩码"的训练技巧。这种技巧就像是让学生做两份互补的练习题，如果第一份题目遮盖了句子中的奇数位置的词，那么第二份题目就遮盖偶数位置的词。这样一来，同一个句子中的每个词都有机会被模型学习和预测，大大提高了训练数据的利用效率。

为了确保转换后的模型具有足够的鲁棒性，研究团队还开发了一种"top-k检查点融合"策略。他们会保存训练过程中表现最好的几个模型版本，然后将这些版本的参数进行平均融合，得到最终的模型。这种做法就像是让几个优秀的专家共同做决策，能够有效地减少单个模型可能存在的偏差和不稳定性。

实验结果证明了这种三阶段转换策略的有效性。经过完整训练的LLaDA2.0模型不仅成功地掌握了扩散生成的能力，还完美地保留了原始模型的知识储备。在各种评测任务中，新模型的表现不仅没有下降，在某些需要全局理解的任务中甚至有所提升。

四、让AI变得更聪明：后训练优化的魔法

当一个基础的扩散语言模型训练完成后，它就像是一个刚刚学会说话的孩子——虽然具备了语言能力，但还需要进一步的教育和引导才能成为一个有用的助手。这个过程被称为"后训练"，包括了让模型学会遵循指令、理解人类偏好，以及优化推理效率等多个方面。

在指令微调阶段，研究团队就像是给模型聘请了一个专业的礼仪老师。他们精心准备了大量的对话示例，教会模型如何正确地理解和回应人类的各种请求。这个过程需要特别注意扩散模型的特殊性质——由于模型采用的是随机掩码训练方式，每个训练样本只能提供部分的学习信号。

为了解决这个问题，研究团队开发了一种"互补掩码"策略。这种策略就像是让学生从不同角度反复学习同一个知识点。对于同一个对话示例，他们会创建两个互补的训练样本：第一个样本掩盖一部分词，第二个样本掩盖剩余的词。这样一来，模型就能从完整的对话中学习到所有必要的信息，大大提高了训练效率。

在训练数据的准备上，研究团队采用了一种均衡的配方。他们将训练数据分为三大类别：推理类数据用于提升模型的逻辑思维能力，包括数学题解和代码生成；通用类数据用于增强模型的语言表达能力，包括创意写作和日常对话；行业类数据用于培养模型的专业技能，包括各种专业领域的知识和工作流程。这种均衡的配方确保了模型能够全面发展，而不会偏向某个特定领域。

为了进一步提升模型的推理效率，研究团队还开发了一种"置信度感知并行训练"方法。这种方法的核心思想是让模型不仅要学会给出正确答案，还要学会评估自己答案的可靠性。这就像是训练一个学生不仅要会做题，还要能够判断自己的答案是否正确。

在这种训练方法中，模型需要同时优化两个目标：一个是传统的生成目标，确保输出的文本质量；另一个是置信度目标，让模型学会准确评估自己的预测置信度。通过这种训练，模型在生成文本时能够更加"自信"地做出决策，从而支持更加高效的并行生成策略。

研究团队还将先进的偏好对齐技术应用到了扩散模型上。他们采用了直接偏好优化（DPO）方法，这种方法就像是通过对比学习让模型明白什么样的回答更受人类欢迎。由于扩散模型的特殊性质，研究团队对传统的DPO算法进行了巧妙的改进，使其能够适应扩散模型的训练机制。

在偏好数据的构建上，研究团队收集了150万对高质量的偏好样本，涵盖了常识问答、数学推理、指令遵循等多个维度。这些数据就像是一本详细的"行为准则手册"，告诉模型在不同情况下应该如何表现才能更好地满足人类的期望。

最终训练出来的LLaDA2.0-mini（160亿参数）和LLaDA2.0-flash（1000亿参数）模型不仅在各种标准评测中表现出色，更重要的是它们展现出了扩散模型独特的优势。在需要全局理解和结构化思维的任务中，比如代码生成和数学推理，这些模型的表现甚至超越了同规模的传统自回归模型。

五、实战检验：在真实任务中展现实力

为了全面评估LLaDA2.0系列模型的能力，研究团队设计了一套包含47个不同评测任务的综合测试套件。这就像是为一个全能型运动员准备的奥运会项目，需要在各种不同的"赛道"上证明自己的实力。

在知识类任务中，模型需要展现其对各种领域知识的掌握程度。这包括了从基础的常识问答到高难度的科学问题，从中文理解到英文表达，就像是让模型参加一场跨越多个学科的知识竞赛。LLaDA2.0-flash在MMLU（大规模多任务语言理解）测试中获得了87.69分，在MMLU-Pro这个更加困难的版本中也达到了73.36分，充分展现了其广博的知识储备。

在推理类任务中，模型需要展现其逻辑思维和分析能力。这些任务就像是各种脑筋急转弯和逻辑推理题，需要模型能够理解复杂的因果关系，进行多步推理。特别是在HellaSwag这个常识推理任务中，LLaDA2.0-flash取得了84.97分，表明其在理解日常情况下的因果逻辑方面表现出色。

代码生成任务是扩散模型特别擅长的领域。由于编程本身就具有很强的结构性特征，需要同时考虑语法正确性、逻辑合理性和功能完整性，这正好发挥了扩散模型能够全局理解的优势。在Humaneval这个经典的代码生成测试中，LLaDA2.0-flash取得了94.51分，超越了同规模的传统模型。在更加复杂的MBPP测试中，也达到了88.29分的优异成绩。

数学推理是另一个展现扩散模型优势的领域。数学问题往往需要多步推理和结构化思考，传统的从左到右生成方式可能会在复杂推理过程中迷失方向，而扩散模型能够更好地把握整体的解题思路。在GSM8K这个小学数学应用题测试中，LLaDA2.0-flash获得了96.06分的近乎完美的成绩。在更加困难的MATH高中数学竞赛题目中，也取得了95.44分的优异表现。

在智能代理和工具使用任务中，模型需要展现其理解复杂指令并正确调用各种工具的能力。这类任务就像是测试一个助手是否能够准确理解老板的意图并使用适当的工具完成任务。在BFCL（伯克利函数调用排行榜）测试中，LLaDA2.0-flash取得了75.43分，展现了其出色的工具使用能力。

研究团队还特别测试了模型在不同上下文长度下的表现。他们使用RULER基准测试了模型处理4k到32k不同长度文本的能力。结果显示，LLaDA2.0-flash在处理长文本时表现稳定，在32k长度下仍能保持90分以上的成绩。当使用动态位置编码扩展技术将上下文长度扩展到64k时，虽然性能有所下降，但仍能正常工作，为处理超长文档提供了可能。

在推理速度测试中，LLaDA2.0系列模型展现出了扩散架构的独特优势。在配备了置信度感知并行训练的LLaDA2.0-flash-CAP版本中，平均推理速度达到了535个词每秒，比标准版本的383个词每秒有显著提升，更是比同规模的传统自回归模型快了2倍以上。这种速度优势在实际应用中具有重要意义，特别是在需要快速响应的交互场景中。

值得注意的是，LLaDA2.0模型在某些特定任务上表现出了明显的优势。特别是在需要结构化思维的任务中，如代码生成、数学推理和工具使用，扩散模型的全局理解能力得到了充分体现。这表明，随着模型规模的扩大和训练技术的改进，扩散语言模型有望在这些重要应用领域超越传统的自回归模型。

六、技术创新的幕后故事：工程实现的巧思

开发一个1000亿参数规模的扩散语言模型，就像是指挥一场包含数万名演奏者的超大型交响乐演出。每个"演奏者"（计算节点）都必须在正确的时间演奏正确的"音符"（计算操作），任何一个环节出错都可能影响整体效果。研究团队在工程实现上展现出了remarkable的技术智慧。

在训练基础设施方面，研究团队采用了Megatron-LM作为基础框架，这是一个专门为超大规模语言模型训练设计的分布式系统。他们巧妙地结合了多种并行策略：数据并行就像是让多个厨师同时准备不同的菜品，管道并行就像是将一个复杂的制造过程分解为多个流水线环节，张量并行就像是将一个巨大的拼图分给多个人同时拼装，专家并行则专门针对模型中的专家网络结构进行优化。

为了处理扩散模型特有的注意力机制，研究团队选择了cuDNN作为注意力计算的后端。这个选择带来了显著的性能提升——相比传统的注意力实现，端到端训练速度提升了1.3倍，注意力层的内存使用量减少了90%以上。这就像是将原来需要很多工人手工完成的工作交给了一台高效的自动化机器。

训练过程中的数值稳定性是另一个关键挑战。当将自回归模型转换为扩散模型时，由于训练目标的变化，模型可能会出现梯度爆炸的问题，就像是一个习惯了平稳驾驶的司机突然要适应山路驾驶，可能会出现操控不稳的情况。研究团队通过在训练初期为被掩码的词添加独立的高斯噪声，巧妙地解决了这个问题，确保了训练过程的稳定性。

在推理阶段，研究团队开发了专门的推理引擎dInfer，并将其功能集成到了知名的SGLang推理框架中。这个推理引擎充分利用了扩散模型的特性，实现了高效的KV缓存复用和并行解码。推理过程采用了"混合接受策略"：对于置信度高的词，模型会直接接受；对于置信度较低的情况，则会接受概率最高的若干个词。这种策略既保证了生成质量，又充分发挥了并行生成的优势。

负载均衡是分布式训练中的一个重要考虑因素。由于扩散模型的注意力掩码具有不规则的结构，可能会导致不同计算节点的工作量不均匀。研究团队采用了"之字形分区策略"来解决这个问题，就像是将不规则形状的拼图碎片重新分组，确保每组的总面积大致相等，从而实现了良好的负载均衡。

在后训练阶段，研究团队使用了自主开发的dFactory框架，这是一个专门为扩散语言模型设计的高效训练工具包。该框架基于VeOmni分布式训练系统构建，能够有效地处理复杂的并行化配置。通过数据打包策略，多个短序列被拼接成更长的序列，提高了硬件利用率和训练效率。

为了确保扩散模型特有的掩码一致性，研究团队设计了一个特殊的同步机制。在分布式训练环境中，被掩码的词位需要在所有模型并行的rank中保持一致。他们的解决方案是在单个模型并行rank中生成掩码，然后广播到其他rank，就像是由一个指挥家统一发出节拍，确保所有演奏者保持同步。

这些工程创新的集合使得LLaDA2.0项目能够在合理的时间和成本内完成训练。更重要的是，这些技术创新为未来更大规模的扩散语言模型训练奠定了坚实的技术基础，就像是为后续的探索建造了一条宽阔的高速公路。

说到底，LLaDA2.0项目不仅仅是一个新模型的诞生，更是AI语言生成技术的一次重要范式转变。这项由蚂蚁集团领导的国际合作研究成功证明了扩散模型在语言生成任务中的巨大潜力。通过巧妙的转换策略和精心设计的训练流程，研究团队不仅避免了从零开始训练的巨大成本，还充分保留和发扬了现有模型的知识积累。

最令人兴奋的是，LLaDA2.0展现出的并行生成能力预示着AI交互体验的重大变革。在不久的将来，我们可能会看到响应速度更快、理解能力更强的AI助手，它们能够更好地理解我们的需求，并以更自然、更高效的方式与我们协作。特别是在代码生成、数学推理和复杂任务规划等需要结构化思维的领域，扩散模型有望带来突破性的改进。

这项研究的开源发布也为整个AI社区提供了宝贵的资源和经验。其他研究团队可以基于这些成果继续探索扩散语言模型的更多可能性，推动整个领域向前发展。对于有兴趣深入了解技术细节的读者，可以通过论文编号arXiv:2512.15745v1在arXiv平台上查阅完整的研究报告。

Q&A

Q1：LLaDA2.0扩散语言模型和传统语言模型有什么区别？

A：最大的区别在于工作方式。传统模型就像打字机一样必须一个字一个字地生成，而LLaDA2.0可以同时处理多个位置的词，就像多个画家同时在画布不同位置作画。这种并行方式不仅速度更快，还能更好地保持整体逻辑的一致性。

Q2：为什么LLaDA2.0在代码生成和数学推理方面表现特别好？

A：因为编程和数学问题都需要严格的结构性思维，需要同时考虑语法、逻辑和功能的完整性。扩散模型能够"看到"整个问题的全貌，而不是像传统模型那样只能从左到右一步步推理，所以在这类需要全局理解的任务中表现更加出色。

Q3：普通用户能使用LLaDA2.0模型吗？

A：目前LLaDA2.0已经开源发布，技术团队和开发者可以通过Huggingface平台获取模型代码和权重。但由于模型规模庞大，普通用户直接使用还需要相当的技术门槛和计算资源。未来可能会有基于这项技术的商业化产品面向普通用户。