这项突破性研究来自香港科技大学、香港中文大学（深圳）、小红书hi-Lab实验室以及香港科技大学（广州）的联合团队，发表于2026年3月的arXiv预印本平台，论文编号为arXiv:2603.07700v1。对于想要深入了解技术细节的读者，可以通过该编号在arXiv平台查询完整论文。

过去几年，AI图像生成技术发展得如火如荼，但有一个关键问题一直困扰着研究者们：如何让这些AI模型真正理解人类的喜好和反馈？这就像是教一个外星人画画，你很难用简单的数字告诉它什么是"好看"，什么是"不好看"。传统的AI训练就像是给机器一个精确的温度计，告诉它"温度高于25度就是热，低于15度就是冷"。但人类的审美和喜好往往更复杂，更像是"我就是觉得这幅画很美"或"这个文字渲染得不清楚"这样的主观判断。

现在，香港科技大学领衔的这个研究团队找到了一个巧妙的解决方案。他们开发了一套名为TDM-R1的新技术，首次实现了让快速AI图像生成模型有效学习和运用非数字化的人类反馈。这种非数字化反馈包括人类的简单喜好选择（比如"我更喜欢这张图"）、物体计数的准确性，以及文字渲染的清晰度等等。更令人惊讶的是，这套技术让原本需要80步计算的高质量图像生成过程，仅用4步就能达到甚至超越原始效果。

传统的快速图像生成技术面临一个根本性难题：它们只能理解可微分的奖励信号，也就是说，反馈必须是连续变化的数字。这就好比你只能通过调节音量旋钮来和AI交流，而不能直接说"这首歌太吵了"。但现实世界中的大部分有价值反馈都是离散的、主观的，比如人类的二元选择、对错判断，或者"这张图片里有几只猫"这样的计数问题。

TDM-R1技术的核心创新在于它巧妙地绕过了这个限制。研究团队将学习过程分解为两个相互配合的部分：一个负责学习如何理解人类反馈的"翻译器"（代理奖励模型），另一个负责实际生成图像的"画家"（生成器）。这种设计就像是在AI和人类之间建立了一个理解桥梁，让原本无法直接交流的双方能够有效对话。

一、突破性的确定性轨迹奖励估计方法

要理解TDM-R1的工作原理，我们需要先了解一个基础概念：图像生成过程就像是从一团随机噪声逐步"雕刻"出清晰图像的过程。传统方法在给每个中间步骤打分时存在很大的不确定性，就好比你想评价一个厨师的手艺，但只能看到他做菜过程中的某个瞬间，很难准确判断最终菜品的好坏。

研究团队发现了一个关键洞察：如果图像生成过程是完全可预测的（确定性的），那么我们就能为每个中间步骤提供准确的奖励估计。这就像是观看一个技艺娴熟的厨师按照标准食谱做菜，每个步骤都有明确的预期结果，你能更准确地判断每个动作的质量。

具体来说，研究团队采用了轨迹分布匹配（TDM）作为基础的少步生成模型。TDM的特点是采用确定性采样轨迹，这意味着从相同的起始噪声出发，每次都会走完全相同的生成路径。这种确定性为准确的中间步骤奖励估计奠定了基础。

通过数学分析，研究团队证明了当生成路径是确定性的时候，我们可以用最终图像的奖励来无偏估计中间步骤的奖励。这就好比知道了蛋糕最终的美味程度，我们就能反推出烘焙过程中每个温度调节步骤的合理性。相比之下，如果生成过程是随机的，这种估计就会有很大的方差，就像是每次做同一道菜都用不同的方法，很难总结出经验规律。

实验结果清楚地展示了这种方法的优势。当研究团队比较确定性轨迹和随机轨迹的训练效果时，确定性轨迹不仅收敛更快，最终性能也更优秀。这验证了他们的理论假设：确定性路径确实能提供更可靠的学习信号。

二、创新性的代理奖励学习机制

解决了中间步骤奖励估计的问题后，研究团队面临第二个挑战：如何有效地从非可微分的人类反馈中学习？这里的关键创新是代理奖励（Surrogate Reward）的设计。

传统方法通常直接将标准扩散模型的强化学习方法应用到快速生成模型上，但这种做法存在根本性问题。标准扩散模型的强化学习方法本质上依赖于去噪损失函数，而去噪损失在少步生成时容易产生模糊的结果。这就像是用专门洗精细衣物的洗衣程序来清洗厚重的外套，不仅效果不好，还可能损坏衣物。

研究团队的解决方案是设计一个专门针对少步生成的代理奖励模型。这个模型用扩散过程来参数化，能够为生成轨迹的每个步骤提供细粒度的、可微分的奖励信号。更重要的是，这个代理奖励模型通过群体偏好优化的方式进行训练，而不是传统的成对比较。

群体偏好优化的工作方式是这样的：系统会生成一组图像样本，然后根据真实的奖励信号将这些样本分为"好的"组和"不好的"组。代理奖励模型学习区分这两组样本的特征，从而能够为新的样本提供准确的质量评估。这种方法能够利用群体内部的细粒度偏好关系，比简单的成对比较包含更多信息。

特别值得注意的是权重分配机制。在群体中，不是所有样本都同等重要。研究团队设计了一个基于优势值的权重分配策略：在群体中表现特别好或特别差的样本会获得更高的权重，因为它们提供了更明确的学习信号。这就像是在教学生识别好坏作品时，特别突出的正面和负面例子比那些模棱两可的例子更有教育价值。

代理奖励模型还采用了动态参考模型的设计。与传统方法使用固定的参考模型不同，TDM-R1使用指数移动平均（EMA）来动态更新参考模型。这种设计既放松了过强的正则化约束，促进了更好的奖励学习，同时也避免了采用可能过拟合到噪声信号的"坏"参考模型的风险。

三、统一的生成器学习框架

有了准确的中间步骤奖励估计和有效的代理奖励模型，最后一步是设计一个统一的学习框架来训练少步生成器。这个框架需要平衡两个目标：最大化奖励和保持与原始模型的合理接近。

研究团队设计的学习目标类似于标准的人类反馈强化学习（RLHF），但有几个关键的改进。首先是奖励最大化项，它鼓励生成器产生能获得高代理奖励的样本。这部分提供了整合非可微分奖励反馈的良好学习信号。

第二个重要组成部分是边际级别的反向KL正则化。这种正则化有效地将生成样本锚定到预训练扩散模型参数化的基础分布上。与标准扩散强化学习中采用的实例级约束不同，这种分布级别的约束更加灵活和合理。

实例级约束要求轨迹上的每个点都与基础模型保持一致，这对于少步生成来说是一个不必要的严格限制。相比之下，边际级正则化只要求生成样本的整体分布与基础分布保持合理接近，给模型留出了更多的优化空间。

通过一系列数学推导，研究团队得出了最终的学习梯度表达式。这个梯度包含两个主要项：代理奖励的梯度和TDM蒸馏损失的梯度。代理奖励梯度推动模型朝着高奖励的方向优化，而TDM蒸馏损失确保模型保持生成高质量图像的基本能力。

为了提高训练效率，研究团队在实现中停止了代理奖励模型参数的梯度流。实验表明，这种做法不仅节省了内存成本，还不会影响最终性能。这种设计体现了工程实现中的实用主义考量。

四、全面的实验验证与性能突破

研究团队通过广泛的实验验证了TDM-R1的有效性，实验覆盖了从文本渲染到视觉质量提升，再到人类偏好对齐等多个重要任务。

在组合图像生成任务上，TDM-R1展现出了令人印象深刻的性能。使用Geneval基准测试，这是一个专门评估文本到图像对齐能力的严格基准，包含物体计数、空间关系和属性绑定等六个挑战性组合生成场景。结果显示，TDM-R1将原本61%的性能提升到了92%，不仅显著超越了80步的基础模型（63%），甚至超过了商业级最先进的GPT-4o（84%）。

更令人惊讶的是，这种性能提升并没有以牺牲其他质量指标为代价。在五个独立的图像质量评估指标上，包括美学评分、DeQA评分、ImageReward、PickScore和UnifiedReward，TDM-R1都显示出了改进或至少保持了与基础模型相当的性能。这表明该方法真正实现了全面的质量提升，而不是简单的任务特化。

在视觉文本渲染任务上，TDM-R1同样表现出色。这个任务要求模型在生成的图像中准确渲染指定的文本内容，是一个技术挑战性很高的任务。通过光学字符识别（OCR）准确率评估，TDM-R1达到了95%的准确率，相比基础模型的55%有了巨大提升。

研究团队还验证了方法的可扩展性，将TDM-R1应用到了更大规模的6B参数Z-Image模型上。结果表明，TDM-R1不仅在这个更大的模型上保持了有效性，还在所有域内和域外指标上都超越了Z-Image的100步和少步变体，证明了方法的普遍适用性。

在人类偏好对齐实验中，研究团队使用了ImageReward和HPS等基于大规模人类偏好数据训练的评估模型作为奖励信号。虽然这些指标在技术上是可微分的，但研究团队故意不使用它们的梯度，纯粹将其作为非可微分奖励来处理。结果显示，TDM-R1能够有效提升少步模型在这些人类偏好指标上的表现。

五、深入的消融研究与机制解析

为了深入理解TDM-R1的工作机制，研究团队进行了一系列消融研究，系统地验证了每个设计选择的重要性。

第一个重要的消融实验比较了TDM-R1与直接将RL损失与蒸馏损失结合的基线方法。这个基线方法采用了最新的DGPO（一种最先进的扩散模型RL方法）作为配套的RL损失。结果显示，虽然这种直接结合的方法在训练早期能取得一定改进，但很快就会产生模糊的图像，并在后续训练中出现性能下降。这种现象的根本原因在于标准扩散RL中固有的去噪目标与蒸馏中的反向KL散度最小化在根本上不兼容。

第二个关键实验验证了确定性轨迹相对于随机轨迹的优势。研究团队发现，使用确定性轨迹的TDM-R1不仅收敛更快，还能达到更好的最终性能。这个结果直接支持了他们的理论假设：确定性路径能够为中间步骤提供更准确的奖励估计，从而实现更有效的学习。

关于动态代理奖励与冻结良好训练奖励的比较实验也很有启发性。研究团队将他们的动态代理奖励方法与直接使用DGPO训练的奖励模型进行了比较。后者可以被视为使用RL训练的扩散模型作为教师来蒸馏少步学生的方法。结果显示，动态代理奖励在奖励增长速度和最终性能上都显著优于冻结奖励。

这种改进可以归因于两个因素。首先，动态代理奖励能够动态识别少步学生表现好或差的区域，从而实现更有针对性的优化，这是冻结奖励无法做到的。其次，少步生成器的输出与冻结奖励原本训练时的数据分布之间存在分布差距，这可能导致次优的指导和性能下降。

研究团队还比较了TDM-R1与蒸馏RL扩散模型的方法。这种替代方法首先用RL微调扩散模型（比如DGPO），然后通过TDM进行蒸馏。实验显示，这种方法在早期阶段收敛很快，但其性能上限受到教师模型的限制，导致快速达到平台期。相比之下，TDM-R1通过在整个训练过程中持续整合奖励信号，最终实现了更优的性能。

关于动态参考模型的消融研究证明了这一设计的重要性。当研究团队用静态参考模型替换动态参考模型时，观察到了性能下降和训练稳定性降低。这证实了动态参考模型在有效优化中的关键作用。

六、与代理奖励模型的性能比较

一个有趣的实验问题是：既然TDM-R1使用扩散模型pφ参数化的代理奖励，那么这个扩散模型pφ本身的性能如何？研究团队发现了一个看似矛盾但实际上很有启发性的现象。

实验结果显示，pφ在任务指标上确实比基础模型表现得更好。然而，TDM-R1（仅需4次网络前向传递进行采样）在域内和域外指标上都始终优于pφ（需要80次前向传递）。这个结果乍看可能有些反直觉，因为TDM-R1是使用pφ参数化的代理奖励训练的。

这种现象实际上与大型语言模型文献中关于DPO类方法的发现是一致的：提升模型作为奖励信号的性能并不一定会转化为推理中更好的生成性能。关键洞察是，TDM-R1的有效训练不依赖于pφ的生成能力，而是依赖于它提供的奖励信号的质量。这些结果表明，他们的代理奖励已经被有效地定制为逐步奖励模型，能够为TDM-R1实现出色的强化微调性能。

这个发现也揭示了一个更深层的原理：在机器学习中，评估模型（给样本打分）和生成模型（产生样本）是两个不同的任务，一个模型在评估任务上的表现不一定预示着它在生成任务上的表现。TDM-R1正是巧妙地利用了这种分离，让代理奖励模型专注于提供准确的质量评估，而让生成器专注于产生高质量的输出。

七、实际应用场景与影响分析

TDM-R1的技术突破为实际应用开辟了广阔的可能性。在文本渲染任务中，该技术能够显著提升AI生成图像中文字的清晰度和准确性。这对广告设计、海报制作、品牌标识等需要精确文字渲染的商业应用具有重要价值。传统的AI图像生成模型在处理文字时经常出现字符模糊、拼写错误或字体不一致的问题，而TDM-R1通过学习人类对文字质量的直观判断，能够生成更符合实际使用需求的图像。

在组合图像生成方面，TDM-R1展现出的空间关系理解能力和物体计数准确性为更复杂的视觉内容创作打开了大门。比如在电商平台上，用户可能需要生成"左边有三个苹果，右边有一只猫"这样具有明确空间关系和数量要求的商品展示图。传统方法往往难以准确理解和实现这些组合需求，而TDM-R1的突破使得这类精确控制成为可能。

该技术的另一个重要应用场景是个性化内容生成。由于TDM-R1能够学习非可微分的人类偏好，它可以根据用户的历史选择和反馈来调整生成策略。比如某个用户总是偏爱暖色调的图像，或者喜欢简洁的构图风格，系统就能够学习这些偏好并在后续生成中自动应用。

从技术效率角度来看，TDM-R1的4步生成能力大幅降低了计算成本。在原来需要80步计算才能完成的任务现在只需要4步，这意味着生成速度提升了20倍。这种效率提升对于需要实时或近实时图像生成的应用场景（如游戏、直播、交互式设计工具）具有革命性意义。

该技术的社会影响也值得关注。更高效的AI图像生成技术可能会降低专业图像设计的门槛，让更多普通用户能够创作出高质量的视觉内容。同时，这也可能对传统的图像设计行业产生影响，要求设计师们更多地专注于创意构思而非技术执行。

八、技术挑战与未来发展方向

尽管TDM-R1取得了显著突破，但仍然面临一些技术挑战和改进空间。首先是代理奖励模型的训练复杂性。虽然群体偏好优化比传统的成对比较包含更多信息，但它也要求更仔细的群体划分和权重分配策略。如何进一步优化这个过程，使其更加稳定和高效，是一个重要的研究方向。

另一个挑战是方法的泛化能力。虽然实验显示TDM-R1在不同任务上都表现良好，但这些任务主要集中在文本到图像生成领域。如何将这种思路扩展到其他生成任务，比如音频生成、视频生成，或者多模态生成，还需要进一步研究。

计算资源的需求也是一个考量因素。尽管TDM-R1显著降低了推理时的计算成本，但训练过程仍然需要considerable的计算资源，特别是需要同时训练生成器和代理奖励模型。如何进一步优化训练效率，使这种方法更容易在资源有限的环境中部署，是一个实际的技术挑战。

从研究前沿来看，TDM-R1为强化学习在生成模型中的应用开辟了新的思路。传统的强化学习方法主要依赖可微分的奖励函数，而TDM-R1证明了处理离散、主观反馈的可能性。这种思路可能会启发更多类似的研究，探索如何让AI系统更好地理解和响应人类的复杂偏好。

未来的发展方向可能包括更sophisticated的人类反馈收集机制，比如通过自然语言描述偏好，或者通过多种感官反馈（不仅仅是视觉）来指导生成过程。此外，如何将这种技术与其他前沿的AI技术（如大型语言模型、多模态模型）相结合，也是一个有趣的探索方向。

说到底，TDM-R1代表的不仅仅是一个技术进步，更是AI系统向更人性化、更易交互方向发展的重要一步。它展示了如何让AI更好地理解人类的直觉和偏好，而不是仅仅依赖冰冷的数字指标。这种进步对于构建更智能、更友好的AI系统具有深远的意义。虽然我们距离完全理解人类创造力和审美的AI还有很长的路要走，但TDM-R1无疑为我们指明了一个有希望的方向。

Q&A

Q1：TDM-R1是什么技术？

A：TDM-R1是香港科技大学团队开发的AI图像生成技术，能让快速图像生成模型理解人类的主观反馈，比如"我更喜欢这张图"这样的简单选择。它只需要4步计算就能生成高质量图像，比传统方法快20倍。

Q2：TDM-R1相比其他AI图像生成技术有什么优势？

A：传统技术只能理解数字化的反馈，而TDM-R1能理解人类的主观判断。在权威测试中，它的表现从61%提升到92%，甚至超越了需要80步计算的基础模型和GPT-4o，同时保持了图像质量。

Q3：普通人能用上TDM-R1技术吗？

A：目前TDM-R1还是研究阶段的技术，普通人暂时无法直接使用。但这项技术为未来更智能的AI图像生成工具奠定了基础，可能会应用到广告设计、电商图片生成等实际场景中。