有一件事挺反直觉的。这两年做机器人控制的研究者,好多都在教机器人"预测未来"——给它看一张现在的画面，让它脑补几秒钟后会发生什么，然后根据这个脑补出来的画面去决定下一步动作。这听起来很合理，毕竟人做事之前也会在脑子里过一遍结果。

但2026年的一篇论文发现了一件让人意外的事：你辛辛苦苦训练机器人去预测未来，结果换成让它预测过去，效果几乎一样好。

这就有点尴尬了。如果预测未来和预测过去效果差不多，那"预测未来"这件事本身，可能根本不是重点。真正起作用的是别的东西。这篇论文的名字叫NowWAM，它想搞清楚的就是：到底是什么在起作用。

这事得从头说起。

预训练生成模型是怎么被用来做机器人的

先说说背景。现在做机器人策略（也就是让机器人根据看到的画面和语言指令决定怎么动）主要有两条路子。

一条路是用预训练的视觉语言模型，这类模型本身是用来"理解"图像和文字的，机器人研究者把它们的语义理解能力搬过来用，比如大名鼎鼎的π0、OpenVLA这些。

另一条路更有意思，是用预训练的生成式扩散模型。

扩散模型*：一种通过逐步去噪生成图像或视频的AI模型，训练时先把清晰图片一点点加噪声搞模糊，再训练模型学会把模糊图片一步步还原清晰，Stable Diffusion、FLUX这些文生图模型用的就是这套机制。

这类模型本职工作是画画或者生成视频，不是用来"理解"东西的，但研究者发现，这些模型在海量图像视频数据上训练出来的内部表示，其实蕴含着非常丰富的视觉结构和语言关联。问题是，怎么把这种"画画的本事"转化成"做事的本事"？

过去几年的主流做法是：让模型预测未来画面，当作训练信号，辅助机器人学动作。这套思路最早直接把预测出来的未来画面放进决策环节，机器人先"想象"一下几秒后的样子，再据此行动，典型代表是UniPi这类工作。后来大家发现，让模型在推理（也就是真正干活）的时候还要现算一张未来图片，太慢太贵了，于是开始把"预测未来"这件事挪到训练阶段，只在训练时用来辅助模型学习，真正干活的时候不再生成未来画面，像Fast-WAM、ImageWAM这些工作走的就是这条路。

DiT*：全称Diffusion Transformer，是把Transformer架构用在扩散模型里的一种设计，现在主流的文生图、文生视频模型比如FLUX、Z-Image背后都是DiT结构。

这个演变过程听起来挺合理，生成未来画面只是个训练时的"陪练"，用完就扔，干活时不需要。但论文作者反问了一句：如果最终干活根本不需要生成未来画面，那这个"预测未来"的训练信号，到底是靠"预测"这件事本身在起作用，还是靠别的什么东西在起作用？

这个问题就像你雇了个私教陪你练举重，私教一直在喊"想象你举起来之后的样子"，你练得确实更好了。但你后来发现，私教换成喊"回忆你举起来之前的样子"，效果也一样好。这时候你应该意识到，真正起作用的可能不是"想象未来"这个动作本身，而是私教在旁边盯着你、纠正你姿势这件事。

论文团队做了个对照实验来验证这个猜测。他们固定其他所有条件不变，只改训练时用的辅助目标是未来帧还是过去帧，结果发现：用未来16步和32步的画面当目标，成功率分别是82.89%和83.70%；换成用过去16步的画面当目标，成功率反而还高一点，83.80%。几乎没有差别。

这说明"面向未来"这个方向性，根本不是重点。

现在问题来了：如果不是"预测未来"，那到底是什么让这种生成式训练有用？

答案藏在去噪轨迹里

论文作者回到了扩散模型最原始的工作方式上去找答案。

扩散模型本质上是在学一条"从噪声到清晰图片"的轨迹。你给它一张完全是雪花噪点的图，它一步步去噪，最后变成一张清晰照片。这个从噪到清的连续过程，叫做去噪轨迹。

过去的做法是，把这套去噪机制套在一张"额外的目标图片"上（不管这张图是未来帧还是过去帧），让模型在这张目标图上做去噪练习，顺便把学到的东西喂给动作预测模块。这意味着训练的时候要同时处理两条视觉信息流：一条是机器人"现在看到的"清晰画面，一条是那个额外的、被加了噪声的目标画面。

NowWAM的做法是，干脆把这套去噪机制直接套在"现在看到的"这张画面上。

具体来说，训练时不再额外找一张目标图片去加噪声，而是把机器人当前看到的画面本身，按照一定概率随机加上不同程度的噪声，让模型在这张加噪的"现在画面"上做去噪练习，同时用这同一份加噪表示去预测动作。到了真正干活的时候，输入的就是没加噪声的、干净的当前画面，模型做一次前向计算直接吐出动作。

论文管这个叫"current denoising"，当前帧去噪。

这个设计精妙在哪？你细想一下，原来的做法是两条视觉流各干各的事，现在画面负责给动作模块提供上下文，额外的目标画面负责偷偷"调教"生成模型本身，两者通过共享的模型参数间接发生联系。NowWAM把这两件事合并成了一件事：同一条视觉流，既是动作预测的信息来源，又是生成式训练的练习对象。

这就好比原来你健身是分两个项目练的，一个是举铁增肌，一个是跑步练心肺，两个项目用的是不同的器械，你得来回切换场地和装备。NowWAM相当于发现，其实举着哑铃做原地高抬腿就能同时练到肌肉和心肺，不需要单独开辟一块地方放跑步机。如果不这么做，会发生什么？论文的消融实验给出了答案：保留两条视觉流（当前目标单独作为辅助目标）成功率是79.10%，比起当前帧去噪这种单流方案，明显要低一截，而且还得额外处理一倍的视觉信息量。

训练数据流*：论文里用方括号表示，比如[语言指令 | 当前画面 | 动作]，这不是真的把数据拼接成一个长字符串塞进模型，而是概念上表示这几种信息会共同参与训练过程，具体怎么在模型内部交互由网络结构决定。

还有个细节值得说一说。研究者没有简单粗暴地只用"完全清晰"或者"完全加噪"的画面去训练，而是设计了一个采样公式，让训练过程中的噪声强度在0到1之间连续变化，并且稍微偏向低噪声区间多采样一些。消融实验显示，如果训练时只固定用"完全干净"的画面（也就是不引入任何噪声变化），成功率只有77.48%；而让噪声强度均匀分布，成功率能到83.46%；再把采样往低噪声方向偏移一点，成功率进一步提到84.97%。

这组数字挺说明问题的。它告诉我们，重点根本不在于"预测的是未来还是过去"，而在于训练时有没有让动作预测模块接触到一整条去噪轨迹上的各种中间状态，而不只是最干净的那一个终点。

这就像学开车，如果教练只让你在车辆完全静止、路况完美的情况下练习打方向盘，你上了真正坑坑洼洼、车速各异的路面肯定手忙脚乱。但要是教练故意让你在各种颠簸程度、各种车速下都练一练方向盘感觉，哪怕你最终考试那天路况是最理想的，你应对突发状况的底子也会扎实很多。如果不这样做，而是只在最理想状态下训练，论文的数据已经摆在那了：77.48%对84.97%，差了超过7个百分点。

模型架构上的具体实现

讲完思路，说说模型内部是怎么搭的。

NowWAM采用的是DiT加MoT的结构。

MoT*：Mixture of Transformers的缩写，意思是用多个专门化的Transformer模块分别处理不同任务，这里具体指一个专门的动作预测模块（action expert）和主干生成模型分开设置参数，但彼此之间可以通过注意力机制交换信息。

生成式主干模型负责处理语言指令和视觉信号，然后把每一层的视觉语言上下文信息传给专门的动作预测模块，这个动作模块有自己独立的参数，它通过一种叫masked mixed attention（遮蔽混合注意力）的机制去读取主干模型传来的信息，但自己不直接处理视觉或语言的原始输入。

有意思的是，在纯文生图模型（比如Z-Image）这种场景下，主干模型本身没有图像编辑的输入接口，它原本的工作方式就是从纯噪声生成图片，现在这个"被去噪的东西"换成了机器人当前看到的画面，语言指令变成外部条件。换句话说，NowWAM几乎没有改动这些生成模型原本的工作逻辑，只是把它们原本用来"画画"的那套去噪流程，直接挪来处理机器人眼前的真实画面。

这意味着NowWAM不需要专门找一个支持视频生成或者图像编辑的模型才能用，一个纯粹的文生图模型（连视频、连图像编辑功能都没有）就够用了。这个发现本身挺出乎意料的，因为按照过去的思路，大家普遍认为想做"预测未来"相关的训练，至少得用在视频数据上训练过的模型，才有时间维度上的动态理解能力。NowWAM用实验证明，这种时间维度的生成式预训练，根本不是必需品。

效果到底怎么样

说了这么多设计思路，最终还是要看数据说话。

论文在三个场景下做了测试。第一个是标准LIBERO基准，这是个比较成熟、很多强力模型已经快跑满分的测试集，主要用来确认去掉额外的未来目标会不会反而拖累基本的操作能力。结果NowWAM拿到98.4%的平均成功率，和用额外未来目标训练的基线打平，证明砍掉这条额外的视觉流不会损害基本盘。

第二个场景是RoboCasa GR1，这是另一个模拟器下的家居任务测试，用来检验模型能不能在数据量很少的情况下快速适应新场景。每个任务只给100条示范数据，NowWAM在1200个评估回合里拿到64.9%的成功率，对比同样只用100条数据训练的DIAL（58.3%）和Fast-WAM（56.0%），高出不少。

第三个也是最关键的场景，叫LIBERO-Plus，这是一个专门用来测试鲁棒性的基准，覆盖了相机视角变化、机器人初始状态变化、光照、背景、噪声、任务布局等七大类干扰，总共一万多个测试回合。之所以说它关键，是因为前面说的标准LIBERO已经快被各路模型刷到满分了，区分度不够，而LIBERO-Plus这种"故意找茬"的测试集，才能真正看出模型在面对真实世界各种意外情况时到底扛不扛得住。

结果显示，用FLUX2-Klein这个主干模型，NowWAM拿到87.7%的总体成功率，比起同样用FLUX2-Klein、但采用未来目标生成式训练的ImageWAM基线（81.6%），足足高出6.1个百分点。细看各个干扰类别，相机视角扰动下NowWAM是88.6%，ImageWAM是77.7%；机器人初始状态扰动下NowWAM是70.5%，ImageWAM只有48.3%。差距主要集中在视觉层面的干扰上，而语言理解相关的表现基本持平，这说明NowWAM带来的提升，主要是让模型对"看到的画面"这件事变得更稳健了。

换成纯文生图模型Z-Image，NowWAM依然拿到87.8%，证明这套方法不挑食，不需要专门用视频生成或图像编辑模型才能发挥作用。

论文里还放了几个具体案例。在一个"把黑色碗放到盘子上"的任务里，机器人初始位置被随机调整后，之前的Fast-WAM和ImageWAM都认错了要抓取的目标物体，而NowWAM准确抓到了那个黑色碗。另一个"打开抽屉放碗"的任务，换了相机角度之后，基线模型连抽屉都推不开，NowWAM顺利完成了整套动作。

训练成本也降下来了

这部分数据我觉得挺实在的，因为很多论文讲完准确率提升就完事了，但训练这件事本身要花多少钱、多少时间，对实际落地同样重要。

因为NowWAM砍掉了原来那条额外的目标视觉流，训练时需要处理的视觉信息量直接减半，从784个视觉token降到392个。在同样的2块H200显卡、同样批量大小的设置下，每一步训练的耗时从2.85秒降到1.63秒，快了1.8倍，显存占用也从78.9GiB降到74.3GiB，省了接近6个百分点。

这个提升不是靠什么额外的加速技巧，纯粹是因为少处理了一半的视觉信息。这就好比你原来每次出门都要背两个包，一个装今天要用的东西，一个装着"以防万一"但其实根本用不上的备用物资，现在发现那个备用包压根没必要带，直接扔了，走路速度自然快了，肩膀也不酸了。

这几件事合在一起说明什么

论文把整个发现拆成三块拼图。

第一块：预训练的生成式模型本身，哪怕完全不加任何视觉训练目标，光靠它原本学到的那些视觉知识打底，就已经能显著提升机器人的鲁棒性，从随机初始化的50.55%直接跳到75.81%。这说明生成式预训练这件事，价值主要在于它给模型带来的那个"好底子"。

第二块：在这个好底子之上，到底用过去的画面还是未来的画面当训练目标，几乎没有区别，83%上下浮动。

第三块：真正拉开差距的，是有没有让动作预测模块跨越整条去噪轨迹去学习，而不是只盯着最干净的那个终点看。只看终点的话成功率跌到77.48%，跨越整条轨迹能到84.97%。

三块拼图拼起来，答案就很清楚了：不是"预测未来"这件事让生成式协同训练有用，而是"让动作预测模块暴露在生成模型原生的去噪过程里"这件事让它有用。NowWAM做的，就是把这个有用的核心机制提纯出来，扔掉所有不必要的包袱。

写在后面

读完这篇论文，我最大的感触是，很多时候我们以为某个设计有效，是因为它表面上做的那件事（比如"预测未来"），但真正起作用的可能是这个设计背后不那么显眼的另一个属性（比如"跨越去噪轨迹训练"）。如果不做论文里那种严格的消融对照实验，过去和未来效果一样这件事根本不会被发现，大家会一直理所当然地认为"预测未来"才是关键,然后继续往这个方向堆算力、堆更复杂的视频生成模型。

还有一点让我挺触动的，就是论文最后提到的留白："未来预测在显式动力学建模或者长时程规划里可能仍然有用"，这句话没有把话说死，也没有因为自己的发现就全盘否定之前的研究方向。科学研究里经常是这样，一个结论成立的范围往往比它听起来的要窄一些，NowWAM证明的是"在当前这批操作任务里，预测未来不是必需的"，而不是"预测未来这件事永远没用"。这种分寸感，比直接喊"我们颠覆了整个领域"要诚实得多。

另外我还想到一个问题，如果去噪轨迹本身才是关键，那是不是意味着，任何一种"让模型在一系列渐进状态之间反复练习"的训练范式，都可能比单纯看一个清晰终点更有效？这个思路是不是也能用在别的任务上，比如语言模型的训练，或者其他需要从模糊到清晰逐步推理的场景？这事还没人验证过，但值得琢磨。

Q&A

Q1：NowWAM是什么？

A：NowWAM是一种机器人控制训练方法，它不再用预测未来画面来辅助训练机器人动作，而是直接对机器人当前看到的画面做生成式去噪训练，同时用这份表示预测动作，训练和推理共用同一条视觉流。

Q2：NowWAM和之前预测未来的方法相比有什么优势？

A：在LIBERO-Plus鲁棒性测试中NowWAM比未来目标训练的基线高6.1个百分点，达到87.7%，同时训练时视觉token数量减半，训练速度提升1.8倍，显存占用也更低。

Q3：NowWAM是不是必须用视频生成模型才能实现？

A：不是。论文证明用纯文生图模型Z-Image同样能达到87.8%的成功率，说明这套方法不依赖视频生成或图像编辑能力，普通文生图扩散模型也完全够用。