这项由北京大学李景瀚、金杨、蒋浩、穆亚东、宋杨、徐坤等研究团队发表于2025年12月的研究，刊载于计算机视觉领域顶级会议论文集，研究编号为arXiv:2512.21004v1。有兴趣深入了解的读者可以通过该编号查询完整论文。

当我们观看一部电影时，大脑会自然而然地预测下一秒可能发生什么。这种"预测下一帧"的能力是人类理解视频内容的核心机制。北京大学的研究团队受到这一启发，开发了一种全新的人工智能训练方法，让机器也能像人类一样通过预测下一帧来学习理解视频。

传统的视频AI训练就像让学生做填空题——遮住视频中的某些部分，让机器猜测被遮住的内容。然而，这种方法有个致命缺陷：它忽略了时间的连续性。就好比你只看电影的几个静止画面，却要理解整个故事情节，显然是不够的。而北大团队的新方法NExT-Vid则彻底改变了这一现状，它让机器像看连续剧一样，根据前面的剧情预测下一集会发生什么。

这项研究的革命性在于首次将自回归生成模型（简单说就是"根据已有信息预测下一个"的技术）成功应用到视频理解领域。过去，这种技术在文字处理方面大放异彩，造就了ChatGPT这样的明星产品。但将同样的思路应用到视频上却困难重重，就像试图用做菜的技巧来绘画，需要完全不同的工具和方法。

研究团队解决了两个关键难题。首先是"语义定位不准确"的问题——传统方法经常搞不清楚视频中重要信息在哪里，就像一个学生虽然记住了课本内容，但考试时却找不到答案在哪一页。其次是"生成质量差"的问题——之前的方法生成的视频要么模糊不清，要么缺乏多样性，就像一台老式复印机，总是产出质量不佳的副本。

一、突破性的"上下文隔离"设计：让AI学会专注

北大团队的核心创新可以用一个精彩的比喻来理解：传统AI训练就像让一个学生一边学习新知识，一边要立即把学到的东西重新组织并输出。这就好比你一边听老师讲课，一边要做笔记，一边还要向同桌解释刚听到的内容——结果往往是什么都做不好。

研究团队设计的"上下文隔离自回归预测器"则完全不同。它将整个学习过程分成两个独立的阶段：首先让AI专心致志地理解视频内容，提取出关键的语义信息；然后再让另一个专门的模块负责根据这些信息生成下一帧画面。这就像让学生先认真听课理解内容，课后再专门整理笔记和做作业，每个阶段都能发挥最佳效果。

更巧妙的是，研究团队还引入了"表征对齐正则化"机制。这个机制的作用类似于一个严格的老师，时刻监督着AI是否真正理解了视频内容。具体来说，系统会同时用两种方式来观察同一段视频：一种是像传统方法那样遮挡部分内容后观察，另一种是完整地观察全部内容。然后系统会比较这两种观察得到的理解是否一致，就像让学生用不同方法解同一道题，看答案是否相同。

这种设计的精妙之处在于，它迫使AI不能偷懒依赖简单的像素拷贝，而必须真正理解视频的语义内容。过去很多AI系统会钻空子，比如在预测下一帧时，直接复制上一帧的大部分内容，这样虽然看起来效果不错，但实际上AI并没有真正学会理解动作和变化。现在有了这个监督机制，AI必须展现出真正的理解能力才能通过测试。

二、革命性的"条件流匹配解码器"：让生成更自然

如果说上下文隔离解决了"理解"的问题，那么条件流匹配解码器就解决了"表达"的问题。传统的视频生成技术就像用直线连接两点——虽然能到达目的地，但路径生硬单调。而流匹配技术则像水流一样，能够找到最自然、最平滑的路径。

具体来说，流匹配技术通过多步骤的"去噪"过程来生成视频帧。这个过程可以比作雕塑家的工作：先有一块粗糙的石头（噪声），然后通过一刀刀精细的雕琢（去噪步骤），最终呈现出精美的艺术品（清晰的视频帧）。每一步雕琢都不是随意的，而是根据前面积累的理解（条件信息）来指导的。

这种方法的优势在于能够产生更高质量、更多样化的结果。就像一个经验丰富的厨师，即使用相同的食材，也能根据不同的情境和需求做出风味各异的菜肴。传统方法往往只能产生一种固定的结果，而流匹配技术能够在保证质量的同时，创造出丰富多样的可能性。

更重要的是，研究团队还创新性地采用了"空间对齐串联"的方式来组合条件信息和目标内容。这就像拼图游戏中，不是简单地把两块拼图放在一起，而是确保它们的纹理、颜色都完美匹配。系统会确保预测出的条件信息与要生成的画面在空间位置上精确对应，每个局部区域的去噪都能得到对应位置条件信息的准确指导。

三、精心设计的"掩码下帧预测"策略：增加学习难度

研究团队还引入了一个看似反常但实际上极其聪明的设计：故意增加AI学习的难度。这就像体育训练中的"负重练习"——教练会让运动员背着沙袋跑步，虽然训练时更累，但这样能够更有效地提升实际能力。

传统的视频预测任务对AI来说太容易了，因为相邻帧之间往往有大量重复内容。就像预测明天的天气，如果今天是晴天，那么明天也很可能是晴天，这种预测虽然准确率高，但并不能体现真正的预测能力。视频中也存在类似问题：很多场景变化缓慢，AI可能只是简单地复制大部分前一帧的内容，而不需要真正理解动作和变化。

为了解决这个问题，研究团队设计了"掩码下帧生成预训练"策略。他们会故意遮挡掉前面帧的部分关键信息，然后要求AI根据残缺的信息来预测完整的下一帧。这就像让学生只看电影的一半画面，却要预测完整的下一个镜头会是什么样子。

这种策略迫使AI必须真正理解视频的语义内容和动作规律，而不能仅仅依赖简单的像素复制。就像一个侦探，即使线索不完整，也要能够推理出事件的完整发展过程。通过这种"增强现实"的训练方式，AI学会了更深层次的视频理解能力。

研究团队还采用了"时间一致性掩码策略"，即在同一段视频的多个帧中，相同位置的内容会被同时遮挡。这样可以避免AI钻空子——通过其他帧的相同位置来推测被遮挡的内容。这种设计进一步提高了学习的挑战性和效果。

四、架构设计的精妙之处：三大组件协同工作

整个NExT-Vid系统就像一个精密的工厂，由三个关键组件组成，每个组件都有明确的分工，同时又紧密协作。

首先是编码器部分，它的作用类似于工厂的原料预处理车间。这个编码器采用了标准的Vision Transformer（ViT）架构，但针对视频数据进行了专门优化。最重要的创新是引入了"帧级因果注意力机制"，这个机制确保AI在观察任何一帧时，都只能看到当前帧和之前的帧，不能"偷看"未来的帧。就像看侦探小说时，你不能先翻到结尾看答案，必须按照故事发展的顺序来理解剧情。

为了进一步稳定训练过程，系统还维护了一个"参考编码器"，通过指数移动平均（EMA）的方式更新。这就像工厂里有一个经验丰富的老师傅，始终保持着稳定的工艺标准，为年轻工人提供可靠的参考。这种设计防止了训练过程中可能出现的不稳定情况，确保系统能够持续改进而不会出现性能的大幅波动。

其次是自回归预测器，它充当着工厂的核心生产车间。这个预测器不同于传统的直接生成方法，而是采用了可学习查询和多层交叉注意力的设计。可学习查询就像是专门定制的工具，能够精确地从前面的帧信息中提取出对预测下一帧最有价值的内容。交叉注意力机制则确保了上下文信息在预测过程中保持隔离——历史帧的信息只作为键值对提供参考，不会直接参与到预测器内部的计算过程中。

最后是流匹配解码器，它就像工厂的精加工车间，负责将预测器产生的抽象条件信息转换为具体的视觉内容。这个解码器采用了扩散变换器（DiT）的架构，通过多步骤的去噪过程来生成高质量的视频帧。每个去噪步骤都会接收时间步信息和条件信息的指导，就像精密加工中需要同时考虑加工进度和设计要求一样。

三个组件之间的协作机制也经过了精心设计。编码器产生的表征会同时传递给预测器和参考编码器；预测器的输出会与参考编码器的结果进行对齐检验；检验通过后，预测结果会作为条件信息传递给解码器。这种流水线式的设计确保了每个组件都能发挥最佳效果，同时整体系统也能保持高效运行。

五、训练策略的巧思：四阶段渐进式学习

研究团队设计了一个四阶段的训练策略，就像培养一个专业技能需要循序渐进一样。每个阶段都有特定的目标和方法，整个过程历时132K个训练步骤，使用了96张H100 GPU，处理了约830亿个视觉标记。

第一阶段是热身阶段（12K步骤），就像运动前的热身运动一样。在这个阶段，学习率从很小的数值逐渐增加，让模型适应训练过程。系统主要建立基本的模式识别能力和稳定的表征，为后续更复杂的学习打下基础。流匹配解码器在这个阶段收敛得很快，而对齐损失先是急剧下降，然后缓慢上升到峰值。

第二阶段是稳定阶段1（28K步骤），学习率开始从峰值逐渐衰减。模型进入表征搜索阶段，流匹配解码器稳定更新，自回归预测器逐步与参考表征对齐。这个阶段就像学生刚掌握基础知识后，开始探索更深层次的理解。

第三阶段是稳定阶段2（80K步骤），这是训练的主要阶段。学习率进一步降低，但流匹配解码器被分配了单独的固定学习率。同时，时间步采样率从4改为1。这个阶段模型进入非平稳期，需要仔细调整。研究团队发现，为流匹配解码器保持较大的固定学习率，并使用单步时间步采样，能够提高鲁棒性并在整个阶段保持稳定的更新。

第四阶段是冷却阶段（12K步骤），使用更小的学习率进行微调，并将输入增加到64帧视频。这个阶段的目标是巩固语义表征，提高对长视频的理解能力。冷却后，模型在视频语义理解方面表现出显著的提升。

整个训练过程还采用了混合数据集策略，包含了240万小时的视频和128万张图像。视频数据来源多样，包括动作识别数据集Something-Something-V2和Kinetics-400，以及大规模的互联网视频数据。图像数据主要来自ImageNet-1K。不同数据源采用了不同的采样权重，以平衡训练效果。

六、实验验证：全面超越现有方法

研究团队在四个广泛使用的基准数据集上进行了全面的性能评估，采用了"注意力探针"的评估方法。这种方法的核心思想是冻结预训练好的编码器，只训练一个简单的分类层来测试编码器学到的表征质量。就像测试一个学生的理解能力，不是让他重新学习，而是直接考察他已有的知识储备。

在ImageNet-1K数据集上，NExT-Vid展现出了强大的图像理解能力。ViT-L模型（3亿参数）达到了76.3%的准确率，在视频预训练方法中排名第一。ViT-H模型（6亿参数）进一步提升到79.0%，而最大的ViT-G模型（11亿参数）达到了81.4%的准确率。这个结果特别令人印象深刻，因为ImageNet主要包含静态图像，证明了视频预训练方法也能有效提升图像理解能力。

在视频理解任务上，NExT-Vid的优势更加明显。在Kinetics-400数据集上，ViT-G模型达到了83.1%的准确率，比之前最好的生成式预训练方法提高了3.3个百分点。在Something-Something-V2数据集上，该模型达到了69.5%的准确率，提升了3.0个百分点。这个数据集特别注重时间动作理解，结果证明了自回归预测方法在建模时间关系方面的优势。

在Diving48数据集上，NExT-Vid达到了87.2%的准确率，这个结果尤其有意义，因为潜水动作往往涉及复杂的身体姿态变化和精细的动作细节。与传统的VideoMAE相比，在同等规模下，NExT-Vid的改进幅度达到了2.7个百分点，充分证明了新方法在动作理解方面的优势。

研究团队还进行了详细的对比实验。与其他自回归方法相比，NExT-Vid相对于Toto模型在Kinetics-400上提升了8.7个百分点，在ImageNet上提升了6.1个百分点，展现了下一帧生成相对于逐token训练的优势。与采用相同上下文隔离思想的CAE方法相比，在相同参数规模下，NExT-Vid虽然在ImageNet上略有劣势（主要因为CAE专门针对ImageNet训练，而NExT-Vid使用混合数据），但在扩展到10亿参数规模后，性能超越了CAE的最佳表现。

七、缩放规律的发现：数据越多效果越好

研究团队还深入研究了模型性能与数据规模和模型参数的关系，发现了一些重要的规律。在数据缩放方面，随着训练数据量的增加，模型性能在早期阶段快速增长，然后在约1亿视频片段后趋于稳定。有趣的是，在最后的冷却阶段，性能会进一步提升，特别是在SSv2和Diving48这两个需要强动作识别能力的任务上。这说明使用更多帧数进行训练能够显著提升模型对动作的理解能力。

在模型缩放方面，从ViT-L（3亿参数）到ViT-H（6亿参数）有显著的性能提升，而从ViT-H到ViT-G（11亿参数）的提升相对较小，这与VideoMAEv2的观察结果一致。但是，研究团队发现，增加冷却阶段可以显著提升ViT-G的性能，这表明大模型需要更精细的训练策略才能发挥全部潜力。

这些缩放规律对于理解视频AI的发展趋势具有重要意义。它们表明，虽然简单地增加模型参数不一定带来线性的性能提升，但通过更好的训练策略和更多样化的数据，仍然可以持续提升模型的能力。特别是在视频理解这样的复杂任务中，数据的多样性和训练方法的精细化可能比纯粹的参数规模更加重要。

八、技术创新的深层意义

NExT-Vid的成功不仅仅是一个新算法的胜利，更代表了视频AI研究思路的根本性转变。传统的掩码建模方法虽然在图像领域取得了巨大成功，但在视频领域始终面临时间建模不足的问题。就像用拍照的思维来理解电影，虽然能捕捉到一些信息，但往往错失了故事的连贯性和发展脉络。

自回归下一帧预测的引入，真正将时间维度纳入了预训练的核心。这种方法迫使模型不仅要理解当前的视觉内容，还要推理未来的变化趋势。这种能力对于真实世界的视频理解至关重要，因为我们在日常生活中观看视频时，大脑也在不断地预测接下来会发生什么。

上下文隔离设计的创新意义更加深远。传统的端到端训练虽然简洁，但往往导致表征学习和生成任务相互干扰。就像一个人同时学习两种技能，往往两样都学不精。通过明确分离这两个任务，NExT-Vid让每个组件都能专注于自己最擅长的工作，从而实现了整体性能的显著提升。

条件流匹配的采用也体现了对生成质量的极致追求。传统的回归方法虽然简单直接，但往往产生模糊或缺乏多样性的结果。流匹配技术通过引入随机性和多步精化过程，不仅提升了生成质量，还增强了结果的多样性。这种改进对于构建更好的视频表征具有重要意义，因为好的表征需要能够捕捉数据的真实分布，而不仅仅是平均结果。

九、广泛的应用前景

NExT-Vid的技术突破为众多实际应用打开了新的可能性。在视频内容理解方面，该技术可以显著提升视频搜索、推荐和分类的准确性。当前主流视频平台每天都要处理海量的用户上传内容，如何快速准确地理解这些视频的内容是一个巨大的挑战。NExT-Vid的强大表征能力可以帮助系统更好地理解视频的语义内容，从而提供更精准的内容标签和推荐。

在智能监控和安全领域，这项技术也具有重要价值。传统的监控系统主要依赖运动检测和简单的模式识别，往往存在误报率高、理解能力有限的问题。基于NExT-Vid的系统可以更准确地识别和理解复杂的行为模式，比如区分正常的人群聚集和潜在的安全威胁，或者识别异常的交通行为。

在教育和培训领域，该技术可以用于开发智能的视频学习系统。系统可以自动分析教学视频的内容，识别关键知识点和难点，为学习者提供个性化的学习建议。比如，在体育技能培训中，系统可以分析运动员的动作视频，自动识别技术要点和需要改进的地方。

在医疗健康领域，NExT-Vid的技术也有广阔的应用前景。医学影像分析往往涉及时间序列数据，比如心脏超声检查或者手术视频分析。该技术的强大时间建模能力可以帮助医生更准确地诊断疾病或评估治疗效果。

十、挑战与局限性

尽管NExT-Vid取得了显著的成功，但研究团队也坦诚地讨论了当前方法的局限性。首先是效率问题。虽然该方法实现了自回归预训练来建模时间语义，但仍然依赖于掩码策略，因此无法完全发挥GPT式预训练的效率优势。这意味着在大规模应用中，训练成本可能仍然较高。

其次是生成与表征之间的固有权衡。有效的表征学习通常需要具有挑战性的目标任务，这使得同时训练高质量的生成模型变得困难。研究团队发现，为了获得好的表征，往往需要增加生成任务的难度，但这又可能影响生成质量。如何在这两者之间找到最佳平衡点，仍然是一个需要进一步探索的问题。

计算资源的需求也是一个现实的挑战。完整的训练过程需要96张H100 GPU运行146小时，这样的计算资源只有少数大型研究机构和公司能够承担。这可能限制了该技术的普及和进一步发展。

在数据方面，虽然研究使用了大规模的混合数据集，但视频数据的质量和多样性仍然是影响模型性能的关键因素。如何构建更高质量、更具代表性的训练数据集，是实现更好性能的重要前提。

最后，当前的评估主要集中在分类任务上，对于更复杂的视频理解任务，比如细粒度的动作定位、多目标追踪等，该方法的表现还需要进一步验证。

十一、未来发展方向

基于当前的研究成果，未来有几个值得探索的发展方向。首先是提高训练效率。研究团队提到，未来可能的改进方向包括开发更高效的掩码策略，或者探索完全无需掩码的自回归预训练方法。这将有助于降低训练成本，使更多研究团队能够参与到这一领域的研究中。

其次是扩展到更复杂的视频理解任务。当前的工作主要关注分类任务，未来可以探索如何将这种预训练方法应用到视频生成、动作定位、视频问答等更复杂的任务中。这些任务需要更精细的时空理解能力，为模型提出了更高的要求。

多模态融合也是一个重要方向。现实世界的视频往往包含丰富的音频信息，如何将音视频信息有效融合，构建更完整的多模态表征，是一个具有挑战性但非常有价值的研究方向。

在模型架构方面，探索更高效的注意力机制和更好的时空建模方法也具有重要意义。当前的方法虽然取得了不错的效果，但在处理长视频或高分辨率视频时仍然面临计算复杂度的挑战。

最后，开发更好的评估指标和基准测试也是必要的。当前的评估主要基于下游任务的性能，但如何直接评估预训练表征的质量，特别是时间建模能力，仍然是一个开放的问题。

说到底，北京大学团队的这项研究代表了视频AI领域的一个重要里程碑。通过巧妙地结合自回归预测、上下文隔离和流匹配技术，他们不仅解决了传统方法的关键问题，还为整个领域指明了新的发展方向。虽然当前的方法仍存在一些局限性，但其核心思想——让机器像人类一样通过预测下一帧来理解视频——无疑是正确的方向。

随着计算资源的不断发展和技术的持续改进，我们有理由相信，基于这种思路的视频AI系统将在不久的将来成为各种实际应用的重要基础。从智能推荐到医疗诊断，从教育培训到安全监控，这项技术都有望带来显著的改进。更重要的是，它为我们提供了一个新的视角来思考机器如何理解和处理时序信息，这对于构建更智能、更像人类的AI系统具有深远的意义。有兴趣深入研究的读者可以通过arXiv:2512.21004v1查询完整的技术论文。

Q&A

Q1：NExT-Vid和传统的视频AI训练方法有什么本质区别？

A：传统方法就像做填空题，遮住视频的某些部分让机器猜测，但忽略了时间连续性。NExT-Vid则让机器像看连续剧一样，根据前面的内容预测下一帧会发生什么，更符合人类理解视频的方式，能更好地学习时间关系和动作变化。

Q2：什么是"上下文隔离"设计，为什么这么重要？

A：上下文隔离就是把理解和生成分开处理，就像让学生先专心听课理解内容，再单独做作业输出。传统方法让AI一边理解一边输出，容易相互干扰。这种分离设计让每个部分都能发挥最佳效果，显著提升了整体性能。

Q3：NExT-Vid在实际应用中能解决什么问题？

A：这项技术可以大幅提升视频内容理解的准确性，应用范围很广泛。比如视频平台的智能推荐、监控系统的异常行为识别、医疗影像的自动分析、体育训练的动作指导等。任何需要理解视频时间变化和动作模式的场景都能从中受益。