你有没有玩过"传话游戏"？十个人排成一队，第一个人小声说一句话，传到最后一个人嘴里，内容往往已经面目全非。有意思的是，这个游戏里最容易出错的往往不是那句话本身的内容，而是传话时的"语气和重点"被悄悄改变了，接收者理解错了对方想强调什么。

这篇论文讲的故事，本质上也是一场视频生成模型里的"传话游戏"，只不过出错的不是内容，而是"注意力"。

**让AI生成视频记住历史画面的代价**

先说说问题的起点。现在的视频世界模型，比如LingBot-World-v2、HY-World 1.5这些系统，能根据你的指令生成长达几十秒甚至几分钟的连贯视频，还能响应你的操作和镜头移动。

视频世界模型：一种能根据用户的动作和镜头指令，持续生成逼真、连贯画面的AI系统，可以理解为"会听指挥的虚拟摄影师兼场景构建师"。

它们是怎么做到"记住"之前生成的内容，保证画面不穿帮的？靠的是一种叫KV缓存的机制。

KV缓存：Transformer模型在生成每一帧新画面时，会把之前所有帧的关键信息（Key和Value）存下来，后续生成时可以"回头看"这些历史信息，从而保持画面的连贯性。

问题是，这个缓存会越存越大。论文里给了个具体数字：LingBot-World-v2生成一段5秒、93帧的视频，KV缓存居然要吃掉超过21GB显存。这意味着什么？意味着普通显卡根本跑不动，想在手机或者轻量设备上部署这类模型，几乎是天方夜谭。

于是大家想到了一个常见思路：量化。把存储这些历史信息用的数字精度降低，比如从16比特压缩到2比特，这样存储空间能省下八倍。这个思路在大语言模型领域已经很成熟了，像KIVI、KVQuant这些方法都能把KV缓存压到很低的比特数还保持性能。

量化：把高精度的数值（比如16位浮点数）转换成低精度表示（比如2位整数）的压缩技术，牺牲一点精度换取存储空间和计算效率。

视频生成领域也跟进了，一个叫Quant-VideoGen（简称QVG）的方法把2比特量化用到了自回归视频生成上，而且在VBench这类标准视频评测基准上几乎看不出性能损失。

听起来很完美对吧？研究团队却发现了一件让人意外的事：这些在跑分榜上看起来"无损"的量化方法，一旦用到真正的视频世界模型上，生成的画面却出现了明显的闪烁、模糊和伪影。换句话说，评测分数说"没事"，但你肉眼一看，画面是在"骗你"。

这就是这篇论文的起点：为什么VBench看不出问题，眼睛却能看出问题？

**凶手不是Value，是Key**

研究团队做的第一件事，是把KV缓存拆开来看，Key和Value分别量化会怎样。

Key和Value：Transformer注意力机制里的两种关键信息，Key相当于"索引标签"，决定当前生成的内容应该去关注历史的哪一部分；Value则是"具体内容"，是被关注之后实际拿来用的信息。

结果很清楚，只量化Key（保持Value精度不变）会让画面严重劣化，出现明显闪烁；反过来只量化Value，画面质量基本保持得住。论文里用PSNR、SSIM、LPIPS这几个图像质量指标做了量化对比，比如在Matrix-Game-2模型上，只量化Key的PSNR是18.47，只量化Value的PSNR是21.58，差了整整3个点，这不是小数字。

PSNR、SSIM、LPIPS：三种常见的图像/视频质量评价指标，数值越好代表生成画面和真实画面的差距越小，其中LPIPS是反过来的，数值越低越好。

更让人困惑的事情发生了。研究团队测量了Key和Value各自的"重建误差"，也就是量化后的数值和原始数值之间差了多少。按理说，误差越大，应该造成的后果越严重才对。但数据显示，Key的重建误差其实比Value更小，可它造成的最终输出误差却更大。这完全不符合直觉。

这就好比你以为一个人说话声音越小越容易被听错，结果发现有个人声音很清楚，但他只要稍微改一个词的语气，整个房间的人就都理解错了方向。声音大小（误差幅度）不是关键，关键的词说错了方向（信息的"指向性"被破坏了）才是致命的。

**注意力的"选择权"被悄悄篡改了**

这个反直觉现象背后到底发生了什么？研究团队回到Transformer的注意力机制本身去找答案。

注意力机制里有个核心运算叫QK的点积，决定了当前生成的画面（Query，也就是"提问者"）应该把目光投向历史缓存里的哪些内容。

Query：Transformer注意力机制里代表"当前需要什么信息"的向量，可以理解为"提问"，模型拿着这个问题去历史缓存里找答案。

数学上看，Key一旦被量化，哪怕误差很小，也会直接改变QK点积的结果，这个结果叫注意力逻辑值（attention logits），它决定了每个历史位置被关注的权重排序。一旦这个排序被打乱，模型选择去"看"哪一帧、哪个空间位置，就全变了。

注意力逻辑值：Query和Key做点积运算后得到的一组分数，分数高低决定了模型在生成当前内容时，会优先参考历史缓存里的哪些位置，相当于一份"关注度排行榜"。

论文里给出了非常直观的可视化证据。他们追踪了同一个Query，在BF16（原始精度）和2比特Key量化两种情况下，分别会选中历史缓存里的哪个"最相关"的位置（Top-1 token）。结果发现，量化后选中的位置和原本完全不是同一个地方。比如在HY-World 1.5里，BF16选的是第8帧的(7,11)位置，量化后选到了第12帧的(8,11)，画面直接从一个场景"跳"到了另一个场景。

这就解释了为什么只是Key的误差，却能造成比Value误差更大的灾难性后果。Value出错，顶多是拿回来的"内容"有点偏差，画面稍微模糊一点；Key出错，是"去哪找内容"这件事本身出错了，模型可能把当前这一帧的某个局部，错误地关联到了历史中完全不相关的一帧，于是画面前后对不上，看起来就是闪烁和跳变。

这就像你去图书馆查资料，管理员（Key）本该根据你的问题（Query）精准地把你指向正确的书架，结果因为管理员记错了索引编号，把你带到了完全不相关的书架前。你拿到的书（Value）本身印刷质量没问题，可是内容压根不是你要的，整个查找过程就白费了。如果管理员只是把书的某几页印得模糊一点（Value出错），你至少还能勉强读懂大意；但如果他把你带错了书架（Key出错），你拿到的是一本完全无关的书，这种错误是更致命的。

**QuantWM：既要省内存，也要保住"注意力的方向盘"**

搞清楚了病根，研究团队就开始对症下药，提出了QuantWM框架，核心目标就一个：在压缩KV缓存的同时，尽量保住注意力逻辑值不被破坏，也就是不让Query"找错地方"。

QuantWM用了两个互补的技术手段。

第一招叫量化敏感度感知聚类（QSAC）。

QSAC：一种改进的Key量化方法，在给每个Key分配"代表值"（也就是聚类中心）时，不只看数值距离，还要考虑这个Key对历史Query的敏感程度，以及量化误差的实际分布范围，从而挑选出对注意力影响最小的代表值。

原来的方法（比如QVG）给Key分配代表值时，用的是最朴素的K-means聚类，只看数值上谁离谁近。但论文里已经证明了，数值上离得近不代表对注意力的影响小。QSAC的做法是，先统计历史Query在每个通道上的"活跃程度"，也就是哪些数据通道是Query更关心的，然后给这些通道的量化误差加权重，让量化过程优先保护这些"重点通道"不出大错。同时还会考虑残差的动态范围，综合这两个因素选出真正"量化友好"的代表值。

这个思路放到生活里去理解，有点像考试阅卷时的"按权重扣分"。一张考卷有十道题，每道题占的分值不一样。如果阅卷老师不管三七二十一，对每道题的错误都一视同仁地扣一样的分，那很可能一个人把占分最重的大题做错了，总分却因为错的都是小题而显得还不错，这个分数就失真了。QSAC做的事情，就是先搞清楚"这道题值多少分"（也就是这个数据通道对注意力有多重要），再决定怎么分配有限的量化精度预算，确保精度优先用在刀刃上。如果不这么做，量化器可能会把宝贵的精度浪费在Query根本不关心的通道上，而真正关键的通道却被粗暴地压缩，这正是QVG的问题所在。

第二招叫主子空间注意力补偿（PSAC）。

PSAC：在Key量化完成后，针对还残留的量化误差，专门沿着历史Query最关注的几个"主方向"做一次低秩修正，用很小的存储代价挽回大部分注意力偏移。

即便用了QSAC精挑细选了代表值，2比特这么极端的压缩比例下，误差还是不可能完全消除。PSAC要做的是"亡羊补牢"，但补得很聪明。研究团队发现，历史Query的"能量"并不是均匀分布在所有维度上的，而是高度集中在少数几个主方向。论文里给了个具体数字：在LingBot-World-v2的某一层，只需要前8个方向，就能覆盖超过71%的Query总能量。

这意味着什么？意味着你不需要对误差的所有维度都做补偿，只要抓住那几个Query最在意的方向去修正，就能花很小的代价挽回大部分的注意力偏移。具体做法是对历史Query的二阶统计矩阵做特征值分解，取出能量最大的前8个特征向量作为"主子空间"，把残留的Key误差投影到这个子空间上，量化存储下来，推理时再加回去补偿注意力逻辑值。

这有点像给一个总是在最后关头出错的新手司机配一个导航提醒系统。你不可能把路上所有可能出现的偏差都纠正一遍，那样成本太高也没必要；但你可以聚焦在几个历史上最容易出事故的路口（Query最关注的几个方向），专门在那里加强提醒。如果不做这种"抓大放小"的补偿，要么全盘不补偿导致误差持续累积造成画面崩坏，要么试图补偿所有维度导致存储开销暴涨，失去了量化压缩的意义。PSAC选择的是一个效率和效果的平衡点。

论文里也做了详细的消融实验验证这两招各自的贡献。单独用QSAC，HY-World 1.5上的token选择偏移率（也就是前面说的"选错历史位置"的比例）从61.36%降到了38.17%；单独用PSAC，能降到22.9%；两者合用，降到了13.92%。PSNR也从16.118一路涨到18.449。这说明两个技术是真正互补的，一个管"源头少犯错"，一个管"犯错后能纠正"。

**实测效果：画面更稳，内存还更省**

说了这么多原理，实际效果到底怎么样？研究团队在五个模型上做了系统评测，包括三个视频世界模型（LingBot-World-v2、Matrix-Game-2、HY-World 1.5）和两个视频生成模型（LongCat-Video、Causal-Forcing）。

结果是全面胜出。以LongCat-Video为例，PSNR从QVG的20.683提升到25.508，LPIPS从0.0784降到0.0332，这是个相当明显的改善。在前面提到的token选择偏移率这个关键指标上，QuantWM把平均偏移率从51.55%压到了15.31%，证明它确实在源头上保护住了注意力的正确性。

有意思的是，在VBench这个标准评测基准上，几个方法的分数其实都差不多，甚至QVG在闪烁这类指标上数字看起来还不错。但论文反复强调，这正是问题所在：VBench这类打分系统，捕捉不到人眼能立刻察觉的闪烁和细节劣化。这也是整篇论文最值得记住的一个提醒，跑分好看不代表真的好用。

内存压缩效果同样亮眼。QuantWM在不同模型上实现了最高6.20倍的KV缓存压缩，比如LongCat-Video的缓存占用从21.709GB压到了3.625GB。推理延迟方面，大多数模型只增加了5%左右的开销，LongCat-Video甚至因为减少了数据搬运量，反而延迟降低了17.78%。

论文还额外测试了1分钟长视频生成的场景，这是对量化方法更严苛的考验，因为误差会随着生成步数累积。结果显示QuantWM依然保持优势，比如HY-World 1.5的Image评分从QVG的0.4756提升到0.6242，差距相当明显。

Q&A

Q1：QuantWM是什么？

A：QuantWM是一个训练免费的2比特KV缓存量化框架，专门针对视频世界模型设计，通过保护注意力逻辑值来避免量化带来的画面闪烁和视觉退化，最高能实现6.20倍的显存压缩。

Q2：为什么Key量化比Value量化更容易导致画面质量下降？

A：Key决定了模型该去关注历史缓存里的哪个位置，即使Key的量化误差数值很小，也可能改变注意力的排序结果，让模型"找错"该参考的历史帧或空间区域，而Value出错只是内容本身稍有偏差，影响相对较小。

Q3：VBench这类视频评测基准为什么测不出QuantWM要解决的问题？

A：VBench这类基准主要衡量整体视频质量和时序一致性的统计特征，但对于局部的闪烁、模糊、细节跳变这类肉眼可见的瑕疵不够敏感，导致量化方法即使引发明显画面问题，分数依然可能接近无损水平。