LOWN：免训练解码法，只在图像真能改变答案时才看它

速览

扩散式视觉语言模型（diffusion VLM，下文简称 DVLM）解码时，每个去噪步都要把整段输入重新前向一遍，而这段输入里九成以上是视觉 token。2026 年 10 月的 arXiv 预印本 LOWN 先把这笔浪费量了出来，再给出一条既不需要训练、也不需要调阈值的规则把它省掉：每一步先不看图猜一遍，如果猜出来的结果与上一次看了图的预测一致，就直接沿用旧结果并跳过图像。在十个基准上，它保住了 LLaDA-V 99.6% 的分数，平均只花 35.3% 的解码 FLOPs。LOWN

此前的加速路线大体分三支：删掉或合并一部分视觉 token、给双向注意力补一个近似 KV cache、让一步多解几个掩码位置。论文作者自己的归纳是，三支都在"一次前向内部"或"这一步解多少"上动手，没有直接问过一个问题：这一步到底需不需要那张图。LOWN 的答案建立在一组测量上。把图像撤掉后，只有 22.8% 的解码步会改变至少一个被解掩码的 token，最少的基准是 7.9%，最多的是 43.8%。这个近六倍的跨度本身就否定了"每三步看一次图"这类固定调度。

扩散式视觉语言模型每步都在重算同一张图，九成输入是视觉 token

这类模型贵的地方不是"生成长"，而是"每一步都要把同一张图重新过一遍"。LLaDA-V 每张图产生 729 个视觉 token。LLaDA-V 而视觉 token 到底占多少、省掉它又能省多少，则是这篇论文在 LLaDA-V 的十个基准上测出来的一组数：视觉 token 占完整输入的比例从 89.0% 到 97.0%，非加权均值 94.4%；而把这些 token 全部移除、只留提示与带掩码的响应，一次前向的成本只要原来的 3% 到 10%。LOWN

每步重算，是解码方式决定的。掩码扩散解码不从左到右逐词输出：响应先整段写成掩码，每一步模型对所有掩码位置同时给出预测，再解出一批（LLaDA-V 取置信度最高的一批），没解出的继续留着掩码，如此重复到解完。因为预测任一位置时都能看到整段序列，主干的注意力去掉了因果掩码，改成双向。上一次算好的 key 和 value 在新一步不再成立，标准的 KV cache 因此用不上。LLaDA

图注：三栏并置。(a) 自回归模型按 next-token 预测训练，下方是自左向右的连边；(b) LLaDA-V 训练时图像与提示不掩码，只随机掩码响应；(c) 推理从整段掩码的响应出发，每轮由 mask predictor 预测、把一部分重新打回掩码，直到全部解出。视觉编码器与 MLP 投影没有画在图中。LLaDA-V

于是"推理慢"在这里有了具体形状。输入里九成是视觉 token，每个去噪步都把这段输入完整前向一次，而这张图在相邻两步之间一个像素都没变。算力花在重复上，不在新增信息上。

图像只在 22.8% 的解码步上改变了结果

先量再改，是这篇论文的路线。把图像撤掉后，平均只有 22.8% 的解码步会改变至少一个被解掩码的 token。测量方法是在 LLaDA-V 的标准解码轨迹上，每一步并行跑两次前向：一次带图，叫 FULL forward；一次把视觉 token 全部移除但保留原来的位置编号（position IDs），叫 TEXT-ONLY forward。只有 FULL 的结果决定这一步解哪些位置，TEXT-ONLY 的输出绝不写进解码状态。所以被测量的轨迹就是基线自己的轨迹，测出来的分歧不是方法引入的。

三组观测各有各的口径。在被解掩码的位置上，两次前向给出同一个 top-1 token 的比例是 83.4%，这是 token 粒度。最终答案里，有 85.0% 的 token 在被正式解掩码之前就已经是这个预测，说明大部分答案很早就定了。而"图像至少改变了一个被解掩码决策"的步占比就是前面那个 22.8%，这是步的粒度。83.4% 说的是位置，22.8% 说的是步骤，两个数不能互换引用。

逐基准看，跨度很大：MMBench 只有 7.9%，DocVQA 高到 43.8%，其余八个基准落在 8.2% 到 37.8% 之间。十个基准里有八个的分歧集中在早期去噪步，随后下降，但 DeCapBench 是反例。分歧并不总在开头出现，这一点直接决定了固定调度会失效：论文用周期 4 的固定调度在 MathVista 上做了对照，算力与 LOWN 相当，分数却低 4.0 分。

讲解：固定周期看图为什么失效

图注：左半是五张热图，横轴为 token 位置（从前到后），纵轴为去噪步（从早到晚），色条是 FULL 与 TEXT-ONLY 顶 1 预测的分歧百分比，从 0 到 80。右半是十个基准的"图像依赖步"百分比条形图，每条带 95% 置信区间，MMBench 最低 7.9%，DocVQA 最高 43.8%。LOWN

这张图也是 LOWN 选择按步判断、而不是按固定周期判断的直接依据。

不看图也能推进的理由：上次含图的预测被验证仍然成立，就整段复用

LOWN 的核心是一条自证规则。每次看了图的前向都会留下一份锚点（anchor），也就是它对所有仍被掩码位置的预测与置信度。之后每一步先不看图跑一次 TEXT-ONLY，凡是这次预测与锚点一致的位置，就按锚点的答案解掩码；一旦遇到第一处不一致，就停下来，跑一次带图的前向刷新锚点。

决策的颗粒度值得先说清，因为它决定了 LOWN 与剪枝的根本差别。视觉 token 剪枝是"少看一部分"，被删掉的 token 之后再也不回来；LOWN 是"这一次一个都不看"，图还在，下一步需要时仍然可以看完整的一张。

一致之所以能同时证明两件事，是因为它把两个问题压成了一个观测。如果这一步的答案依赖图像，撤掉图像后预测就该变；现在没变，说明这一步不需要图。而锚点是看过图的版本，它在新状态下仍然被复现，说明它还没过期。可以借合书复述来想这件事：锚点相当于上次对着课本写下的答案，TEXT-ONLY 相当于这次合上书重写一遍。重写结果与上次一致，这段就可以直接交卷，而"上次对着书写的"这个前提也同时说明它没过期；遇到第一处对不上，就翻回课本，也就是跑一次 FULL。区别在于模型的自证是统计性的，不是逻辑必然。

认证也不是逐位置独立打勾再汇总。模型把掩码位置按锚点置信度从高到低排，从头往下核对，遇到第一个分歧就截断，只接受这一段连续前缀，记作 U_text。前缀里还加了一条重复守卫，因为同一次 TEXT-ONLY 前向里各位置是相互独立预测的，相邻位置可能吐出同一个 token，不拦住就会在回复里写成重复词。

接下来的分支只有两条。认证出的 token 数不少于这一步该解的 k 个，就整段接受，跳过 FULL，这一步甚至可以解超过 k 个，因为证书够多。不够 k 个，就跑 FULL 刷新锚点，并按"分歧优先"解 k 个，也就是两个前向不一致的位置先解，其余按置信度排。两条分支都至少解 k 个，所以 LOWN 的步数不会超过基线。关键在于认证前缀的长度同时决定了"要不要看图"和"这一步解几个"，一个量管两个决策，因此它不需要任何阈值。对照之下，调度类方法 KLASS 要同时定置信度阈值与 KL 阈值，论文给出两个模型乘四个基准共八组互不相同的推荐配置。KLASS

图注：跨步流程。左侧时间轴上每步的输入框都标着 No Visual Tokens；中部 anchor prediction 条带列出候选 token 与置信度柱；TEXT-ONLY forward 的预测与之比对，一致处打绿勾标 Certified，不一致处打红叉标 Uncertified；右侧黄色区域是 FULL forward 分支，输入含一张棕熊图片，产生 New Anchor，再按分歧优先解掩码。图中 token 是教学示意。LOWN

论文把这个过程折算成一个三项的成本比：

$$ R = \frac{n_F}{T} + \frac{n_T}{T}\cdot\frac{C(N_T)}{C(N_F)} = f + \sigma\rho $$

f 是跑 FULL 的频率，证书直接压低它；σ 是相对步数，整段接受让轨迹在 T 步里少走一些；ρ 是 TEXT-ONLY 前向相对于 FULL 的单位成本，视觉 token 占比越高，ρ 越小。要注意跑 FULL 的那一步同时付了两次前向的钱，一次无图一次带图，所以降低 f 的收益比直觉更大。

十个基准保住 99.6% 的分数，解码算力压到基线的 0.353 倍

主结果是十个基准平均保住 99.6% 的分数，代价是 0.353 倍解码 FLOPs。更有说服力的是对比方式：对手不是按分数挑出来的，而是按 FLOPs 匹配，每个基准取"FLOPs 不低于 LOWN 的最便宜网格点"，分数不参与选参。也就是说，表里每个对手至少花了和 LOWN 一样多的算力。

这不是"略好一点"。在同等或更高预算下，剪枝族和调度族各丢掉 5.8 到 8.1 个百分点，而 LOWN 只丢 0.4 个；它在八个基准上分数最高。把每个基准的分数封顶在 100%，不让某些基准超过基线的增益抵掉别处的损失，平均仍有 98.6%。这说明它省的是重复计算，不是精度：被压掉的正是"每步重看同一张图"这件本来就没产生新信息的事。LOWN

剪枝与路由能叠，是因为两个杠杆落在不同成本项上。剪枝改的是每一次 FULL 前向的单价，路由改的是跑 FULL 的频率与步数。组合之后是 98.3% @ 0.223×，十个基准全部最高。一个更能说明问题的数字在 MathVista：RedVTP 保留 30% 单独跑是 51.7 分、0.354×，而保留 50% 再叠 LOWN 是 54.9 分、0.195×。剪得更轻反而更省也更准，原因不神秘，剪枝删掉的信息永久丢失，而 LOWN 跳过的步并没有丢图。RedVTP

讲解：剪枝和跳步为什么能叠加

图注：三栏。(a) 图像经视觉编码器与投影得到视觉 token，与提示一起进入扩散语言模型；(b) 第 1 步之后插入剪枝，x_1 起视觉 token 由 6 个减到 3 个，并在此后各步保持不变；(c) 用第 1 步的注意力图给视觉 token 打分，保留 top r%。图里没有速度或精度数字。RedVTP

被删掉的视觉 token 在后续步再也不会出现，这就是剪枝单独使用时分数掉得更多的原因。

换骨干也成立。LaViDa 上是不改决策规则的 99.7% @ 0.174×，视频骨干 VidLaDA 在受控协议下 EgoSchema 60.2 分（基线 60.6）、0.255×。墙钟时间平均降 57.4%，最高降 73.2%，但这个数字不能和 0.353× 互换：FLOPs 只数矩阵乘，还排除了视觉编码器，它占基线解码成本的 0.16% 到 1.89%；计时区间则包含解码、多模态准备和调用内的视觉编码。LaViDa

在缓存方向上的组合是唯一一条必须同时讲代价的结果。与 Fast-dLLM 组合后时间再降 38.1% 到 50.1%，FLOPs 再降 44.1% 到 58.9%，但三项任务的分数都低于 Fast-dLLM 本身，LLaVA-Bench 上低 5.0 分。原因在缓存那一侧：并行解码同时解多个位置时按条件独立采样，破坏了 token 之间的依赖，本来就有精度损失，再叠一层路由，分布又被改了一次。Fast-dLLM

证书会随锚点变旧而失效，图表与文档类任务也省不到那么多

三条边界里最实际的一条是收益不均。LOWN 省的是"重复看图的浪费"，所以它在图像只提供一次线索、后面靠语言推进的任务上省得最多，在每一步都要回图上核对的任务上省得最少。而且它的成本要解码完才知道，没法事先承诺。

证书本身会过期。用新鲜的 FULL 预测去检验被认证的 token，一步旧的锚点分歧率是 4.1% 到 11.0%，DocVQA 上锚点旧到 8 步时是 25.3%。

这条局限在实跑中并不致命。91.8% 到 96.7% 被接受的 token 用的是前一步的锚点，没有任何一个超过 5 步。证书的可靠性随年龄下降，但实际用到的锚点几乎都是刚刷新的。LOWN

收益不均有更具体的形状。DocVQA 的图像依赖步占 43.8%，论文给的一个失效样例里，一条 15 步的响应跑了 14 次 FULL，答对了，但代价是 0.90×，而该基准整体是 0.45×。同一方法在密集文档上可能几乎不省。图表和文档类任务需要细粒度证据贯穿整个过程，这与"图像只在开头提供线索"的假设正好相反。

部署侧最在意的限制是成本没法预设。剪枝的保留比在解码前就固定，你知道自己要花多少；LOWN 的 f 和 σ 要到解码中才定，没法在请求进来时给出时延上限。与剪枝组合能部分缓解，因为保留比给了成本一点控制。至于还剩多少空间，论文给了一个 oracle 调度作参照：只在图像确实改变决策的步跑 FULL，平均 0.330×，LOWN 是 0.353×。这不是下界，oracle 每一步仍要跑一次前向；DocVQA 上 LOWN 的 0.452× 反而比 oracle 的 0.517× 更省，因为整段接受让轨迹提前结束了。

时间边界也值得记一笔。DAVET 比这篇论文早约十周，也在同一条轴上决定每个去噪步给多少视觉证据，只是它分配的是"多少"（coarse、mixed、high 三档视图），LOWN 决定的是"要不要"，两者互不引用。所以论文"既有工作都没问过当前步是否需要图像"是写作时点的判断。官方仓库也只有单图 demo，没有十基准评测协议，论文表格无法逐格复现。DAVET LOWN 项目页

把它当成一个开关来用，判断标准就清楚了。任务是图像提供一次线索、后面靠语言推，这个开关几乎不花钱；任务是每一步都要回图核对，开关会一直打开，省不了多少，甚至可能更贵。它真正的贡献不是把加速比再推高一档，而是证明"这张图在这一步是否必要"可以被当场测量、当场兑现，不必事先拍一个固定周期。

想深入可以读原文：Look Only When Needed: Certificate-Guided Visual Routing for Efficient Diffusion VLMs — arXiv:2610.36671

参考文献

1. Look Only When Needed: Certificate-Guided Visual Routing for Efficient Diffusion VLMs（arXiv:2610.36671v1，2026-10-27）
2. LLaDA-V: Large Language Diffusion Models with Visual Instruction Tuning（arXiv:2505.16933）
3. Large Language Diffusion Models（arXiv:2502.09992）
4. LaViDa: A Large Diffusion Language Model for Multimodal Understanding（arXiv:2505.16839）
5. RedVTP: Training-Free Acceleration of DVLM Inference via Masked Token-Guided Visual Token Pruning（arXiv:2511.12428）
6. ZOO-Prune: Training-Free Token Pruning via Zeroth-Order Gradient Estimation（arXiv:2509.24837）
7. KLASS: KL-Guided Fast Inference in Masked Diffusion Models（arXiv:2511.05664）
8. Fast-dLLM: Training-free Acceleration of Diffusion LLM by Enabling KV Cache and Parallel Decoding（arXiv:2505.22618）
9. D3ToM: Decider-Guided Dynamic Token Merging for Accelerating Diffusion MLLMs（arXiv:2511.12280）
10. Two Clocks in Diffusion MLLMs: When Answers Stabilize Before Rationales Unfold（arXiv:2610.00953）
11. Visual Information-Guided Parallel Decoding for Diffusion Multimodal LLMs（arXiv:2608.26580）
12. DAVET: Denoising-Aware Visual Evidence Trajectory Allocation for Diffusion VLMs（arXiv:2608.01821）
13. LOWN 官方项目页与代码仓库（KAIST / AITRICS）