BloomBloom
发起研究

SemanTok：把视频压成更好预测的 token，世界模型就能更小吗？

视频世界模型为什么动不动就几十亿参数？

在同一个算力坐标上，一个 201M 参数的自回归模型追平了一个大约 685M 的对手。放到整条规模阶梯上看更反直觉：从 49M 一路到 2.29B 的七档模型里，最小的那一档在类别准确率上跑赢了最大的那一档。这两组数字来自 2026 年 9 月 30 日挂上 arXiv 的一篇论文 SemanTok，而它背后的机制可以先压成一句最小的话：把干净视频的语义监督，压到最早的 token 前缀上，让这些 token 自己就携带语义。更细的做法留到第三章展开，这里先记住这条线索。它想回答的问题，听起来却和「把模型做小」隔了一层：视频世界模型的潜表征，能不能在设计时就让它更容易被预测？SemanTok

token 更可预测，自回归模型就能更小，这条因果其实只有一环。自回归视频模型一个 token 接一个 token 地往下预测，模型容量、上下文长度和推理算力几乎全压在这件事上。token 越难猜，负责猜的那个模型就必须越大、训练越久；反过来，如果每个 token 在轮到它的时候都更容易被猜中，同样的生成质量就能交给更小的模型去完成。所以这里要动的是模型该多大，而不是输出得多好，它和「把视频压得更狠」也不是一回事：压缩决定 token 有多少，可预测性决定猜中每个 token 有多难。

可预测性之所以能直接换算成参数量，是因为瓶颈从来不在压缩率，而在潜表征的转移有多难拟合。视频携带的信息量确实太大，一条 17 帧、128×128 的短片按像素铺开就是数十万个数值，直接建模不现实，所以通行做法是先用一个 tokenizer 把像素压成紧凑的潜表征，再在潜空间里做预测。但压缩做到极致，剩下的潜表征在时间上的演化仍可能非常难猜；难猜就意味着下游那个负责预测的模型必须更大、训练更久，才能拟合出相邻潜表征之间的转移规律。今天大家默认把视频世界模型做得很大，比如 Cosmos 把自回归（4B 与 12B）和扩散（7B 与 14B）两条分支都摆上台面，背后是约一万张 H100 训练三个月，这份体量里就有一块是被「难猜」逼出来的，而不只是被信息量逼出来的。过去大家只盯着前一半，以为把 token 数再砍一点就能让模型变小，那样只解决了信息量的问题。

可预测性之所以能再降一层难度，是因为把语义集中到前缀上之后，模型不必再猜细节。自回归是从前缀往后一段一段推的，如果最早的几个 token 里已经压进了这一帧「语义上该是什么样」的信息，模型只要猜中这几个 token，就抓住了最重要的内容；颜色、纹理这类像素细节可以推迟到更靠后的 token，不必让一个小模型去硬扛。这正是开头那句话的具体含义：把干净视频的语义监督压到最早的 token 前缀上，让这些 token 自己携带语义，于是每个 token 的猜测难度整体被压低，模型自然可以更小。

图注：SemanTok 的整体流程分两步。左边是 tokenizer 训练，encoder、FSQ 量化与扩散 decoder 联合训练，并用 nested dropout 保证任意 token 前缀都能重建视频。右边是 AR 训练与生成，tokenizer 冻结后由自回归模型按时间优先、由粗到细的顺序预测 token，再由 decoder 渲染成视频。橙色是沿用 VideoFlexTok 的部分，紫色是 SemanTok 新增的冻结教师监督。SemanTok

token 越可预测、AR 越能变小的杠杆之所以有落点，是因为整条链条只有两环，而成本几乎全压在第二环。这张图说明了这一点：训练 tokenizer，然后训练并运行自回归模型，橙色是沿用的配方，紫色才是这篇论文的改动。自回归模型要一个 token 一个 token 地往下预测，模型容量、上下文长度和推理算力都压在这里，只要能把这部分的要求降下来，整条链条的负担就轻了。这也是「把自回归搬到视频上、让它更小」值得一试的理由：离散 token 加自回归在图像上已经被走通，LlamaGen 用纯 next-token 预测在 ImageNet 256×256 上拿到 FID 2.18，反过来压过了扩散模型。剩下的问题只有一个，就是视频的 token 该怎么设计得同样好猜。

所以这一章要带走的一句话是：视频世界模型之所以大，不只是因为视频信息多，更因为它的潜表征难预测。这正是后面所有改动的出发点。

变长 tokenizer 已经够好用了，为什么还要动它？

在 SemanTok 之前，已经有人把「视频 token」这件事做得很漂亮了，这就是它的直接前作 VideoFlexTok。要理解 SemanTok 的动机，得先看清这个 baseline 好在哪里。VideoFlexTok

传统的视频 tokenizer 会给每条视频切一个固定大小的时间空间网格，简单片段和复杂片段拿到一样的表达预算。VideoFlexTok 把网格换成一条线性序列，训练时用 nested dropout 随机丢掉末尾若干个 register token，于是这条序列的任意前缀都能解码成视频。推理时你想要多精细，就取前 k 个 token，从每帧一个 token 到每帧 256 个 token 都行，不用重新训练。它在长视频上只用了 672 个 token，而同类网格方案要 5376 个；在类条件与文生视频任务上，用 1.1B 的自回归模型就能达到 5.2B 模型相当的生成质量（gFVD 和 ViCLIP）。

再往上追一层，这条路线的谱系也有迹可循。MAGVIT-v2 用时间因果的 3D 卷积做出了统一的图像与视频离散词表，Latte 则把 Transformer 主干搬进了视频潜空间。VideoFlexTok 站在这些工作之上，又加了一味新料。

这味新料叫表征对齐，缩写 REPA。它的想法很直接：让生成模型内部的中间表示去对齐一个预训练视觉 encoder 的特征，具体说就是让 noisy hidden state 经过一个轻量投影头，去逼近干净图像上 DINOv2 的 patch 级特征。原版 REPA 在图像扩散 transformer 上的效果相当扎眼，SiT-XL/2 只训练 400K 步就达到 FID 7.9，而原版模型要跑 7M 步才到同一水平，相当于收敛速度快了 17.5 倍以上。REPA

VideoFlexTok 把 REPA 借了过来，但把对齐头挂在了解码器的早期隐藏层上。问题就出在这里。

图注：REPA 的原版设定。左侧示意对齐机制，把 noisy hidden state 经一个 MLP 投影头对齐到干净的 DINOv2 patch 特征。右侧是 REPA 与不加对齐的基线在多个扩散 transformer 基准上的 FID 收敛曲线，前者明显更快。图注明确写出其收敛速度比原版快 17.5 倍以上。REPA

解码器的输入里本来就有带噪声的 VAE latent。这意味着，那个要对齐到 DINOv2 特征的目标，可以部分地直接从噪声输入里读出来，而不必真的写进离散 token 序列。监督信号于是被稀释了，token 本身没被逼着承载语义。

SemanTok 把这条链条重新梳理了一遍，结论是：真正的缺口不在「压得不够狠」，而在语义监督挂错了位置，被噪声输入偷偷满足了。这也解释了为什么明明变长 tokenizer 已经很好用，还要回过头去动它。它好用在压缩和灵活性上，但「让最早的 token 承载语义」这件事，从来没被真正约束过。顺带说一句，VideoFlexTok 自己的 flexible-length 实验是有效的，少 token 也能保持甚至提升重建保真度，所以 SemanTok 要补的是另一个维度，不是推翻它。

SemanTok 怎么把「语义」压进最早的几个 token？

修补的思路可以概括成一句话：把语义监督从「吃噪声的解码器」搬到「吃干净视频的 tokenizer 前缀头」上。落到实现是三块改动。

第一块改 encoder 的输入。每条 latent 帧原本只吃 VAE latent patch，现在会在投影之前，把冻结的 DINOv2 对应 patch 特征拼接到每个 VAE patch 后面，一起过线性投影。同时每一帧还会把 DINO 的 class token 经一个零初始化的投影，加到第一个 register token 上。这相当于在编码阶段就把「这一帧该长什么样才算语义正确」的信息喂了进去。要注意的是，码本、FSQ 的量化维度、六万四千的词表大小、序列长度和时间因果的 encoder 结构全部原封不动沿用 VideoFlexTok，唯一变的就是这里的输入和后面两个头。

第二块是真正动手术的地方，两个轻量的 DINO 预测头。Dense DINO head 负责从保留下来的 token 前缀里重建每个 DINO patch 特征，Class DINO head 负责从同一段上下文重建那个 class token。两个头都是两层 cross-attention，宽度 768，12 个注意力头，用余弦损失，权重各取 0.5，加到 VideoFlexTok 原有的损失上。而关键就在于，这两个头永远看不到带噪声的 latent。

图注：SemanTok 与 VideoFlexTok 的架构对比。橙色路径是 VideoFlexTok 原本的由粗到细流程，从冻结的 VidTok VAE 潜表征出发，把 patch 投影后与 K 个可学习的 register token 交错打包，过时间因果 encoder 再经 FSQ 量化。紫色部分是 SemanTok 新增的内容：冻结 DINOv2 的 patch 特征与每个 VAE patch 拼接后再投影，匹配的 DINO class token 经零初始化投影加到第一个 register token 上，另加两个 DINO head 从保留下来的 token 前缀重建语义。SemanTok

这里可以打一个结构上真能对上的比方。原版那种挂在解码器上的对齐，像是让人写一份内容提要，而原书就摊在桌上。他当然可以真的读进去再总结，但也完全可以从摊开的书页上抄几段交差，写进提要的部分因此变得可有可无。SemanTok 做的是把批改的人换掉：新的两个头只读你写下来的提要，桌上那本书被收走了。于是提要里必须有东西，否则损失根本降不下去。对应关系是严丝合缝的，噪声 latent 就是那本摊开的原书，token 前缀就是提要，两个头就是只认提要的批改者。

第三块改动负责决定「语义写在哪几个 token 上」。论文没有设任何一条损失，规定某个 DINO 特征必须落到某个特定 token。取而代之的是 nested dropout，它对每个 clip 从 {1,2,4,…,256} 里采样一个 k，把每个 latent 帧中第 k 个及之后的 token 换成可学习的掩码 token，这样每一段前缀都必须能支撑两个 DINO 预测。约束是共享的，语义就只能往前挤，最重要的那部分自然沉到最早的几个 token 里，后面那些 token 则去承载颜色、纹理这类像素细节。这解释了论文摘要里那句「像素细节被推迟到后面的 token，而不是被丢掉」。

那为什么把 DINO 特征当作预测目标是对的？如果目标只是重建像素，最前面的 token 学到的多半是平坦区域的均值色块。DINOv2 不一样，它在 1.42 亿张精选图上做自监督训练，patch 级特征的主成分可视化显示，同类物体即使在姿态、风格甚至具体对象发生变化时，同一部位也会落到相同的主成分通道上，而这一结构并非显式训练目标，是自监督训练过程中自己冒出来的。DINOv2

图注：DINOv2 的 patch 级主成分可视化。同一列的若干张图像放在一起做 PCA，前三个主成分分别对应到不同颜色通道。即便姿态、风格甚至具体对象发生变化，相关图像中相同的部位仍会匹配到同一颜色通道。背景通过第一主成分的阈值化被去除。DINOv2

换句话说，预测 DINO 特征等于在预测「语义部件结构」，而不是在预测底层像素。这正是「让潜表征更易预测」能成立的前提：如果预测目标本身就是一组高度抽象、跨样本稳定的语义坐标，那么用表达力有限的前缀去拟合它，所学到的东西会比拟合像素更收敛、更可迁移。

这一章要带走的是：SemanTok 并没有重新定义对齐，它只是把对齐从「吃噪声的主干」搬到「吃干净视频的 token 前缀头」，监督这才真正落在了 token 本身。

让 201M 追平 3.4 倍大的模型，这些数字说明了什么？

机制说得通不代表杠杆真的存在，所以这篇论文的核心证据是一张规模曲线图。横轴是每条视频的自回归推理 FLOPs，纵轴是生成质量。图里那些颜色较浅的曲线，分别代表不同尺寸的自回归模型在扫描 token 预算 k 从 1 到 256 时留下的轨迹。黑色的包络线是每个 tokenizer 在每个算力点上能拿到的最好成绩。比较的是两条包络线谁更高。

图注：两张并排的算力对比图，分别是 Kinetics-600 与 uCO3D。横轴是每条视频的自回归推理 FLOPs，纵轴是生成质量。每条浅色曲线对应一个自回归模型尺寸，在每帧 1 到 256 个 token 的预算内扫描。黑色包络线表示某个 tokenizer 在给定算力下能取得的最好成绩，SemanTok 的包络线在大部分算力区间高于 VideoFlexTok。图上没有标注具体倍数，倍数来自正文。SemanTok

论文报告的读数是，SemanTok 的包络线在这两个数据集的大部分区间都压在 VideoFlexTok 上方。把它转成一句话：同样的算力预算，你能拿到的生成质量更高；或者说，要拿到同样的质量，需要的算力更少。

现在把标题里那个倍数说清楚。201M 的 SemanTok 自回归模型，追平或超过了同一规模阶梯上大约 685M 的 VideoFlexTok 模型，这就是 3.4 倍这个数字的来处，它是一个有具体参照物的比较，不是一句空泛的「效率提升」。更值得琢磨的是收益的分布，模型越小，收益越明显。在 k=16 这一档，85M 的 SemanTok 在两个数据集的 gFID 上、以及在 Kinetics-600 的 gFVD 上，都超过了所有尺寸直到 2.29B 的 VideoFlexTok。而在 Kinetics-600 上，最小的 49M SemanTok 类别准确率是 0.631，对面最大的 2.29B VideoFlexTok 是 0.560。

真正的机制验证在噪声那一组实验里。在 uCO3D 上取 k=32，SemanTok 在纯噪声输入下的语义读出相似度是 0.721，而 VideoFlexTok 要到 latent 干净程度达到 75% 时才有 0.716。也就是说，SemanTok 只用 32 个 token、完全不靠噪声 latent，就做到了对手依赖大半干净 latent 才能做到的事。这说明语义确实被写进了 token 里，而不是藏在输入噪声里等着被读出来。到 k=256 时，latent 对 SemanTok 的读出几乎没有额外贡献，而对 VideoFlexTok 的读出贡献要高出 11 倍以上。

还有两组数字让判断更清楚。规模曲线上，SemanTok 的最佳 gFVD 从 49M 到 2.29B 一路从 224 降到 202，uCO3D 上从 218 降到 197，整条曲线被压低，但收益随着模型变大而收窄。训练预算那组更直白：把 VideoFlexTok 的训练量加到五倍，它拿到了更好的保真度，却没有换来语义对齐的改善。语义这个维度不是靠喂更多数据、跑更多步就能补上的。此外在 k=16 时，SemanTok 每个 token 的比特成本比 VideoFlexTok 少约 32%，因为它把像素细节推迟到了后面的 token。

同一套做法还被搬到了另一个模态上。另有一篇同期工作 TextLDM 把同样的思路搬到了文本域，用一个 Transformer VAE 把离散文本 token 映射到连续潜空间，再让潜空间表征去对齐一个冻结的语言模型。反事实实验很干净：同一个 350M 的 VAE，重建准确率加不加对齐几乎一样，但生成质量差了好几倍，WikiSource 上的 MAUVE 从 2.5 涨到 20.4。TextLDM

所以这些数字的意义不在刷榜。它是一篇关于规模曲线的论文，想说的是可预测性这条杠杆把整条曲线往下压，而且恰好在算力最紧张、最需要小模型的地方收益最大。这比在一个大模型上多拿零点几个点要重要得多。

这条「可预测性」杠杆能推多远，又赌了什么？

如果这真是条独立的杠杆，应该能在别的地方看到同向的证据。最直接的对照来自决策侧。DeltaWAM 同样以冻结 DINO 特征作为视觉表征的核心，但它不去预测未来的完整帧或完整 latent，而是每个未来步只预测一个 delta token，用单向量编码相邻两帧 DINO 特征图之间的变化。静态部分不必在每一步重新生成，因为「相邻帧共享大量视觉信息」这件事被直接编进了表征结构。它用 0.725B 参数、256 个 H100 小时完成训练，在 LIBERO 上拿到 92.8% 的平均成功率。

图注：DeltaWAM 的总览图。(a) 对比现有策略把想象出的未来表示为单个子目标或一串稠密帧、稠密潜状态，而 DeltaWAM 每个未来步只预测一个紧凑的 transition token。(b) 展示 DeltaWorld 潜空间世界模型与 Action DiT 的耦合结构。(c) 展示它在参数量与延迟上相对代表性 World-Action 模型的轻量定位。DeltaWAM

同一个时窗里还能看到别的同向信号。ZimaBlue 用一个 5B 的慢系统提供层级的视频 K/V cache，让一个 0.5B 的快系统去复用，从而在 RTX 4090 上做到 30 Hz 的实时闭环。视频表征不够可复用，下游那个小模型就拿不到干净的视觉动态。SUAVE 则走了另一条路，用单一词表加 masked diffusion，让同一个网络兼任世界模型、策略和视频动作模型。它们和 SemanTok 的落点不同，但共享同一个直觉：把视频表征做得更好用，下游就能更轻。

不过这条杠杆压着一个相当明确的赌注。整套方法假设 DINO 语义是「什么值得预测」的一个好代理。DINOv2 的特征确实编码了部件级的语义结构，但它是在静态图像上训练的，论文自己并不评估时序一致性，也不评估物理一致性。同类部位在单帧里稳定，不等于同一物体跨帧保持稳定，更不等于接触、碰撞、重力这些规律被编码进了特征。如果世界模型真正在意的是物理上的自洽，那么「预测语义部件结构」可能只是必要条件，还不构成充分条件。这是 SemanTok 留给后续工作的最大空白。

失败模式也已经露头。论文报告在 k=1，也就是每帧只给一个 token 时，当解码器输入大部分是干净的，SemanTok 在语义对齐上反而不如 VideoFlexTok。虽然其他所有 k 值下它的类别准确率优势都还在，但这个退化说明概念不是无条件成立的。另一个前提是 encoder 的输入必须是干净视频。一旦未来出现输入端就破坏干净性、走扩散式路线的新 tokenizer，那种「对齐目标可以从噪声里被凑出来」的老毛病就可能重新出现。

回过头看，这篇论文的价值可能不在于它赢了多少，而在于它把一个长期被当作附庸的问题单独拎了出来。让视频世界模型变小，未必等于把视频压得更狠，也可能是把它压成更好预测的样子。这条杠杆目前能推多远，取决于我们能不能找到一个比静态语义特征更懂时间与物理的预测目标。

想深入可以读原文：SemanTok: Predictable Semantic Tokens for Efficient Autoregressive Video Generation，arXiv:2610.00686

参考文献

SemanTok：把视频压成更好预测的 token，世界模型就能更小吗？