BloomBloom
发起研究

Logit Refiner：免重训的轻量模块，让一半参数模型反超两倍参数大模型

把一张 256×256 的图像变成一句话那么长的 token 序列、再一个字一个字地"说"出来，是生成模型最初的样子。这种做法叫逐 token 自回归，代价很高：一张图被展平成数千个 token，得一步一步推几千步才出得来。两年前一篇论文换了个思路，把"逐字说"改成"逐层涂"，上千步被压成了十来步，图像自回归第一次在质量上反超了扩散模型。可是这份"快"藏着一个没人直说的代价，这篇文章要讲的，就是这个代价，以及一个几乎不用花钱就能把它补回来的小装置。

图像自回归为什么慢，VAR 靠什么把它从上千步缩成十几步

先看慢在哪。语言模型自回归是顺着句子从左到右、一个字接一个字地生成，每个字都得等前一个字的输出。图像也这条路走了很多年，做法是把二维图像网格拉平成一长串 token，然后像扫雷一样按行逐格"读"过去。一个 256×256 的图像，如果用 16×16 的 token 网格表示，就有 256 个位置要挨个生成，复杂度随分辨率平方上升，越大越跑不动。

VAR，也就是 Visual Autoregressive Modeling，把这条路的顺序改了。它不再把图像看成一行 token，而看成一层层由粗到细的"地图"：先是一张 1×1 的缩略图，再是 2×2、4×4，直到接近原图分辨率。生成时从最粗的一层开始，每层一起生成，再让下一层在这层的基础上细化。这样整张图只需走约 log(n) 层，而不是 n² 步。

VAR 把三种自回归粒度画在同一张三联画里

图注：从左到右，语言自回归逐字生成、图像 raster-scan 自回归把 token 网格拉平后逐格生成、VAR 多尺度 token 图由粗到细展开，最后一列标注"每个尺度内并行"。VAR 的分层方式把生成从上千步压到约十个尺度。源自 VAR 原论文 (VAR 论文)。

这套"逐尺度"的写法在数学上也很漂亮：整张图的联合分布 $p(r_1,\dots,r_K)$ 被分解成逐尺度条件累积的乘积，每一个尺度是一整张 token 图，作为自回归的单位。训练时用一个多尺度 VQVAE 先把图量化成 K 张越来越细的 token 图，再让一个规规矩矩的 Transformer 以 next-scale 的方式去预测。它用的注意力掩码叫 block-causal，只保证第 k 层尺度不能偷看后面的尺度，对同一层内部 token 之间的关系，本地不建模。

这句话很重要，请记住。VAR 凭这套范式拿下了足够亮眼的成绩，在 ImageNet 256×256 上把 FID 从逐 token 基线的 18.65 打到 1.73，比对照的扩散模型又快又准 VAR 论文。而它之所以快，恰恰建立在同一个尺度内所有 token 一次性并行采样这个前提上。这个前提，就是下一章要审的东西。

每个像素都 50%，拼起来却没有一幅合法棋盘

问题出在哪？注意上一章最后那句话：一个尺度内的全部 token 是在同一步里并行生成的。这意味着生成这一个尺度里的任何一个 token 时，它旁边的 token 到底采成了什么，还没人知道。模型只能根据"这个位置平均该是什么"来猜，也就是把同一尺度内 token 之间的空间依赖，当成不存在来处理。

用论文里的 2×2 棋盘格玩具例子能把这个毛病看清。

2×2 棋盘格玩具例：边际全对，联合却错

图注：三面板：数据集只有两种合法棋盘；VAR 式模型学到每个像素正确的边际分布（灰色与 50/50），但独立采样会造出大量非法组合；Logit Refiner 自回归建模剩余依赖后只生成合法棋盘。这个二乘二的例子把"独立采样=边际正确不等于联合正确"讲到了最小颗粒。源自 Logit Refiner 论文 (Logit Refiner).

假设数据集里只有两种合法的棋盘：左上白右下黑，或者反过来。所以每个位置的像素都有 50% 的概率是黑、50% 是白，边际分布完全正确。可如果四个 token 各管各地独立采样，会出现 2⁴ 也就是 16 种组合，其中只有 2 种是合法棋盘。你把 16 张图摆在一起看，会发现绝大多数是一堆黑白胡乱拼凑、根本不是棋盘的东西。每个像素单看都对，凑成整幅图就错。

这就是所谓的 mean-field 近似。它在数学上把本来耦合的联合分布 $p_{\theta}(r_k|r_{<k})\approx\prod_i p_{\theta}(r_i^{(k)}|h^{(k)})$ 拆成了每个 token 自己独立的乘积，把 token 之间的相关性一刀切掉。边际正确不等于联合正确，这个说法不是 2026 年才有的。早在 2023 年，MarkovGen 就在另一个 token 生成模型 Muse 上诊断出同样的并行解码丢局部一致性的毛病，并用马尔可夫随机场加 mean-field 推理去修正 MarkovGen。所以 Logit Refiner 这篇论文的主张是：VAR 用并行采样换来速度，但也继承了这套 mean-field 近似的隐患，局部结构会因此不连贯。

那么问题来了，这种丢掉的依赖该不该补？该不该为补它去动那只训练了好几亿步的贵重模型？这正是接下来要回答的。

不动那只贵的模型，只在输出后加一层轻量自回归

一个直觉的答案是"重训 backbone"，把尺度内依赖编进注意力里。可那是天价算力，VAR 已经训到 Best Paper，谁舍得推倒重来。Logit Refiner 的解法是反过来：骨干模型冻结不动，只在它输出 logits 之后挂一个小模块，把原来"一次全撒出去"的并行采样，改成有依赖顺序的逐 token 采样。

Logit Refiner 架构图：左为并行采样基线，右为挂上 refiner 后

图注：左面板 (a) 是 VAR 基线的并行采样：每尺度 token 从各自的点式后验一次性采出。右面板 (b) 是挂了 Logit Refiner 之后：backbone 仍然一次并行产出 hidden state，轻量因果 transformer 在每个尺度内按已采样 token 的顺序逐个采样。关键在采样规则变了，backbone 一前向没变。源自 Logit Refiner 论文 (Logit Refiner).

具体怎么 work？backbone 这一次前向还照旧，为当前尺度产出隐藏状态 $h^{(k)}$。refiner 是一个只有两层的小型因果 transformer，它的输入把 backbone 的特征 $h_i^{(k)}$ 和上一个已经采好的 token 的嵌入拼在一起。于是尺度内第 i 个 token 的采样，条件的是尺度内它之前的那些 token，也就是按光栅顺序从左上到右下，一个接一个地"边看边采"。

这句"边看边采"就是全部奥妙。同一尺度内的联合分布因此被重写成逐 token 的自回归分解 $q_{\phi}(r_k|r_{<k})=\prod_i q_{\phi}(r_i^{(k)}|r_{<i}^{(k)},h_{\le i}^{(k)},r_{<k})$，它不再把 token 当独立变量看，而是让后采的 token 能看到先采的小伙伴。为了让这个挂件和原模型无缝衔接，训练用教师强迫，也就是贴着真实的上一 token 学；同时用恒等初始化，把它在小网络里的投影矩阵初始化为恒等映射，让训练一开始的 refiner 在功能上就等价于原 VAR。这四个设计摆在一起，勾勒出一件事：这只小模块只是把原来被砍掉的依赖补了回来，一分钱没多花在 backbone 上。

成本账也很清楚。给一个冻结的 VAR-d16 加 refiner，训练要 66 个 H200 小时，换来 FID 从 3.30 降到 2.81；而完全从头训一个同水平的模型要 1,845 个 H200 小时。也就是说，以约 4% 的训练算力拿回了约三分之二的增益（剩余的三分之一要 28 倍算力）Logit Refiner。

加一样的参数、还是并行，分数没动；把采样变成有顺序的，FID 掉了近 0.5

可凭什么相信起作用的是"联合采样"这个规则，而不是多出来的参数或额外的训练？论文用一个干净的控制变量消融来回答。四组配置共用同一个 VAR-d16 骨干、都训练 30 个 epoch，只有一件事在变：

  • 原 VAR-d16 基线：FID 3.30
  • 纯粹多训 30 个 epoch，不加任何东西：FID 3.12
  • 加了并行 refiner，同样的两层架构、同样的参数量，但 token 之间互相独立采样：FID 3.15
  • 加了因果 refiner，同样的两层架构、同样参数量，但 token 按顺序联合采样：FID 2.81

后两个 refiner 参数量完全一样，唯一的差别是注意力掩码和采样规则。并行那个几乎没赢，因果那个大赢近 0.5。这排除了"多出来的容量"和"多出来的训练"，把功劳精确锁在"有依赖顺序的联合采样"这个规则本身。甚至把 refiner 的 transformer 块全部撤掉、只留自回归输入投影和微调过的输出头，FID 都能到 3.02，说明自回归分解本身就值钱。

把这个规则放大到整个模型家族，效果如表所示。注意最后两行：VAR-d24 加上 refiner 只有 1.1B 参数，FID 1.83；而两倍于它的 VAR-d30 有 2.0B 参数，FID 只有 1.92。用一半的参数量，拿到了明显更好的质量，这就是标题那句"反超"的由来。四项指标里 Recall 全面提升 0.04 到 0.06，论文给的直觉是：联合采样的支撑集是 mean-field 支撑集的子集，refiner 是在把那些落在合法联合之外的多余样本清理掉，收益来自质量而不是缩小采样范围 Logit Refiner。

骨干参数量FID↓加 refiner 后Recall
VAR-d16310M3.302.810.51→0.56
VAR-d20600M2.572.170.56→0.60
VAR-d241.0B2.091.830.57→0.63
VAR-d302.0B1.921.760.58→0.62

还有一层工程上的巧妙。论文发现，refiner 的收益高度集中在最前面的几个粗尺度。因为全局结构在粗尺度就已经定下来了，把 refiner 一路用到第 10×10 那个尺度，能保留 99% 的 FID 增益，同时把 refiner 自身的开销砍掉 71%。

效率与质量权衡图：早停尺度与 batch-size 帕累托前沿

图注：(a) 对 VAR-d16，refiner 只作用于前 k 个尺度，得到一条质量与延迟的权衡曲线；(b) 把同一效果铺到 VAR-d16 到 d30 各档及两种 batch 规模，左为延迟最差的 batch 1、右为常见的 batch 16，后者里 refiner 在每个尺度上都支配基线。源自 Logit Refiner 论文 (Logit Refiner).

这份收益之所以成立，有个补充证据来自一个完全独立的团队。M-VAR 用另一套测量手段发现，VAR 模型里尺度内的注意力分数占了总分数近 80%，却只消耗约四分之一的算力，尺度与尺度之间的注意力反而"吃得少、花得多"。同一个判断从两个不同角度指向同一个结论：尺度内才是 VAR 的重点 M-VAR。Logit Refiner 选了推理期补填这条路，M-VAR 选了训练期重设注意力这条路，两条路说的是同一件事。

同样的病在按文字生图的模型里也有，挂上就缓解

mean-field 的毛病是不是只在 ImageNet 分类条件生成里出现？为了检验，论文把 refiner 挂到一只完全不同的骨干上，那是 ByteDance 的 Infinity-2B，一支做文本到图像生成、并在 1024×1024 上把自回归推理压到 0.8 秒的模型 Infinity。

Infinity 文本到图像骨干的整体框架

图注：Infinity 把视觉 token 化改写为 bitwise（词表可达 2^64），左侧用若干并行二元分类器替代超大词表分类头，右侧用 Bitwise Self-Correction 让模型学会自我纠错，底部文本条件经 cross-attention 进入 next-scale 预测。这个骨干是 HPSv3 实验的宿主。源自 Infinity 论文 (Infinity).

这里 refiner 只作用于早期几个尺度，因为泛化到了文本到图像，骨干装不下那么多 token。在 HPSv3 自动偏好评估上（600 张图、分 12 个子集），平均分从 9.79 升到 9.91。但别把它读成"全面大涨"：动物、自然风光、科学三个子集其实还小幅回落了（9.57→9.53、9.08→9.04、8.57→8.50）。这个结果的意义在于把证据的范围推远了一步：到目前为止，这个瓶颈是在 VAR-d 系列与本次测试的 Infinity-2B 上都观察到了，不只在某一个固定任务里出没。不过要小心，把它说成整个 VAR 家族共有的结构性通病，目前仍是论文作者提出的家族性假设，还需要更多骨干上的独立验证 Logit Refiner。

把这套逻辑铺开看，Logit Refiner 并不孤单。它诊断出的"并行采样丢尺度内依赖"，是过去两年里一堆 VAR 改进工作共同咬了同一口的苹果，只是每个人下刀的位置不同：

相比 HMAR 把所有尺度都重写成多步 masked 精化、M-VAR 在训练阶段就重设计注意力，Logit Refiner 的独特位置是"不重训主模型、只补推理期采样"，这让它对已经训练好、甚至已发布的 VAR 权重格外友好 HMAR。它也有明确的账要付：尺度内的逐个采样是串行的，延迟换质量，对 batch 很小、追单张延迟的场景不友好；backbone 超过 2B 参数的表现论文没测过，不可外推。

把 VAR 放回它自己的坐标系看，这条根上是从 2024 年 NeurIPS Best Paper 长出来的 VAR 仓库。从那时起，社区在它的两侧头也没抬地修修补补：一边修尺度间（Markov-VAR 用马尔可夫假设压历史，张张图把显存砍掉八成 Markov-VAR），一边修尺度内（Logit Refiner）。Logit Refiner 这篇的价值，不是宣称自己终结了谁，而是给出了一个极便宜的切角：那只贵重的模型不用动，挂在输出端的两年层小网络，就能把"快"里丢掉的那点子空间关系补回来一部分。在算力昂贵、权重金贵的时代，这种"只补不必重训"的工程经济学，可能是它比任何 FID 数字都更值得被记住的地方。

想深入可以读原文：Logit Refiner: Improving Visual Autoregressive Models via Intra-Scale Dependency Modeling — arXiv:2609.11804

参考文献

Logit Refiner：免重训的轻量模块，让一半参数模型反超两倍参数大模型