MTI:只在少数高熵 token 上做干预的解码方法,比多采样更省更准
算力该加在哪儿?——从「多加算力」的默认假设,到「错误并非均匀分布」
过去两年,提升 LLM 推理能力最省事的一条路,是把模型做大、把 CoT(chain-of-thought,思维链)拉长。当一个模型开始在输出里写「Let's think step by step」之后的中间步骤,它的多步推理准确率会出现明显跃升,这就是 Wei 等人 2022 年提出的 CoT prompting:prompt 由 ⟨input, chain of thought, output⟩ 三元组组成,模型先产出中间推理链、再产出答案,而且全程不修改任何权重CoT。CoT 定义了本篇所有讨论的默认运行管道:后面我们讲的每一种干预,都是施加在这条已经展开的推理链之上。
但 CoT 只是把「花算力的地方」从预训练挪到了推理阶段。一旦算力变成推理时的一项开销,就出现了一个账本问题:这笔钱该怎么花?
主流的答案有两类。一类是自助一致性(Self-Consistency):同一条 CoT prompt 不改,把解码从 greedy 换成采样,采出 N 条不同的 reasoning path,再做边际化、选最终答案里最一致的那个Self-Consistency。另一类是加 verifier 或加 search,用另一个模型或树搜索给中间步骤打分。这两类路子共同的形态是:想更准,就多花几遍——多采几条、多搜几层,代价随次数线性上涨。
2025 年的一篇综述把这片战场整理成了四个维度:扩什么(what)、怎么扩(how)、在哪儿扩(where)、扩得怎么样(how well)。其中「怎么扩」这一支又分成 Tuning 与 Inference,Inference 下挂 Stimulation、Verification、Search、Aggregation,而 Stimulation 里有一小簇叫 Decode Strategy,指的是那些通过改写解码过程、让模型自适应地生成更充分样本的方法TTS Survey。

图注:这张四维分类树从 Test-time Scaling 这一个根长出 what / how / where / how well 四支,把当时几乎所有 TTS 技术归类进去。我们要找的位置在 How to Scale → Inference → Stimulation → Decode Strategy,也就是「不改模型、不改 prompt,只改写解码过程」的那一叶。需要说明的是,这张树的时间窗只覆盖到 2025 年 3 月,树里没有 MTI——它只是一张地图,帮我们定位「这类工作站在哪」,不承担本篇的定调。
地图有了,问题也就清楚了:既然所有人都在这条线上比谁采得多、搜得深,那我们来问一个更朴素的问题——这些算力加得均匀吗?
MTI 的出发点就是一个看起来不起眼的统计观察:错误不是均匀铺在整条推理链上的。在 Qwen3-8B-Reasoning 上跑 AIME2024,把回答按对错分组,错误回答的平均 answer entropy(整条回答上各步不确定性的累加)显著高于正确答案,而这个差距并不是「每一步都差一点」堆出来的,而是由少数几个熵特别高的 token 贡献的MTI。

图注:主图是 token entropy 的分布直方图,横轴是每一步的熵、纵轴是落在该熵区间的 token 数量;右上角的 inset 给出「错误回答 vs 正确回答」的平均 answer entropy 对比。它要证明的不是「数值是多少」,而是形状:绝大多数步挤在低熵一侧,少数高熵 token 独自把错误回答的整体不确定性抬了起来。这是该模型在该基准上的结果,不作通用结论使用。
把这句话当真,会推出一个很锋利的结果:如果错误只集中在少数几个位置,那么「每一步都多花算力」就不是唯一的加算力方式。我们可以把算力只投在那几个真正决定走向的位置上。
要不要在这一步就动手,取决于我们能不能找准那几个位置。 而「高熵」这个词目前还只是一个统计标签,它和错误相关,不等于它导致了错误——这个从相关到因果的跨越,就是下一章要解决的事。
哪些 token 值得动手?——熵给出的「关键步」,从相关升级到因果
先把这个「熵」的直觉说清楚。Shannon 熵衡量的是一个分布有多平:模型在某一步输出下一个 token 的概率分布如果非常尖锐,大部分概率压在同一个 token 上,熵就低;如果概率散在好几个候选上、模型自己也在犹豫,熵就高。把它写成式子,第 $t$ 步的 token 熵是
$$H_t = -\sum_i p_i \log p_i$$
其中 $[p_1,\dots,p_V]_t = \mathrm{softmax}(l_t)$ 是这一步的 next-token 分布。所以熵高只有一个意思:模型在这一步纠结。 而纠结是会在链条上传播的——一个错误的中间结论一旦写下,后面每一步都会以它为条件继续推理,局部犹豫因此被放大成整条链的偏移。
把一条长 CoT 上每个位置的熵画出来,会看到一幅很有辨识度的形状:绝大部分位置几乎贴着零,只有零星几处竖起来。这就是 Qwen 团队 2025 年在《Beyond the 80/20 Rule》里命名的 forking token(分叉 token)——推理路径在这些位置发生分叉,对应的词往往是 wait、however、unless、suppose、assume 这类逻辑连接词与假设词;而低熵 token 大多是词缀、代码片段、数学子表达式,它们只是把已经定下的方向写出来Beyond 80/20。

图注:左图把一条长 CoT 序列按 token 位置画成熵分布,大部分位置近乎零、少数位置是 spike,spike 处的词正是 wait / however / unless / suppose 这类分叉词;右图对比「用全部 token 训」与「只用 forking token 训」两种 RLVR 设定在三个尺寸模型上的 AIME 准确率,后者在最大那个尺寸上明显更高。它给出的不只是「高熵 token 和错误有关」,而是「只在这些位置动手反而更好」——这是把相关升级成因果的关键一步。右图只做了 8B / 14B / 32B 三档,不要当作一条通用的尺寸缩放律来读。
右图那个反直觉的结果值得停一下:把 80% 的低熵 token 的梯度直接 mask 掉、只在 20% 的高熵 forking token 上更新策略梯度,模型不但没变差,在 32B 上还涨了——AIME'24 从 55.83 到 63.54,AIME'25 从 45.63 到 56.67。反过来,把这 20% mask 掉、只留低熵 token 的梯度,性能显著下滑。更直接的因果证据来自人为调温实验:把 forking token 的解码温度调低(人为压低它们的熵),准确率显著退化;把非 forking token 的温度调高(强行推高它们的熵),模型开始输出无意义内容;而适度提高 forking token 的温度反而能涨点。换句话说,这些位置的熵不是一个被动反映好坏的读数,动它就是动推理的走向。 需要限定的是,这套因果实验只在 Qwen3 系列模型加 DAPO 这一种 RL 算法上验证过,没有跨模型族或跨 RL 变体。
到这里,解码侧和训练侧出现了一个漂亮的对称。MTI 论文里另一个实验给出了解码侧的同构证据:在 HumanEvalPlus 上逐个 token 检查「被 CFG 改变了 top-1 预测」的位置,几乎全部落在高熵区域;而低熵 token 几乎是 CFG-immune(对引导免疫)的——它们的分布是单峰、尖锐的,你怎么推都推不动它。训练侧限制梯度位置的集合和解码侧限制干预位置的集合,指向的是同一组对象。这个对称值得记住,它说明「只在高熵步动手」不是一个拍脑袋的启发式,而是有两条独立证据支撑的设计。
于是干预终于有了一个明确、可度量的目标集合。接下来的问题就从「动哪里」变成了「怎么动」——而这一步,我们要去别的领域借工具。
怎么在这几个位置动手?——把扩散里的 CFG 搬进解码,并让它几乎不花钱
我们要借的工具叫分类器无关引导(classifier-free guidance,CFG)。它最早出现在扩散模型里,名字里的 classifier-free 是相对上一代做法说的。
在扩散模型里,想让生成结果朝某个类别靠,早期做法是外挂一个分类器,把分类器对噪声图像的输入梯度加进 score estimate 里,把采样往目标类别推。Ho 与 Salimans 2022 年指出这条路有三个麻烦:多了一条要单独训练的管线;那个分类器必须在带噪图上训练,现成的分类器接不上;而且最后采样走的是对抗性的分类器梯度方向,你很难说清 FID/IS 的提升是真的变好、还是攻击了指标。他们的替代方案很干净:不训练分类器,只训练一个网络,让它既能当条件模型 $\epsilon_\theta(z_\lambda, c)$、也能当无条件模型 $\epsilon_\theta(z_\lambda)$——训练时以某个概率 $p_{\text{uncond}}$ 把条件 $c$ 换成空 token 就行,参数量完全不增加CFG。采样时把这个网络跑两遍,再用下面这条式子把两个分数混起来:
$$\tilde{\epsilon}\theta(z\lambda, c) = (1+w),\epsilon_\theta(z_\lambda, c) - w,\epsilon_\theta(z_\lambda)$$
它的直觉可以用一句降噪来打比方:你想从一段混着环境噪声的录音里听清自己说的话,一个可行的办法是拿「噪声底」和「信号加噪声」两条读数相减——把两边的共同成分减掉,只剩被条件放大的那部分。这条式子里 $+\epsilon_\theta(z_\lambda, c)$ 那一支就是「信号加噪声」,$-\epsilon_\theta(z_\lambda)$ 那一支就是被减掉的基线,$w$ 控制的是差值被放大多少。$w=0$ 就是普通的条件采样,$w$ 越大,结果越贴着条件、越远离无条件模型觉得合理的东西。下面的 toy 实验把这个效果画得很直白:

图注:这是三个高斯成分混合的二维密度示意,每个成分代表一个类别。最左边是无引导的边际密度,从左往右引导强度 w 逐级增大,可以看到概率质量越来越集中在对应类别中心、离其他类别越来越远。它给的是几何直觉:引导做的不是「加一个新方向」,而是把条件密度锐化。这张图本身不画条件/无条件两支的箭头,只是效果示意。
把 CFG 搬到自回归 LLM 上,是 Sanchez 等人 2023 年做的迁移LLM-CFG。对应关系异常自然:条件 c 就是 prompt,无条件支就是不带 prompt 继续生成。而且这一步在 decoder-only 的 LLM 上不需要任何训练技巧——扩散模型必须先学会输出无条件分布,而语言模型在有限上下文窗口上训练,把前缀一去掉,无条件分支天然就有了。公式搬到对数概率空间几乎不变形:
$$\log \hat{P}\theta(w_i \mid w{j<i}, c) = \log P_\theta(w_i \mid w_{j<i}) + \gamma \cdot \big(\log P_\theta(w_i \mid w_{j<i}, c) - \log P_\theta(w_i \mid w_{j<i})\big)$$
只是把扩散里的噪声预测换成了 next-token logit。$\gamma=1$ 时退化成普通条件生成;$\gamma>1$ 时条件方向被放大,token 更坚决地离开无条件支;$\gamma$ 太大则多样性受损。

图注:这是论文自己标注为 notional(示意)的二维 latent 投影,水平轴是 $P(\text{text}|\text{prefix})$、垂直轴是 $P(\text{text}|\text{text}, c)$。平面上散布的点代表不同生成方向,红色箭头从浅色基线区域指向右上、箭头尖端标着 prompt 文本「Today in France,」,旁边的 γ increases 表示引导权重越大、条件方向被放大的幅度越大。它要讲的是一件事:γ 放大的就是这个「条件相对基线」的方向向量。这是示意而非真实 logit 分布。
但这条路有一个明确的账单。Sanchez 等人的做法里,每个 token 都要走两遍前向——一遍算带 prompt 的条件分布、一遍算不带 prompt 的无条件分布,推理 FLOP 直接翻倍。原文的表述就是「每 token 两遍前向」,并没有说需要两套 KV cache 或者显存翻倍——「第二份 cache 能不能省掉」是后来 MTI 要处理的问题,不是这篇论文自己的说法。
MTI 的做法,就是把第二遍前向这一笔账几乎抹平。回到前面的目标集合:我们只在高熵 token 上动手。既然只在这些位置动手,无条件分支就不需要真的把整条 prompt 去掉重算一遍——在条件分支的 KV cache 末尾临时拼上「OUTPUT ERROR」这两个 token,就能在需要的那一刻、on-the-fly 地凑出一个语义指向「当前输出是错的」的近似无条件分支,而这份 cache 是和条件分支共用的。为了让引导方向明确,这里其实用的是把无条件支换成负向提示的更一般形式:
$$\log \hat{P}\theta(w_i \mid w{j<i}, c, \bar{c}) = \log P_\theta(w_i \mid w_{j<i}, \bar{c}) + \gamma \cdot \big(\log P_\theta(w_i \mid w_{j<i}, c) - \log P_\theta(w_i \mid w_{j<i}, \bar{c})\big)$$
其中 $\bar{c}$ 就是「OUTPUT ERROR」这两个 token。整条式子读下来,MTI 在做的就是把「带着错误信号的基线」和「带着 prompt 的分布」之差放大,再把结果当成新的分布去采样。

图注:左边是 vanilla CFG:条件 prompt c 与无条件 prompt $\bar{c}$ 各走一条支、各占一份 KV cache,而且每一个 token 都要引导一遍。右边是 MTI:只用一份条件 KV cache,只在 $H_t > \tau$ 的那些 token 上,把「OUTPUT ERROR」拼到这份 cache 的末尾,凑出负向分支。并置这张图要说明的就是「少干预」落在哪两个具体动作上——不重复走前向、不全程引导。图里没有标出 τ 的最优取值,那属于消融实验的内容。
到这一步,成本这件事就说到位了。同一族公式被搬进解码之后,工程上真正贵的那笔,也就是第二支前向,被压到了两个 token。选择性干预之所以在成本上说得通,全靠这一笔。 但新的缺口立刻暴露出来:判断「哪些步该动手」这个动作本身准确吗?阈值卡在哪里?以及,负向提示为什么非得是「OUTPUT ERROR」这句话?
少到什么程度才有效?——τ 卡在哪、ω 有多敏感、为什么负向提示比正向好
先看触发条件。MTI 在每一个解码步监控 $H_t$,只有在 $H_t > \tau$ 时才启用 CFG,其余步走普通解码。这个设计的直接后果是 CFG 使用率被压到很低——在 DeepSeek-R1-7B 上是 21.8%,在 Qwen3-14B 上是 32.8%,也就是大概四分之一到三分之一的 token 会被触发一次额外的 logit 拼接。那么 τ 应该卡在哪儿?
答案是:它卡不出一个最优常数,只能取一个取舍。把 τ 从低到高扫一遍,曲线先升后降。τ 太低时,大量本来已经想对的低熵步也被拉进来干预,等于在模型已经确定的判断上反复推搡,逻辑链被搅乱;τ 太高时,真正需要纠正的高熵步也被放过去了,效果退回不干预。中间那段是收益区。值得注意的是,即使把 τ 压到 0.1 这种「几乎全程干预」的极端值,MTI 在很多模型上仍然优于直接推理(DI)——论文把这一段称为 green zone。但 green zone 不等于「必须取 τ=0.5」,它只是说这条曲线在偏左的一段区间内都还安全。

图注:三联图从三个方向切 MTI 的边界。左图是 τ 曲线,先升后降,说明阈值是取舍而不是一个最优点:太低在低熵 token 上过度干预、太高等于不干预。中图是引导强度 ω,在 1.5 附近取峰,而且 1.0–2.0 整个邻域都很平稳,意味着这个超参不需要精调。右图是负向提示的柱状对比,语义明确的负向提示优于正向提示、也优于无意义 token。横轴的具体数值不要外推到所有模型上。
这三张图里,最该被记住的反而是中间那张:ω 在 1.5 取峰,1.0–2.0 区间不敏感。也就是说,这件事的收益不来自「推得用力」——用力那一维本来就平坦,来自「推在对的位置」。 真正需要调的是 τ,而 τ 的调节本质上是回答「多犹豫才算需要动手」这个问题,很像用 profiler 找热点:你只优化真正花时间的那几行,而不是把整个程序重写一遍;τ 就是「多热才算热点」的门槛,调低会把本来没问题的代码也改坏,调高则热点漏掉。这条类比只用来说明取舍形态,τ 的具体数值仍然是逐模型校准的。
右图那个柱状结果更有意思,也更需要留成一个疑问。三种负向提示的设置比下来是:语义明确的负向提示(OUTPUT ERROR 这类)> 正向提示(OUTPUT CORRECT 这类)> 无意义 token(apple、!!!)。前两个的相对顺序还好理解——一个把分布往「不要说错」的方向推,一个往「说对」的方向推,前者对推理链的纠偏更直接。但无意义 token 也常常能超过直接推理;论文对这一现象只给了「非特定扰动」的初步解释(它们引入的扰动没有具体指向),并未给出完全机制化的说明。我们把它作为开放现象原样留给听众,不替它编一个机制。
为了看清「不做筛选」代价有多大,把视觉侧的对比解码(VCD)拿来当反面对照很合适。VCD 处理的是 LVLM 的物体幻觉:它把原始图像 $v$ 和一张加了高斯噪声的图像 $v'$ 分别送进同一个模型,再用
$$p_{\text{vcd}}(y \mid v, v', x) = \mathrm{softmax}\bigl[(1+\alpha)\operatorname{logit}\theta(y \mid v, x) - \alpha\operatorname{logit}\theta(y \mid v', x)\bigr]$$
合成对比分布,把更依赖 language prior 的幻觉 token 压下去VCD。它和 MTI 是同一族公式:都是用「一支基线 + 一支条件」的线性组合做差,系数形式都长成 $(1+k)\cdot A - k\cdot B$。

图注:图里用一张海滩照片作为原始视觉输入,旁边是同一张图叠加高斯噪声后的版本,两路分别进入同一个 LVLM 得到两条 next-token 分布,再按 (1+α)·logits(原图) − α·logits(加噪图) 合成对比分布。红色高亮的 hallucinated token「Surfboards」正是被这一步压低的对象。它在这里的作用是当反面对照:同样是对比式引导,VCD 每个解码步都在跑两路、始终不筛。
差别就在这两个「始终」上。VCD 没有熵阈值这一步,每个 step 都要跑原始与扭曲两路前向;而扭曲后的视觉输入改变了 prefix 的 representation,KV cache 必须跟着重算,没法像 MTI 在语言侧那样靠拼两个 token 复用——后一条是根据 LVLM 的推理机制推出的工程判断,不是 VCD 论文的原话。把这两条反着看,MTI 的两个「少干预」设计就同时被照亮了:一个是把触发条件调准,一个是把第二支前向消掉。
到这里,方法本身已经完整。剩下的问题换成:这笔账跟已有的四条路线摆在一起,到底划不划算,什么时候划算?
这笔账划不划算?——CoT / 多采样 / 对比解码 / 全程干预的四路对照,以及跨基准上的结果
要算这笔账,先把「算力花在哪」这件事定下来。CoT 的额外算力来自生成长度本身,它不引入重复采样;MTI 是纯 decoding-time 的 plug-in,不改 prompt、不改权重,直接叠在 CoT 路径上——两者在不同维度加算力,所以可以叠加,而不是互相替代CoT。
真正的对照发生在两条都选择「重复」的路线之间。Self-Consistency 把同一条 prompt 完整采 N 次(原文实验默认 N=40),再对答案做多数投票;MTI 不重复整条链,只在单条链上被 τ 选中的那些 token 处做一次 logit 域的引导。

图注:这条流程分三步走:先用 CoT prompt 提问,然后把 greedy decode 换成从 decoder 采样,得到一组互不相同的推理路径,最后把这些路径边际化掉、选出最终答案里最一致的那个。图里画了三条路径只是为了让版面可读,原文实验默认采样数是 40。把它和 MTI 的方法图放在一起看,「广撒网」和「瞄准关键步」这两种设计哲学一眼就能分辨。
两边的账目形态完全不同:Self-Consistency 的开销随采样数 N 线性上涨,多一条链就多一次完整前向;MTI 的开销体现在「被触发的 token 数占总生成 token 数的比例」,也就是那个 21.8%~32.8% 的 CFG 使用率。多采样像同一局游戏不断重开直到碰对,MTI 不重开,只在那个真正决定胜负的分叉回合做一次微操。不过要提醒一句:两者没有在 reasoning model 上的同口径 head-to-head 数字,所以这笔账只能定性对比,不能把两边的涨幅相加或相减。
全程干预这一侧,有一个很干净的反面对照:值级对比(value-level contrast,VC)。它用的也是对比式引导的公式,但它不筛位置、每一步都干预。结果是在多个模型上 VC 反而低于直接推理——AIME2024 上 Qwen3-8B 的 VC 是 73.34% 而 DI 是 73.75%,Qwen3-14B 是 75.42% 对 78.33%,Qwen3-32B 是 72.92% 对 79.58%。干预得多不等于干预得好,全程推搡是会伤 reasoning chain 的。 这条正是「选择性」这个设计的存在理由。
真正开始算总账,看跨基准的结果。最强的证据来自这一组对照:DeepSeek-R1-7B 六个基准平均从 61.70% 提升到 70.98%,涨了 9.28 个百分点,而它的 CFG 使用率只有 21.8%;Qwen3-14B 从 82.33% 到 85.33%,涨 3.00 个百分点,CFG 使用率 32.8%MTI。两行并排看,反常的地方是:最低的 CFG 使用率换来了最大的平均增益,增益和干预比例之间并不成比例。这再一次说明收益来自「推在对的位置」而不是「推得多」。
另一组数字说明的是干预的深度。Ling-mini-2.0 在 AIME2024 上从 60.00% 提到 71.25%(+11.25 个百分点);而最能说明问题的例子是 GPQA-Diamond 上 DeepSeek-R1-7B 从 29.29% 跳到 51.52%MTI。一个 22 个百分点的跃升,不太可能是「把某一个 token 从第二候选换成第一候选」这种做法能达到的。合理的解释是 MTI 做的是分布的重新排序(distribution reshaping),而不是 top-1 的平移,因此它有能力把整条推理路径从错误的方向上拉回来。这也顺带解释了为什么要用对比式引导而不是简单地调温度——调温度只改尖锐程度、不改排序,救不回一条方向已经走错的链。
把这几组数字收在一句话里:MTI 不是「更好的采样」,它是另一条轴上的加算力方式。它和 CoT、和采样都能叠加,而不是谁取代谁。
但这笔账目前只算了「平均涨多少」和「用多少次」。还有一类问题没被回答:剩下的那些没涨、甚至可能变差的情形在哪里? 这需要先去看论文自己承认了什么。
少即是多的边界在哪?——未解现象、局限,以及同一条观察在 step 级长什么样
先看一个定性的观察。在 GPQA-Diamond 上,把所有「直接推理错了、MTI 对了」的样本挑出来,对它们的高熵 token 做词云:启用 MTI 之前,这些位置出现的大多是 the、a、so 这类泛词;启用之后,出现更多 however、if、perhaps、alternatively、wait 这类转折与犹疑连接词MTI。论文把这一现象解读为模型放弃了原来的错误先验链、另开了一条推理路径。这是一个漂亮的定性证据,但它是词云,不是受控实验,所以它说明的是「确实在换个说法往下想」,而不是「换成这些词就是涨分的原因」。
真正诚实的部分在消融实验里。前面已经看到,负向提示优于正向提示、也优于无意义 token——但无意义 token 也常常能超过直接推理。论文对这一现象只给了「非特定扰动」的初步解释,并未给出完全机制化的说明。加上前面 τ 的行为,整篇论文其实留下了一批有共性的开放问题:干预什么位置比干预什么内容更关键,而「什么内容」这一维上,似乎连语义都不必严格正确。
再看局限。第一,最优 τ 依模型而变——Qwen3 系列大致在 0.5 附近,Ling-mini-2.0 的最佳值要更小;τ 一变,CFG 使用率也跟着大幅波动(τ=2.0 时低到 0.2%~0.7%,τ=0.1 时升到 28%~50%)。第二,通用的「OUTPUT ERROR」虽然好用,但换成任务定制的负向提示还能再涨一点,也就是说这不是一个已经调到底的常量。第三,「第二支前向可以压到两个 token」这件技巧本身,论文另在 VLM 设置(Qwen3-8B-VL)上做过验证:在 Where2Place / RefSpatial / VaBenchPoint 三个空间理解基准上,CFG 仅激活 3.7%–4.5% 的 token,准确率仍一致提升(61.39%→64.36%、42.45%→44.24%、38.87%→40.86%)。不过「拼两个 token 复用条件 cache」这一具体省算力技巧在文本之外是否同样经济,论文未作进一步分析。
最后,把这条观察放到另一个粒度上看一次。同作者组的姊妹工作 StreamMA 处理的是多智能体推理里的通信协议。传统的 Serial 协议要求上游 agent 把完整答复写完,下游 agent 才能开始;Stream 协议改成了每生成一个推理步就转发,相邻 agent 因此能在时间上重叠流水线执行StreamMA。

图注:左侧 Serial 协议里,三个 agent 的时段一个接一个、互不重叠——上游不说完,下游就不动;右侧 Stream 协议里,上游的输出被拆成若干个推理步,每生成一步就丢给下游的队列,于是下游在上游还在生成时就已经开工,时段出现重叠。这张图只画协议差异,不含任何准确率数字。它在这里的用途是把「变化的东西」指出来:通信单位从完整响应变成了推理步。
它和 MTI 的关系,一句话就能说清:同一观察,不同粒度。 两边都建立在「质量沿某个粒度轴非均匀分布」这个前提上,MTI 找的是 token 熵这条轴,StreamMA 找的是 step 质量这条轴;MTI 改的是生成的 logits,StreamMA 改的是智能体之间的通信时序。而这个判断本身是那篇论文的,不是头一次出现的新想法——它只是这条研究线上第二个落点。
把整篇收在一句话上:算力不必多,要准;不必均匀,要局部;干预不必全程,要关键步。MTI 找到的那条轴是 token 熵,换一个任务、换一种粒度,同样的做法会要求你重新找一遍那根轴。
参考文献
本专题引用的核心资料如下,建议深入学习时阅读原文:
- Less is More: Improving LLM Reasoning with Minimal Test-Time Intervention — arXiv:2510.13940
- Classifier-Free Diffusion Guidance — arXiv:2207.12598
- Stay on Topic with Classifier-Free Guidance — arXiv:2306.17806
- Chain-of-Thought Prompting Elicits Reasoning in Large Language Models — arXiv:2201.11903
- Self-Consistency Improves Chain of Thought Reasoning in Language Models — arXiv:2203.11171
- Beyond the 80/20 Rule: High-Entropy Minority Tokens Drive Effective Reinforcement Learning for LLM Reasoning — arXiv:2506.01939
- Mitigating Object Hallucinations in Large Vision-Language Models through Visual Contrastive Decoding — arXiv:2311.16922
- A Survey on Test-Time Scaling in Large Language Models: What, How, Where, and How Well? — arXiv:2503.24235
- Streaming Communication in Multi-Agent Reasoning — arXiv:2606.05158