OPD 蒸馏法：教师越大点评越离谱，学生却照样在进步

先记住两个数字：30.6% 和 50.6%。在这篇论文的测量设定里，这是两位不同规模的教师给学生逐词点评出错的比例。40 亿参数的教师，评分方向与学生答案真实对错相悖的比例是 30.6%；换成 2350 亿参数的庞然大物，比例升到 50.6%，点评超过一半在跟事实唱反调。更反常的是，学生对这些错误毫不在意。把含噪声的点评单独拿去训练，和把去噪后的点评单独拿去训练，学生的成绩曲线几乎重合。

这个结果出自一篇标题就在提问的论文：《Does On-Policy Distillation Really Distill?》，问的是 on-policy 蒸馏到底蒸不蒸馏。作者把 OPD 的训练过程一路拆到 token 级，给出了一个像悖论的答案：学生在进步，可进步几乎全部来自一个跟教师无关的动作。接着他们干脆丢掉教师，造出一个不需要教师、不需要真值、也不需要参考答案的自我改进方法，把 AIME24 数学题的采样平均分从 13.44 提到 48.85 Ding & Zhang。

两条监督路线，和一位给陌生卷子打分的教师

为什么教师越大反而越常错评、学生却仍进步？要回答这个开篇的悖论，先回到 2026 年训练推理模型的两条主流监督路线，看清它们的监督信号各从哪来。

第一条叫 RLVR，强化学习加可验证奖励。模型自己生成整段解答，系统只检查最终答案的对错，对了加分，错了扣分。数学竞赛题的最终答案能用规则比对直接判定，代码题就交给编译器跑测试用例。监督稀疏，因为中间每个 token 都没人点评；信号可靠，因为答案对错是硬事实。DeepSeek-R1 是这条路的招牌，论文证明纯 RL 加规则化奖励就能让模型涌现出自我反思，R1-Zero 在 AIME24 上的 pass@1 从 15.6% 涨到 77.9% DeepSeek-R1。

图注：DeepSeek-R1 的多阶段训练管线示意，从 DeepSeek-V3 Base 出发，经过冷启动与面向推理的 RL、拒绝采样与 SFT、二次 RL 等步骤，图中含中间检查点 Dev1/Dev2/Dev3。DeepSeek-R1

注意这条管线的奖励形态：穿插在阶段之间的，是结果级的对错信号，而不是对推理中间步骤的逐词点评。这条路的常用算法是 GRPO，它去掉了 PPO 里的价值网络，改用同一道题下多份回答的分数做组内归一化，来确定每个 token 的 advantage（优势）。advantage 的含义是：模型该把这个位置往哪个方向推，往该鼓励的方向还是该惩罚的方向。GRPO 的组内归一化让这条稀疏路线省掉了整套价值模型，训练成本因此低得多 GRPO。

第二条路把监督做密，正是本文的批判对象。经典知识蒸馏的做法是：大教师模型在固定文本上输出软答案，也就是每个词的概率分布，小学生在这些固定答案上一对一模仿 Hinton KD。问题在于自回归模型推理时要自己生成文本。训练时模型见到的都是完整正确的展开，可推理时它得在一个自己刚生成、可能已经错得离谱的前缀上继续写，这种没见过的情况让早期的小错误一路滚大，这个病叫 exposure bias。2023 年提出、2024 年发表在 ICLR 的 GKD 论文对症下药：让学生自己生成完整轨迹，教师再对这条学生轨迹逐 token 打分，用打分指导学生更新 GKD。这就是 on-policy 蒸馏，也就是 OPD。它提供的监督密密麻麻，每一个 token 都有点评，看起来比 RLVR 的只报对错精细得多。

循环就是上面这张图：学生先写出答案，教师再批改，批改的分数流回学生完成一次更新，下一轮学生再生成。但这里藏着一个所有 OPD 方法都绕不开的别扭设定。教师的评分标准是从它自己的训练数据里长出来的，而学生的轨迹，教师一次都没走过。让一个从没见过陌生解法的教师，去批改学生自创的草稿，它的逐词点评凭什么可靠？打个比方，一位只按自己教案教学的老教师，拿到一篇解题路径完全不同的作业：他要么判你思路错误，哪怕你答案是对的；要么顺着自己的套路给你加分，哪怕你最终算错了。教师越大，通常越专精于自己的风格，也就越看不得学生的野路子。这正是论文要定量拷问的对象。

论文的第一张总览图把四条 on-policy 路线摆在一起对照，方便先看清各自的监督来源。

图注：左半对照四种 on-policy 学习方法的监督来源，包括 RLVR 的组内归一化结果优势、OPD 的教师逐 token 打分、OPSD 的自身 hint、以及 OPSA 的熵自适应负优势；右半是 OPSA 的训练动态与性能。Ding & Zhang

注意监督来源这一栏：RLVR 靠答案对错，OPD 靠教师逐 token 点评，OPSD 用学生自己的 hint，而论文提出的 OPSA，监督来源一栏写的是熵自适应负优势，外部教师整个消失了。右半边的训练曲线预告了整篇论文的结论：OPSA 不仅能追上 OPD，还能反超。那么问题来了，教师给陌生轨迹打的分，到底可不可靠？论文的第一组实验就是给这个问题定量。

教师越大，打分噪声越高：从 30.6% 到 50.6%

噪声怎么定义？论文只挑能被客观裁判判断的答案 token 来看。这个裁判叫 verifier，能自动判定对错，比如比对最终答案的格式和数值。噪声有两种：学生答案是对的，教师却给了负 advantage；或者答案错了，教师反而给正 advantage。两种情况都算一次评分噪声。测量的设定是：学生为 Qwen3-1.7B 的非思考模式，教师依次换成 Qwen3-4B、30B-A3B、235B-A22B，从 DAPO-17k 里取 500 道题，每道题让学生各生成一条正确回答和一条错误回答。注意，这是论文的内部口径，不代表普遍规律。

结果是一条干净的上升曲线。4B 教师的总噪声率 30.6%，其中正确回答的答案 token 有 20.4% 被给了负优势，错误回答有 40.8% 被给了正优势。30B-A3B 是 34.7%。到了 235B-A22B，噪声率 50.6%，而且它几乎对什么都是负评：正确回答的答案 token 有 97.8% 拿到负优势，错误回答也有 96.6% 拿到负优势。最大的教师不是在点评，是在平均用力地打击：连正确答案都拿负分，评分的区分度基本蒸发 Ding & Zhang。

图注：上子图 (a) 是三种规模教师（4B、30B-A3B、235B-A22B）给出与可验证奖励方向相反的 advantage 的比例，红蓝分别为正确与错误轨迹，总噪声率按论文正文为 30.6%、34.7%、50.6%；下子图 (b) 是标准 OPD、只含噪声轨迹、只去噪轨迹三类训练的 AIME24 Avg@4 曲线。Ding & Zhang

上子图把噪声随教师规模上升的事实钉死了，论文给出的归因是师生策略分布失配：教师越大，它与学生行为的差距越大，学生的轨迹对教师越陌生，评分自然越离谱。但更蹊跷的是下子图 (b)。把轨迹按是否含噪声切分，只喂含噪声的轨迹、只喂不含噪声的轨迹、或者照常全量训练，三条曲线在相近的步数内收敛到差不多的水平。这意味着什么？连错误点评都能把学生带到和标准 OPD 相当的水平，说明在这套设定下，教师逐 token 打的分几乎没有提供标准流程之外的增量信息。至少就打分这个环节而言，教师更像摆设，而不是知识的来源。

那学生的进步到底从哪来？既然教师没教出什么名堂，训练里真正起作用的又是什么？下一章把梯度一层层剥开。

学生充耳不闻，进步究竟来自哪里？

先看 OPD 的更新机制。学生靠梯度更新参数，而这个梯度的大小有两个熄灭条件：教师给的 advantage 绝对值趋近 0 时，梯度消失；采样到的 token 概率趋近 1 时，梯度也消失。翻译成人话：模型已经很有把握的位置，无论教师说什么，都传不进参数里。实测优势分布同样极端：29.2% 的 token 优势恰好为 0，51.7% 的 token 优势绝对值小于 1e-4，而这些近零优势几乎全部落在模型自己很有把握的 token 上。模型对刚写下的那个词的把握程度就叫 log-probability，采到的词概率越接近 1，说明它越自信。换句话说，OPD 提供的密集监督，绝大多数打在模型已经会的地方，等于没打。想象一位老师把学生已经写对的、胸有成竹的步骤又逐字点评一遍，批得再勤，也没有新信息可传。OPD 的密集监督里，大量力气就这么浪费在模型已经会的地方。

顺着这个观察，论文用三行实验把进步从哪来逼到墙角。

第一行证明高自信区域没有可榨取的学习信号；第二、三行更关键：把教师的评分整个扔掉，换成固定数值，一个负号就复现了 OPD 的全部增益，一个正号立刻把策略带崩 Ding & Zhang。结论是：OPD 的有效成分，是压低低概率 token 这一个动作。负优势让学生在没把握的位置把概率往回收，而这和教师是谁、教师有多大毫无关系。一个固定负数就顶替了教师的全部逐词点评，教师在这条因果链上可以被卸掉。

那是不是随便一个负数都行？论文又补了一个实验，让负优势的大小由熵决定。熵衡量模型在这一步有多拿不准：候选答案越分散，熵越高。让熵越高给越狠的负优势，记为 δ=1 的熵相关版本，avg@4 冲到 50.0%，显著超过标准 OPD 的 35.13%；反过来，熵越高给越轻的负优势（δ=-1），训练在 350 到 450 步之间出现不稳定，最终比固定负优势还差 Ding & Zhang。 在这组对照中，负优势随熵加重的版本表现更好，因此论文把熵作为可用的强度信号。既然熵能当那个定位器，为什么还要教师？

不靠教师、不靠真值：只用"熵"怎么完成自我改进？

这个反问直接催生了 OPSA，On-Policy Self-Adaptation，on-policy 自我适应。配方只有三样东西。第一，训练时只更新 log-probability 最低的 20% 的 token，把火力集中在模型最没把握的位置。第二，给这些位置一个负 advantage。第三，负 advantage 的大小由熵动态决定，熵越高给得越狠、越低给得越轻：

$$A_i^{dyn} = -\frac{1}{2} - \frac{H_i - H_{\min}}{2(H_{\max} - H_{\min})}$$

熵在一个 rollout 内归一化。整个流程不需要教师、不需要真值奖励、不需要参考答案、也不需要 hint，连教师的前向推理都省了：单步训练耗时 46.3 秒，对比 OPD 的 61.2 秒和 GRPO 的 186.2 秒 Ding & Zhang。它不只是省下了教师，还比带着教师的 OPD 更快，比稀疏路线的 GRPO 快出三倍以上。

OPSA 的工作方式可以简化成一句人话：只在模型自己都拿不准的地方动手，越拿不准越用力，已经笃定的地方一概不碰。想象一位陪练教练：学员背得滚瓜烂熟的段落他绝不打断，只在学员支支吾吾明显发虚的地方纠正，而且越结巴越板起脸。训练里有两种不同的拿不准：log-probability 衡量模型对自己刚写下的那个词有多不自信，熵衡量这一步整体上有多犹豫。前者决定动不动手，只动最低 20%；后者决定下手多重，熵自适应。

论文的图 6 把 OPSA 的更新分成四类情形。

图注：四个分布更新示例：(a) 高熵位置抑制被采样的 tail token、把概率重分配给 head tokens；(b) 高熵位置在 head tokens 之间均匀重分配、tail 几乎不受影响；(c) 低熵位置避开 tail 采样；(d) 低熵位置保留高置信预测。Ding & Zhang

上下两行是位置的高熵和低熵，左右两列是采样到的 token 属于少见分支还是常见分支。这两个词是 head 和 tail：tail 是概率很低的冷门候选，head 是概率较高的几个热门候选。高熵位置采样到 tail，就抑制这个 tail、把概率分给 head（a）；采样到 head，就在几个相互竞争的 head 之间平均分配，谁都不冷落（b）。低熵位置，模型避开 tail（c），保留高置信预测（d）。这里有个容易误解的点值得点破：OPSA 不是把概率一股脑压到最确定的单一答案上，高熵位置恰恰要均分，避免收敛成一根筋；它压的只是被采样到的少见分支，保住的是岔路口的多样性。举个具体场景：模型在一个岔路口犹豫，head 是几个都说得通的候选，tail 是一个概率很低、几乎没人会用的写法。OPSA 不会压制这个位置的犹豫本身，但如果采样最终落到了 tail，就把它收回去，让概率在几个 head 之间重新摊开。

还有一组旁证。论文统计发现，像 wait、but、however、alternatively 这类自我反思词，大面积集中在高熵位置。换句话说，模型最犹豫的地方，正是它最容易冒出"等一下，我回头想想"的地方。OPSA 等于在这些岔路口把探索余地撑开，让反思分支更可能被走到。反过来做消融，把包含反思词的 fork 位置屏蔽掉，响应长度和精度的提升几乎全部消失，300 步左右长度开始坍缩 Ding & Zhang。 这为一种解释提供旁证：OPSA 的更新重点恰落在反思词常出现的高熵岔路口；屏蔽这些位置时增益随之消失。

一场无监督训练，把 AIME24 分数提高了 263%

数字要放在正确的口径下理解。论文的评测惯例是每题采样 32 次：Avg@32 是这 32 次的平均得分，Pass@32 是 32 次里至少做对一次的比例。注意 DeepSeek-R1 官方常用的是 Pass@1 和 Cons@16 口径，那是另一套尺子，别混着比。在这套口径下，Qwen3-1.7B 基座模型经 OPSA 无监督训练后，AIME24 的 Avg@32 从 13.44 涨到 48.85，净增 35.41 分，相对提升 263.5%；Pass@32 从 40 翻倍到 80。AIME25 从 9.69 涨到 35.31，HMMT25 从 5.73 涨到 23.33。连训练分布之外的 OOD 基准也同步上涨：代码基准 MBPP+ 从 58.24 到 59.44，知识问答 GPQA-D 从 27.92 到 32.40。这两个 OOD 基准值得单独说：OPSA 的训练数据里根本没有代码题和问答题，它在所测的代码与问答 OOD 基准上也有提升 Ding & Zhang。

和现有训练路线放在一起比，差距更明显。

OPSA 在三个基准的平均分上超过最强基线 11.04 分，Pass@32 高 8.89 分；单看 AIME24，OPSA 的 48.85 比 OPD 的 32.08 高出 16.77 分。别忘了这些提升来自一个连答案都没见过的训练过程，训练数据 DAPO-17k 只包含题目本身。

一个诚实的疑问是：分数上涨会不会只是模型学会了多写废话、靠更长的输出捞分？论文用 token 预算匹配控制排除了这个解释：把总生成 token 压到同样的约 23K，GRPO 只剩 32.81，OPD 31.67，OPSA 依然有 48.85，领先反而更大。跨模型族也站得住：Qwen3-4B 在 AIME24 上从 23.33 涨到 62.08，净增 38.75；Qwen3.5-9B 从 76.35 涨到 87.81。更妙的是 OPSA 还能和 RLVR 拼装：拿 OPSA 训过的 checkpoint 给 Qwen3-4B 的 GRPO 做冷启动，40 步内验证集 Avg@4 又涨了约 9 点 Ding & Zhang。 这些证据合起来指向一个审慎的结论：token 预算匹配排除了分数上涨主要由更长输出造成的解释；增益是否来自真实能力提升，还需要更全面的评测来支撑。这条路线对现实也有直接的吸引力。RLVR 需要一个能自动判题的 verifier，OPD 需要一个不比学生小的教师模型，两者要么依赖基础设施，要么依赖别人的模型权重。OPSA 把这两样都抹掉了，剩下只有题目和算力，这是它最朴素也最打动人的地方。

放回 2026 年的 OPD 之争：它站在哪一极，又在哪里止步

把这篇论文放回 2026 年的 OPD 讨论里，它的位置很清楚：教师信号不可靠，而本文及列举的几项近期工作都把它当作需要处理的问题，分歧只在于怎么应对。一端是把关派，代表是 RG-OPD：承认教师会瞎点评，但用外部可验证奖励给信号把关，只有教师评分与学生轨迹实际对错方向一致时，才把轨迹放进蒸馏 RG-OPD。

图注：RG-OPD 方法总览：学生采样轨迹并接收 verifier reward，reward-teacher gate 只放行教师似然差与奖励方向一致的轨迹，门控后的 reverse-KL 蒸馏损失仅在保留轨迹上计算。RG-OPD

这张图可以作为同一问题的另一种解法来读：学生照常采样，verifier 给奖励，门控检查教师的判断和实际对错是否一致，只对信得过的轨迹做蒸馏。作者实测在 1K 生成设定下平均分 46.94，比 vanilla reverse-KL 高 2.9 分；8K 长生成设定 53.74，比未调优学生高 8.2 分。不过它也有反例：指令跟随基准 IFEval 上，TSD-KD 的 54.68 反而优于它的 48.60 RG-OPD。

另外三篇同期工作各从不同角度补全了地图。Demystify-OPD 系统剖析 OPD 的角色与病态，结论是信号质量胜过教师规模，和本文噪声随教师规模增大的发现互为印证；作者还声称规约后的 4B 教师能超越依赖 30B 教师的方法，这个说法按论文声称对待，未独立核验 Demystify-OPD。 Direct-OPD 不同意模仿教师的最终策略，只迁移教师 RL 前后的策略偏移，把它当作隐式奖励，在 Qwen3-1.7B 的 AIME24 上从 48.3 涨到 58.3 Direct-OPD。 G-OPD 则从理论侧把 OPD 重写为带 KL 约束的隐式 RL，奖励正是教师与参考模型的 log-ratio，和本文 OPD 的机制是学习信号而不是蒸馏形成了互证 G-OPD。 四条路线各选各的对策，但出发点已经高度一致：教师的逐词点评不能照单全收。

论文对自己的边界也交代得很老实。所有实验的模型规模不超过 9B，更大模型和 MoE 没有验证；OPSA 的本质是重新分配既有概率质量，对分布已经收得很尖、犹豫空间很小的模型收益有限，也不实质扩展模型的探索前端，思考模式下 Pass@k 的增益相对温和 Ding & Zhang。 一句话定位适用场景：手里有基座模型、想省掉教师和奖励标注的全部成本，OPSA 是现成的选择；论文尚未证明 OPSA 能单独抬高能力天花板，RLVR 仍是另一条可选路线。

顺着它留下的空当，最有意思的问题也浮出来了：OPSA 的增益如果真的来自在岔路口多留余地，那么在哪里开口子这件事本身，可能比用多大的负优势更有研究价值。把熵自适应并进 RLVR 的主循环而不是只当冷启动，在更大的模型上画出熵与收益的完整曲线，也都是现成的下一步。这篇论文打开的不是一条终点线，而是一个新的提问方式：当监督的来源不再被默认是教师时，自我改进还能怎么设计。

回到开头的追问：OPD 到底蒸不蒸馏？这篇论文给出的回答是，OPD 蒸的不是教师的智慧，而是学生自己那些不自信的 token。教师点评里真正有用的部分，本质上是"这里你还没想好，收一收"这句提醒，而这句话，模型完全可以自己对自己说。2026 年的蒸馏研究里最值得记住的反转大概就是这一个：有些监督看似来自名师，其实来自学生自己。

想深入可以读原文：Does On-Policy Distillation Really Distill? From Noisy Teacher to Self-Improvement — arXiv:2608.31046

参考文献

1. Does On-Policy Distillation Really Distill? From Noisy Teacher to Self-Improvement（Yi Ding, Ruqi Zhang，arXiv 2608.31046）：https://arxiv.org/abs/2608.31046
2. On-Policy Distillation of Language Models: Learning from Self-Generated Mistakes（GKD，Agarwal et al.，ICLR 2024）：https://arxiv.org/abs/2306.13649
3. DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL（DeepSeek-AI，Nature 2025）：https://arxiv.org/abs/2501.12948
4. DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models（GRPO，Shao et al.，2024）：https://arxiv.org/abs/2402.03300
5. Distilling the Knowledge in a Neural Network（Hinton et al.，2015）：https://arxiv.org/abs/1503.02531
6. Reward-Gated On-Policy Distillation（RG-OPD，Akhondzadeh et al.，2026）：https://arxiv.org/abs/2607.04037
7. Demystifying On-Policy Distillation: Roles, Pathologies, and Regulations（Wang et al.，2026）：https://arxiv.org/abs/2607.13399
8. Weak-to-Strong Generalization via Direct On-Policy Distillation（Direct-OPD，Feng et al.，2026）：https://arxiv.org/abs/2607.05394
9. Learning beyond Teacher: Generalized On-Policy Distillation with Reward Extrapolation（G-OPD/ExOPD，Yang et al.，2026）：https://arxiv.org/abs/2602.12125