OPRD：强学生向弱教师“借方向”的蒸馏法，反超它还不改自己的目标
后训练太贵：为什么我们想让更强的学生向更弱的教师学习
2023 年底，OpenAI Superalignment 团队做了一个反直觉的实验：让一个 GPT-2 级别的小模型当老师，去监督当时地球上最强的大模型之一 GPT-4 微调。一个连今天中端模型都不如的监督者，能教出什么来？结果学生真的超过了老师。在代表性 NLP 任务上，被弱监督训练出来的学生追回了大约 20% 到 50% 的能力差距。再加一个辅助置信度损失，追回率逼近八成。Weak-to-Strong
这个实验印证了一个当时还没有名字的命题：更强的模型，能不能从更弱的监督者那里学到东西，然后反过来超过它？OpenAI 给它起了名字：弱到强泛化（weak-to-strong generalization）。如果答案为“能”，意义非常实际，因为今天的做法是每一代新模型都从头跑一遍昂贵的后训练（post-training），从规则验证器判分的强化学习到偏好对齐，一整套流程烧掉海量算力。后训练之所以贵，是因为强化学习要反复让学生自己采样回答、再逐题判分，每一轮更新都要把整个模型重新过一遍，数据没法像预训练那样离线批量复用。如果上一代的弱模型能带一带下一代的强模型，两个场景会直接受益。一个是逐代迁移：一个后训练过的模型，去监督它更大的继承者。另一个是多域整合：把若干小型领域专家，合并进同一个学生。这两件事都有机会省下重复后训练的大半成本。但 OpenAI 做这个实验的底层动机其实是终极对齐：假如有一天模型比人聪明，人类就成了那个“更弱的监督者”，那时人还能不能教得动模型？今天的弱模型教强模型，正是这个终极问题的一个可操作缩小版。省钱与对齐看似两件事，其实是同一个问题的两层意义：都在问，弱老师指的路，强学生能不能跟着走通。所以弱到强泛化不只是省钱的事，它还是对齐研究里少数能马上做实验的入口。
追回多少，有一个标准刻度：性能差距恢复比例（performance gap recovered，PGR）。学生超过弱教师的幅度，除以强教师和弱教师之间本来的差距，就是 PGR。1 代表完美追上，0 代表学生只是照抄老师。OpenAI 的实验里，学生能超过监督者，但总是差一口气：国际象棋任务上甚至出现逆缩放，学生越大越学不回。给 ChatGPT 做奖励建模，更是只恢复约 10% 的差距。
图注：OpenAI 用三组箭头给弱到强泛化定位：传统机器学习是“人”教弱模型，终极对齐问题是“人”教远比人聪明的强模型，而这篇工作研究“弱模型”教强模型。OPRD 正是这条问题链最新一格的回答。Weak-to-Strong
学生能追上一点，却总有一截追不回，而且没人真正解释得清为什么。这个缺口不是一次实验的怪现象，它指向一个结构性原因。下一章拆开它。
为什么“向教师模仿学习”会被锁在天花板之下
蒸馏（distillation）这个传统，从 2015 年 Hinton 那篇经典论文开始。大模型当教师教小模型时，不要只给标准答案，把教师对每个候选词的概率分布，也就是 soft target（软目标），一并给出。学生学着学着，就学会了教师“怎么想”，往往比直接学答案快得多。Hinton 举过一个例子：一张宝马车照片，教师网络给“垃圾车”和“胡萝卜”各派了一个极小概率，这两枚小概率之间的比值，其实编码了“车离卡车近、离胡萝卜远”这类相似度结构，硬标签里完全没有这些信息。Hinton 2015
这个范式藏着一个隐含假设：教师是对的，教师是上限。学生学得再好，也只是逼近教师的分布。传统场景里教师大、学生小，这个假设无伤大雅，学生本来就超不过教师。顺序一旦反过来，教师弱、学生强，问题立刻裸露出来：学生会被教师的容量天花板锁住，教师不会的，学生也学不会。
后来的改进大多在“怎么学”上下功夫，不质疑“学谁”。Google DeepMind 的 GKD（On-Policy Distillation）把蒸馏改成 on-policy：在学生自己生成的输出上评教师的分布，解决传统蒸馏里学生自回归推理时会遇到训练时没见过的前缀、错误逐 token 累积的问题。GKD
在 T5 系列三个规模的学生上，GKD 的柱子一致高于其他方法，但请看教师水平线：所有方法的成绩都停在它附近。换了数据来源，没换目标，天花板纹丝不动。原因并不难找：只要优化目标还是“更像教师”，学生所有更新都指向教师的分布，教师不会的方向，学生永远不会被推着去探索。换什么样的数据来评教师，都改变不了这一点。
更扎心的证据来自 2026 年夏天的同期工作 Direct-OPD。同一个学生 R1-Distill-7B 在 AIME'24 上本来就有 56.7 分，比它要去模仿的弱教师 JustRL-1.5B 的 51.3 分还高。让学生去匹配弱教师的最终分布，结果不是原地踏步，而是被拖到约 50 分，越学越差。反过来，只转移“教师这次后训练往哪变”，也就是前后两个 checkpoint 的 logit 之差，学生的分数被抬到 63.1。Direct-OPD
反常之处要挑明。模仿一个本来就比自己弱的教师，会把学生拖低，这符合直觉。但同一个“变化方向”信号，却能让学生变强。这说明教师的真正价值不在“答案”，而在“它往哪变”。可惜 Direct-OPD 把方向变成了学生的新优化目标：学生要去优化一个新奖励，容量限制依然在，只是天花板换了地方。
这就引出 OPRD 想钻的空子：方向照借，但学生的优化目标一个字节都不改。要做到这一点，得先看看学生自己手里本来有什么。
学生自己的发动机：verifier 驱动的优化，为什么不肯换掉它
过去两年，推理模型的能力主要不是靠人类标注教出来的，而是靠一台“验证器发动机”。规则验证器（verifier）只做一件事：判断这个回答对不对。数学题看最终答案是否一致，代码题跑测试用例。答对的奖励高，答错的低，不需要训练任何人类偏好模型。这套“用结果说话”的打分方式有一个前提：任务得能自动判分。数学和代码可以，开放问答不行，这正是后面 OPRD 的实验集中在数学与逻辑推理上的原因。
有了分数，还得把它变成更新模型的信号。GRPO 是这条路线里被采用最多的算法之一，DeepSeek-R1 和后来的多个模型家族都直接用它或它的变体。它的关键改动是：把 PPO 那套复杂庞大的 value model（价值模型）整个砍掉，对同一个问题采样一组回答，用这组回答内部的相对优势算出每个 token 的 advantage（优势值），正向梯度推高，负向梯度压低。GRPO
这里藏着一个值得点破的细节。验证器给的是整道题的最终对错，是稀疏信号。但 GRPO 把同一道题的多个回答放进一组比较，谁的相对优势高，它每个 token 的梯度就向上推一层。于是稀疏的对错被摊开，变成了逐 token 的稠密梯度。只是这个“摊”是组内对比估计出来的，不是每个 token 各自判的，所以它既稠密又带噪声。这个噪声要紧记，后面 OPRD 小心翼翼的调度就和它有关。
图注：左侧是 PPO，需要训练一个与策略模型同规模的价值模型来估计优势值。右侧是 GRPO，去掉价值模型，直接用同问题一组回答的分数均值与标准差做基线。省掉一个与策略同尺寸的大模型，是 GRPO 被广泛采用的主要原因。GRPO
DeepSeek-R1 把这条路线推成了工业形态。从冷启动监督微调出发，先跑一轮强化学习，再做拒绝采样加微调，最后来第二轮强化学习，多阶段串成流水线。它的激进版本 R1-Zero 干脆跳过全部监督微调，纯用规则验证器加 GRPO，就把 AIME'24 的 Pass@1 从 15.6% 拉到 77.9%。DeepSeek-R1
这台发动机能爬坡，但慢，而且贵。每代新模型都要从头跑一遍流水线，正是第一章说的重复后训练成本。与此同时，教师手里握着学生没有的东西：一个稠密的、token 级的“往哪变”信号。学生每选一个词，教师的 shift 都知道这个词该更被青睐，还是更被冷落。
难点于是变成一道焊接题：怎么把教师这种稠密的方向信号，接到学生这台只看最终对错的发动机上，让教师只出方向、不出力气？
OPRD 怎么做：只放大“跟教师同向”的那部分梯度
论文的答案叫 On-Policy Reverse Distillation（OPRD），字面是“在线策略反向蒸馏”。“反向”指的是评估对象反了：传统蒸馏评教师的绝对分布，OPRD 评教师相对自己参考策略的变化方向。这里要提醒一句：arXiv 上另有一篇同名论文 On-Policy Representation Distillation，做的是表示空间蒸馏，与本篇不是一回事，读文献时别认错。OPRD
方法由三件套组成。第一件是参考策略与策略偏移。给教师配一个“训练之前的自己”，也就是冻结的参考策略（reference policy）。教师在学生访问到的每个前缀上，用后训练 logits 减去参考策略 logits，再做 mean-centering，得到策略偏移（policy shift）Δ_t，最后只取它的单位方向 d_t。偏移刻画的是教师这次后训练认为哪些词更值得、哪些词更不值。注意只取方向，不把 shift 本身当目标：shift 是弱教师在自己的能力区间里学出来的，直接当优化目标，对更强的学生未必是好事。
第二件是学生的 verifier 梯度。学生本来就有的 GRPO 式逐 token 梯度，记作 g_t。
第三件是重缩放。把 g_t 分解成沿 d_t 的分量和垂直分量，只把沿 d_t 的分量放大 1+λ_t 倍，垂直分量原样不动。全部操作就一个公式：
$$ \tilde{g}t = g_t + \lambda_t,\mathrm{Proj}{d_t}(g_t) $$
图注：OPRD 概念图。左边弱教师后训练 logits 与参考策略 logits 经 mean-centering 相减，得到策略偏移 Δ_t，取单位方向 d_t。中间该方向与学生的 verifier 梯度 g_t 对齐。最右是优化景观里的学生轨迹，沿 d_t 的分量被 1+λ_t 放大，正交分量不变。OPRD
为什么敢只改系数、不碰目标？两个数学性质撑住。第一，不动点保持：重缩放后的梯度等于零，当且仅当原来的梯度等于零。翻译成人话，学生原本会停下的地方，重缩放后还是会在那里停下，优化目标的不动点一个都没动。第二，对齐增益：重缩放后梯度与原梯度的内积不小于原梯度模长的平方，每一步的一阶进度只增不减。这个性质重要在哪？若一个方法悄悄改了不动点，训练的下限就变了：即使验证器信号说“到此为止”，学生也会被教师的推力拽着继续走，最后停在教师附近。OPRD 的不动点保持，等于立了一条规矩：验证器永远是最终裁判，教师只能当陪练。
图注：把重缩放想成向量分解：学生的 verifier 梯度 g_t 被拆成顺着教师偏移方向的分量与垂直分量，前者乘以 1+λ_t，后者不动。目的地不变，变的只是沿教师方向的步长。
一个类比能把直觉钉住：你按自己的节奏爬山，教练只在旁边喊“这一段是上坡，迈大点”。你的判断决定了往哪走，教练的提示只决定哪一步迈得更大，终点仍由你自己的验证器定。对应关系是精确的：山是优化景观，判断是 g_t，教练的提示是 d_t，迈大步是 λ_t 放大。
还有一处细节值得知道：放大并不一视同仁。与教师同向的分量立即放大。与教师反向的分量要等一个 warm-up 阶段才逐渐加大。原因是训练早期学生自己在弱 rollout 上的反向信号不可靠，单边放大还会系统性助长长度偏好之类的偏置。论文报告默认 λ=0.5，实验中每个正的 λ 都优于纯 GRPO。
“反向分量”并不是在使坏，论文里有一个很具体的例子。某个 AIME'25 前缀上，学生自己的 top-1 token 是直接补全“2016”。而教师 shift 的首选 token 却绕了个弯，要先算 252+504=756、再算 756+1260=2016。学生反对教师方向的 verifier 梯度分量，恰好把它往更短的路径推。这个“反对”正是负对齐分支放大对象，学生因此比教师更快写到答案。所谓超越教师，在 token 级就是这样发生的。
对照 Direct-OPD 就更能看清立场：它把偏移变成学生的新奖励，学生要去优化一个新目标。OPRD 只动系数，学生的优化目标原封不动。借方向，不换发动机。
话说到这里，最尖锐的检验自然是：方向借来了，学生到底有没有被带偏？
证据三连：更快超越教师，且没被教师的风格带走
论文报告了三组实验，全部在 Qwen3 系列上，任务是数学和逻辑推理。
第一组，逐代迁移：4B 的弱教师带 8B 的强学生。数学四个 benchmark 平均，OPRD 拿到 51.91 分，教师只有 38.66，纯 GRPO 的学生 39.38，最强蒸馏基线 KDRL 43.99，OPRD 比它高 7.92 分。推理任务上 OPRD 55.18 分，比最强的 44.38 分基线高 10.80 分，教师 44.65。更值得注意的是快：论文报告 OPRD 用比 GRPO 少 33% 到 67% 的学生更新就达到教师级表现，早期 checkpoint 最高领先 22.7 个百分点。OPRD
第二组，多教师整合：把四个不同领域的 4B 专家教师，合进同一个 8B 学生。300 轮更新后平均 58.77 分，比混合强化学习基线 Mix-RL 高 11.09 分，比专家平均高 14.12 分，而且四个任务全部超过对应专家，没有出现跨任务的取舍。
第三组，把容量顺序反过来：8B 教师教 1.7B 学生，8B-Base 教 0.6B 学生。OPRD 分别比 OPD 高 3.79 和 29.20 分，说明这套机制不依赖“学生必须比教师强”这个前提。
还有一个反直觉的动态值得单独拎出来。论文报告里教师本身可以非常弱：某个 step-60 的中间 checkpoint 教师，自己解逻各题只有 29.0% 的 Pass@1，但接受它方向的 OPRD 学生很快冲到约 88%。教师自己的绝对水平，不必成为学生的上限。这个事实直接回击了“弱教师会给学生设天花板”的担心。
图注：上半是两个实验设置的示意，左为单教师 4B 带 8B 学生逐代迁移，右为四个领域专家 4B 合入单个 8B 学生。下半是两组学习曲线，教师表现以灰色虚线标出。论文报告的趋势是 OPRD 更早越过教师虚线、收敛位置更高。OPRD
这些数字该怎么读？它们全部来自这篇 9 月 8 日刚提交 arXiv 的论文报告，基线也是作者自己适配的版本，尚无独立复现，不宜当成社区共识。但它揭示的模式是结构性的：又快又好地超过教师，这不是刷到一个榜，而是把“更少更新”和“更高表现”同时做到了。往大了想，若这套做法在更大规模上成立，后训练的预算结构会变：小模型的强化学习实验便宜好调，大模型的后训练就能借上一代的方向信号起步，不用每次都从零爬坡。
最耐人寻味的是论文附带的“说话风格”检验。论文用 AIME'24 的 30 道题做比较，用 101 个特征分成 5 类风格指标，看学生的响应风格到底像谁。结果非常干净：传统 OPD 的学生在全部 5 类上都更接近弱教师。OPRD 的学生在全部 5 类上都更接近“只用 verifier 强化学习训练的学生”。换句话说，OPRD 学生从教师那里拿走了“往哪变”，却没有继承教师的腔调。OPRD
图注：左面板是训练过程中响应风格分布的差异，纵轴为能量距离差，正值为更接近纯 GRPO 学生，负值为更接近教师。右面板按 5 类风格特征给出对比，红色代表更像教师，绿色代表更像 GRPO 学生。论文报告的结论是：OPD 五类全偏教师，OPRD 五类全偏 GRPO 学生。OPRD
这正是论文标题那句话的注脚：教师指导加速了学生的优化，却没有给学生的优化改道。教师的贡献是油门，不是方向盘。
那代价呢？没有代价的方法不存在。最后一章看 OPRD 自己承认的边界。
OPRD 的边界：同期三条路径、理论解释与它自己承认的硬伤
2026 年夏天，三条同期工作共享同一个直觉：要转移的是教师后训练的变化方向，不是教师的最终分布。但它们的落点完全不同。
| 方法 | 转移什么 | 落在哪里 | 学生的目标 |
|---|---|---|---|
| Direct-OPD | post-RL 与 pre-RL checkpoint 的 log 比 | 变成稠密隐式奖励 | 变了：新增一个以 shift 为奖励的 RL 目标 |
| W2S-OPD | 正负模型 logit 之差（capability direction） | 合成一个代理教师的分布 | 变了：学生去匹配这个新教师 |
| OPRD | 教师相对参考策略的偏移方向 | 学生自己的 verifier 梯度 | 没变：只做梯度重缩放 |
Direct-OPD 把 shift 解读成隐式奖励，构造新的 KL 正则 RL 目标。W2S-OPD 在 logit 空间用正负模型之差合成代理教师（proxy teacher），再让学生反向 KL 匹配它。OPRD 只在梯度上做文章。Direct-OPDW2S-OPD
论文报告在同一个对比设置里，OPRD 平均 60.81 分，比 Direct-OPD 高 23.00 分，比 W2S-OPD 高 11.59 分。同期对比的胜负要等独立复现再下结论，但三选一的路径差异是真实的：改教师分布、改目标，还是只改步长。
为什么 shift 比 policy 本身更可转移？有一份理论呼应。Moniri 和 Hassani 2025 年的 NeurIPS 论文给出三条可证明的机制。第一条是欠正则化的补偿，学生用自己的正则化抹平教师的过拟合。第二条是正则化结构与任务的对齐，学生的预训练特征只要与任务方向有正对齐就能赢。第三条是易难特征分解，教师一步随机梯度下降只能学会容易的方向，难的方向学生在预训练时已经自带。W2S 理论
这三条机制给“方向比答案更可转移”提供了机制层面的解释，但要诚实：它们是在高斯特征、单步训练的简化设定下成立的，是类比，不是 OPRD 的理论证明。
OPRD 自报的硬伤有五条，前两条最要害。其一，verifier 梯度一消失就失效。在 8B-Base 教 1.7B 的强到弱实验里，学生早期大多数输出非法，组内优势分消失，投影和放大都没有可操作的分量，OPRD 和纯 GRPO、KDRL 都低于 20% Pass@1，传统 OPD 靠不依赖 verifier 的密集目标做到 40.5%。其二，参考策略选错会引入偏差。参考策略选训练前的 step-0 时，shift 里混进强烈的“缩短回答”分量，学生卡在 52.5%。把参考策略挪到 step-30，同一任务达到 89.5%。OPRD
其余三条是诚实的自我限定。学生的响应风格偏向 verifier 强化学习，不继承教师的表达，需要模仿教师腔调的场合不适用。实验只覆盖 Qwen3 的 0.6B 到 8B 规模，代码与 agent 场景留作未来工作。相对纯 GRPO，OPRD 要多花 11.9% 的墙钟时间和 10.2% 的峰值显存，因为需要保留冻结教师和参考策略的前向计算。判断它到底站不站得住，最直接的办法是复现：在更大的模型、更多样的任务上，看“只借方向”是否依旧又快又稳，参考策略的选择是否真能靠经验法则稳住。
把话说回开头。OpenAI 2023 年的实验留下一个谜：学生能超过弱教师，但总是差一口气。OPRD 的回答是：那口气不在“答案”里，在“变化的方向”里。把方向借给学生自己那台验证器发动机，它就跑得又快又远，还不需要换目的地。它打开的是“下一代训得更快”的路，不是“不用再训”的路。论文自己把未来指向递归式自我改进：这一代的学生，训练完成后又成为下一代学生的弱教师，方向信号一代代往下传。教师是加速器，不是新主人，这也许是弱到强泛化最值得记住的一句话。
想深入可以读原文：Eliciting Weak-to-Strong Generalization with On-Policy Reverse Distillation（arXiv:2609.08798）
参考文献
- Eliciting Weak-to-Strong Generalization with On-Policy Reverse Distillation（OPRD，本专题锚论文）：https://arxiv.org/abs/2609.08798
- Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision（OpenAI Superalignment）：https://arxiv.org/abs/2312.09390
- Weak-to-Strong Generalization via Direct On-Policy Distillation（Direct-OPD）：https://arxiv.org/abs/2607.05394
- On-Policy Distillation of Language Models: Learning from Self-Generated Mistakes（GKD）：https://arxiv.org/abs/2306.13649
- DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning：https://arxiv.org/abs/2501.12948
- Weak-to-Strong On-Policy Distillation（W2S-OPD）：https://arxiv.org/abs/2607.26246
- On the Mechanisms of Weak-to-Strong Generalization: A Theoretical Perspective（Moniri 与 Hassani）：https://arxiv.org/abs/2505.18346
- DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models（GRPO 算法来源）：https://arxiv.org/abs/2402.03300
- Distilling the Knowledge in a Neural Network（Hinton 等，2015）：https://arxiv.org/abs/1503.02531