BloomBloom
发起研究

Direct-OPD：传递「改进方向」而非「最终答案」——弱到强泛化的高效路径

训练一个大模型已经够贵了——但真正让 AI 公司头疼的，是训练完成之后的环节。强化学习后训练（RLVR）能把模型的数学推理能力推到新高度，但代价是每次模型规模升级，都得让大模型从头生成海量 rollout，算力成本随参数量指数级膨胀。以 Polaris 在 Qwen3-1.7B 上跑直接 RL 为例，需要 32 张 A100 连续运行至少一周。当模型从几十亿参数膨胀到上千亿，后训练本身就成了瓶颈——这是 LLM 开发中一个令人尴尬的现实：训练一个能推理的模型已经很难，训练完之后再让它变聪明，有时候反而更贵。

那能不能换个思路：先让一个小模型跑 RL（它的 rollout 便宜得多），然后把小模型的 RL 成果「转移」给大模型？听起来很美，但怎么转移是个难题——直接让小模型教大模型「该输出什么」会出大问题。这时，一篇来自清华大学 AIR 研究院与字节跳动 Seed 团队的最新论文给出了一个反直觉的回答：不要传递「策略」，要传递「策略偏移」Direct-OPD。

RLVR：稀疏奖励下的成本困境

要理解这个问题的分量，得先看清 RLVR 的运作方式。RLVR（Reinforcement Learning with Verifiable Rewards）是 Tulu 3 论文提出的一种后训练范式，专门针对数学求解这类有确切答案的任务Tulu3。与传统的 RLHF 不同，RLVR 不依赖人类偏好奖励模型，而是用确定性验证函数判断输出是否正确——答案匹配标准答案就获得奖励，否则得零分。

下图清晰地展示了这一流程：模型采样多组响应，验证函数只在生成结束时给出一个二元信号（α 或 0），中间上千个 token 的行为完全得不到反馈。

图注：RLVR 系统流程图。给定提示（Prompts），策略模型采样多组输出（Sampled Completions），验证函数根据标准答案（Ground Truth）判定每组输出的正确性，正确的获得奖励 α，错误的获得 0，奖励信号传入 PPO 训练。图中可清晰看到：奖励只在最终输出处出现，推理步骤内部没有任何信号。图片来源：Tulu 3

这种「稀疏 outcome reward」带来的直接后果是训练效率极低。模型生成了一长串推理过程，中间的正确推理步骤没有正向强化，最后的错误答案导致整条轨迹被抛弃——有效学习的信号稀薄，需要的采样量巨大。打个比方，这就像老师只给学生的期末考试成绩打分，而完全不管他在平时作业中的进步，学生只能靠一次次期末考试来摸索正确的学习方法。而在 RLVR 中，这个「期末考试」的代价还特别高：模型每生成一次完整推理链条，都要消耗大量算力；答错了，整条轨迹的奖励就是零，没有任何中间信号告诉它「第三步的推理方向是对的，只是最后一步计算失误」。

对比之下，如果奖励信号是稠密的——每个 token 都收到反馈——模型就像有了一个逐题批改的家教，能从每一步的正误中学习。这正是 Direct-OPD 试图提供的：不依赖稀疏的外部验证，而是从弱教师的 RL 经验中提取出逐 token 的稠密信号。

DeepSeek-R1 的实践生动地说明了这种成本有多棘手DeepSeek-R1。它的训练管线横跨四个阶段：冷启动 SFT → RL（GRPO）→ 拒绝采样 + SFT → 第二次 RL。每一步都需要在 671B 参数的基座模型上生成大量数据，再蒸馏到小模型。

图注：DeepSeek-R1 的四阶段训练管线。从 DeepSeek-V3-Base 出发，经冷启动数据加 SFT、RL 阶段一（GRPO）、拒绝采样加 SFT、RL 阶段二（混合奖励），依次产出 Dev1、Dev2、Dev3 和最终 DeepSeek-R1。工业级的多阶段流程需要在大模型上反复运行 RL，成本极为高昂。图片来源：DeepSeek-R1

这套管线虽然效果斐然——R1-Zero 在 AIME 2024 上从 15.6% 飙升至 77.9%——但它的成本几乎不可复现。小公司想要做类似的后训练，光是一次完整管线所需的算力就难以承受。DeepSeek 自己也指出，蒸馏虽然能传播能力，但不能创造能力——蒸馏模型的上限受限于教师模型在探索中发现的推理模式，而探索本身需要在大模型上大规模 RLDeepSeek-R1。

于是问题变得迫切：能否在小模型上完成 RL 探索，再将其成果高效转移到大模型身上？ GRPO 等轻量化 RL 算法已经尝试从算法层面降低成本，它免去了价值模型、使用组内归一化来估计优势函数GRPO，但底层的稀疏奖励问题依然存在——不管优化算法多高效，只要奖励信号只在生成结束时出现，大模型的探索成本就不会降低。我们需要的是从根本上改变奖励信号的传递方式，而不是在同样的稀疏信号下优化得再好一点。

小模型教大模型：直接模仿走不通

在弱到强泛化（Weak-to-Strong Generalization）的研究中，OpenAI 提出了一个漂亮的实验框架W2S：用弱模型（如 GPT-2 级别）生成的标签去监督强模型（如 GPT-4 级别）的微调。这模拟了未来人类监督超级智能的困境——能力弱的一方，能否有效地引导能力强的一方？

图注：弱到强泛化问题设定示意。左栏为传统 ML 范式（人类监督弱于人类的模型）；中栏为本文研究的弱到强泛化（弱模型监督强模型）；右栏为终极超级对齐问题（人类监督远超人类能力的模型）。三栏递进展示了从传统到未来的研究脉络。图片来源：Weak-to-Strong Generalization

OpenAI 用 PGR（Performance Gap Recovered）来量化效果：弱监督恢复了多少从「弱监督者性能」到「强天花板性能」之间的差距。实验结果揭示了基本矛盾——强模型在弱标签上微调后确实能超越弱监督者，但远远达不到强模型的全能力上限。NLP 任务中 PGR 在加入辅助损失后能提到 80% 左右，象棋任务出现负缩放（强弱差距越大 PGR 反而越低），而 ChatGPT 奖励建模任务上 PGR 仅约 10%，几乎不随模型规模改善W2S。W2S 论文将此归因于一个核心发现：强学生会「模仿」弱监督者的错误，学生-监督者一致性始终很高，当学生远强于监督者时，过度拟合弱标签会导致训练后期测试准确率下降。简单来说，强模型复制了弱模型的成功，也复制了弱模型的失败。

Direct-OPD 论文用更尖锐的数据复现了这一困境。当直接用后 RL 的弱模型（JustRL-1.5B，AIME 2024 51.3%）去蒸馏强模型（R1-Distill-7B，起点 56.7%）时，强模型的准确率反而下降到了约 50%，硬生生地被拉回了弱教师的水平Direct-OPD。

为什么？因为弱模型的后 RL 策略是两样东西的混合物：一部分是 RL 训练学得的「正确解题方向」，另一部分是弱模型自身容量限制带来的「偏见和盲区」。强模型模仿后者，就等于在自己的强项上覆盖了弱模型的短板——好比让博尔特按小学生的跑步方法训练，反而跑得更慢了。要让弱到强泛化真正发挥作用，需要的不是模仿弱模型的行为，而是提取出弱模型通过 RL 真正学到的东西。

关键洞察：方向优于终点

Direct-OPD 的洞见干净利落：不传递弱教师的最终策略，而是传递它从 RL 训练中学得的「策略偏移」（policy shift）——即 RL 训练前后，模型对每个 token 是变得更倾向于了还是更不倾向了。这个差异信号，才是 RL 训练真正产出的有价值信息。

图注：Direct-OPD 核心对比图。(a) 以 R1-Distill-7B 为起点，vanilla OPD（直接蒸馏）向 JustRL-1.5B 教师靠近后 AIME 准确率下降，而 Direct-OPD 利用 JustRL-1.5B 相对于其前 RL 版本的策略偏移继续提升学生性能。(b) 同一策略偏移信号在 Qwen3-1.7B、Qwen3-4B、R1-Distill-7B 上均带来提升，包括初始准确率已超过后 RL 教师的学生。图片来源：Direct-OPD

上图把这一直觉钉在了数据上。(a) 部分揭示了令人惊讶的现象：向更强的教师（post-RL JustRL-1.5B，51.3%）直接蒸馏，学生反而退步；反倒是传递教师自己的「RL 前后差异」——即从 28.5%（该模型 RL 前基线）到 51.3%（RL 后）的偏移——让学生持续进步到了约 63%。说到底，你要的不是老师的期末成绩单，而是老师自己是怎么进步的。

可以这样类比：你想让一个数学已经很好的学生更上一层楼，于是请了一个水平一般但刚参加过强化训练班的中学生来当辅导员。这个中学生虽然整体解题能力不如你的学生，但他刚经历的那套训练方法——比如「遇到几何题先画辅助线」「检查方程时验证根」——是一套有价值的方法论（策略偏移）。如果让好学生直接照着中学生的答案抄（模仿最终策略），反而会限制自己。但如果只传递「这个训练改变了中学生的哪些做题习惯」这个方向信号，好学生就能在保留自己优势的基础上吸收这些新技巧。

(b) 部分的直方图则更令人惊讶：Qwen3-4B 和 R1-Distill-7B 的初始性能已经超越了后 RL 教师（前者 72.5% vs 教师 51.3%，后者 56.7% vs 教师 51.3%），但它们仍然能从同一个策略偏移信号中获益。这彻底确认了：策略偏移不是「弱教师的偏好」，而是 RL 训练发现的有效改进方向——它不依赖于教师的绝对水平。换句话说，即使学生已经比老师「成绩好」，老师刚学会的「解题技巧」仍然能帮上忙。

这正是 Direct-OPD 与所有先前的弱到强泛化方法（包括 OpenAI 的辅助置信度损失、DeepSeek 的 SFT 蒸馏）最本质的区别。前者都在试图让学生模仿弱教师的行为或偏好，而 Direct-OPD 提取的是弱教师通过强化学习发现的改进向量——这个向量天然地独立于教师的绝对能力，因此特别适合跨能力层级的迁移。

那怎么把这个方向信号数学化呢？

log-ratio 作为隐式奖励：数学拆解

Direct-OPD 的核心计算围绕着对数概率比值（log-ratio）展开。论文用一个公式同时完成了两件事：既定义了策略偏移，又把偏移量转换成了可逐 token 施加的稠密奖励：

$$\Delta_T(y|x) = \log\pi_T(y|x) - \log\pi_{T_{\mathrm{ref}}}(y|x)$$

这里的 $\pi_T$ 是小模型经过 RL 训练后的策略（教师后 RL 检查点），$\pi_{T_{\mathrm{ref}}}$ 是同一模型 RL 训练前的策略（教师前 RL 参考检查点）。对数概率差值 $\Delta_T$ 正好度量了 RL 训练让教师对每个 token 的倾向性发生了怎样的变化——正值表示 RL 使该 token 更可能出现，负值表示被抑制。换一个更直观的角度：一个 token 的 $\Delta_T$ 越大，就代表 RL 训练越「喜欢」这个 token。

这套计算可以可视化成一个三步流程：

flowchart LR
    A["教师参考模型<br/>π_ref (pre-RL)"] --> C["log π_ref(y|x)"]
    B["后 RL 教师<br/>π_T (post-RL)"] --> D["log π_T(y|x)"]
    C --> E["Δ_T(y|x) = log π_T − log π_ref<br/>逐 token 稠密隐式奖励"]
    D --> E
    E --> F["施加到学生<br/>on-policy rollout 上训练"]

这个 log-ratio 之所以能充当奖励信号，背后有 KL 正则化 RL 框架的数学支撑。在这个框架中，RL 训练的目标是在最大化奖励的同时，不让新策略偏离参考策略太远——这恰好是现代 LLM RL 训练的标准范式。在此框架下存在一个优雅的对偶关系：最优策略与参考策略的对数比值可以直接恢复原始奖励函数（至多差一个 prompt 级常数和缩放因子）：

$$\Delta_T(y|x) = \frac{1}{\beta} r_T(x, y) - \log Z_T(x)$$

换句话说，一对小型检查点就已经存储了 RL 过程中完整的监督信号Direct-OPD。不需要显式的奖励模型，不需要在大模型上跑稀疏奖励的 RL——只需这两组对数概率之差，就能获得一个稠密的、逐 token 的隐式奖励。这个发现本身就很漂亮：RL 训练的一整个周期，最终被压缩成了两个 checkpoint 之间的一个差值。

有了这个奖励信号，训练就回到了相对标准的 RL 框架。学生的损失函数由两项组成：一是策略梯度损失，驱动模型在学生的 on-policy rollout 上最大化 $\Delta_T$ 加权的似然；二是 KL 散度惩罚项，防止学生策略偏离自身的参考策略太远。

为了进一步降低估计方差，论文使用了 Rao-Blackwellized top-k 策略梯度估计器——对每个前缀位置，不是只采样一个 token 来估计梯度，而是取 top-k 个候选 token 的期望。这相当于在每个推理步骤同时评估多条可能的延续路径，用它们在 $\Delta_T$ 上的加权平均替代单次随机采样，从而获得更稳定的梯度估计。

由于教师训练时的 KL budget $\beta$ 对学生不可观测，论文还设计了一个自适应 KL 控制器，根据 batch 级平均奖励的符号动态调整 KL 系数——如果平均奖励为正，说明信号可能被放大过头，适当收紧 KL 约束以防止过度利用局部信号；如果平均奖励为负，说明学生需要更多移动空间，可适当放宽 KL 约束。控制器将其稳定在 $[0.5, 2.5]$ 区间，防止极端值破坏训练稳定性。

值得注意的是 on-policy 这个属性。学生不是在教师生成的离线数据上学习，而是在自己生成的文本序列上接收奖励信号。这保证了分布匹配——学生学到的是「在自己会到达的状态下应该做什么」，而不是「在教师到达的状态下教师做了什么」，后者在强弱模型存在能力差距时会产生严重的分布漂移。如果一个强模型照着弱模型的解题路径学习，它体验到的状态空间会被限制在弱模型的能力范围内，永远无法充分发挥自己的优势。On-policy 蒸馏恰恰打破了这一限制。

整个训练流程被压缩为两步：第一步，在某个小模型上跑一次标准 RLVR——这是全流程中唯一需要大量采样的步骤，但因为是在小模型上运行，成本相对可控；第二步，在目标大模型上运行 Direct-OPD，将 log-ratio 作为稠密奖励信号训练。大模型不需要生成大量探索用的 rollout，也不需要稀疏奖励的 RL 循环。

实验证据：四小时改写结果

那么，这套方案在实际中表现如何？

先说最核心的数字。在 Qwen3-1.7B 上运用 Direct-OPD，AIME 2024 成绩从 48.3% 跃升至 58.3%（+10.0），整个迁移过程仅花了 4 小时、8 张 A100 GPUDirect-OPD。据论文引述，在此模型上直接跑 RL（Polaris 管线）需要 32 张 A100 运行至少一周，效果还大致相当。效率提升一目了然：迁移阶段的成本只相当于直接 RL 的不到十分之一。

这个提升幅度在同类工作中相当突出。如果拆开看贡献来源：论文报告的 Polaris 直接 RL 在 Qwen3-1.7B 上达到与 Direct-OPD 相当的水平（约 +10 点），说明稀疏奖励也能取得类似提升；而 Direct-OPD 的稠密 log-ratio 信号在 4 小时的低成本迁移中实现了同等增益。两者的关键区别就在于奖励信号的稠密度——稀疏奖励下模型经常在"猜测正确答案"和"探索推理路径"之间摇摆，而 Direct-OPD 的稠密 log-ratio 奖励让每个 token 的选择都有了方向性的指导，学习曲线自然更加陡峭。

更关键的是，这种方法不挑模型组合。论文在两个教师对（R1-Distill-1.5B → JustRL-1.5B，Nemotron-1.5B → QuestA-Nemotron-1.5B）和三个学生家族（Qwen3-1.7B、Qwen3-4B、R1-Distill-7B）上验证了效果。

图注：跨教师-学生泛化性实验。左侧网格图展示三个学生模型（R1-Distill-7B、Qwen3-1.7B、Qwen3-4B）在 JustRL 教师对下的 AIME 2024/2025 迁移曲线，均观察到稳定提升。右侧条形图展示 QuestA 教师对的迁移结果，验证了 Direct-OPD 不依赖特定教师-学生组合。图片来源：Direct-OPD

即便学生的初始性能已经超越了后 RL 教师——Qwen3-4B 起点 72.5% 远超教师 JustRL-1.5B 的 51.3%，R1-Distill-7B 的 56.7% 也高于 51.3%——Direct-OPD 仍然能带来额外 5.1 和 6.4 个百分点的提升。这说明信号携带的确实是 RL 训练的改进方向，而非弱教师的水平天花板：好学生从水平不如自己的老师那里，也能学到有价值的东西。

论文还验证了最令人兴奋的特性：策略偏移的可组合性。将 JustRL 信号和 QuestA 信号顺序叠加到同一学生上，Qwen3-1.7B 的 AIME 2024 从 48.3% 提升到 58.3%（JustRL），再提升到 63.8%（叠加 QuestA）Direct-OPD。说明不同 RL 训练可以学到互补的能力，而 Direct-OPD 能以策略偏移的形式将它们安全地组合。这打开了一扇更大的门：未来或许可以将多个领域的 RL 成果——数学、代码、逻辑推理——以策略偏移的形式叠加到同一个模型上。

那这套方法跟直接在大模型上跑 RL 比，划算吗？

图注：Direct-OPD 与直接 RL 的成本-效果对比。左侧面板展示 AIME 2025 准确率随累计训练时间的变化，Direct-OPD 迁移路径（标记 T300-T1500 的曲线）始终位于直接 RL 曲线之上。中间面板展示不同小模型训练步数检查点的迁移轨迹。右侧面板在 Qwen3 非思考模型上得到相似结论。图片来源：Direct-OPD

左侧面板给出了明确的答案：Direct-OPD 的迁移路径在所有时间点都优于直接 RL。关键在于算力分配策略——小模型的 RL 阶段（R1-Distill-1.5B RL）约需 160 小时、32 张 A100，但这次探索是一次性的，训练完成后可以反复用于迁移到不同的大模型；而直接在每个大模型上跑 RL，即使只是 R1-Distill-7B 级别，也需要约 320 小时。用小模型的低成本探索替代大模型的高成本试错，这笔账怎么算都划算。

边界与开放问题

Direct-OPD 不是万能的。论文自身坦诚地指出了几个关键局限。

首先，教师的质量存在下限。当教师模型太弱，其 RL 前后差异在某些学生的 visited states 上没有意义时——比如教师的改进方向恰好是学生的错误方向——信号就会失效甚至产生误导。这意味着教师的选择需要细心，不是随便找个小模型跑 RL 就能当教师。

其次，超参数仍有依赖关系。最佳响应长度（论文中设为 2K token）和 KL 系数范围（[0.5, 2.5]）在教师-学生之间是耦合的，没有通用的预设值。换一组模型组合可能要重新调参，这与「开箱即用」的理想还有距离。

第三，场景局限明显。所有实验都集中在数学推理基准（AIME 2024/2025）上。在通用对话、代码生成、工具使用等场景中，策略偏移信号是否同样有效？模型从「做对一道数学题」中学到的策略偏移能否迁移到「写出一段可靠的代码」上？目前还没有答案。

最后，多轮叠加的收敛性质未知。论文验证了两阶段顺序叠加的有效性——48.3→58.3→63.8 的提升趋势令人鼓舞——但如果叠加五轮、十轮，策略偏移信号是会持续累积，还是会出现干扰和饱和？这种「策略偏移的组合数学」还有待探索。

尽管如此，Direct-OPD 已经打开了一扇重要的门：它证明了大模型的 RL 后训练成果可以以「隐式奖励信号」的形式跨模型规模复用，而不必每换一次模型就从头跑一遍昂贵的稀疏奖励 RL。这是弱到强泛化方向从「现象验证」走向「实用方法」的关键一步——它不再只是告诉人们「弱监督可以激发强能力」，而是给出了一个具体、可操作、数学优美的方案。

在模型规模持续膨胀的今天，这种「拆解后训练成本瓶颈」的能力，可能比论文当前实验所展示的还要珍贵。它给出的未来方向充满想象空间：让小模型做探索，让大模型做吸收，把 RL 的探索成本与模型的规模解耦——如果这个范式成立，未来的 LLM 后训练可能不再是算力竞赛，而是巧妙的「方向传递」艺术。论文的代码和权重已经开源，社区可以在这个基础上继续探索Direct-OPD GitHub。

想深入可以读原文：Weak-to-Strong Generalization via Direct On-Policy Distillation — arXiv:2607.05394

参考文献

Direct-OPD：传递「改进方向」而非「最终答案」——弱到强泛化的高效路径