Road MOPD：请不教该领域的教师当裁判，压住多教师蒸馏的能力退化

域路由只换了监督来源，退化出在共享参数上的更新冲突

多教师在线策略蒸馏（Multi-Teacher On-Policy Distillation，MOPD）的麻烦不在教师不够强，而在于所有领域的更新最后都落在同一批共享参数上互相拉扯。arXiv:2610.13521 的 Road MOPD 把「某些领域在联合训练里不升反降」当成核心故障，诊断出病根是共享参数上的更新方向冲突，再用两个机制把它压住，在高冲突配对下把被压制的弱领域拉回 5 个百分点以上 Road MOPD。

要看清这个结论，先要知道被它改造的 MOPD 长什么样。它的底座是在线策略蒸馏（On-Policy Distillation，OPD）：学生自己生成整条轨迹，教师再逐 token 给出反馈，而不是只在固定数据上做离线模仿。GKD 定义了这个范式，用来缓解学生训练分布与生成分布不一致带来的暴露偏差 GKD；MiniLLM 把它写成 reverse-KL 加策略梯度的形式，让学生集中拟合教师的主要模式 MiniLLM。MOPD 把单教师扩成多教师，走的是三段流水线：先在一个共享 SFT checkpoint 上起步，每个领域各自做 RL 得到专属教师，训练时学生自己采样、按 prompt 的领域标签路由给对应教师，教师再对该轨迹做 dense 的 token 级监督 MOPD。

关键矛盾就在这里。域路由改变的只是「哪个教师在哪一段轨迹上提供监督」，它没有改变「所有领域的梯度最后都写进同一批参数」。当教师之间的回答风格和专长差异足够大，各自单独有效的监督放到一起联合优化，就会在共享参数上互相抵消，弱领域被强势领域压着退化。

论文的诊断图把这个过程摊开了。数学同代码这种组合，冲突层比例一直很低，性能基本持平；数学同医学、代码同医学这两组，冲突层比例明显更高，训练后期还在往上爬，医学域在多个 benchmark 上系统性低于单域 OPD 基线 Road MOPD。

图注：上排是训练过程中三组配对的冲突层比例曲线，下排是 vanilla MOPD 相对单域 OPD 在各 benchmark 上的分数变化。含医学的两组在医学域上系统性下滑，数学同代码则基本持平。曲线只作趋势理解，不读具体百分点。Road MOPD

Road MOPD 的对策：请不教该领域的教师当同轨迹上的跨域批评者

Road MOPD 没有换教师，也没有换数据，它让同一批教师在同一条轨迹上互相印证。具体做法是：在一条属于领域 d 的学生轨迹上，除了负责该领域的路由教师，它还叫上「不负责这个领域的辅助教师」和一个冻结的参考模型，三方对同一条轨迹打分；然后据此做两层干预，一层改损失里每个 token 的权重，也就是 token 级信用分配，一层改梯度里每个方向的分量，也就是预防式梯度投影 Road MOPD。

图注：左半是 vanilla MOPD，同一条轨迹的 token 监督只由路由教师单方面给出；右半是 Road MOPD，在同一条轨迹上加入不负责该领域的辅助教师与冻结参考模型，分成 (A) 由教师一致性调制的 token 信用分配和 (B) 由目标梯度与辅助梯度共同决定的预防式投影。图中不含公式和数值。Road MOPD

这里的辅助教师不是随手找的第三方模型，而是这套训练里本来就有、只是不负责当前领域的那个教师。它能当批评者，是因为它和路由教师从同一个 SFT 起点各自 RL 出来，共享大量基础行为，又在专业判断上存在差异，差异正好用来发现冲突。「同源教师」这个前提继承自更早的 MOPD 工作，Road MOPD 本身没有重新验证 MOPD。

token 级信用分配：两个教师都点头的修正被放大，互相打架的被衰减

第一层干预把「这个 token 的修正该不该听」拆到 token 级别来判。序列级蒸馏对整条响应给一个统一的混合系数或损失，token 级信用分配则让同一个 token 根据「几个教师是否都支持往这个方向改」决定加强还是削弱。

机制上，它拿一个冻结的参考模型当基准，看路由教师和不负责该领域的辅助教师各自相对基准是「该往某个方向改」还是「不该」，两个方向相乘得到一个落在正负 1 之间的一致性得分，再映射成逐 token 的系数：

$$s_t = \tanh!\bigl((\ell_t^r - \ell_t^{ref})/\tau\bigr)\cdot \tanh!\bigl((\ell_t^a - \ell_t^{ref})/\tau\bigr),\qquad \lambda_t = \operatorname{clip}(1 + \rho_g s_t, \lambda_{\min}, \lambda_{\max})$$

同向就放大，反向就衰减，两个教师意见相消时退化回普通 OPD Road MOPD。

可以用两个编辑审同一句话来理解这个设计。参考模型是这句话的原稿，路由教师和辅助教师各自在上面标出「这里该改成什么」；两个人都往同一个方向改的 token，就放心加大力度；一个人想加、另一个人想删的 token，就先按住不动。对应到机制上，同一条轨迹保证两个教师看的是同一个上下文，共享的参考模型保证两人的修改方向可比，逐 token 相乘则是在损失写出来之前先筛掉一遍互相抵消的信号。

这个设计有实证支撑。论文把 token 按教师分歧程度分成五档，看每档里梯度冲突的比例：分歧越大的 token，梯度冲突比例越高，数学和医学两条线都随分歧上升。这就把「教师不一致」变成「梯度冲突」的可观测代理。右侧用数学和医学两段真实 response 展示被衰减（蓝）和被放大（橙）的 token，标志性例子落在 "Alternatively"、"The"、"perhaps"、"Maybe" 这类起承转合的位置 Road MOPD。

图注：左半按教师分歧分位分组，纵轴是 raw gradient conflict 比例，分歧越大的 token 冲突越严重（Math 蓝、Medical 橙）；右半是 Math（上）与 Medical（下）响应窗口的局部可视化，蓝色 token 被衰减、橙色被放大。左图的具体幅度只作趋势理解。Road MOPD

这和只用单一教师做序列级蒸馏的区别在于，GKD 的 on-policy 混合系数、MiniLLM 的 reverse-KL 加策略梯度都作用在整条序列层面，而这里的系数逐 token 变化 GKD。同一个 token 是被两个教师同时支持还是对着干，决定了它在损失里该被加强还是削弱。

预防式梯度投影：只用同轨迹辅助梯度削掉冲突分量，保住目标域更新

第二层干预在梯度空间里做几何修正，它和 PCGrad 这类梯度手术的本质差别不在几何本身，而在辅助梯度的来源。PCGrad 比较的是两个任务各自独立算出的梯度，Road MOPD 比较的是同一条目标域轨迹上换掉路由教师后得到的梯度。正是这个来源差别，让投影从事后修补变成预防式约束，而且它只削掉冲突分量，会保留一个最小比例的目标域更新。

要理解它，先抓住 PCGrad 给出的直觉。两个任务的梯度方向夹角成钝角、余弦为负时，它们会互相抵消，造成破坏性干涉；PCGrad 把其中一个梯度投影到另一个的法平面上，去掉造成干涉的分量，不冲突时则完全不动梯度 PCGrad。

图注：PCGrad 的四步几何直觉。(a) 两个任务的梯度方向冲突，(b)(c) 分别把对方的梯度投影到自己的法平面上，(d) 不冲突时不动梯度。这张图来自多任务强化学习场景，只用来说明「在梯度空间做几何修正」是什么意思，不外推到蒸馏场景。PCGrad

Road MOPD 沿用这套几何，差别就在辅助梯度取自哪里。PCGrad 的另一个梯度来自「另一个任务在它自己的数据或响应上」独立算出的结果，是两个任务之间事后（post-hoc）的两两手术。Road MOPD 的辅助梯度来自同一条目标域轨迹，做法是把路由教师换成辅助教师、关掉一致性调制，算一个普通的 OPD 梯度。同一条轨迹保证两个梯度描述的是同一段前缀，冲突判定才有意义，这也是它被称为预防式（preventive）约束的原因 Road MOPD。

论文的对照实验支持这个区别：同轨迹的教师梯度对在训练大部分时段是负余弦，而独立形成的域梯度对大多非负；在两种高冲突配对下，Road MOPD 的四个域平均都比 PCGrad 高 0.18 到 2.12 个百分点 Road MOPD。

投影本身也不是把冲突梯度一刀切掉。它只在目标梯度与辅助梯度确实冲突时才动手，把冲突分量部分移除，同时保留一个最小比例的目标域更新范数，防止为了消冲突把该学的能力也一起削没。多个辅助教师时按共享的范数下界顺序投影，而且辅助教师不直接参与优化器更新，只在两条梯度路径上提供约束信号 Road MOPD。

放到同期工作的光谱里看，同样是防止冲突，介入点可以选在不同层。

PMOPD 在累积参数位移的子空间上做保护 PMOPD；UP-MOPD 把约束推到 AdamW 更新之后，理由是梯度判断不等于更新判断 UP-MOPD。Road MOPD 选择留在梯度层，因为它要用的辅助梯度来自同一轨迹、能逐 token 对上；代价是它保证的只是这一步梯度方向上的局部陈述，并不等价于 AdamW 更新之后辅助域的性能保证。

效果集中在高冲突配对的弱领域，证据只到三个文本域

Road MOPD 的收益不是全盘刷新，而是集中体现在高冲突配对被压制的那一方。实验用 Qwen3-4B 和 Qwen3-1.7B 当学生，教师由领域 RL 得到，每个配对每域采 10000 条 prompt，评测覆盖代码、数学、医学共 11 个 benchmark，对照是 vanilla MOPD、ExOPD、CaMOPD、Open-MOPD 四个多域基线 Road MOPD。

表格数字都取自论文原始表格 Road MOPD。

解读这些数字：收益集中在那两个能力互相冲突的域里被压制的一方，代码乘医学、1.7B 这一组的 Medical 域平均 36.51，不但高于最强多域基线，也超过单域 OPD 的 35.67，摘要里「高冲突下超过 5 个百分点」指的就是这里。低冲突的数学乘代码本就互相兼容，Road MOPD 的 All Avg. 仍是全场最高，说明它不会把已被支配的组合拖低；三域并存时比 CaMOPD 高 1.18 分，说明增益在三个域同时训练时也保得住。但它不是全面胜利，在 1.7B 的代码乘医学组里，代码域平均没有超过 ExOPD（53.22 对 54.16，落后 0.94 分）Road MOPD。它补的是弱域，不是每个单点指标都刷新。

判断这篇论文的位置，绕不开它和同期另一条诊断的张力。Open-MOPD 在 oracle routing 的理想设定下测到，token 级教师分歧均值只有 0.126 nat、高冲突 token 仅约 0.62%，据此认为主瓶颈是 token 预算分配而不是梯度冲突，并把恢复率从 35.6% 推到 83.4% Open-MOPD。它还用一个实验说明，即便把各域的 token share 拉平到三分之一，预算仍会随各域收敛速度自行漂移。

图注：Open-MOPD 的预算漂移实证。(a) 各域 per-token reward magnitude 早期相差约 4.9 倍，(b) 归一化后各域以不同速率衰减，(c) 把 token share 拉平到三分之一后，预算在约 25 步内仍然漂移。这是中间轨迹，不是训练稳定结果。Open-MOPD

两边看的是不同层面，并不互斥。Open-MOPD 说的是跨训练进程的算力再分配，Road MOPD 说的是单批次内 token 损失与同轨迹辅助梯度的方向冲突，两者可以叠加。From Gradients 的诊断还给 Road MOPD 补了一句旁证：教师信号在共享一阶动量与低精度舍入下会被压平，冲突更多藏在更新里而不是原始梯度里，想看见它就得挑对几何层级 From Gradients。

边界也要如实说。结论只在数学、医学、代码三个文本推理域、域数不超过 3 上验证；同源教师这个前提继承自更早的 MOPD 工作，Road MOPD 没有重新验证；给辅助教师打分、算辅助梯度都会增加训练成本，规模放大需要更高效的教师选择 Road MOPD。Uni-OPD 那条线提醒的是另一件事，OPD 自身还有学生探索不足和教师不可靠两个瓶颈，跨教师守卫和这类框架是正交、可以叠加的，而不是互相取代 Uni-OPD。

一句话判断：Road MOPD 是一张在「域路由已经对齐、教师之间风格差异大」时特别有效的补丁，它的证据半径是三个文本域；把它和算力预算视角叠起来用，比争论谁才是唯一瓶颈更接近可落地的做法。

想深入可以读原文：Beyond Domain-Routed Supervision: Cross-Teacher Guarding for Multi-Teacher On-Policy Distillation，arXiv:2610.13521。

参考文献

• Road MOPD：Beyond Domain-Routed Supervision: Cross-Teacher Guarding for Multi-Teacher On-Policy Distillation，https://arxiv.org/abs/2610.13521
• MOPD：Multi-Teacher On-Policy Distillation for Capability Integration in LLM Post-Training，https://arxiv.org/abs/2606.30406
• GKD：On-Policy Distillation of Language Models: Learning from Self-Generated Mistakes，https://arxiv.org/abs/2306.13649
• MiniLLM：On-Policy Distillation of Large Language Models，https://arxiv.org/abs/2306.08543
• PCGrad：Gradient Surgery for Multi-Task Learning，https://arxiv.org/abs/2001.06782
• Open-MOPD：Diagnosing and Fixing Capability Imbalance in Multi-Teacher On-Policy Distillation，https://arxiv.org/abs/2608.19098
• PMOPD：Task Ordering, Cycling, and Parameter-Update Subspace Protection in Multi-Teacher On-Policy Distillation，https://arxiv.org/abs/2609.34605
• UP-MOPD：Update Projection in Multi-Teacher On-Policy Distillation，https://arxiv.org/abs/2610.08398
• From Gradients to Capabilities: Understanding Multi-Teacher On-Policy Distillation，https://arxiv.org/abs/2610.02179
• Uni-OPD：Unifying On-Policy Distillation with a Dual-Perspective Recipe，https://arxiv.org/abs/2605.03677