MOPD：一种多教师 on-policy 蒸馏方法，把学生到教师的能力差距关闭九成以上

在 LLM 后训练里，把多个领域专精能力合并到同一个学生模型，听起来顺理成章，做起来却是一道典型的"按下葫芦浮起瓢"难题。MOPD（Multi-Teacher On-Policy Distillation）给出了一个三阶段管线加三条机制的解，它在 Qwen3-30B-A3B 上把学生到教师的能力差距关掉了 91%–95%（归一化分 0.937），并被 MiMo-V2-Flash 的 309B MoE 工业规模沿用。本文按一条工程师视角的主线拆开它：先看为什么这件事难，再看 MOPD 怎么解，再看它的一条不可破坏的工程红线，最后落到读者自己项目该不该用、怎么用。

为什么把多个领域专精能力塞进同一个模型这么难

假设你已经分别训练好了数学、代码、指令遵循三个领域专精的 RL 教师，现在想让一个 30B 的学生同时把这三种能力都继承下来。第一反应通常是把三个教师的 checkpoint 拼到一起——直接平均权重，或者跑一轮 SFT 把所有教师的输出当训练集教学生，或者把所有领域的 prompt 扔进同一个 RL 循环让学生边训边兼顾。每条直觉背后都有一条常见做法，但每一条都有代价。

MOPD 论文 Table 1 把四条常见路径摆出来打分，用三个轴做对照：dense optimization（训练信号是否稠密到逐 token）、on-policy（训练分布是否等于推理分布）、parallelisable（教师之间是否无依赖、能否并行训练）。下表是对照结果。MOPD

图注：MOPD 的整体骨架。Stage 1 把所有目标领域一起 SFT 得到一个共享起点，Stage 2 从这个起点出发并行训出多个领域专精教师，Stage 3 学生也从同一 SFT 起点出发，在自己的 rollout 上采样、由教师逐 token 打分更新。三个 Stage 用大箭头串成完整流水线。MOPD

为什么这三条轴重要？因为每条路径都至少在一个轴上拿不到勾。先看 Param-Merge：在参数空间做平均或 Task Arithmetic（用任务向量 τ_t = θ_ft^t − θ_pre 的算术组合Task Arithmetic）看似一劳永逸，但混合权重往往不稳定，达不到任何一位教师的全部能力。如果走 Param-Merge 路线又想降低干扰，TIES-Merging 的 trim / elect sign / disjoint merge 三步法（默认 k=20%, λ=1）是常见的稀疏化预处理，TIES-Merging 但这条路在 MOPD Table 2 里 param-merge (avg.) 仅 0.328、Task Arithmetic 0.857，仍然明显低于 MOPD 的 0.937。MOPD Off-Policy FT 把教师样本当静态数据集 SFT 学生，问题在于训练时学生见到的是教师分布的样本，推理时却要面对自己的分布，这种错位叫做暴露偏差（exposure bias），在长序列上累积起来会让学生的 free-run 表现大打折扣。

剩下的 Mix-RL 和 Cascade RL 两条路径走上了 on-policy 方向，代价是另两轴。Mix-RL 把所有领域 prompt 合并到一个数据集做 joint RL，工程上简单，但跨域训练信号在梯度方向上互相干扰，论文 §1 把这种现象称作 see-saw effect——某些领域进步是以另一些领域退步为代价的。MOPDCascade RL 走的是序贯范式：先训一个领域、再训下一个。Nemotron-Cascade 是这条路线在 2026 年初最系统的公开实现，Nemotron-Cascade 流程是 Base Model → Multi-Stage SFT → RLHF → IF-RL → Math-RL → SWE-RL → Nemotron-Cascade。

图注：Cascade RL 把多个领域 RL 串成一条流水线：先做通用对齐（RLHF），再依次做指令遵循、数学、代码、SWE。每一阶段在前一阶段基础上继续训，最终得到一个综合模型。这张图与上图的 MOPD 并行结构形成鲜明对照：序贯意味着每一步都依赖前一步的产物，无法并行。Nemotron-Cascade

序贯的工程硬伤是阶段间串行依赖：训完 Math 才能训 SWE，无法让团队按领域并行迭代；而且序贯管线对训练顺序敏感——如果 SWE 教师训得不够好，回头改 Math 教师会让 SWE 能力也跟着漂移。换句话说，Cascade RL 牺牲了 parallelisable 来拿到 on-policy，Off-Policy FT 牺牲了 on-policy 来拿到 dual-axis，Param-Merge 牺牲了 dense 来拿到 simplicity。Table 1 的结论是冷峻的：MOPD 是唯一一个三轴同时打勾的方法，这正是它诞生的动机。MOPD

MOPD 的三阶段管线：分训教师，在学生自己的 rollout 上蒸馏

MOPD 把"分训教师 + 学生自采样蒸馏"这条路拆成三个顺序阶段，每一阶段的输入输出都是确定的，因此团队的迭代节奏可以非常清晰。

Stage 1：共享 SFT 起点

Stage 1 没有新意：在覆盖所有目标领域的广泛语料上跑一遍 SFT，得到一个共享的 SFT checkpoint。但这个 checkpoint 是 Stage 2 和 Stage 3 的共同硬约束——论文 §3.1 明示"this checkpoint serves as the shared initialisation for the domain-specialised RL training in Stage 2. And it is also used as the initialisation for the student of MOPD in Stage 3." 也就是说，Stage 2 训的所有领域教师和 Stage 3 的学生都必须从这个 SFT 起点开始。后面第 3 章会专门讲这条"同源"约束为什么不能破。

Stage 2：领域专精 RL 教师并行训练

对每个目标领域 d，从 Stage 1 的 SFT checkpoint 出发独立训练一个领域专家 π_φd。不同领域可选用最自然的 RL 配方：数学用 verifiable-answer RL（按答案对错打 0/1 奖励），代码 / SWE 用 executable-sandbox agent RL（在沙箱里跑测试用例）。论文 Appendix B 给出的算法依据是 GRPO + Dynamic Sampling——GRPO 用 group-relative advantage（对每个 prompt 采一组 response、用组内奖励均值和标准差归一化）替代 PPO 中的 value network，让训练省掉一个 critic；Dynamic Sampling 来自 DAPO，用来过滤掉那些所有 response 要么全对要么全错的"无效 prompt"，让 batch 容量不被浪费。DAPO如果读者已经会用 GRPO 训单个领域模型，Stage 2 的实质就是把 prompt 池按领域分桶独立训练，教师之间不需要任何协调。

Stage 3：学生 on-policy 蒸馏

Stage 3 是 MOPD 的核心循环。学生从 Stage 1 同一 SFT checkpoint 出发，Stage 2 的所有领域教师冻结。每个优化步做四件事：

1. 从领域混合 prompt 池里采一批 prompt
2. 学生用自己的当前策略为每条 prompt 生成 trajectory，记录每 token 的概率分布
3. 每条 trajectory 按其领域派给对应教师；教师对 trajectory 做一次 prefill（即把 trajectory 的 token 序列喂给教师），得到教师在每个 token 位置的概率分布
4. 用 student 和 teacher 在每个 token 的概率分布之间的 reverse KL 损失更新学生

这条循环的核心是"学生自己 roll、教师只打分"——学生训练时见到的就是自己的分布，与推理分布天然一致。MiniLLM 在 2023 年就用对照图直观解释过这件事：左侧 sequence-level KD 的做法是让学生死记教师的样本，右侧 on-policy 蒸馏的做法是学生自己生成、教师只给反馈。MiniLLM

图注：左侧是传统的 sequence-level KD：教师先离线生成一批样本，学生被迫把这些样本当训练数据背下来。右侧是 on-policy 蒸馏：学生用当前策略生成回复，教师对生成结果给反馈，学生按反馈改进。前者的训练分布是教师分布，后者是学生自己的分布——这条差异正是 MOPD 在 Stage 3 消除暴露偏差的关键。MiniLLM

MiniLLM 还给出了 reverse KL 在文本生成里的直观优势：它做的是 mode-seeking，学生把容量集中在教师分布的主要模式上，不会被教师的 long-tail 变体带跑偏；这正好契合"学生别去学太多花活、把正确性放在第一位"的实际诉求。Stage 3 的策略梯度推导由 MiniLLM 给出了等价形式，MiniLLM MOPD 直接套用并把它落到现有 PPO/GRPO 训练框架里——论文 §3.2 备注"the advantage computation is the only change"。

工程上还有一个常被忽略的细节：教师的 prefill 服务是独立部署在 RL trainer 之外的。学生 sampler 持续产生 rollout，某条序列一结束 trainer 就异步发起 prefill 请求；因为教师打分与其他序列的 sampling 在时间上重叠，wall-clock 几乎只由 sampling 主导，教师开销被藏起来。MOPD

三条关键机制为什么让 MOPD 比四条 baseline 都更稳，以及同源教师的工程红线

Stage 3 的循环设计背后有三条关键机制，它们对应了 Table 1 三个轴上的勾。再加上一条不容破坏的约束，构成 MOPD 的全部工程经验。

暴露偏差被 on-policy rollout 抹掉

传统离线 KD 的训练-推理分布错位叫暴露偏差。训练时学生见教师分布的样本，推理时见自己的分布，错位在长序列上累积，导致 free-run 生成质量塌方。MiniLLM 用 ExAccErr（excess accumulated error）指标做过量化验证：基线蒸馏在 GPT-2-125M 学生上 ExAccErr 随生成长度持续增长，而 on-policy 蒸馏的 ExAccErr 低得多，且在 >150 tokens 时停止累积。MiniLLM 熟悉代码调试的读者可以从这个角度迁移：只在别人代码库里跑过的代码，放到自己项目里运行就会出 bug——训练时模型见的是教师分布，推理时见的是自己的分布，这种偏差在长序列上累积。把学生换成在"自己的项目"里运行，bug 就消失了。MOPD 的 Stage 3 让学生永远跑在自己的分布上，这一缺口被按结构抹掉。

逐 token 教师分布是密集监督信号

标准 RL 给出的是 trajectory-level 奖励：只有序列生成完才能知道对错，反馈信号在时间上稀疏。MOPD 的 Stage 3 在每个 token 位置都给一个监督：教师在该位置的分布相对于学生的分布的 reverse KL。这一信号比稀疏奖励稠密得多，方差更低、样本效率更高。MOPD 这是 MOPD 能在 IF 任务上用 ~25K 样本就达到教师水平的核心原因之一（详见第 4 章）。

教师独立训练支持并行开发

Stage 2 的领域教师相互独立，工程上意味着团队可以按领域拆分、并行迭代——数学团队训完数学教师再发布版本，代码团队训完代码教师再发布版本，下游 Stage 3 拉取新版本教师刷新就行。这条性质对工业规模尤其重要：309B 规模上不可能串行训完所有领域再开始蒸馏（详见第 5 章）。

同源教师是不可破坏的工程红线

这条红线是 MOPD 论文给出的最锋利的一条经验。论文 §4.4.2 把"用更强的跨源教师替换 Stage 2 的同源教师"作为反例做了对照：把 Qwen3-30B-A3B 的 Math RL 教师换成 Qwen3-235B-A22B——后者绝对能力更强——然后重新跑 Stage 3。

图注：左面板是 Math 准确率随训练步数的变化，右上面板是学生-教师逐 token reverse KL，下面板是学生策略熵。实线代表同源教师（Qwen3-30B-A3B Stage 2 训出的 Math 教师），虚线代表跨源教师（Qwen3-235B-A22B 直接拿来做 Math 教师）。同源教师的两条曲线（policy gradient 与 top-k 形式）都平稳收敛，跨源教师中 top-k 形式在 step 18 附近曲线崩溃到接近 0，policy gradient 形式则随训练步数逐步下降。MOPD

把 Qwen3-235B-A22B 换成 Math 教师后，Stage 3 两种损失形式都退化：policy gradient 形式归一化分从 0.937 跌到 0.6003，top-k 形式从 0.909 跌到 −1.1898，AIME25/AIME26 直接掉到 1% 以下（分别 0.94 和 0.42）。原因在于初始 per-token KL 从同源的 ~0.04 涨到跨源的 ~0.19，MOPD 跨源教师的分布与学生分布错位过大，学生策略在低概率区域被反复 penalize，最终熵从 0.30 收缩到 0.21——学生不再探索、单一模式被钉死。这条结论钉死了"同源教师"这一硬约束："MOPD's use of same-origin teachers is critical: the close distributional alignment ensures stable optimization throughout training, yielding reliable and consistent gains."

论文 §4.4.3 还给出了第二条经验：管线可以继续向上榨。把 Iter-1 MOPD 学生作为新起点重新训 Stage 2 教师，再喂回 Stage 3，归一化分从 0.937 升到 0.986。MOPD 但这条多轮迭代是"哪些维度还有空间就开哪一维度"，不是默认开关。

在 Qwen3-30B-A3B 上看 MOPD 的实证证据

把方法落到 Qwen3-30B-A3B 这个 30B 总参 / 3B 激活的 MoE 模型上，看 MOPD 究竟关掉了多少 headroom。MOPD 论文 Table 2 给出五方法对比，下表是归一化分（学生 SFT-only = 0、RL 教师 = 1，按线性归一）：

读这张表有三件事要注意。第一，MOPD 在三个领域上的归一化分落在 [0.91, 0.95]，per-domain range 仅 0.044——这是 5 条 baseline 里最小的。Cascade RL 的 per-domain range 是 0.41，Off-Policy FT 是 0.36。MOPD 换句话说，MOPD 不仅绝对分高，每个领域都拿到了接近教师的能力，没有明显短板。第二，Param-Merge 的两种配方差距巨大——简单平均只到 0.328，Task Arithmetic 恢复到 0.857，但前者是"在权重空间硬拼"路线的下限警示。第三，Mix-RL 是 5 条 baseline 里归一化最高的（0.882），但它的绝对能力被天花板压住，每个领域都拿不到教师上限。

再看样本效率。MOPD 在 IF 任务上 ~25K 样本就到教师水平，SWE 任务上 ~30K；Mix-RL 在每个领域都需要 150K–180K 样本才能接近同一水平。MOPD

图注：横轴是累计训练样本（K），纵轴是领域级准确率（%），每面板对应一个领域。紫色 Domain-RL 是 Stage 2 训出的单领域教师参考线。MOPD 的曲线在 IF 和 SWE 上分别用 ~25K 和 ~30K 样本就达到教师水平，Mix-RL 的曲线则要 150K–180K 才能接近。MOPD 的样本效率是同等归一化分下 Mix-RL 的 5–6 倍。MOPD

把 Qwen3-30B-A3B 本身作为 Stage 1 学生的画像也值得看一下。它是 Qwen3 系列的 MoE 旗舰之一，总参 30B、激活 3B，原厂后训练走的是四阶段路线——Long-CoT Cold Start → Reasoning RL（GRPO 训 math/code）→ Thinking Mode Fusion（合并 thinking 与 non-thinking 两套模式）→ General RL（20+ 任务奖励）。其中 Strong-to-Weak Distillation 旁路把 off-policy 蒸馏与 on-policy 蒸馏两阶段串起来，与 MOPD 的"同源教师 + on-policy 蒸馏"在方法学上呼应。Qwen3

图注：Qwen3 后训练走四阶段路线：Long-CoT Cold Start SFT → Reasoning RL（GRPO 训 math/code）→ Thinking Mode Fusion（合并 thinking + non-thinking 双模）→ General RL（覆盖 20+ 任务的奖励系统）。侧支是 Strong-to-Weak Distillation（off-policy → on-policy 两阶段），与 MOPD 的同源教师 on-policy 蒸馏在方法学上同源——Qwen3 团队自己也走过这条路线。Qwen3

把同一配方放到工业规模：MiMo-V2-Flash 的 309B MoE 部署

Qwen3-30B-A3B 案例验证了 MOPD 在 30B MoE 上能跑通，但读者的项目可能远比 30B 大。把管线结构直接放大到工业规模还能用吗？小米 MiMo 团队在 MiMo-V2-Flash 的 post-training 里给出了一个完整答案：MiMo-V2-Flash 规模从 30B 升到 309B 教师 / 15B 激活的 MoE。规模只放大，管线结构不变。

图注：MiMo-V2-Flash 是 309B 总参 / 15B 激活的 MoE 模型，由 M=8 个 Hybrid Block 堆叠，每个 block 内 5 个 Sliding Window Attention（SWA，window=128）接 1 个 Global Attention（GA），整体是 5:1 的 SWA:GA 比例。首层例外地用 GA + dense FFN 来稳定早期表征，其余 47 层都用 sparse MoE FFN（256 experts / 8 active）。MTP block 用 SWA + dense FFN，每个 0.33B 参数。MiMo-V2-Flash

Stage 1 SFT 在覆盖 general conversation / reasoning / coding / agent 的百万级样本上跑完。Stage 2 训出 6 个领域教师：agentic 类（搜索、代码、通用工具使用）+ non-agentic 类（数学推理、通用推理、安全对齐）。MiMo-V2-Flash Stage 3 是 MOPD 三阶段管线，与第 4 章 Qwen3-30B-A3B 案例的 MOPD 配方完全同构。

图注：Stage 1 SFT → Stage 2 领域 RL 教师（agentic + non-agentic 多分支并行）→ Stage 3 多教师 on-policy 蒸馏。与 Qwen3-30B-A3B 案例的 MOPD 管线（图 1）相比，结构完全一致，规模从 30B 升到 309B，并扩展到 6 个领域教师（含 safety alignment 等额外维度）。MiMo-V2-Flash

MOPD 在 12 个 benchmark 上有 8 项匹配或超过 Best Teacher。其中 AIME 2025 +0.2、HMMT Feb 2025 +1.8、LiveCodeBench +0.6、Arena-Hard Hard Prompt +4.1——这些正 delta 是"学生匹配或超过最强单领域教师"的直接证据。Negative delta 包括 SWE-Bench Verified -0.8、BrowseComp -6.3、Arena-Hard Creative Writing -3.9——工业部署里仍有短板域。MiMo-V2-Flash

工业规模的真正难点是基础设施。MOPD 在 MiMo-V2-Flash 上跑得动，靠三件基础设施组件：

1. R3（Rollout Routing Replay）：通过 request-level prefix cache 复用 KV-cache 与 MoE routed experts，让多轮 agent training 的 sampling 在跨轮之间保持一致。
2. Data Scheduler：在 fine-grained sequence 粒度而非 micro-batch 粒度调度，把超长 trajectory 切分做 partial rollout，结合 staleness-aware truncated importance sampling；按 data source 设 quota / priority / length limit / temperature。
3. Toolbox + Tool Manager（基于 Ray）：centralized resource allocator 做 QPS 限流和 fault-tolerant Ray actor pool；Tool Manager 协调 rollout engine，做 environment pre-warming 与 sequence-level asynchronous reward computation。MiMo-V2-Flash

这三件组件共同实现的效果是：学生的 sampling（用推理引擎）与教师的打分（用另一推理引擎）在时间线上重叠，让 MOPD 的 wall-clock 几乎只由 sampling 主导——这一点恰好对应 MOPD 给出的"异步教师预填服务"设计。

工业规模还有个不容忽视的推理加速。MiMo-V2-Flash 把 MTP（Multi-Token Prediction）当作 self-speculative decoding 的 draft model：MTP 用 SWA + dense FFN，3 层 MTP 的平均 accept length 约 3.6 tokens，在 batch size 64/96 时取得 2.53× / 2.56× decoding speedup，抽象结论即 up to 2.6× 推理加速。MTP 同时缓解 RL rollout 的低 batch size GPU 利用率问题。MiMo-V2-Flash

怎么把 MOPD 搬到自己的项目：决策清单与 Open-MOPD 的诊断补强

何时用、何时不用

MOPD 不是万能解，把它套到自己项目之前最好按清单走：

值得用 MOPD 的场景：你手上有 N 个领域专精的教师或专精模块（数学、代码、指令遵循、agent、SWE……），想让一个单一学生同时把它们的能力继承下来；并且这些教师必须满足"同源"——它们都是从同一个 SFT 起点出发训出来的。

不值得用的场景：教师之间差异过大（违反同源）；或者根本没有多个专精教师（Mix-RL 是更简单的选择）。

最小可行实验怎么做

做项目前先做最小可行实验验证管线，节奏是：先做小模型 + 单一领域 SFT → GRPO 训教师 → MOPD 两轮迭代看归一化分。具体来说：

1. 挑一个 ~3B 模型（如 Qwen3-1.7B 或 SmolLM3-3B-Base）作为 Stage 1 起点
2. 挑一个领域（如数学推理）训 Stage 2 GRPO 教师，按 DAPO 的 Dynamic Sampling 配置
3. 训另一个领域（如 IF）的 Stage 2 教师
4. Stage 3 跑 2–3 轮 MOPD，观察归一化分变化是否稳定（不应该出现 step 18 类崩塌）

如果实验在这个规模上能复现 MOPD 的归一化分提升，再考虑放大到目标规模。需要提醒一句：MOPD 在算法源头属于 MiniLLM-style on-policy reverse-KL 蒸馏这一族（与 GKD 的 teacher-as-reward 框架同源但工程取舍不同），意味着 Stage 3 的实现可以同时兼容 vanilla PPO 与 GRPO 学生端，训练循环与现成 RL 框架几乎无缝。

如果 baseline 也失败：Open-MOPD 的诊断与修复

Open-MOPD 是 2026 年 8 月 MOPD 的直接后续工作，专门处理"baseline 也跑不好"的失效场景。它把 capability integration gap 量化成 recovery rate：在 SmolLM3-3B-Base 上 Naive MOPD 只达到 35.6% recovery，Open-MOPD 修复后达到 83.4%。

图注：Open-MOPD 单次 iteration 数据流。domain-routed prompt batch → rollout（教师在 S_t 上 prefill 一次并缓存 log-probs；学生按自身分布生成 response） → dense reward 装配 → K 个 inner PPO update 循环。三个 badge 分别标注 token-share balancing（解决 sequence-length disparity）、gap-following allocation（解决 convergence drift）、reward refresh（解决 reward staleness）。Open-MOPD

Open-MOPD 识别出三种可分离的失效模式，并对应三项修复机制。第一种是 sequence-length disparity：不同领域响应长度差异巨大（如 Math 平均 ~10,500 tokens，IF 仅 ~409 tokens），简单按 prompt 数采样会让 IF 几乎拿不到梯度。第二种是 convergence drift：不同领域 reward magnitude 在训练中下降速度不同，靠单纯 oversampling 无法锁住预算。第三种是 reward staleness：工业 pipeline 通常在一次 rollout batch 上做 K 个 inner PPO update 来省去重复生成成本，但学生分布在 inner update 之间变化，dense reward 里依赖学生概率的部分就 stale 了。Open-MOPD

三项修复分别对应：给每个 domain 的 token-mean loss 乘权重以锁定 token 份额；在 token-share 权重上再乘 clipped gap 因子；以及在每个 inner update 前用 current student 重算 dense reward 中 student-dependent 的部分。叠加这三项后，总分从 28.05 升到 31.24，recovery rate 从 35.6% 拉到 83.4%。Open-MOPD 该工作还公开了 8×A100-80GB 可复现的 recipe，是读者做最小可行实验时的现成起点。

工程红线回顾

把这一节开头钉死再讲一遍：同源教师是不可违反的工程红线。论文 §4.4.2 已经做过实验验证：把更强的 Qwen3-235B-A22B 直接拿来做 Math 教师，MOPD 学生的归一化分从 0.937 跌到 0.6003（policy gradient 形式）或 −1.1898（top-k 形式），top-k 形式在 step 18 直接灾难性发散。MOPD 任何想"换更厉害的教师"的念头都该先停一停——绝对能力更强的教师未必能让 MOPD 学生更强，反而可能让训练崩掉。如果你手头的专精教师不是从同一 SFT 起点训出来的，那条最短路径是先把所有教师回退到同一 SFT 起点再训 Stage 2，或者转用 Open-MOPD 提供的三项修复机制看能否补救——但要记住，同源这条线一旦破坏，下游 Stage 3 几乎注定失败。

参考文献

本专题引用的核心资料如下，建议深入学习时阅读原文：

1. MOPD: Multi-Teacher On-Policy Distillation for Capability Integration in LLM Post-Training — arXiv:2606.30406
2. MiMo-V2-Flash Technical Report — arXiv:2601.02780
3. MiniLLM: On-Policy Distillation of Large Language Models — arXiv:2306.08543
4. Nemotron-Cascade: Scaling Cascaded Reinforcement Learning for General-Purpose Reasoning Models — arXiv:2512.13607
5. On-Policy Distillation of Language Models: Learning from Self-Generated Mistakes — Agarwal et al., GKD — arXiv:2306.13649
6. Qwen3 Technical Report — arXiv:2505.09388
7. Qwen3-30B-A3B Model Card — https://huggingface.co/Qwen/Qwen3-30B-A3B
8. Pre-training Distillation for Large Language Models: A Design Space Exploration — arXiv:2410.16215
9. Open-MOPD: Diagnosing and Fixing Capability Imbalance in Multi-Teacher On-Policy Distillation — arXiv:2608.19098
10. Mix-RL baseline paradigm (无单一原始 arXiv 论文) — 事实来源：MOPD §1/Table 2/Figure 2 与 Consolidating RLVR §2
11. Editing Models with Task Arithmetic — Ilharco et al. — arXiv:2212.04089
12. TIES-Merging: Resolving Interference When Merging Models — Yadav et al. — arXiv:2306.01708
13. DAPO: An Open-Source LLM Reinforcement Learning System at Scale — arXiv:2503.14476
14. Model Merging in the Era of Large Language Models: Methods, Applications, and Future Directions — arXiv:2603.09938