Self-OPD：不训教师、学生自己试错教自己，生图各项分数反而都第一

给生图模型"考试提分"，两条老路为什么都走不通？

预训练的文生图模型像一位从未上过学的天才画师：光影、构图、写实样样拿手。可你一让它画"三只白猫坐在红色椅子上"，它常常画五只，或者把椅子涂成蓝色。这不能怪它不够聪明。它的学习目标只有一个，就是逼近训练数据里"自然图像"的分布，它根本不知道"三只""红色"意味着什么。想让这类模型学会服从指令，缺的不是聪明的脑袋，而是一种它学得懂的纠错方式。问题于是落到桌面上：流匹配模型怎样在不训练教师的前提下，获得逐步、可评分的纠错？

纠错的前提是有分数可看。想让它服从要求，就得拿具体指标去考它，再按得分调整它，这个过程叫对齐。考试的卷子有好几张。GenEval 测组合正确性，考物体数量、位置和关系。OCR 测文字渲染，考图像里的字母拼写。PickScore 和 HPSv2 测人类偏好。这四张卷子的判卷方式各不相同，共同点是打分器都是不可微分的黑盒。分数拿得到，梯度拿不到，这正是"可评分"三个字里最扎人的地方：要让模型照着分数改，只能另找一条把总成绩拆成"每一步该怎么走"的路。

要谈"每一步"，得先看清模型生成图像时到底有没有"步"。流匹配（Flow Matching）模型学的是一个速度场（velocity field），它把噪声粒子沿着一条路径"输运"成图像。采样时不再像扩散模型那样一步步去噪，而是直接沿速度场积分一条 ODE，从噪声一路走到图像。这条轨迹上的每个点都是一步输运，每个点的速度方向都能单独调整，这正是"逐步纠错"要下手的地方。

图注：三类把标准正态分布输运到单个数据点的条件向量场，按时序切片展示。diffusion 类路径（上、中两行）随时间弯曲，最优传输（OT）路径（最下行）方向恒定、路径笔直。Flow Matching

这套表述不是孤证，原作者在 NeurIPS 2024 教程里用同一套方式复述过一遍 FM Tutorial。规则讲清楚了，但"逐步纠错"还缺最关键的一块材料：速度场只知道把噪声变成像自然图像的东西，不知道任何分数。想让它考高分，必须在训练里注入奖惩。问题于是收窄成一个具体选择：逐步的纠错监督，上哪儿找？于是有了两条老路，一条比一条难受。

第一条路是教师式蒸馏（distillation）。为每个任务单独训练一个专家教师，比如专攻文字渲染的教师，再让这个教师一步一步指点学生：这一步该往哪走。逐步监督确实值钱。在 LLM 领域，借自模仿学习的 DAgger 式论证讲得很明白：如果学生只是照着数据集的正确答案学，它从没在自己的错误状态上被纠正过，误差沿轨迹以 O(εT²) 的速度累积。改成学生自己采样，教师在自己的轨迹上逐点纠错，误差降为 O(εT)，复合误差从平方级压回线性级 OPD Survey。

可这笔账贵在哪？两点。第一，每个新任务都要重训一个教师，成本不菲。第二，教师只在它自己的分布下最优。学生一旦学偏，教师给的建议就失真一点，误差沿生成轨迹一点点滚雪球。最新把 OPD 搬到流匹配的 Flow-OPD、DiffusionOPD 都绕不开这个结构。

第二条路干脆不训教师，给整条生成轨迹一个终点分数，让模型自己从分数里反推。Flow-GRPO 是这条路的代表：一条几十步的去噪轨迹跑完，只换回一个总成绩，错在哪一步根本说不清，这叫信用分配难，训练方差还大 Flow-GRPO。

监督越细越贵，越省越学不动。能不能两头都占，不要教师，还保住逐步监督？这就是 Self-OPD 要回答的问题。

Self-OPD 的核心直觉：没有教师，学生也能自己教自己

先澄清全文最容易误解的一点。"无教师"不是"没有监督信号"。监督一直都在，来自两个地方：学生自己探索出来的候选，和任务的打分器。缺席的只是"谁提供逐步引导"这个角色。教师退场，判卷人还在。

Self-OPD 的每一步训练，可以想象成学生的一次模拟考。学生从当前状态出发，不直接写唯一答案，而是先写 K 份草稿（SDE 分支），每一份都完整解到底、生成一张完整图像，由打分器逐份判分。它还用自己的"常规解法"写一份标准卷，作为这次考试的基准线。判完卷，把每份草稿的分数和标准卷比一比：比标准卷高的方向，是值得巩固的套路。比标准卷低的，是这次要避开的弯路。下一轮就往高分草稿的方向微调，躲开低分草稿的方向。写草稿的是自己，完整作答的是自己，判卷判的是自己交的卷，改答案的还是自己。老师全程缺席。

走一遍论文的流程图，把这个画面落到具体操作。

图注：单个训练步的完整流程。上排：学生在状态 x_{t_j} 做确定性预测，再拆成 K 条蓝色 SDE 分支，各自用 ODE 滚动到 t=0 生成图像并打分（r⁺、r^ref、r⁻）。左下：分数换算成相对自参考基线的优势，把速度场拉向高分速度 v+、推离低分速度 v-。右下：方向感知系数 d_k 门控排斥项，得到多分支损失。Self-OPD

具体到一步：学生流匹配模型在时间步 t_j 先跑一次 transformer 前向，得到确定性的下一状态预测。预测只是起点，接着做 K 次轻量高斯扰动，得到 K 条互不相同的候选分支，这是"多写几版草稿"。每条分支沿 ODE 跑到 t=0，经 VAE 解码成图像，交给任务打分器评分。同时从同一个父状态再跑一条全确定性的 ODE，得到自参考分数。有了分数就有得拉：平均收益为正的草稿方向，把速度场吸过去。为负的方向，推出去 Self-OPD。

这个框架的输入输出很干净：输入是学生模型、任务奖励、黑盒打分器。输出是一个更新过的学生速度场。全程不需要任何预训练的教师 checkpoint，也不需要教师参与任何一步。

自己教自己凭什么稳：从分支、自参考到拉与推

自己给自己当老师，最怕的就是把自己教歪。Self-OPD 用三个环环相扣的组件把这条路走稳。

第一环，优势必须是"相对"的。直接用绝对分数当监督有个麻烦：不同任务的分数尺度天差地别。PickScore 是 20 多分，GenEval 是 0 到 1 的小数，绝对分数既不可比，方差又大。Self-OPD 把每份草稿的分数 r^k 减去自参考基线 r^ode，再除以这批分支分数的标准差，得到归一化优势：

$$A_k = \frac{r^{(k)} - r^{\text{ode}}}{\text{std}({r^{(1)},\ldots,r^{(K)}}) + \epsilon}$$

含义从"这张卷子得了多少分"变成"比我自己的默认答法好多少"。正优势是值得巩固的方向，负优势是要避开的弯路。自参考基线是同一个模型用确定性方式跑出来的，天然匹配学生的当前能力，与学生的默认轨迹同源。它意在降低相对比较的方差：比较双方出自同一个速度场、同一个父状态，共享同一套分数尺度，绝对分数里的任务间尺度差异在相减中自然消掉。

第二环，全分支拉推，而不是只学最好的那一支。只挑最高分的分支做回归，训练不稳定，还会丢掉探索的多样性。论文消融实验里，best-of-K 的红线几乎趴在基线上，训练也不稳。所以 Self-OPD 把整个探索邻域都用上：所有正优势分支都拉，所有负优势分支都推。但这里有个微妙的问题：如果一支低分草稿的改法和高分草稿几乎同方向，它只是"方向大体对、细节差一点"，强行排斥它会抵消掉拉的动作。于是有了方向感知衰减 d_k：低分分支的位移方向与最优分支越接近，排斥权重被压得越低，完全同向时降到零。消融还显示 d_k 必须限定在 [0,1]，放开到 [0,2] 训练就会坍缩。

第三环，这些权重不是拍脑袋调的，它们是同一个梯度估计的不同部件。论文的命题 1 说：把学生当前分布记为 q_θ，把"朝奖励倾斜的分布"记为 q* ∝ q_θ exp(A/τ)，那么拉推损失就是 q* 与 q_θ 之间反向 KL 散度的梯度，由 K 条 SDE 分支做蒙特卡洛估计 Self-OPD。这个"按优势指数倾斜"的思路正是奖励加权回归（Reward-Weighted Regression，简称 RWR）的核心：用带权回归拟合策略，等价于朝奖励倾斜的目标分布做 KL 下降 RWR。前面那个奇怪的方差归一化系数，对应的正是每步 KL 的精度项，不是调出来的超参。时间步权重 α_j 则给早中期步更大的监督权重，因为那些步决定全局语义结构。

一句话版本：先算出"比我默认答法好多少"的相对分数，再用全部草稿按相对好坏拉推速度场，最后用方向感知衰减和方差归一化保证拉推不打架。这不是三个独立的花活，而是同一个"朝奖励倾斜分布走"的梯度分成的几件装备。

多个目标一起教：为什么在分数层融合，而不是在梯度层

现实中很少只考一科。生产用的生图模型要同时考组合正确性、文字渲染和人类偏好。麻烦在于，这些目标一起教很容易打架。

打架的根源在参数空间。多任务蒸馏的常见做法，是为每个任务训一个专家教师，再合并它们的监督，本质上是在参数空间做多目标优化。参数空间的多目标优化有个经典症状叫"跷跷板"：压下一个任务，另一个就翘起来。Flow-OPD 论文里那张跨任务评测图把这个症状画得明明白白。

图注：只用单个奖励做 GRPO 训练后，在四个评测轴上的柱状表现。训练 OCR 后，GenEval 从 0.94 掉到 0.89。继续堆 PickScore、DeQA，GenEval 一路掉到 0.73。Flow-OPD

单奖励训练已经跷跷板，多教师方案再在参数空间把梯度叠加起来，冲突未必解得开。Self-OPD 的设想是绕开梯度相加：每个目标归一化后的分数合成一个总分，多目标的联合取舍全在分数层完成。DiffusionOPD 是另一个样本 DiffusionOPD：它把审美偏好"绑定"到了 prompt 家族上。按 Self-OPD 的跨方法对比测量，DiffusionOPD 用任务 prompt 生成的图和用审美 prompt 生成的图，PickScore 分布偏移量达到 1.23，偏好被任务劫持了 Self-OPD。

Self-OPD 的解药是把融合从梯度层搬到分数层。具体做法：每个目标自己的分数先做 z-score 归一化，再按权重 λ_m 加权合成一个总分：

$$r^{(k)} = \sum_{m=1}^{M} \lambda_m \frac{r_m^{(k)} - \mu_m}{\sigma_m + \epsilon}$$

关键在这里：合成总分只用来给分支排序、决定优势 A_k，它永远不进入梯度计算。梯度方向仍然是那一个速度场回归目标。多个目标的奖励倾斜在数学上会坍缩成一个合成倾斜 q* ∝ q_θ exp(Σλ_m A_m/τ)，多目标优化的搜索于是从参数空间搬到了轨迹空间，候选按联合偏好排序，而不是按教师梯度的叠加。这不保证冲突的奖励都能同时被满足，排序里总得有让步。这套设想在本文任务上兑现多少，下一章的混合奖励表格会给答案 Self-OPD。

三个范式摆在一张图里，差异一目了然。

图注：(a) Flow-GRPO 从终态奖励回传轨迹级策略梯度；(b) Flow-OPD 需要预训练教师逐点提供 MSE 监督；(c) Self-OPD 用局部随机分支和自参考基线构造密集拉推监督，不需要任何教师。Self-OPD

奖励级融合还带来三个免费的好处。打分器是黑盒也能用，因为融合发生在分数层而不是梯度层。λ 权重运行时就能调，换口味不用重训。学生不再被任何单一教师的天花板限制，因为根本没有教师。

实验验证：单任务全第一，混合任务反超带教师的方案

实验基座是 SD3.5-Medium，512×512 分辨率，用 LoRA 微调 transformer 主干，默认 K=8 条分支、η=0.7 的扰动强度。先看单奖励，每个任务单独训一个模型。下表对每个对比方法取它在各任务训练器里表现最好的那一行。

四个任务的最优单元格全部落在 Self-OPD 名下 Self-OPD。关键是没有任何对手为它让路：它和 Flow-GRPO、GRPO-Guard 用同一个基座模型、同一批打分器，只凭"无教师加逐步监督"就把四项分数全部抬到最高。

混合奖励才是真正的考场：只训一个模型，同时要求四项都好。这里的偏好指标（PickScore、HPSv2）采用同测试图协议，即用同一批生成的图像同时测任务分和偏好分。

混合奖励下，Self-OPD 是唯一在所有维度同时领先的教师自由方法，还在偏好类指标上反超了专门训了三个教师的 DiffusionOPD（23.87 对 22.72，0.3214 对 0.2676）。这里必须注明协议敏感性：换成各自独立测试图的协议，DiffusionOPD 的 PickScore 23.95、HPSv2 0.3729 反而更高。论文坚持同测试图协议是有道理的，它衡量的正是"满足任务的图是否也美"。

论文 Fig.1 的雷达图把这两组数字画成了直观的一瞥。

图注：论文总览图的三块面板。左侧 (a) 是三类对齐范式在教师、逐步监督、信用分配、探索等维度上的属性对照表；中间 (b) 是 GenEval、OCR、PickScore、HPSv2 的雷达图，Self-OPD 的曲线主导多数轴；右侧 (c) 是单个混合奖励 Self-OPD 模型生成的样本。Self-OPD

数字之外，还有两个"这不是刷分"的定性证据。第一，在这组 prompt 分布比较中，Self-OPD 的偏好偏移更小。论文对比两类图像上的偏好分分布，一类来自审美 prompt，一类来自 OCR 和 GenEval 的任务 prompt。DiffusionOPD 的两类分布明显分离（PickScore 偏移 Δ=1.23），Self-OPD 的几乎重叠（Δ=0.48 与 0.020）。这和"奖励级融合较少把审美偏好绑到任务 prompt 家族"的解释相符；但作为行为证据，它本身不能证明绑定机制已被消除。

第二，训练时长省掉一大块。DiffusionOPD 的总墙钟时间约 97 小时，其中 85.8 小时花在三个并行教师训练上，学生在这段时间里闲置。Self-OPD 没有教师阶段，从零训练三奖励模型大约 62 到 90 小时，用预训练 checkpoint 热启动只要 44 到 48 小时，约省一半，最终分数还更高。消融实验也回扣了上一章的机制解释：只用最好分支的 best-of-K 不稳定，全分支拉推才稳，d_k 必须限界。

无教师不是口号。在单奖励和混合奖励两条线上，不训教师的模型不仅不输，还在偏好指标和总时长上反超了专门训教师的方案。

边界与判断：无教师不是免费的，但它打开了什么

先别急着下"教师已死"的结论。Self-OPD 有三条边界线必须划清楚。论文没有专门的 limitations 章节，以下三条是从它的设计选择推断出来的。

视野线最值得玩味。Self-OPD 的探索是局部的：它只敢在自己当前的答法周围打草稿。如果目标图像和当前分布差得十万八千里，比如要求从写实风格跳到像素风，这个半径内的草稿根本够不着。无教师不是免费午餐，它的势力范围由探索半径、采样成本和奖励真值共同划定 Self-OPD。

但把眼光拉远，Self-OPD 的范式意义大于单点改进。结论要收回到实验能支撑的范围：在论文报告的这些任务与奖励下，Self-OPD 表明，密集更新可以不靠教师构造，密集逐步监督的价值不绑定教师的身份。LLM 社区已经走过这条路，从教师式蒸馏走到各类自我蒸馏，Self-OPD 把同样的迁移搬到流匹配生成模型上，用学生自己的分支当信号源。下一步的入口也很清晰：更大 K、奖励组合的 Pareto 控制、视频和 3D 扩展，以及与更多教师自由范式的融合。

回到开头那句"三只白猫坐在红色椅子上"。借助 Self-OPD，模型不再需要一位只为这张卷子而生的教师，它只要学会一件事：自己多写几版草稿，自己判卷，然后朝最好的那一版靠拢。这份自由不是免费的，它始终系着三条锁链：打分器要足够诚实可信，采样成本要付得起，目标要落在探索半径之内。三项条件之内，教师省得掉，眼前的卷子答得从容。哪一条越界，换张更难的卷子，结论就得重新检验。

想深入可以读原文：Self-OPD: On-Policy Distillation for Flow Matching Models without Teacher arXiv:2608.26872，代码已开源在 Self-OPD GitHub 仓库。

参考文献

• Self-OPD: On-Policy Distillation for Flow Matching Models without Teacher（专题主线论文，零教师在线蒸馏流匹配模型的对齐框架）— arXiv:2608.26872，https://arxiv.org/abs/2608.26872
• Flow Matching for Generative Modeling（流匹配最小背景，Lipman et al.）— arXiv:2210.02747，https://arxiv.org/abs/2210.02747
• A Survey of On-Policy Distillation for Large Language Models（OPD 起源：DAgger 复合误差论证与教师自由 OPD 三子族，Song & Zheng）— arXiv:2604.00626，https://arxiv.org/abs/2604.00626
• Flow-GRPO: Training Flow Matching Models via Online RL（教师自由 RL 对照面，终态奖励加 group-relative advantage）— arXiv:2505.05470，https://arxiv.org/abs/2505.05470
• Flow-OPD: On-Policy Distillation for Flow Matching Models（教师式 OPD 对照面，参数空间多教师融合的跷跷板现象）— arXiv:2605.08063，https://arxiv.org/abs/2605.08063
• DiffusionOPD: A Unified Perspective of On-Policy Distillation in Diffusion Models（教师式 OPD 对照面，闭式逐步入 KL，偏好被偏到 prompt 家族）— arXiv:2605.15055，https://arxiv.org/abs/2605.15055
• Reward-Weighted Regression 理论锚点（Peters & Schaal, ICML 2007 等，支撑命题 1 的奖励倾斜分布梯度解释）— https://doi.org/10.1145/1273496.1273590
• NeurIPS 2024 Tutorial: Flow Matching for Generative Modeling（流匹配原作者的教学版复述）— https://neurips.cc/virtual/2024/tutorial/99531