DiffusionART：扩散 RL 微调法，算力只要现有方法的 1/12

一、扩散模型已经会生成，为什么还要用 RL 再训一遍？

假设你要让一个视频生成模型把画面里的字幕写对。画面、光影、运动都已经很好，唯一的毛病是它偶尔把「营业时间 9:00」渲染成「8:00」。你没法写出一条梯度直接告诉它错在哪里，因为判断对错的不是损失函数，而是一个事先训练好的评估器。它看完一整段视频，只回给你一个分数。这个例子的两头，恰好就是黑盒扩散 RL 里那个取舍的两半：拿这个分数之前，必须把整段采样完整跑完，这是「慢」的一半；拿到之后，你依然不知道是哪一步把 9:00 写成了 8:00，能做的只是按分数把整条轨迹一起调整，这是「不稳」的一半。DiffusionART 要回答的就是这一个问题：在黑盒奖励下，怎么把扩散模型的在线 RL 微调做得又便宜又稳，让取舍的两半同时成立。

黑盒奖励决定的不只是信息入口，也决定了整套反馈回路的形状。奖励是黑盒的，梯度传不进去，模型只能先采样、再被评分、再根据分数高低调整自己。这套回路是让生成模型「更听话」的主要手段，也是目前最贵的一环，因为每一次评分都要完整跑一遍采样过程。不稳定也从这同一个回路里长出来：分数只有一个，却要摊回整条轨迹的每一步去调整，信号被摊得越薄，训练就越容易在某一步上崩掉。于是问题收敛成一句话：这一环能不能同时做到更便宜和更稳。难的恰恰是「同时」这两个字，此前的办法要么省得下钱却稳不住，要么稳得住却省不下钱，两半总是此消彼长。

论文给出的成绩单，正是对「同时」这两个字的一个回答：在 HunyuanVideo-13B 上，只要视觉质量与运动质量两项奖励等权，它达到 DiffusionNFT 与 Flow-GRPO-Fast 各自的后期平均奖励水平，所用 GPU 小时分别少 12.02 倍与 11.72 倍，最终 50 步的平均训练奖励反而高出 28.8% 与 53.0%DiffusionART。「慢」的那一头省下了约 12 倍的算力，「不稳」的那一头不仅没有崩，收尾的训练奖励反而更高。这 12 倍算力从哪来、又为什么不以失稳为代价？要回答它，先回到同一条扩散链上的两种训练路线。至于它究竟怎么解除这个取舍，可以先用一句话预告：先把同一组样本的奖励聚成一根共享方向，再用第二次更新把漂移拉回。完整的推导留给第五章。

这个坐标就是看清取舍的关键。整条扩散链路同时有两个方向。从真实数据一步步加噪到高斯噪声，是 forward process（加噪过程）。从噪声一步步去噪回数据，是 reverse process（去噪过程）。这个双向视角来自 DDPM，它把两个方向都写成马尔可夫链上的条件高斯转移DDPM。而今天 SD3.5-M、HunyuanVideo、Wan2.1 这些模型训练时用的已经是 Flow Matching 的连续时间形式，模型学的是一个速度场 $v_\theta(s_t, t)$，采样就是沿着它把噪声积分成数据Flow Matching。「更便宜」和「更稳」这两个诉求恰好分别落在这一条链的两种走法上，DiffusionART 要解除的那个取舍也就有了具体的形状。

有了这个坐标，现有的扩散 RL 微调方法就分成了两类，而且分得相当干净。一类顺着去噪方向做优化，把每一步去噪当作一个动作，整条轨迹拿一个终点奖励。它不容易崩，但每一步该使多大劲的信息被摊薄，只能靠更多采样把统计信号逼出来，代价是贵。它守住的是「稳」这一半。另一类在加噪链上做监督式微调，只关心「干净样本长什么样、它拿了多少分」。它省，但稳定性被押在一个必须逐任务手调的超参上，代价是脆。它拿下的是「便宜」这一半。一边偏贵、一边偏脆，取舍的两半就这样各有了名字。

图注：Forward-Process RL 与 Reverse-Process RL 的结构对照。左半标为 GRPO 的图沿反向链排列一串去噪步节点，边上带 SDE 噪声符号，奖励接在终点的干净样本上。右半标为 NFT 的图只有一条从干净样本出发的加噪边，速度损失直接由干净样本算出，奖励也评在干净样本上，因此不必保存整条采样轨迹。DiffusionNFT

两条路线各有各的承诺，也各有各的麻烦。接下来要证明的正是这两条路各撞了一堵墙，而且这两堵墙其实是同一堵。

二、第一条路：把去噪链当 MDP，奖励为什么会被摊薄？

reverse 路线的代表是 Flow-GRPO。它把去噪采样过程直接写成一个马尔可夫决策过程：状态是 $(c, t, x_t)$，也就是「哪个 prompt、走到第几步、当前噪声长什么样」。动作是这一步去噪得到的 $x_{t-1}$。奖励只在最后一步给一次，就是干净图像拿到的那个分数。要让这个确定性过程支持探索，它做了一个 ODE-to-SDE 的改造，给采样注入随机性，同时保持每个时间步的边缘分布不变，顺带得到了一个闭式的 KL 估计。另外它把训练时的反推步数从 40 压到 10，推理时再回到 40，用「低质量但仍提供信息」的轨迹换取训练效率Flow-GRPO

优化用的是 group-relative advantage，也就是同一个 prompt 采一组样本，把组内奖励归一化成相对高低，再用它当优势值。这套词汇来自 GRPO，它的关键改动是取消价值网络，直接用组内平均分当基线，并把 KL 惩罚从奖励流挪到损失里GRPO

图注：Flow-GRPO 的整体流程。给定一组 prompt 后，先经过 ODE-to-SDE 转换让采样带有随机性，再进入只跑 10 步的去噪循环，产生的轨迹交给奖励模型打分，分数送进 GRPO 损失，在线更新策略。Flow-GRPO

问题就藏在这个优势值的下标里。注意 $\hat{A}_t^i$ 虽然带一个 $t$，但它的数值对同一张图的所有去噪步完全一样，因为奖励只有在终点才出现。损失函数里还有一个 $1/T$ 的权重项，看起来是平均，实际效果是把同一个信号均匀铺满整条轨迹。落到具体例子上：一次 40 步的生成里，前几步决定了画面布局，后几步决定细节纹理，而文本渲染错在哪里往往只和其中某几步有关。可一旦这段视频拿了个低分，所有 40 步都会被一律往下压，包括那些其实做对了的步。真正决定奖励高低的那几步，信号被均匀平均掉了。

这就是 credit assignment（信用分配）被摊薄的含义。它不是说这条路线没用，而是说每一步该使多大劲的信息没有被分辨出来，只能靠更多的采样步数让统计信号自己浮出来。论文用的对照实验说明了这一点：在 SD3.5-M 上，Flow-GRPO 把 GenEval 从 0.63 拉到 0.95，把 OCR 从 0.59 拉到 0.92，同时 DrawBench 上的画质曲线基本平稳，人类偏好还上升了Flow-GRPO

图注：Flow-GRPO 的三联对照。左图显示 GenEval 随训练稳步上升并超过 GPT-4o，中图显示 DrawBench 上的图像质量指标基本保持不变，右图显示人类偏好分数在训练后有所提升。这组面板说明 reverse 路线确实有效，而且画质没有被明显牺牲。Flow-GRPO

所以问题不在于「有没有用」，而在于「要花多少步才够用」。既然如此，另一条路线看起来是一条捷径：既然反向链每一步都难分辨，那干脆别在反向链上做，改到加噪过程上去。但它很快就撞上了自己的那堵墙。

三、第二条路：把 RL 塞进加噪过程，效率上去了，为什么还得靠 EMA 续命？

forward 路线的代表是 DiffusionNFT。它的出发点是对 reverse 路线有三点不满。一是只盯反向步会破坏对前向加噪过程的遵守。二是训练数据采集被绑定在一阶 SDE 采样器上，用不了 flow 模型默认的高阶或 ODE 采样器。三是 classifier-free guidance 需要额外训练一个无条件模型，显存开销直接翻倍。

它的做法叫 negative-aware fine-tuning。关键设计是不要让正负两支各自变成一个网络，而是让同一个可训练的 $v_\theta$ 同时扮演两个角色，用隐式参数化的方式把两支拼出来：正支是 $v_\theta^{+} = (1-\beta)v_{old} + \beta v_\theta$，负支是 $v_\theta^{-} = (1+\beta)v_{old} - \beta v_\theta$，两支共享同一个 $v_{old}$。奖励高的样本按正支的目标拟合，奖励低的按负支的目标拟合。因为整件事被写成加噪链上的一个标准速度损失，训练只需要干净样本和它拿到的分数，不需要保存整条反向轨迹，也就顺便摆脱了对特定采样器的依赖DiffusionNFT

图注：DiffusionNFT 的正负双支训练结构。一个可训练的 $v_\theta$ 分别进入两支：上支对应奖励为 1 的正样本，速度目标为 $(1-\beta)v_{old} + \beta v_\theta$。下支对应奖励为 0 的负样本，速度目标为 $(1+\beta)v_{old} - \beta v_\theta$。两支共享同一个 $v_{old}$，各自的平方误差按奖励加权后求和构成总损失。DiffusionNFT

效率上它确实兑现了承诺。在 SD3.5-M 上，它在 OCR、PickScore、HPSv2.1 三类目标上相对 FlowGRPO 快 3 到 25 倍，GenEval 在约 1 千次迭代内就到了 0.98，而 FlowGRPO 要超过 5 千次才到 0.95。另一组从无 CFG 的 SD3.5-M 出发的多奖励联合训练，在 1.7 千次迭代后达到 GenEval 0.94、OCR 0.91、PickScore 23.80，超过了两个 CFG 基线和按单奖励分别调过的 FlowGRPODiffusionNFT

代价出现在稳定性上，而且它自己就写在论文里。DiffusionNFT 需要对采样策略做软更新，也就是用 EMA 维护一个滞后版本的参数，而那个衰减率必须小心调：设成 0 是纯 on-policy，早期涨得快但会灾难性崩塌。设成 0.9 接近离线训练，稳定但慢到不实用。论文给的实用配方是「早期小、后期逐渐变大」，而这个配方换到别的任务或模型上会失效。论文默认的调度是 $\eta = \min(0.001i, 0.5)$，但到了 OCR 上要调到 0.999，而把 GenEval 上调好的配置直接搬到 FLUX.1-dev 上就会崩。

于是第二条路线也撞墙了，只是撞法不同：它用效率换来了自由，却把稳定性押在了一个必须逐任务手调的超参上。到这里，两条路线看起来像是两个独立的问题，一个是信号摊薄，一个是 EMA 难调。这篇论文接下来的动作，是把这两个问题合并成一个。

四、重写那个目标函数：藏在 NFT 里的一根力，和 EMA 被误解的角色

DiffusionART 的第一步并不是提出新方法，而是把 DiffusionNFT 的损失函数重新抄一遍，看里面到底还有什么。设 $d = v_\theta - v_{old}$ 表示当前速度场相对采样时那份滞后副本的偏离，论文把它写成一条一次项加一条二次项：

$$L_{\text{NFT}} = \mathbb{E}\left[-2\beta(2r-1)\langle d, h \rangle + \beta^2|d|^2\right] + \text{const}$$

其中 $h = u_t - v_{old}$，$u_t$ 是加噪方向上的目标速度。二次项 $\beta^2|d|^2$ 是一个纯粹把 $v_\theta$ 拉回 $v_{old}$ 的惩罚，论文叫它 restoration（恢复项）。一次项才是真正在推动奖励的部分，但它同时混进了另一样东西。

论文把输出空间的力继续拆，得到 $F_{\text{NFT}} = 2g + (2q-1)e$。这里 $g$ 是状态级的奖励与速度协方差，也就是理想情况下「朝奖励高的方向走」的那一项。$e$ 是同一个状态上前向速度与反向速度之差，论文叫它一致性 gap。$q$ 是该状态上样本落在正支的概率。也就是说，NFT 目标里一直藏着一条没人给它命名的力，它既不指向奖励，也不该出现在一个只想把奖励推高的更新里。

这条力之所以没被早点发现，是因为正负两支确实能对消掉它的一部分。单支的力分别是 $g + qe$ 和 $g - (1-q)e$，沿奖励方向两支完全一致，沿 $e$ 的方向却是一加一减。只有当每个状态上都恰好 $q = 1/2$ 时，这两项才精确抵消。而真实的组内中心化只保证在 prompt 聚合层面把 $q$ 平均到 1/2，逐状态并不保证。随着去噪推进、噪声越来越小，$q$ 越来越偏离 1/2，残留的 $(2q-1)e$ 反而被逐步放大，一面稀释奖励引导，一面把训练推向崩溃。

图注：一致性力的消融诊断。左面板是 GenEval 上的 on-policy 对照，只用正支或只用负支的两条曲线都在奖励上升后塌掉，而联合训练稳定上升。右面板是几何示意：正负两支的力箭头沿提升奖励的方向相互强化，沿一致性 gap 的方向只部分对消，图中标注了残余的 $(2q-1)e$ 与整体表达式 $F_{\text{NFT}} = 2g + (2q-1)e$。DiffusionART

那 EMA 呢？业界一直把 EMA 理解成在提供 off-policy 数据，也就是让模型用旧策略采出来的样本训练，等于在换数据。论文说这是误读。回到那条二次项，$\beta^2|d|^2$ 的梯度只有在 $d$ 不等于零时才非零。这意味着恢复项要生效，必须先存在一个非零的漂移。EMA 提供的正是这个滞后锚点：它让 $v_{old}$ 落后于 $v_\theta$，于是 $d$ 非零，恢复项被激活。它不是在换数据，它是在提供「拉回哪里」的参照点。

可以把整个更新想成开车。一次项是油门，它把生成往奖励高的方向推。二次项是回正的方向盘，它把推过头的部分拉回来。方向盘只有在车真的偏了的时候才起作用，车不偏，它什么也不做。EMA 的作用不是换一条路，而是让车始终保留一点可以回正的偏移量。映射回符号就是：$d$ 是偏移量，$v_{old}$ 是「正」的位置，而 EMA 是让这个「正」保持滞后的机制。

论文给了四条证据。第一，完全 on-policy 的 NFT 会在奖励上升后出现参数梯度尖峰并随即崩塌。第二，保留 EMA 采样但去掉旧策略锚点，也就是把 $v_{old}$ 换回 $v_\theta$，训练照样崩，这说明 off-policy 数据本身不是稳定性的来源。第三，在第二次更新时，恢复项在输出空间的力只有引导项的 9.4 分之一，但它的聚合参数梯度范数却是引导项的 4.9 倍，原因是跨状态异质的引导会互相抵消，而恢复项保留下来并主导了更新。第四，把一次 rollout 切成两个互不相交的 minibatch 做两次更新，在不使用 EMA、$\beta$ 取 1 的情况下也能避免崩塌，但训练会慢 15.2 倍。这里要特别提醒一句，15.2 倍是 NFT 自己做「两次更新对一次更新」的内部对照，不是 DiffusionART 比它慢。

图注：EMA 角色的实证诊断。四个面板依次是：不加 EMA 的 on-policy NFT 把每次 rollout 的更新次数从 1 增到 2 时训练慢 15.2 倍，虚线是单次更新时随奖励崩塌而尖峰化的梯度范数。保留 EMA 采样但去掉旧策略锚点仍然崩塌。第二次更新时恢复项的输出力 RMS 比引导项小 9.4 倍，聚合参数梯度范数却大 4.9 倍。第二次 MSE 更新可分解为引导与恢复两个分量。DiffusionART

到这里，两堵墙合并成了一堵。reverse 路线的问题是在状态维度上用力，力被摊薄。forward 路线的目标是混进了一条状态级的一致性力，靠样本对冲只能对消一部分。它们的共同根源是同一件事：让每个状态各自算一根力，再指望这些力互相抵消。既然如此，真正的修复方向就清楚了：不要对冲，要聚合。

五、拆掉这条力：先把奖励聚成一根方向，再用第二次更新顶替 EMA

修复的第一步叫 Aggregation-First Reward Tilting（聚合优先的奖励倾斜）。既然对冲不可靠，那就别让状态各自算力，而是先把同一个 prompt 的采样结果和它们的分数聚起来：计算奖励与干净端点之间的协方差，再用它的 RMS 归一化，得到一个共享方向 $G(c)$。

$$G(c) = \frac{\overline{\text{Cov}}(R, x_0 \mid c)}{\text{RMS}\left(\overline{\text{Cov}}\right)}$$

协方差回答的是「哪一类端点总是拿到高分」，归一化顺手抹掉了不同 prompt 之间的奖励尺度差异，所以也不需要再手调一个引导强度系数。然后把这个方向直接加到反向状态的预测速度上，目标速度变成 $v_{\text{tgt}}(s_t) = v_\theta^{(0)}(s_t) + G(c)$，其中 $v_\theta^{(0)}$ 就是 rollout 时缓存的那份预测。

关键在这个表达式里根本没有前向速度。一致性力赖以生长的那个 $e$ 无处安放，它不是在样本层面被对消掉，而是在构造上就不存在。落到具体例子上：还是那个把「9:00」写成「8:00」的 prompt。对这一条 prompt 采样 8 段视频，得到 8 个分数和 8 个端点，协方差把它们压成一根箭头，指向「数字更清晰、时间更正确」的方向。这根箭头被同时施加到这条轨迹经过的每一个状态上，而不是让每个状态自己算一根方向然后指望它们抵消。

图注：聚合优先引导的方法总览。左半用对比箭头示意 NFT 的正负两支引入方向相反的一致性力，两者可能无法完全对消。右半显示同一个 prompt 的端点与奖励被聚合成归一化引导 $G(c)$，再被共享施加到这条 rollout 上经过的所有反向状态，速度场上标出 $G(c)$ 与 $G(c)-d$ 两个更新方向。DiffusionART

修复的第二步是把稳定性从外挂超参变成机制内建。做法是把一次 rollout 切成两个互不相交的 minibatch，各做一次更新。第一次更新把速度场从 $v_\theta^{(0)}$ 推到 $v_\theta^{(1)}$，偏离量记为 $d(s_t) = v_\theta^{(1)}(s_t) - v_\theta^{(0)}(s_t)$。两次更新在同一个状态点的输出梯度分别是 $(2w/D)G(c)$ 和 $(2w/D)(G(c) - d(s_t))$。第二次更新里天生带着一个 $-d$，也就是天生的恢复项，而且强度随每个状态自己的漂移走：漂移大就多拉回一点，漂移小就由引导主导。这就是它不再需要按任务调 EMA 计划表的原因。

还剩一个漏洞。如果某个状态上的位移过大，而且属于会放大漂移的 outward 更新，第二次更新就会被这个过大的位移带偏。ODE rollout 没有可靠的 KL 可以估计，论文就沿用 Flow-GRPO 的 ODE-to-SDE 思路构造一个代理高斯转移，用两个高斯均值之间的相对距离近似 KL，记为 $m(s_t)$。只有当 $m(s_t) \geq \delta$ 且位移与第二次更新下降方向的内积为正（$\langle d(s_t), G(c) - d(s_t) \rangle > 0$）时，才把这个状态的更新屏蔽掉。阈值 $\delta = 10^{-5}$ 全程固定，不需要调。消融显示这个掩蔽主要保护视频设置，在文生图任务上差异较小。

同一套机制还有一个副作用值得说：因为稳定性不再依赖 EMA 的去偏效果，也就不需要为了维持滞后而刻意做 off-policy 采样。整件事只用到干净端点和一个标量分数，也就完全不需要奖励模型可微。这两点后面会变成它在实验里的两张牌。

六、到底快多少、稳在哪、边界在哪：13B 视频模型上的答案

论文在三个层级上做了对照，从图像到视频逐步放大。

视频那一行的基座是 HunyuanVideo-13B，一个 13B 参数、以 Flow Matching 训练的文生视频模型HunyuanVideo。另一组更细的对照是：DiffusionART 把训练 VQ 推到 5.5 用 24 步、63.4 GPU 小时，而 DiffusionNFT(EMA) 要 273 步、1401.4 GPU 小时，两者相差 11.4 倍步数与 22.1 倍 GPU 小时。在图像到视频的 Wan2.1-I2V-14B 上，DiffusionNFT 早早进入平台期并停在那里，作者把原因归给残留的一致性力稀释了引导。

这里必须把两类实验分开看。上表那行的 +28.8% 与 +53.0% 来自 VQ:MQ = 1:1 的训练实验，奖励只含视觉与运动两项。论文另有一组 TA:VQ:MQ = 7:2:1 的 held-out 评测，用的是第三方 learned evaluator 在 4 FPS 下打分，结果是 VQ 8.970、MQ 4.224、TA 2.111，相对最强基线 DiffusionNFT(EMA) 的 VQ 6.827 与 MQ 2.683 分别高 31.4% 与 57.4%DiffusionART。两套数字的权重配比与评测对象都不同，不能混着引用。还有一层容易被忽略的错位：HunyuanVideo 论文自己报告的 VQ、MQ、TA 是 60 位专业评估者的人评结果，而 DiffusionART 用的是 VideoReward 这类 learned evaluator，两者不是同一把尺子。

扩展能力方面有三张牌。它全程不需要奖励模型可微，奖励只要是一个标量就行。它支持成对偏好：DiffusionART-Pairwise 把 $K$ 个端点分成 $K/2$ 对，用胜者与败者的标签替代标量分数，接到同一套聚合公式上。它对样本量的要求也不高：在 T2V 的 400 次更新、只用视觉质量反馈的设置下，$K=2$ 取得评测 VQ 12.235，与 $K=8$ 的 12.092 相当，而 GPU 小时是 260.8 对 883.3，少了 3.4 倍。作为参照，标量奖励的 $K=8$ 版本略高，为 13.637。

边界同样清楚。作者明确不发布训练 checkpoint，只在 Hugging Face 放了两个 model card，所以任何复现都得自己跑。那组 12.02 倍与 11.72 倍绑定的是特定的 learned evaluator、特定的权重配比和一套基于 EMA 交叉点的测量协议，换一个评估器未必保持同样的加速比。$K=2$ 是否在所有 prompt 和所有奖励模型上都够用是开放问题，论文只给了单个文生视频设置下 400 步的对照。论文没有给出渐近收敛性证明，所谓更快，指的是「越过了基线末段平均奖励」这个经验测量，不是收敛速度的理论保证。代理高斯转移与真实 KL 之间的差距也没有被量化。

放回更大的坐标系看，扩散模型的 RL 对齐文献已经积累出一条不短的谱系，从 KL 正则的策略梯度方法到直接反向传播的可微奖励微调都有人做过扩散对齐综述。DiffusionART 占的位置是一个新组合：黑盒奖励加上前向过程视角，再加上组内聚合。最接近的现成格子是 DPOK 与 DanceGRPO、Flow-GRPO，但它们都不完全重合。

它省下的不是样本，而是让模型自己想明白该往哪儿使劲的那部分算力。更值得记住的是它解决问题的姿势：不是设计一根更聪明的力，而是先想清楚哪些力根本不应该出现。

想深入可以读原文：DiffusionART: Efficient, Stable and Scalable Reinforcement of Diffusion Models — arXiv:2610.12572

参考文献

1. DiffusionART: Efficient, Stable and Scalable Reinforcement of Diffusion Models（arXiv:2610.12572，2026-10）。https://arxiv.org/abs/2610.12572
2. Flow-GRPO: Training Flow Matching Models via Online RL（arXiv:2505.05470，NeurIPS 2025）。https://arxiv.org/abs/2505.05470
3. DiffusionNFT: Online Diffusion Reinforcement with Forward Process（arXiv:2509.16117，ICLR 2026 Oral）。https://arxiv.org/abs/2509.16117
4. Denoising Diffusion Probabilistic Models（arXiv:2006.11239，NeurIPS 2020）。https://arxiv.org/abs/2006.11239
5. Flow Matching for Generative Modeling（arXiv:2210.02747，ICLR 2023）。https://arxiv.org/abs/2210.02747
6. DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models（arXiv:2402.03300，首次提出 GRPO）。https://arxiv.org/abs/2402.03300
7. HunyuanVideo: A Systematic Framework For Large Video Generative Models（arXiv:2412.03603）。https://arxiv.org/abs/2412.03603
8. Alignment and Safety of Diffusion Models via Reinforcement Learning and Reward Modeling: A Survey（arXiv:2505.17352）。https://arxiv.org/abs/2505.17352