BloomBloom
发起研究

OraRL：让标注直接当 rollout，视频模型强化学习开销只有微调两倍

视频模型的强化学习后训练，为什么又贵又难？

一个 90 亿参数的开源模型，在 VSI-Bench 上拿了 73.1 分。VSI-Bench 让模型看完一段第一视角的室内视频，回答物体大小、距离、方向这类空间问题，人类平均也只做到 79.2%，GPT-5 是 55.0，Gemini-3-Pro 是 55.1。把这个分数训出来的配方，成本却高得离谱：标准的强化学习加思维链（CoT）训练，每一步的耗时是普通监督微调的 4.9 倍 OraRL。

为什么视频模型的强化学习后训练这么贵？答案藏在"奖励从哪来"里。强化学习要奖励模型做对的事，但"对的事"必须由模型自己先做出来一次，训练才知道该鼓励谁。对数学推理来说这不难：同一个问题采几条回答，总有一条蒙对。视频感知任务完全不同。让模型指出"球在第 14.2 秒出现"、把某个人的轮廓像素级抠出来、跟踪一个框到第 40 帧，这些答案精确到毫秒和像素，模型靠采样几乎不可能复现人工标注。一组 rollout 采完，经常一条接近正确的都没有，奖励信号再多也无从优化。这里 rollout 指模型对同一个问题采样生成的一条回答，一组八条 rollout 是摆在一起比高低的。

主流后训练框架 GRPO（组相对策略优化）正是为第一种场景设计的。GRPO 不训练单独的价值模型，它让同一个问题下的一组回答互相比较：把每条回答的奖励减去组均值、除以组标准差，得到归一化的优势，也就是"这条回答比同组平均好多少"。组里有人答对、有人答错，相对对比就能分出高下 DeepSeekMath。这个设计在数学推理上非常成功，但它默认组里有正样本。视频任务的奖励是毫秒级区间、像素掩码、跟踪框交并比这类密集几何量，模型采不到精确答案，组均值被一堆低分拉平，偶尔有一条接近的答案，又不像数学题那样对错分明，相对对比自然无从下手。

采不到正样本怎么办？最直接的办法是让模型多想一会儿，先生成几百个 token 的思维链再回答，期望它在思考过程中碰巧把答案凑对。这是用算力买正样本，代价是每一步训练的成本飙到微调的 4.9 倍，链越长越贵。同期做统一视频模型的工作也都在绕着同一个坑转：OneThinker 用商业模型生成的 CoT 标注加 EMA-GRPO 做后训练，TimeLens 则绕开昂贵的思维链，走无 CoT 的 RLVR（验证奖励强化学习）路线，同时用 Gemini-2.5-Pro 重做了 20K 视频 / 100K 标注的训练数据 OneThinker TimeLens。

困境是两条互相咬合的锁：采样不到正样本，所以只能靠昂贵的思维链硬凑；越凑越贵，越贵越不敢上更大的数据量。OraRL 的出发点是，真问题可能不在"怎么把 rollout 采得更好"，而在我们一直浪费着一个现成的正样本来源。

标注的第三种用法：直接当一条 rollout 入组

人类标注在训练里当过两种角色。监督微调阶段，它是最大似然的目标，逼模型输出正确的格式，但不区分"差不多对"和"明显错"。GRPO 阶段，它升级成评分参考，标注变成奖励函数，给每条 rollout 打一个接近程度的分数。评分参考这条最常用的路，恰恰在浪费标注：奖励信号再准，前提是组里有 rollout 能吃上正分，采样不出来，评分的精度就毫无意义。

OraRL 发现的是第三种角色：把标注本身序列化成模型的响应格式，作为第 n+1 条 oracle rollout 直接放进训练组。oracle 就是标准答案。一个 query 从此拥有一个已知正确的优化目标，模型要做的不是从零摸索答案，而是把自己的输出朝这条 oracle 靠拢。关键在任务无关性：时间区间能序列化、检测框能序列化、跟踪轨迹能序列化、掩码和选择题选项也能序列化。任何标注能被写进模型输出格式的任务，都能套用同一套机制 OraRL。

OraRL 四种训练范式对照

图注：OraRL 项目页对论文 Figure 2 的镜像。四列分别是 SFT、GRPO、Mixed、OraRL 四种"用标注做什么"的范式，每列下方标注标注的角色，从左到右从"只打分"变成"也作为一条 rollout 入组"，最右列多出的动作是把标准答案从组基线里剔出来。OraRL 项目页

把标注塞进优化目标这件事，OraRL 团队自己先走过一半。前作 TempSamp-R1 已经试过把标准答案序列化后混进 GRPO 组：每个 query 采 G−1 条模型自己的回答，加 1 条标准答案，一起算组内优势 TempSamp-R1。问题出在它给"标准答案入组"配了全套手工塑形规则，阈值 τ=0.8、放大系数 λ_off=1.2 都是按 IoU 度量手调的，只能把现象压住，讲不清为什么。数学推理那边也有相似尝试：LUFFY 把更强模型生成的 teacher trace 注入 GRPO 组，等于请一位老师替模型答一遍 LUFFY。OraRL 的立场更激进：老师都不用请，人工标注本身就是现成的标准答案。

一个被忽略的事实是：正确答案从头到尾都躺在训练数据里，只是在"评分参考"这个用法下，它永远只当裁判，从来不上场踢球。

最直觉的做法反而让训练倒退：优势符号被反转

既然标注要入组，那直接把它塞进组里做均值归一化，这是最直觉的做法。OraRL 把这条路叫 naive oracle mixing，并给出了一个反直觉的结论：这样训练会倒退。设原组均值是 $\mu_{\text{op}}$，oracle 的奖励 $r_{\text{gt}}$ 几乎一定远高于均值。把 oracle 加进组后，新基线变成：

$$\mu_{\text{aug}} = \mu_{\text{op}} + \frac{r_{\text{gt}} - \mu_{\text{op}}}{n+1}$$

新基线一定高于原基线。于是所有奖励落在 $\mu_{\text{op}}$ 和 $\mu_{\text{aug}}$ 之间的 rollout，在原组里是"高于平均、该被鼓励"，换到新组里就变成"低于平均、该被惩罚"。优势符号被反转，反转带的宽度是 $(r_{\text{gt}} - \mu_{\text{op}})/(n+1)$ OraRL。

打个比方。GRPO 的组基线相当于把全班答卷放在一起算平均分，谁高于平均谁受表扬。naive oracle mixing 等于把老师的标准答案也混进班里当成一份答卷。标准答案接近满分，全班平均被抬高，原本中等偏上的学生一夜之间"低于平均"，从被表扬变成被批评。模型学到的不是朝标准答案靠拢，而是离标准答案远一点。

这不是理论上的边角情形。论文在 92,024 条 rollout（11,503 组）上数了一遍：22.4% 的 GRPO 正样本被反转，42.5% 的组至少出现一次反转，8.3% 的组把全部正样本反转光。按任务分，视觉跟踪最惨，38.7% 的正样本被反转；分割最低，只有 4.5%。时序定位则相反，奖励最稀疏，17.5% 的组干脆一个正样本都没有 OraRL。

优势反转的散点诊断

图注：论文 Sec. 4.10 的量化诊断，约 4000 个均匀抽样的 rollout 落在散点图上，shading 标出 naive oracle mixing 后优势符号被反转的位置，图中标注 "in μ" 区域。22.4% 是 92,024 条 rollout 的整体反转率，不代表这张图上点的比例。OraRL

前作 TempSamp-R1 那种任务特定塑形能把整体反转率压到 11.9%，但标准答案还在组统计里，基线偏移没被除根，换个任务就得重新调一遍 TempSamp-R1。

结论很反常识：直接塞标准答案，训练不是没在优化，而是在反着优化。要带它安全上路，基线就必须和标准答案彻底分家。

解耦优势估计器：让基线归基线、标准答案归标准答案

OraRL 的修法一句话就能说清：基线归基线，标准答案归标准答案。具体拆成三个部件。

第一个部件决定"该鼓励谁"。优势 $A_i^{(0)} = r_i - \mu_{\text{op}}$，只减去由纯策略 rollout 决定的均值，而且不除以标准差。不除标准差保证了任何高于策略均值的 rollout 都拿到正优势，反转带在构造上就不存在 OraRL。

第二个部件决定"鼓励的力度"。方向增益 $g_q = \text{clip}\left[\left(\sigma_{\text{aug}}/\sigma_{\text{op}}\right)^{1/4}, 1, 4\right]$ 是一个只加在正优势 rollout 上的放大系数：比均值好的被放大，比均值差的原样保留。$\sigma_{\text{aug}}$ 包含 oracle、$\sigma_{\text{op}}$ 不包含，两者的比值编码了"标准答案离策略还有多远"：差得越远，放大越猛，模型朝标准答案靠拢的梯度越大；接近了，增益自然收敛到 1。

第三个部件处理标准答案自己。oracle 也有独立的优势 $A_{\text{gt}}$，由一个 reward-gap 权重 $w_q$ 调制，$w_q$ 随策略与标准答案的差距缩小而趋近 0。关键设计是 $A_{\text{gt}}$ 与方向增益解耦：两个项都响应同一个 oracle-policy 差距，叠加就会重复计数，所以标准答案的优势走一条自己的通道。论文把这套设计叫解耦优势估计器 OraRL。

OraRL 一次更新的完整流程

图注：OraRL 一次更新的流程。左侧 n 条 on-policy rollout 与下方星标的标准答案各自产出奖励，汇聚成 $(\mu_{\text{op}}, \sigma_{\text{op}})$；蓝色桥是只作用在策略端的方向增益 $g_q$，金色桥是只调制标准答案优势的权重 $w_q$，两条通道互不重复；右侧剪枝后保留 K 条优势用于策略更新。OraRL

对比 GRPO 的公式 $(r_i - \text{mean})/\text{std}$，OraRL 保留了组相对的思想，但把均值换成只由策略 rollout 决定的 $\mu_{\text{op}}$，把标准差归一化拆成不对称的方向增益。这跟 LUFFY 那种 mixed-policy GRPO 也是根本差别：那边把外部信号和策略信号混在同一组算均值，oracle 照样污染基线 LUFFY。

效果立竿见影。把标准答案从基线剔除后，残余反转率从 22.4% 掉到 1.9%，其中真正收到梯度的反向 rollout 只剩 0.3% OraRL。训练第一次真正站在标注的肩膀上，而不是被它压垮。

但正确性修好之后，成本问题浮出水面：每组 1 条标准答案加 8 条策略 rollout，九条全部走反向传播，每一步还是太贵。下一刀要砍在留哪几条上。

符号平衡剪枝：把每一步训练再砍掉一半

先看一条现成的路。CPPO 把 GRPO 的每步训练砍到几分之一，做法是按绝对优势排序，只保留 $|A|$ 最大的几条 rollout 参与反向传播 CPPO。这套按大小剪的逻辑在数学推理上成立，因为那里组里正负样本都有，$|A|$ 排序通常还能保住两侧。但视频感知的奖励分布是常态化的偏斜：大量负样本，加少数接近标准答案的正样本。这时按 $|A|$ 排序等于把某一侧符号整个砍掉，正负对比丢了，模型只剩"知道不该做什么"或者"只知道自己该做什么"，学出来的策略是歪的。

CPPO 按绝对优势剪枝的流程

图注：CPPO 的剪枝流程示意。4 条 completion 算出奖励与优势后，"High Absolute Advantages" 触发剪枝，只保留 $|A|$ 最大的两条进入三个模型的前向与梯度计算；当组内样本几乎同号时，这种按绝对值筛选会丢掉符号对比。CPPO

OraRL 的符号平衡剪枝反过来设计。保留 $K = \lfloor n(1-\kappa) \rfloor$ 条 rollout，标准答案无条件入组、永远充当正 anchor，剩下的槽位按正负配额分配：n=8、κ=0.5 时 K=4，也就是标准答案加 1 条正向加 2 条负向 OraRL。剪枝的目的不只是省计算，而是保住"什么该做、什么不该做"这份对比信息。剪完还要补救一步：post-selection moment correction 先把保留样本的优势重新归零，再做 RMS 匹配，防止被剪掉的样本偏置把更新尺度放大。

数字上是干净的。step time 从 92.5 秒降到 62.4 秒，1.48 倍加速；峰值显存从 62.4 GB 降到 50.9 GB；平均分只掉了 0.4。整条训练链路的开销落在监督微调的 2.2 倍，不到 GRPO 配思维链 4.9 倍的一半 OraRL。效率不是靠牺牲精度换来的。

这一章和第三章是同一枚硬币的两面。第三章说标准答案进组会把该鼓励的变成该惩罚的，第五章说只留最有信息量的 rollout，而信息量的定义里必须包含符号。配额保证正负对比不丢，这正是那个反转教训的正面应用。

从 0.8B 到 9B、七族全面领先：这条路能走多远、边界在哪？

前面讲的是机制。它能不能规模化，才是判断范式级意义的依据。论文把同一条配方从 0.8B 一路训到 9B，横跨七个任务族：时序定位、空间定位、视频分割、视觉跟踪、时空定位、视频问答、空间智能。结果是一致的：每个尺寸上，七个任务族全部压过对应 Qwen3.5 骨架，宏均超出骨架 8 分以上、从 51.8 单调升到 66.2，视觉跟踪的领先幅度从 0.8B 时的 11.3 分涨到 9B 时的 32.2 分 OraRL。这不是调参碰巧撞上的，是方法随模型变大持续变强。

模型从 0.8B 缩放到 9B 的各任务族表现

图注：论文 Figure 4。横轴是模型参数量（对数刻度），七个任务族各占一个面板，每个面板同时画 Video-ORA 与对应 Qwen3.5 backbone 两条曲线，Video-ORA 在每个尺寸都压在骨架上；最右是七族宏均面板，随规模单调上升。OraRL

数据量一侧同样在涨。提示词从 6.4k 扩到 100k，OraRL 在视频感知聚合指标上加 5.2 分、空间智能上加 3.6 分；同预算下 GRPO 只加 2.8 和 3.1，SFT 在视频感知上反而跌了 4.1 分 OraRL。横向对比能更准确定位：时序定位在 TimeLens-Bench 三个 split 的 mIoU 是 61.8、63.6、72.5，GOT-10k 跟踪 AO 78.2，比 OneThinker 的 73.0 高 5.2 分，分割 J&F 61.3。论文摘要口径的四项提升分别落在各自此前的最高水平之上：temporal mIoU 从 62.5 到 66.0、tracking AO 从 73.0 到 78.2、segmentation 从 64.3 到 70.4、空间智能宏均从 51.0 到 56.1 OraRL TimeLens OneThinker。

最亮眼的还是空间智能那一格。VSI-Bench 是"人类平均 79.2%、此前最佳模型落后人类 33 个百分点"的基准，CoT、ToT、Self-Consistency 这些语言推理技巧在它上面全是负增益 VSI-Bench。Video-ORA-9B 的 73.1 已经摸到人类附近，GPT-5 只有 55.0、Gemini-3-Pro 只有 55.1。而且这个分数不靠思维链：answer-only 解码只要 13.5 个 token，从 4.78 秒压到 0.13 秒，37 倍；算上首 token 延迟，总时延中位数是 24.30 秒对 29.03 秒 OraRL。在 MindCube 这种"只看几张图就要构建空间心智模型"的基准上，它同样拿到增益 MindCube。

收口成一个判断。OraRL 的价值在任务无关加单一更新规则：标注能被序列化的任务都能套用。模型权重、训练数据、代码都已开源，模型在 HuggingFace 的 Video-ORA-9B 和 Video-ORA-4B，代码在 HVision-NKU/OraRL 仓库，项目页是 orarl.github.io OraRL 项目页。但边界必须说清楚。它依赖每个任务的序列化 adapter；标准答案的质量和覆盖上限直接决定训练上限，标注脏了它也跟着脏；它和思维链互斥，需要"多想一会儿再答"的场景用不上。

一句话：OraRL 解决的是"答案本来就有、模型采不到"的问题，答案本身不存在、或要求长链思考时，这套范式的边界就到了。标准答案不该只当裁判，它也该上场踢球；但要带它上场，先得把它从记分牌上拿下来。

想深入可以读原文：Annotations as Rollouts: Efficient and Scalable Reinforcement Learning for Video MLLMs — arXiv:2608.20492

参考文献

OraRL：让标注直接当 rollout，视频模型强化学习开销只有微调两倍