BloomBloom
发起研究

回合很重要：用回合级信用改进流式视频强化学习

一、流式视频每一步都要决定说还是等，而 RL 只给整条轨迹一个分

这篇论文的主张可以压成一句话：流式视频强化学习的问题不在奖励函数不够细，而在优势的粒度不对。每次「现在说」还是「继续等」都是一个独立动作，GRPO 却把整条轨迹压成一个标量，再原样抄给这条轨迹上的每个回合、每个 token。TurnWise 只改这一层，不动奖励函数、不训 critic、不加额外 rollout，在两个 Qwen 底座、三个流式视频基准上都拿到最高聚合分。

流式视频的输入不是一段看完了再答的片子，而是一条按决策时间网格不断到达的帧流，模型每一格都要在「答一句」和「继续看」之间做一次选择。等待在实现里是一个显式动作，MMDuet2 把它写成一个 NO REPLY 输出，因此它会被采样、会被打分、也会被优化 MMDuet2。这一点常被误解成「没输出就没损失」。同一个问题上，VideoLLM-online 用的是监督式的 EOS 预测，ThinkStream 用的是生成式 <silent> 动作，三种沉默的实现机制不同，不能当成同一条技术路线 VideoLLM-online ThinkStream。

三个词要先钉死。一次决策是一个回合（turn），一条轨迹由若干回合组成，每个回合又由若干 token 组成。GRPO 的做法是对同一输入采样一组轨迹，用组内标准化把每条轨迹的奖励变成一个数 $\hat A_i=(R_i-\mathrm{mean}(R))/\mathrm{std}(R)$，然后把这个数设成该轨迹所有 token 的优势。原文的措辞是 "sets the advantages of all tokens in the output as the normalized reward" DeepSeekMath。在单轮数学题里这没问题，因为一条输出就是一次作答；放到一条包含多个回合的流式轨迹里，它意味着第一个正确回答和最后一次毫无信息量的重复，拿到同一个学习信号。

论文开篇的示意图把这个后果画得很直白。一条烹饪视频里，模型第一轮答对了「最后成品什么样」，随后四轮不断复述同义内容，而在 GRPO 下六个决策共享同一个正优势。

图注：上半部是流式烹饪视频的关键帧时间轴与用户提问，中部是论文标注为示意性的六步回复，后四步内容高度重复。下半部左侧 (a) 用一条水平虚线表示 GRPO 给六个决策同一个 +0.984 优势，(b) 给出从 +0.984 依次降到 −1.027 的逐决策优势。图中对话与数值都属于这个示意例子。TurnWise

最后一个完全重复的回复拿到了正分，这与它对结果的贡献并不相称，这正是全文要修的东西。

二、已有工作都在改奖励，可优势始终停在轨迹这一层

到 2026 年，这条线上并不缺「回合级」的想法，缺的是把回合级落到优势上。MMDuet2、ThinkStream、StreamPro 都已经在奖励函数里给单次回复打分，但优势始终是一条轨迹一个标量。

MMDuet2 的奖励是四项加权和，把回答质量与时机、重复回复、窗口外发言、过长公共前缀一起算进去 MMDuet2。它其实自己写下了病因：整段 rollout 只给一个平均奖励会带来稀疏奖励，并会引入 temporal credit assignment problem。但它的解法是把训练片段缩到 20 至 60 秒，用缩短 horizon 绕开归因，而不是把信用重新分配。ThinkStream 走的是同一条路：格式、时机、准确率三项奖励相加，优势在目标函数里只以轨迹下标出现 ThinkStream。

最接近的是 StreamPro。它已经有一个 turn-level F1 reward，逐轮算正确性与及时性，再和 trajectory-level 的 rubric 分加权求和。

图注：三段式流程图。左侧是带秒级标注的视频帧流与一条用户提问，中间是模型，右侧蓝色框内是 SFT 阶段对沉默与响应决策的重加权，黄色框内的 GRPO 段上半为 turn-level F1 奖励（含一个示意算例），下半为 trajectory-level rubric 的 granularity、coverage、sequencing 三项检查点。StreamPro

但逐条读它的公式会发现，逐轮分数最后被 F1 形式聚合成一个标量 R(Y)，全文没有出现任何优势公式，实现上直接调用标准 GRPO StreamPro。按 GRPO 的定义倒推，它的优势仍然是轨迹级广播。这里要说清楚，这是结合 GRPO 定义作出的判断，StreamPro 原文并没有写自己的优势怎么算。

于是这篇论文真正的切口不是「再设计一个更好的奖励」，而是一个正交的选择：奖励设计与信用分配是两件事。你可以在奖励里放多少回合粒度都行，只要优势还是在轨迹这一层算出来的，这条轨迹上的所有决策就仍然共享一个数字。

三、把该回合之后的动作换成沉默再打分，剩余回报就能被单独剥出来

TurnWise 的第一个组件，用一句话说就是：想知道某个决策值多少分，就把这个决策之后的所有动作都换成沉默，用同一个打分器再给这条被打断的轨迹打一次分。

这个操作叫 silence-completed prefix scoring（沉默补全前缀打分）。设整条轨迹的奖励是 $R_i$，把第 $t$ 个回合之后的动作全部替换成 NO REPLY，保持初始对话、决策时间戳、回复窗口和评测 horizon 不变，再打一次分，得到 $U_{i,t}$。两个端点很关键：$U_{i,0}$ 是「全程沉默」的参考分，它不一定是 0；$U_{i,T_i}$ 就是原来的 $R_i$。

有了这串前缀分数，一条轨迹的分数可以被精确切成两段。截至第 $t-1$ 个回合已经挣到的分是 $C_{i,t-1}=U_{i,t-1}-U_{i,0}$，第 $t$ 个回合之后还能挣到的分是 $F_{i,t}=R_i-U_{i,t-1}$，两者相加恰好等于 $R_i-U_0$。这个分解对不可加的重复惩罚也成立：一条新回复会同时改变重复率的分子和分母，但只要每个 $U_{i,t}$ 都是用完整打分函数算出来的，增量累加就能还原总分差。

然后做组内相对化，把「已经挣到的分」从全局优势里扣掉：

$$\hat A_{i,t}=\Big[A_i^{\mathrm{global}}-\alpha,\frac{C_{i,t-1}-\bar C_{t-1}}{\sigma_R+\epsilon}\Big]{-a{\max}}^{a_{\max}}$$

它的另一个等价写法更好懂：$\tilde A_{i,t}=(1-\alpha)A_i^{\mathrm{global}}+\alpha,(F_{i,t}-\bar F_t)/(\sigma_R+\epsilon)$，也就是在「整条轨迹的优势」和「这一步剩余回报的组内相对值」之间做插值。$\alpha$ 在前 10% 的训练更新里从 0 线性升到 1，之后固定。

这里最关键的语义是：轨迹总分高于组均值，不代表它某个晚回合的优势是正的。假设一条轨迹总分 5.0，前两轮就把 4.2 分挣到手，而组内同一批轨迹在前两轮平均只挣到 3.0 分、总分平均 4.0 分。这条轨迹第三个回合只剩 0.8 分的空间，组内平均还剩 1.0 分，于是它的优势会被扣成负的，哪怕总分仍高于组均值。反过来，一条整体失败的轨迹里，那次把信息补上的追问可以拿到正优势。第一个回合的修正项为零，所以首个决策和原版 GRPO 完全一致。

图注：四段式流水线：采样一组轨迹、合成任务奖励、信用分配、回合均值聚合。第三段画出保留采样前缀、把后续动作置为沉默、用同一打分器得到前缀分数、相减得到剩余回报、再在对齐回合上比较，并并列标注 GRPO 一条轨迹一个优势与 TurnWise 每个回合一个优势。TurnWise

这套东西之所以便宜，是因为前缀分数不需要新东西：它是对已经缓存的逐决策评测结果做一次确定性扫描，既不产生新 rollout，也不额外调用 judge，更不训练 critic。代价是扫描次数随回合数线性增长，论文没有给出它占训练总耗时的比例。

四、只把信用分对还不够，一次等待和一段长回复必须在损失里等权

修好优势只解决了「往哪个方向学」，没有解决「谁在梯度里说话更响」。第二个组件处理的是权重，而权重问题来自一个非常具体的分母。

原版 GRPO 在一条输出内部做 token 平均，第 $t$ 个回合拿到的权重是该回合的 token 数除以整条轨迹的 token 总数。一次 NO REPLY 只有几个 token，一段回复动辄几百 token。假设一条轨迹里有一次 300 token 的回复和三次各 4 token 的等待，回复占了全部动作 token 的 96%，三次等待加起来不到 4%。模型于是几乎没有机会去学「这里该闭嘴」。

turn-mean 把两级平均的顺序改了一下：先在每个回合内部对 token loss 取平均，再跨回合平均。

$$L_i(\theta)=\frac{1}{T_i}\sum_{t=1}^{T_i}\frac{1}{L_{i,t}}\sum_{k=1}^{L_{i,t}}\ell_{i,t,k}(\theta)$$

这样每个「回复或等待」决策的权重恒为 $1/T_i$，与它写了多少字无关。目标函数其余部分沿用 PPO 式的概率比裁剪（$\delta=0.2$），并对负优势额外加一层 dual-clip（$c=3$）防止概率比在坏动作上跑飞；优势本身裁剪到 $\pm 5$，组内标准差用 $\epsilon=10^{-6}$ 平滑。两个容易漏的实现细节是：损失只在模型生成的动作 token 上计算，观测、用户文本和 padding 都不计入；一次 NO REPLY 本身也算一个完整回合 TurnWise。

到这里，两个组件各管一件事。信用修正决定每个决策往哪个方向学，回合均值决定它在策略更新里占多大话语权。

五、两个组件叠加才涨分，真实训练轨迹上 21.20% 的决策优势翻了符号

结果是两个组件必须一起用：只改信用，模型会变啰嗦；只改加权，时机判断会塌掉；合起来才在三个基准上同时改善，而真实训练轨迹上有 21.20% 的决策优势相对全局分配翻了符号。要读懂这些数字，先要知道三列指标各自罚什么。ProactiveVideoQA 的 PAUC 在每个时间点给模型到此为止的累积回复重新打分，再把「时间与分数」的折线下方面积归一化；折线从 0.5 起步，意味着完全不回答优于答一个 0 分的错答案；参数 $\omega=0.5$ 用来在及时性与正确性之间折中 ProactiveVideoQA。

图注：坐标系里一条从 0.5 起步的蓝色阶梯折线，每次正确回复把分数抬高一档。竖直向上箭头表示同一时刻把分数抬高，水平向左箭头表示同等增益下更早发生，两者都会增大折线下的面积；顶部虚线 S 是最大分。MMDuet2

另外两列各自不同。OVO-Timing 用 CRR、SSR、REC 三个事件触发子任务，指标是 Timing F1，±2 秒内一对一匹配；这里要说明白，这个 F1 定义出自 TurnWise 的实验设置，不是 OVO-Bench 论文提出的指标，两边的聚合口径也不同，不能横向比 OVO-Bench。StreamingBench 那一列是 RTVU 四选一准确率与 Proactive Output 的「答案加时机」联合准确率的等权平均 StreamingBench。

主结果是两个底座、三个基准全部取得最高聚合分。Qwen2.5-VL-3B 上 ProactiveVideoQA 43.56、OVO-Timing 21.59、StreamingBench 49.43，相对该列最强的对照基线分别高 3.96、3.87、0.69；Qwen3-VL-4B 上为 42.44、11.15、58.96，分别高 6.26、1.92、2.38。要注明 StreamingBench 两列的 Δ 对手是 SFT 而不是 RL 基线，所以第三列的 0.69 和 2.38 更适合读成「小幅改善」，而不是「大幅领先」TurnWise。

真正说明问题的是组件消融，因为它把两个组件拆开看。

配置（Qwen2.5-VL-3B）PAUC ↑重复率 ↓Timing F1 ↑StreamingBench ↑
SFT28.743.790.5748.74
MMDuet239.606.0817.7247.64
只加 turn-mean41.879.788.1747.58
只加信用修正43.1215.5318.6348.94
两者都加（TurnWise）43.565.9821.5949.43

只加信用修正时，模型更敢开口，Timing F1 从 17.72 提到 18.63，但重复率从 6.08 涨到 15.53，是 MMDuet2 的两倍半；只加 turn-mean 时反过来，重复率降到 9.78，Timing F1 却塌到 8.17。把两件事一起做，重复率降到 5.98，Timing F1 升到 21.59。这不是两个小改进的叠加，而是两个组件各自补上了对方制造的副作用 TurnWise。

最后是理论主张的验收。作者拿 Qwen2.5-VL-3B 的 11,116 条完整训练轨迹、84,184 个决策回合做全量修正后的统计：21.20% 的决策，其优势符号相对全局分配发生了翻转；53.15% 的轨迹同时含有正优势和负优势的回合。

图注：左图是全局优势对回合优势的六边形密度图，标注了 21.20% 的符号翻转，斜虚线表示分配未改变；右图是 2,972 条被判为重复的回复中优势符号的堆叠柱，拿到负优势的比例从 75.7% 升到 81.6%。两图统计的分母不同。TurnWise

这张图的意义在于，它把「一条好轨迹可以有坏回合」从一句漂亮话变成了可数的比例。边界也要一起说：左右两个子图分母不同，右边的 75.7% 到 81.6% 是重复回复中拿到负优势的比例上升，不等于重复回复变少了。

从设定读出的边界还有几条。训练奖励由 gpt-oss-20b 判定、评测由 GPT-5.6-luna 判定，论文没有做换 judge 的敏感性分析；$\alpha$ 需要 warm-up，而且「$\alpha=1$ 最好」只在带 turn-mean 的完整配置上成立，只做信用修正时 $\alpha=0.25$ 的 PAUC（44.50）与 Timing F1（19.51）都高于 $\alpha=1$（43.12 与 18.63）；覆盖范围是两个底座、三个基准，消融只在一个底座上做，也没有报告随机种子方差。论文没有独立的 Limitations 章节，这些都是从设定与自述事实里读出来的。

放回更大的坐标系，TurnWise 占的是「回合级优势重分配」这一格。同期还有一条把监督信号稠密化到 token 级的路线，用过程 rubric 做加性优势整形 ORSD；另有一条完全不动信用、只改训练时回合预算分布的路线 Multi-Turn RL。两条都不在流式视频上评估，数值不能与这里并列，但它们说明「稀疏轨迹奖励定位不了关键决策」不是流式场景的孤例。

这篇论文最值得带走的一句判断是：当奖励已经设计得足够细，继续加细奖励的边际收益可能不如改一次优势的粒度；而在流式交互这种「什么都不做也是动作」的场景里，粒度错了，模型学到的就是多说话。

想深入可以读原文：Turns Matter: Advancing Streaming Video RL via Turn-Level Credit，arXiv:2611.06728

参考文献

回合很重要：用回合级信用改进流式视频强化学习