RLVR 只奖励最终答案:解题的第一步却被锁死了
pass@1 猛涨、解空间却在收缩:RLVR 的代价付在哪一步?
把同一道数学题交给模型训练前后的两个版本,各自独立尝试 320 次,你会看到两张完全相反的图:训练后的版本一次答对的概率暴涨了 50 倍以上,但在 320 个尝试里真正出现的可行解法,种类反而少了三分之二。同一个过程让模型变得更强,又让它变得更窄。这种事听起来像奖励信号在给正确答案加分的同时,顺手没收了其他正确答案。
奖励信号确实是头号嫌疑,而它最扎眼的结构特点,是只看得见出口。这套训练范式叫 RLVR(Reinforcement Learning with Verifiable Rewards,可验证奖励强化学习):奖励不再来自学出来的奖励模型,而是来自规则化检查器,数学题对答案、代码题跑测试,全都在最终出口打分。2025 年初,DeepSeek 团队的 R1-Zero 证明了这个配方能走多远:完全跳过人工标注的思维链,只靠这类可验证奖励做纯强化学习,在 AIME 2024 上就把 pass@1 从 15.6% 推到 77.9%。pass@1 指的是同一题只采样一次就答对的概率,后面还会反复出现 pass@k,含义就是把采样次数换成 k。训练中还涌现出自我修正的痕迹,甚至有过一次作者所称的 aha moment:模型在题目中途冒出一句自我修正口吻的话,没有人教过它这么做。配方的另一半 GRPO 负责把打分变成梯度:同一题采样一组回答,在组内做相对比较,谁比组内平均好谁得正分,省掉 PPO 那套价值网络,也让"奖励只来自最终出口"这件事变得更纯粹。DeepSeek-R1
然后,把"只看出口"放进监督方式的谱系里,它的特殊性就更清楚了。上一代主流的 RLHF 用人类偏好训练一个学习式奖励模型再拿它打分,奖励是"学出来的"。RLVR 把它换成可自动验证的结果,规则检查器只认最终答案,对模型的解题过程一无所知。同样是给推理打分,还得分清看的是哪里:结果监督只检查最终答案,过程监督对中间步骤逐段打分。综述指出,过程监督在数学推理上更稳定可靠,但步骤级标注成本极高、跨领域会掉质量,所以 RLVR 的主流做法仍停在结果监督。RLVR 综述 数学和代码这种"难解易验"的任务因此成了 RLVR 的主场,开放式问答仍得依赖学习式奖励。一句话概括:在"打得细"和"跑得动"之间,这个领域选了后者,监督信号只看出口,不看过程。
但换掉奖励模型,消除不了另一个更老的诅咒。Goodhart 定律说,当度量成为目标,它就不再是好度量。OpenAI 在 2023 年把这句话量化成了标度律:把一个不完美的代理分数当目标去优化,真实质量先升后降,优化必有代价,连代价的形状都可以预测。Gao et al. 把这个定律套回 RLVR,"只奖最终答案"为什么会让解法变窄,就有了顺理成章的解释:出口处每个正确答案拿到的奖励一模一样,优化器分不清解法之间的差别,同一道题上便没有理由保留多条同样正确的路线。而训练每次只能采样一部分回答,没被采到的正确解法连被奖励的机会都没有,概率被悄悄压下去。代价没有消失,只是换了形状,而且出口分数看不见它:pass@1 一路走高,收缩藏在分数背后。要把代价找出来,就得把解题轨迹打开来看,代价究竟付在轨迹的哪一步,正是这篇论文要定位的事。
这份代价是真实可测的。锚论文在一道解空间可穷举的数学游戏上实测:PPO 训练后,pass@1 比训练起点高 50 倍以上,同一题 320 次采样下的解覆盖率却从 0.337 崩到 0.111,下降 67%。解覆盖率测量的是:320 次采样里,至少出现过一次的可行解,在全部可行解里占多大比例。另一条 GRPO 线上,pass@1 从 0.121 升到 0.429,覆盖率同样从 0.467 掉到 0.268,下降 43%。Entrance 模型不是不会这些解了,而是渐渐不再发起它们。于是问题落到了一个可以追究的位置:这份收缩,到底发生在解题轨迹的哪一步?
把一条解题轨迹切成「门口」与「屋内」:如何测量收缩发生在哪里
标准数学基准看不穿这个问题:你只知道答案对没对,不知道模型走了哪条路。锚论文的办法是找一道解空间能穷举的任务,把每条路都数清楚,再来看哪条路消失了。这个任务叫 Countdown:给你 3 到 4 个数和一个目标值,比如 {4,5,7,9}→24,要求每个数恰好用一次,用加减乘除和括号凑出 24。符号求解器可以枚举出全部有效算式,150 道测试题共枚举出 379 个可行的入口家族,平均每题 2.53 个;求解器把交换律、结合律下等价的算式归并,保证计数不重复。独立实现一个枚举器在 500 个实例上与主求解器完全一致,证明这份清单是可靠的。
关键的一刀切在这里:论文把每条有效算式按"第一个操作数和第一个运算符"分组,所有以 4× 开头的解归为一族。粗粒度上,可以先按首运算符把解分成四类,再在类内细分到具体的(首操作数,首运算符)元组,两层粒度互相印证。这个元组就叫入口家族(entrance family)。为什么切在深度一?因为那是模型对整套解法的第一次方向性选择,它定了,后面算什么都只是"执行":
图注:以 {4,5,7,9}→24 为例,有效解按首个操作数与首个运算符被分组,高亮的 4× 入口下接 4×7 与 4×9 两个不同续链。这是「入口家族」定义的概念示意图,不含实验数值。Entrance
这一刀把解空间切成两段:进门前的选择,和进门后的计算。把它们写成概率,就是 π(通过 b 解出)= π(选定 b)× π(选定 b 后能算完)。前者叫访问(access),后者叫执行(execution)。两件事完全可能脱节:一个解族明明还能算完,模型只是再也不选它;也可以模型一直选它,却总是算到一半崩掉。论文用这个分解把"收缩发生在哪里"翻译成了可测的问题:
图注:从题目 x 分出两支:未选 b 是访问失败,选定 b 之后算不完是执行失败。只有「选定 b 且完整算完」这一支计入通过 b 解出。访问与执行被解耦后,"收缩发生在哪里"变成一个能被单独测量的问题。
为了不让结论绑死在某种算法上,论文同时跑了两套设置:自训的 PPO(在 TinyZero 框架上训 Qwen2.5-3B,评估 step 25 到 step 275 的 11 个检查点),以及评估一个公开的 GRPO 训练系列(Qwen2.5-3B-Instruct,取 step 25 与 step 450 两个检查点)。两种算法得出结论一致,才能说"锁在门口"是 RLVR 的通病,而不是某个算法的怪癖。
三组证据:锁死的是入口,不是房间内部
第一组证据,是收缩有多彻底。跨全部检查点,在 step 50 和 step 275 都能解出的 58 道题上,平均覆盖率从 0.564 降到 0.286,正好减半。更关键的是它的不可恢复性:step 50 能解出的题,64% 到 step 275 仍然可解,但 step 50 发现过的单个有效解叶子只有 31% 会再出现;两阶段之间丢失的 33 道题,即使每题采样 2048 次也补不回来。Entrance 换句话,测试时多采样,救不回训练时丢掉的东西。
第二组证据,是收缩在位置上的集中。论文让两个检查点在完全相同的 1530 条有效续写上逐 token 打分,比较每个位置在 step 25 与 step 275 之间的负对数似然变化:入口段每 token 增加 4.50,下游执行段只增加 0.28,相差 16 倍。GRPO 线上是另一个 11 倍(8.08 对 0.71)。token 级归因显示,单点下降最大的位置,正好落在决定家族归属的首操作数 token 上。反常的地方要挑明:变化最大的是"选哪条路",不是"怎么算"。
第三组证据直接做因果实验。如果入口真被锁死,那把入口撬开再让模型自己算,应该算得完。论文给未选中家族注入一个最小前缀,只指定首操作数和运算符,比如「Let me try: 4 *」:PPO 的 step 275 上,指定家族的完成率从自由采样时的 0.018 跳到 0.212,超过一个数量级;GRPO 上从 0.104 升到 0.188。Entrance 更极端的是那 28 个"灭绝家族":它们在 step 50 还有 5% 以上的访问率,到 step 275 从 320 次自由采样里完全消失,钳制住最小入口后完成率竟达 0.529,比它们在 step 50 自己跑时的 0.475 还高。配对的 359 个家族实例显示,训练让入口访问显著集中(入口熵下降、top-1 份额上升),而同一供给入口下的条件执行能力反而净改善 +0.107:
图注:访问与执行的反向运动(PPO 训练)。(a) step 50→275,配对问题-家族上的归一化入口熵下降,而供给入口后的完成率上升;(b) step 275 注入最小入口后指定家族完成率跳升,补全首步计算后增益有限,虚线为路径枚举参考。具体完成率数值见论文正文表 4。Entrance
三组证据指向同一句结论,也就是论文摘要的原话:推理的广度是在门口丢失的,而不是在房间内部。同期还有一篇独立工作从另一头撞见同一现象:它按 token 位置做 JS 散度分析发现,RLVR 训练带来的分布变化集中在前几个 response token,第一个 token 的散度是内部 token 的 9.8 到 106.7 倍,而 RLVR 首选 token 的 89.3% 到 99.4% 本来就已经在基础模型的候选列表里。验证器在重塑模型的"开场",大部分时候只是把既有的候选重新排序。两条证据线互不引用,却指向同一个门口。支撑重塑
不过,"门口"不是唯一的闸门。把 Base 能到、而 RLVR 自由采样不发的首计算前缀供给 RLVR,后者能以 0.850(GSM8K)和 0.713(MATH500)的高完成率把题算完,说明替代路径大体仍可执行;但一个深度控制的接力实验(534 道四数 Countdown)显示,下游剩余计算越长,晚期策略的完成优势越小。在长轨迹上,"执行"会成为复合型的第二瓶颈,只是入口仍然是主闸门。Entrance
这不是必然代价:六基准上的复现、反例与一次「37% 复活」
先排除"只有 Countdown 才会这样"。在 GSM8K、MATH500、Minerva、OlympiadBench、AMC23、AIME24 六个标准数学基准上,Qwen2.5-7B 和 14B 经 RLVR 训练后,首个完整计算之前的 per-token 似然位移显著大于执行段,与 Countdown 上的入口集中同构;7B 的首计算熵下降 30%,14B 下降 41%,而 pass@64 几乎持平(7B 从 0.754 到 0.760,14B 干脆没动,0.774 对 0.774)。这两个数字必须放一起读:在该采样预算下题目成功率未下降,首计算熵却掉三成,二者共同表明的是「答案级表现可稳而早期选择分布更集中」。熵坍缩不等于能力下降,这是全文最重要的一处区分:
图注:(a) Qwen2.5-7B 上 Base 减 RLVR 的逐 token 对数似然差值:首个完整计算之前的入口段远大于随后执行段;(b) 两段的分层差值-in-差值(DiD)及 95% 置信区间。图为 7B 数据,六个基准名与 14B 数值以论文正文表为准。Entrance
那收缩是不是推理优化的必然代价?论文给了两个反例。其一,用求解器枚举的多解示范做 SFT,Qwen2.5-3B-Instruct 在 pass@1 只有 0.333 时覆盖率就达 0.709,是晚期 GRPO(0.268)的 2.6 倍以上,示范数量越多覆盖率越高,呈严格的剂量响应。不过这份高多样性不免疫于 RL:从示范数 k=4 的 SFT 检查点继续 GRPO 500 步,rollout 熵重新塌回均值 0.085 nats,收缩动态会从高多样性起点复发。其二,OLMo-3 7B 走 SFT→DPO→RLVR 的分阶段对齐,pass@1 一路上涨(0.447→0.508→0.613),首计算熵却几乎不动(1.189→1.269→1.137)。GSM8K 第 108 题是这件事的剖面:所有模型 64 次采样全对,SimpleRL 却把 Base 的 10 次反向推导清零,53 次集中在正向代数;OLMo-3 的 RLVR 阶段把反向入口从 SFT 的 1 次带到 6 次,照样 64/64 全对。同一门课,换个教法,学生并没有变僵。Entrance
2026 年初的另一篇论文从机制上解释了这种坍缩为什么不是必然:在无限样本的理想情形下,标准 RLVR 目标从不压制正确模式,是有限 batch 的采样偏差在作祟,它把没被采样到的正确模式一并压了下去。一个 softmax 玩具实验里,两个同样正确的输出模式在训练中互相竞争,最终总有一个被压到消失,优势估计的归一化只能延缓、不能阻止。Over-sharpening 机制上既然不是必然,那已经发生了的,还能救回来吗?表面干预几乎全部失灵:提示语要求换方法只带回 +0.014 覆盖率,钳制替代运算符是负收益,调高温度 +0.016 却把 pass@1 从 0.278 打回 0.264。有效的干预都瞄准了早期状态:把晚期 checkpoint 的层 20 到 28 与 step-50 的权重线性混合,覆盖率从 0.111 回到 0.152,相对增益 37%,pass@1 稳在 0.305 不动(统计等价检验通过)。Entrance 把"后期学到的解题技巧"移植回"早期还愿意探索的头脑",多样性回来了一部分,准确率毫发无伤。三类修复路线放在一起,取舍很清楚:
| 修复路线 | 代表方法 | 作用对象 | 收益 | 代价与边界 |
|---|---|---|---|---|
| 参数级 | late-layer 参数插值(锚论文) | 晚期权重与早期权重混合,瞄准早期状态 | 覆盖率 +37%(0.111→0.152) | pass@1 0.305 不降;需留存中间检查点 |
| 校准级 | IAC / DLC(over-sharpening) | 校准优势估计或采样分布,压低高频模式 | AVG@8 相对 SOTA 基线约 +2%~3% | 并非每个基准都最优;DLC 计算开销大 |
| 门控级 | BBG(overtraining) | 估计每个问题对边界的边际贡献,门控掉饱和问题 | 四基准平均 pass@k 最高,Pass@256 均不低于基础模型 | 显著牺牲 pass@1 |
回到那场争论:容量到底扩没扩,收缩又到底在哪发生
入口锁闭这件事,要放进 2025 到 2026 年的一场公开争论里看,才显出分量。争论源头是 Yue et al.(NeurIPS 2025 Oral)的一组观察:在数学基准上,k 很小时 RLVR 模型明显强于基础模型,可随 k 增大到几十乃至几百,基础模型的 pass@k 追平并反超,比如 Minerva 上 32B 规模,基础模型在 k=128 时多解出约 9% 的题;AIME 24 上,两个开源 RLVR 模型开始时比基础模型高近 30 个百分点,最终仍被反超。而且 PPO、GRPO、ReMax、RLOO、Reinforce++、DAPO 六种主流算法在这张图上表现接近,都远未用满基础模型的 pass@256 潜力,说明这不是哪个算法的毛病。作为对照,蒸馏能把教师模型的新推理模式真正转移给学生,扩展推理范围。他们的结论是:RLVR 主要提升了"朝正确路径采样"的效率,很少激发真正新颖的推理模式,推理能力边界仍由基础模型框住。Yue et al.
图注:多个数学基准上的 pass@k 曲线,小 k 时 RLVR 模型在上,随采样数 k 增大,基础模型追平并反超。反超是总体趋势,个别 k 与个别基准并不反超,具体数值以论文原表为准。Yue et al.
反方立刻指出这组数据里有个度量陷阱。基础模型可能用错误的推理链碰巧猜中答案,纯答案级的 pass@k 因此高估了基础模型。把"成功"重新定义为答案和中间推理链同时正确(即 CoT-Pass@K)之后,AIME 2024 和 2025 上,RLVR 模型在一直到 k=1024 的采样规模下都和基础模型保持显著差距,而且这差距从训练前 20 步就开始出现;配套定理说明,在"逻辑先验"假设下,GRPO 的优势对正确的推理链在期望上为正、对错误的为负,所以梯度单调推高生成正确推理链的概率。CoT-Pass@K 这场争论在综述里被归纳成锐化与发现两派,而反方给出的正是发现派的证据。同一批数据,两种解释:
图注:同一批 pass@k 观察的两种解释。左上虚线:所有路径都已在基础模型里,RLVR 只是重排采样概率;左下实线:RLVR 激活了原本概率极低甚至缺失的正确路径。线宽代表采样概率,绿为正确、红为错误,图为概念示意而非数据曲线。CoT-Pass@K
2026 年年中,第三者又给出一个解释。它指出:标准 RLVR 每个问题只采 8 次,一次观测成功就把这个问题推入 Pass@256 的饱和区(1−(7/8)^256≈1),此后对这个问题的更新在边界上几乎不再有贡献,只会把概率质量继续集中到已采样的轨迹上。从这个角度看,聚合的 pass@k 衰退更像"过度训练后的锐化",而不是"没有新能力"。他们把更新限制在零成功问题上做干预,四个基准的 Pass@256 全部回到基础模型之上,作为佐证。Overtraining
锚论文的入口分析给这场争论提供的是一个新的分辨率,而不是裁决。它的数值与 Yue 的观测不冲突,但它指出:解空间的容量还在,被锁住的是访问面。Shapley 分解显示,训练带来的解概率提升里,65.5% 来自条件执行改善,34.5% 来自访问重分配,说明模型不是没学会新东西,而是学会了之后不再去碰别的门。Entrance 这个分辨率的两个直接后果是:测试时扩展(多采样)的收益会被入口锁闭削掉,2048 次采样也补不回丢掉的题;验证器只在最终出口打分,却间接重塑了模型进门时的选择。四派立场并列,边界各自分明:
| 立场 | 关键证据 | 一句话主张 |
|---|---|---|
| Yue et al.(2025) | 大 k 时基础模型 pass@k 追平反超 | RLVR 只提升采样效率,边界仍由基础模型框住 |
| CoT-Pass@K(2025) | 答案与推理链同时正确才算对,AIME 全 K 显著差距 | 边界确实扩展,只是被答案级指标掩盖 |
| Overtraining(2026) | n=8 单次成功即令 Pass@256 饱和 | 聚合衰退是过度训练锐化,不等于没新能力 |
| 锚论文(2026) | 入口家族的访问与执行解耦 | 容量仍在,访问面被锁死 |
这篇论文不能回答什么:局限与它留下的开放问题
先用论文自己划的边界收束。这套入口分析能成立,前提是解空间可以被穷举,所以直接证据只覆盖 Countdown 一种任务;在标准数学基准上,"首个完整计算"只是入口的可观测代理,不是求解器意义上的严格分解。训练侧同样有保留:PPO 线用的是单样本、无 KL 惩罚、1024 token 上限的设置,GRPO 线评估的是公开训练系列而非自训,多解 SFT 对照用了 LoRA。Entrance 这些限定意味着,3B、7B、14B 上的结论此刻还不能外推到更大规模的模型和更长的思维链。
它留下了三个没人能回答的问题。其一,入口锁闭会随模型规模和思维链长度的增长而缓解,还是变本加厉?长轨迹接力实验已经显示执行端开始掉队,若规模放大把链条拉得更长,入口与执行的权重可能重组,而现在没有任何数据。其二,pass@1 和覆盖率是同一枚硬币的两面,工程上怎么取舍?温度、提示这些便宜手段几乎无效,参数插值这类有效干预要求留存中间检查点,不是每条产品线都做得到;留给产品的是一枚没有标准答案的旋钮,交互式场景要探索空间,竞赛场景只要 pass@1。其三,容量之争会在哪里收敛?Yue 的数据、CoT-Pass@K 的度量、overtraining 的锐化解读和入口锁闭的定位,目前各自独立成立,但 overtraining 只在一个 7B 训练集上验证过,CoT-Pass@K 的证据集中在 AIME 两届,四派之间还缺一次正面的对撞实验:同一批模型,同时报 pass@k、CoT-Pass@K、入口覆盖率和饱和桶占比,让四种度量互相检验。
这篇论文没有终结任何争论,它最有价值的贡献是把问题推进了一步:从"能力扩没扩"到"扩了之后怎么被访问"。奖励只检查出口,锁死的却是门口。以后设计 RLVR 的验证器、奖励函数和训练干预,都得盯着模型进门时的那一次选择,而不是只等它交卷时的答案。想深入可以读原文:Locked at the Entrance, Open Inside: Where RLVR Narrows the Solution Space — arXiv:2608.29188
参考文献
- Locked at the Entrance, Open Inside: Where RLVR Narrows the Solution Space — https://arxiv.org/abs/2608.29188
- DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning — https://arxiv.org/abs/2501.12948
- A Survey of Reinforcement Learning for Large Reasoning Models — https://arxiv.org/abs/2509.08827
- Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model? — https://arxiv.org/abs/2504.13837
- Understanding Diversity Collapse in RLVR via the Lens of Overtraining — https://arxiv.org/abs/2606.15455
- When Sharpening Becomes Collapse: Sampling Bias and Semantic Coupling in RL with Verifiable Rewards — https://arxiv.org/abs/2601.15609
- Reinforcement Learning with Verifiable Rewards Implicitly Incentivizes Correct Reasoning in Base LLMs — https://arxiv.org/abs/2506.14245
- Scaling Laws for Reward Model Overoptimization — https://arxiv.org/abs/2210.10760
- Verifier-Induced Support Reshaping in On-Policy Optimization — https://arxiv.org/abs/2608.00220