推理模型带来的加速,只发生在能自动判对错的任务上
2024 年 9 月之后,前沿模型的能力曲线明显换挡。Epoch AI 的能力指数数据显示:推理模型的 SOTA 序列以每年约 14 ECI 分向前推进,非推理序列只有约 6 分。两条线一快一慢,"智能增速翻倍"的标题随即出现。但把斜率翻倍直接读成"通用智能翻倍",是把统计口径当成了能力事实。
这篇专题想拆掉这个误读,但拆完之后结论并不等于"没有加速"。真正的图景更精确:加速是真的,却是有方向的。它集中在能廉价可靠自动判对错的任务上,也就是数学、编程这类自带判分器的领域;写作这类难验证的任务,大体还沿旧轨道前进。我们分五步论证:先校准头条数字的统计口径,再拆开"推理模型"标签底下真正共享的机制,然后看三根独立尺子的互相印证,接着用反例检验机制,最后给出把"局部换挡"升级为"通用跃迁"需要什么样的证据。整篇只有一条主线:可验证性是这轮智能增长新的增长阀门。
一、头条数字 14 对 6 分/年:ECI 这把尺子量出的"加速"到底意味着什么?
ECI 是把尺子,不是温度计
要理解 14 和 6,先要知道 ECI(Epoch Capability Index,能力指数)是什么。它不是一个基准,而是把几十个基准的成绩换算到同一根能力轴上的标定系统。做法来自项目反应理论(item response theory),那是教育测量里的统计模型:每个模型估一个能力值 $C_m$,每个基准估一个难度值 $D_b$ 和一个斜率 $\alpha_b$,模型在基准 b 上的期望得分由 sigmoid 给出:
$$\text{score}(m, b) = \sigma(\alpha_b \cdot (C_m - D_b))$$
难度高的题难得分,能力强的模型得分高,这是一条标准的行为学曲线。拟合完成之后,所有模型和所有基准被放在同一根轴上,谁高谁低一目了然。这根轴的零点、单位都是人为定的:Epoch 把 Claude 3.5 Sonnet 钉在 130、GPT-5 钉在 150,相当于给尺子刻上两个参考刻度。截至 2026 年 9 月的快照,ECI 覆盖 60 个基准、266 个模型。ECI 文档
这把尺子的设计哲学比刻度本身更重要。文档 FAQ 说得直白:绝对 ECI 值本身没有意义,只有相对的斜率、速度比才有意义;和棋类的 Elo 积分一样,没有上限,锚点只是为了可读性。这也解释了后面所有"加速"叙事的边界:在人为刻度上量出的斜率翻倍,不等于能力翻倍。Epoch 曾在发布时近似估计"5 分 ECI 增长大致对应 METR 时间跨度翻倍",但那只是当时的经验对应,不是数学恒等式。
"把不同基准缝到同一根轴上"这件事的方法论出处,是 Epoch 与 Google DeepMind 合写的 Rosetta Stone 论文。看下面这张图。

图注:多个基准各自的准确率随能力变化的散点(每个小面板一个基准),被同一个 IR 模型压到共享的横向能力轴上,各自在不同位置穿过 50% 正确率。所谓能力标定,就是把不同基准上不可比的分数,缝成同一根轴上可比的点。Rosetta Stone
论文的拟合对象是 179 个模型、38 个基准、1324 条分数记录,模型内部不假设"能力随时间或算力如何演化",时间趋势是拟合完才浮现出来的现象,不是输入。这意味着"刻度任意"是一句方法论声明,不是数据造假。也正因如此,同一根尺子上量出的斜率,必须配合尺子本身的构造来读。
14 对 6 是两条 SOTA 序列的相对斜率
了解尺子之后,看头条数字本身。2026 年 9 月的 Data Insight 的划分口径是:GPT-4.5(2025-02-27)及之前发布的模型一律归非推理(除一份未完整公开的"特例推理模型"清单),GPT-4.5 之后发布的全部归推理;推理 SOTA 序列的样本实际从 2024-09-12 发布的 o1-mini 与 o1-preview 起算。非推理趋势从 GPT-4(2023-03-14)算起,到 GPT-4.5(2025-02-27)为止。在 13 个推理 SOTA 与 10 个非推理 SOTA 模型上各拟合一条直线。SOTA 即 state of the art,指每个发布时点上最强的模型。结果就是下面的图。

图注:ECI 前沿趋势图。粉色是推理模型 SOTA 序列的拟合线,+14 ECI/年(斜率 90% CI 12–17,adj. R² 0.98);青色是非推理序列,+6 ECI/年(斜率 90% CI 3–8,adj. R² 0.76)。约 2024 年 9 月后两条线分岔;带子是 90% 预测区间(原文未给预测带标注数值范围),不是斜率置信区间。ECI 文档
三个口径细节必须当场校准。第一,14 和 6 是标度上的斜率,单位是"ECI 分/年",这个刻度是人为的,所以"斜率差 2.3 倍"只在这把尺子上成立,不能外推成"智能快了两倍多"。第二,图中的带子是 90% 预测区间,意思是"下一个前沿模型的 ECI 大概率落在这个范围",它回答的并不是"斜率有没有显著变化"这个问题。第三,样本只有 23 个点,推理序列那条线很干净(R² 0.98),但干净来自拟合的是 SOTA 序列本身,SOTA 序列怎么挑会直接影响结论,评分者自己也无法完全公开这套划分的全部特例。
这不是 Epoch 第一次报告加速。2025 年 12 月它曾用"分两段线性"拟合报告 +8.3 到 +15.5 ECI/年,那个版本已被作者标注 superseded,当前口径就是 14 对 6。方法从"一个断点分两段"换成了"推理与非推理双序列",说明数字本身在演化,引用时要用现行口径。
加速是真的,但方向性已经写在这张热力图里
斜率变化是不是普适的?同样来自 Epoch 加速报告的核心图可以直接回答:

图注:加速报告的主结果热力图。8 行是 8 种候选曲线(全局线性、推理/非推理双直线、分段线性、幂律、指数等),4 列是四个能力指标(ECI、METR 时间跨度取对数、综合数学指数、WeirdML V2 指数)。单元格数字是该曲线"不显著差于最佳拟合"的频率。"推理/非推理双直线"在前三列全部拿到 100%,在 WeirdML V2 列是 0%;全局线性只在 WeirdML V2 列拿到 100%。EpochAccel
这张图用同一套拟合协议同时检验四个独立构造的能力指标,结论带着很强的方向性:加速不是均匀地发生在所有任务上,而是集中在前三列。第四列 WeirdML V2 恰好是唯一一个"模型只能提交 5 次、不能调工具"的基准,这个设定和它没加速之间的关系,是第四章的主菜,先在第一章记下这颗钉子。
小结一下本章:14 对 6 分/年是任意刻度上量出的相对斜率,它证明 2024 年后前沿增速确实发生了显著变化,但绝不等价于通用智能翻倍,而且方向性已经在热力图里显形。既然斜率真的变了,下一章的问题就是:推理模型这个标签底下,到底共享了什么机制,才让尺子弯向一边?
二、"推理模型"标签底下,真正共享的机制是什么?
标签是复合物:三样东西捆在一起
"推理模型"不是一个单一因果变量,它同时捆绑了三样东西:更重的 RL 后训练、更多的推理时算力(test-time compute,生成阶段投入的额外算力)、以及显式的思维链轨迹。任何把加速归因给"推理模型"单一样子的说法,都没法解释究竟是哪一样在起作用。
闭源锚点是 OpenAI 的 o1 系统卡:o1 系列用大规模强化学习训练模型进行链式思考,模型学会改进思考过程、尝试不同策略、识别错误。产品级范式公开了,但具体算法、奖励函数、数据配比都没有披露,o1 只能作为范式证据,不能当配方。o1 System Card
把配方摊到台面上的是 DeepSeek-R1,它把"推理模型 = 三样东西的捆绑"还原成了可复核的训练细节,并且让"可验证"从工程细节升格成适用边界。
奖励只判最终答案对错:R1 摊开的配方
DeepSeek 先做了 R1-Zero:在 V3-Base 上跳过 SFT 直接纯 RL,理由是人为定义的思考模式可能限制探索。效果是 AIME 2024 的 pass@1 从 15.6% 跳到 77.9%。注意这是训练过程的起止值,说的是 R1-Zero 这个纯 RL 模型;叠加自洽性解码(cons@16)还能到 86.7%,那是另一个口径,三个数字不可混用,尤其不能说 77.9% 是 R1 的成绩。DeepSeek-R1
最关键的机制声明不是成绩,是奖励的定义。R1-Zero 的 rule-based reward 由两部分等权相加:accuracy 要求数学答案放进可解析的格式、代码题用编译器跑预设测试用例;format 要求思考过程包在规定的标签里。论文明说对推理任务不用神经奖励模型(无论 outcome-based 还是 process-based),理由是神经 RM 在大规模 RL 下容易被 reward hacking、重训代价高。一句话:奖励只判最终答案对错,不管过程长什么样。这就是"廉价可靠自动判分器"的工业级实例。
为什么推理 RL 的配方长成 GRPO 这样,也由这个设定决定。看数据流对比:GRPO 去掉了 value model,改由一组采样的组内分数估计 advantage。

图注:PPO 与 GRPO 的数据流对比。GRPO 放弃 value model,advantage 由同一问题的一组采样输出的组内分数估计;KL 项加进 loss 而非逐 token 稠密奖励,避免隐式惩罚响应长度。DeepSeek-R1
选型理由在论文里写得很清楚:value model 和策略模型体量相当,显存算力开销翻倍;只有最终结果奖励时 value model 本就难训,长 CoT 下模型会在中途推翻前文,用部分响应预测最终回报更不可行。所以整个配方是围绕"只有结果可验证"这个前提长出来的,不是算法炫技。边界也要说清:GRPO 并不碾压 PPO,论文附录显示 PPO 把 λ 调到 1.0 后可以逼近 GRPO,GRPO 的优势是省调参、省资源、适配长 CoT。
R1 的多阶段管线进一步暴露了"定向优化"的内部结构。

图注:DeepSeek-R1 的多阶段后训练管线。从 DeepSeek-V3 Base 出发,经过 Dev1、Dev2、Dev3 三个中间检查点再到最终 R1,包含冷启动数据、两轮 RL、拒绝采样与 SFT。DeepSeek-R1
论文给出了阶段间的能力此消彼长,这比最终分数更有教学价值:Zero 到 Dev1 因冷启动数据规模有限,推理能力部分退化、指令遵循提升;Dev1 到 Dev2 面向推理的 RL 让数学、代码、STEM 大幅提升,偏好类基准只是边际改善;Dev2 到 Dev3 塞进非推理语料,偏好类基准才显著改善;Dev3 到 R1 数学代码只剩边际提升,收益全在通用指令遵循与偏好基准(AlpacaEval 提升 25%、ArenaHard 提升 17%)。可验证域的收益来自 rule-based RL 阶段,偏好域的收益来自另一条数据和偏好奖励模型阶段,两者互不带动。这是"定向优化"最早的内部证据。
一套统一语言:RLVR 综述的奖励四方向
o1 和 R1 各自的做法,在 2025 年的 RLVR 综述里被归纳成一套统一语言。RLVR(Reinforcement Learning with Verifiable Rewards,带可验证奖励的强化学习)被界定为在标准 RL 循环中接入客观、可自动验证的奖励信号,程序正确性检查、形式化证明、单元测试都算;综述把改进方向分成四类。

图注:RLVR 技术架构图。顶部是 K-turn Rollout 主流程(策略 → 采样 → 环境 → 工具/agent → 奖励模型 → 过滤 → 组内计算);中部虚线圈出四类改进方向:A 拓展奖励来源、B 提高奖励密度(step-level/process 奖励)、C 增强奖励动力学、D 演化奖励结构,底部是四方向各自的子图详解。A/B/C/D 是综述作者自己的分区标签,不是权威分类编号。RLVR Survey
用这套语言,规则化奖励、过程奖励模型(PRM)、偏好模型各归其位:规则化奖励属于拓展来源里的高密度形式,PRM 对应提高密度里的 step-level 一档,偏好模型属于来源拓宽。综述给出的机制解释用词值得原样保留:数学和代码特别有效,本质是因为这两个领域有廉价、可靠、可重复的自动判分器。
到这里,"推理模型"标签被拆开了:它捆绑的三样东西背后,唯一真正共同的机制前提,是任务能廉价可靠地自动判对错。RL 要生效需要奖励信号可靠,测试时搜索要生效需要验证器存在,两者都指向同一个阀门。外置验证器驱动的搜索也一样:Snell 2024 的研究(pre-o1 时代)证明,在 MATH 上,用过程奖励模型做测试时搜索,小模型加搜索能抵得上一个约 14 倍大的预训练模型,这是"验证器把推理算力换算成预训练算力"的原始经验锚点,细节下一章展开。Test-Time Scaling
三、三根独立尺子同时提速,为什么都指向同一个解释?
第二根尺子:METR 的 50% 时间跨度
第一根尺子 ECI 量的是"模型能解多难的问题",第二根尺子换了一个量纲:把 AI 能力翻译成"人类专家要花多久才能完成这个任务"。METR 的 50% 时间跨度定义为:一组人类专业人士(合同外包、约 5 年经验)平均要花 T 小时的任务,AI agent 有 50% 概率独立完成,那么它的时间跨度就是 T。这个定义先把"能力"翻译成了人类可感受的时长。
这根曲线是怎么造出来的,直接看方法论图。

图注:METR 测算 50% 时间跨度的三步法:先建一个多样任务池;再让人类专家和 AI agent(模型加脚手架)分别尝试,记录人类耗时与 AI 成功率;最后用 logistic 模型拟合出每个 agent 在 50% 成功率时对应的任务时长,按模型发布日期画点。METR 时间跨度
结果就是下一张图,2019 到 2025 年的对数线性增长。

图注:50% 时间跨度随模型发布日期(2019–2025)的变化,对数坐标下散点沿指数回归线上升,灰色带是 95% 置信区间(任务族、任务、尝试三层分层 bootstrap)。趋势下端 GPT-2/3 只能搞定几十秒的人类任务,上端 Claude 3.7 Sonnet 已到 50–60 分钟量级。METR 时间跨度
全期 50% 翻倍约 207 天,也就是约 7 个月(95% CI 166 到 240 天)。2026 年 1 月的 TH1.1 更新把任务套件扩到 228 个,post-2023 翻倍 130.8 天,post-2024 翻倍 88.6 天,约 3 个月。检测到的翻倍时间在压缩,这是"2024 年后提速"的第二根独立支柱。METR 时间跨度
这根尺子还有另一半必须讲:论文作者自己列的七项方法局限。挑最要紧的说。第一,饱和风险:2026 年 5 月项目页写明,16 小时以上的测量在当前任务套件下不可靠,前沿模型已经把长任务测量空间顶到天花板。第二,置信区间宽:Claude Opus 4.5 的 P50 是 320 分钟,CI 上界 729 分钟,是点估计的 2.3 倍。第三,外推对速率假设极其敏感:翻倍速率慢两倍会让"1 个月任务"预测推迟 4.8 年,绝对值减半只推迟 0.6 年。第四,messy 任务系统性偏低:依赖长程上下文、需要主观判断、无法自动判分的任务,成功率系统性低于按长度预测的值,说明"长度"里其实混着"结构化、可判分"的成分。第五,任务分布限于软件工程、ML 研究与网络安全,全部是清洁可自动判分的任务,写作这类跨领域的绝对时间跨度要低一到两个数量级。这些局限本身就是"时间跨度不等于通用智能"的论据,引用这条曲线时一条都不能省。
三根尺子互证,加上一个算力口径
把 ECI、METR 时间跨度、综合数学指数三根独立构造的尺子放到同一套拟合协议下(就是第一章那张热力图),双直线在三列全部 100% 胜出。报告作者写了一段"关于可推广性的说明":三项加速全部集中在编程与数学,这两类任务共享"正确性可廉价自动验证"的属性;正确性难以自动验证的领域,未必有同样的加速。EpochAccel
然后是 Epoch 语境里把"加速"换算成"算力"的口径:CEG(compute-equivalent gain,算力等效增益),把后训练和推理时投入折算成"相当于预训练多花了多少算力"。这个口径的原始经验锚点在 Snell 2024。

图注:Snell 2024 的主结果。左半:compute-optimal 缩放策略在修订(revisions)与 PRM 搜索两种机制下,都比 best-of-N 基线省约 4 倍测试时算力。右半:FLOPs-matched 对比下,小模型加测试时搜索的性能曲线可以逼近一个约 14 倍参数的预训练大模型(greedy 采样)。Test-Time Scaling
Epoch 语境下的算力等效折算口径与 Snell 的 14× 基准、基线不同,不可互换;Rosetta Stone 论文用同一框架回看真实数据,检测到 2024 年 4 月出现约 1.95 倍的加速,略低于 2 倍阈值,且断点早于推理模型公开发布,作者归因于推理模型所代表的算法范式迁移。Rosetta Stone
三根独立构造的尺子,加上算力等效的口径,指向同一个机制解释:换挡发生在可验证域,机制是"搜索加验证器"提升了能力产出,而不是通用能力凭空加速。如果这个解释成立,那把"可验证"这条路拆掉,也就是限制提交次数、不给工具、让任务难以自动判分,加速就应该消失。下一章就去找这个反例。
四、反例当探针:WeirdML V2 和写作任务为什么没换挡?
探针一:锁死搜索与工具预算后,推理收益消失了
负对照(negative control)的逻辑很简单:声称"X 是阀门",就去找一个把 X 拆掉的场景,看效果是否消失。但拆什么、留什么,必须拆得精确。WeirdML V2 的 17 个新颖机器学习任务,难点在"需要真正理解数据、不能套现成配方",评估环境则被一组硬约束锁死。

图注:WeirdML 的评估闭环。LLM 生成代码 → 代码提取 → Docker 隔离环境执行(TITAN V GPU 12GB、120 秒超时)→ 与真值比对出准确率 → 结果回传给 LLM 再生成。整个循环每 run 最多 5 次提交,模型不配任何外部工具。WeirdML V2
先分清这套硬约束拆掉了什么、留下了什么。被留下的是自动准确率反馈:每一轮提交都会把执行结果"与真值比对出准确率"再回传给模型,任务目标依然可自动判分,验证信号从头到尾都在。被拆掉的是两样别的东西:5 次提交让每个 run 只有 4 轮反馈(终端输出加测试集准确率),无外部工具意味着没有 RAG、没有 Bash、没有搜索代理,120 秒加单卡把单次提交的算力窗口压到极小。这套硬约束锁死的,是第二章那个机制里"搜索"这一半:验证器还在,但模型几乎没有预算去利用它。所以 WeirdML V2 是"有限搜索与工具预算下推理收益"的探针,不是"可验证性"的探针,这两件事不能混为一谈,它测的是预算,不是判分器的有无。有限提交内更长推理是否真的兑现收益,看迭代曲线。

图注:17 个任务平均准确率随提交次数(迭代 1–5)的变化,每个模型一条曲线,端点误差棒是 95% bootstrap 置信区间。开 adaptive 或 xhigh 推理档的模型与不开推理的版本,到第 4–5 轮都收敛在 0.77–0.79 区间,更长的推理轨迹在有限提交内没有产生可观测的额外收益。WeirdML V2
回看第一章那张热力图:WeirdML V2 是同一份加速报告 4 个指标里唯一没被双直线胜出的列,全局线性反而 100% 胜出。报告的官方解释给了两条:一是这个环境异常资源受限,不是当前 RL 后训练的重点;二是只有约 1 年 pre-reasoning 数据,统计功效不足以检出断点。配上机理侧的解读:5 次提交加无工具,把"搜索预算"这条路关掉了,剩下的是模型在分布内能不能直接采到正确路径。这句话的适用范围必须原样保留:它证明的是"在搜索与工具预算被压到极限的环境里,推理换挡没有兑现",不是"可验证性无关紧要",因为这个环境里的准确率反馈从未缺席。EpochAccel
同一组任务的时间维度:仍在增长,但没有换挡
反例不能只看一个基准,也不能只看一个口径。WeirdML 的作者把同一份数据折算到 METR 的 50% 时间跨度口径,得到下面的曲线。

图注:10 个 SOTA 模型在 WeirdML 上的 50% 时间跨度(横轴发布日期,纵轴对数刻度的 LLM 估计人时),橙色指数拟合线给出约 4.8 个月翻倍(95% CI 3.8–5.8)。需要明确:这里的人时是 LLM 估计值,不是实测人类用时。WeirdML TH
约 5 个月的翻倍速度,与 METR 的约 7 个月同向,说明这组"无法套用现成配方、搜索预算受限"的任务在时间维度上仍在增长,但形态是连续指数,没有出现断点式换挡。叙事锚点:GPT-4(2023 年 6 月)约 24 分钟,Claude Opus 4.6(2026 年 2 月)约 37.7 小时。作者自承的方法局限要一并带上:LLM 估计的高分门槛人时系统性偏高 3 到 8 倍,置信区间被低估,这条曲线是趋势量级的证据,不是精确测量。WeirdML TH
探针二:写作是一条独立、尚未直接检验的边界
到这里要停一步:WeirdML 证明了预算受限时推理收益兑现不出来,但它始终带着准确率反馈,不能自己去证明"缺乏判分器"那一侧。真正指向可验证性本身的,是另一条独立证据。DeepSeek-R1 论文的 Limitations 自陈:写作类任务缺乏可靠奖励模型,扩展纯 RL 仍是开放挑战;软件工程任务因为评测耗时长,大规模 RL 未能充分施加。作者把"验证成本"而不是"验证可能性"当成了障碍,这正是"廉价"这个限定词的注脚。但要注意它的证据地位:这是一条训练侧的自我边界声明,目前没有一篇直接实验在真实写作任务上测量推理模型的加速是否消失,所以它是方向一致、尚待直接检验的边界,不能和 WeirdML 合并成同一个负对照。DeepSeek-R1
把两条探针摆在一起:WeirdML V2 用直接证据说明,把搜索与工具预算压到极限、只留准确率反馈时,推理换挡兑现不出来;写作这条边界有 R1 自述局限支撑方向,但还缺一份正面测量,所以"写作没换挡"目前是待检验的假设,不是已定论的事实。反例到这里把"换挡依赖搜索预算与验证器"这条机制判断钉得更牢,也把没测到的部分标了出来。至于可验证域内部,这种换挡有没有天花板?会不会只是把 base 模型里已有的东西采样得更快?最后一章给出判据。
五、什么证据,才能把"局部换挡"升级为"通用跃迁"?
第一层判据:pass@k 反转
要分清"能力扩展"和"采样效率",先引入一个评估口径。pass@k 的意思是:同一个问题允许采样 k 个答案,只要其中至少一个正确就算过。pass@1 是一次生成的正确率,pass@256 是给足机会时的上限。如果一个模型只是把"本来就会的题"做得更稳,它在 pass@1 上会大涨,但在大 k 下不会比原始模型更强,因为大 k 已经把 base 采样分布里的正确答案都捞出来了。
Limit of RLVR 的研究(NeurIPS 2025 录用)在数学、代码、视觉三个领域、多个模型家族(Qwen-2.5 7B/14B/32B、LLaMA-3.1-8B)上做了一套系统实验:RLVR 后的模型 vs 各自的 base 模型,完整跑 pass@k。结果高度一致:小 k 时 RL 胜,大 k 时 base 反超,交叉点通常在 k=32 到 128 之间。一个具体锚点:Minerva 32B 上,base 在 k=128 比 RL 版本高约 9 个百分点。也就是说,给足采样次数,base 能答对的题反而更多。Limit of RLVR
论文用一张概念图把机制讲清楚。

图注:Problem A 与 Problem B 两个搜索树对照。绿色是正确路径、黑色是高概率采样路径、灰色是低概率路径。Problem A 中 base 与 RLVR 的树都含正确路径,RL 只是把概率质量集中过去,即采样效率提升;Problem B 中只有 base 的树含正确路径,RLVR 的树把它丢了,即 scope loss。核心发现:RLVR 模型的全部推理路径本来就存在于 base 的采样分布里。Limit of RLVR
这张图翻译成人话:RLVR 把概率质量集中到 base 已经拥有的正确路径上,代价是丢掉 base 里低概率的正确路径。所以第二章看到 R1 的 cons@16 加成 86.7% 不用惊讶,那正是"把 base 分布里的正确答案捞上来"的同一种形态。六种 RLVR 算法(PPO、GRPO、Reinforce++、DAPO、Oat-Zero 等)的天花板高度也出奇一致。

图注:同一 base(Qwen-2.5-7B)上六种 RLVR 算法的 pass@k 曲线,以及采样效率差距条(base 的 pass@256 与各 RL 的 pass@1 之差)。低 k 时 RL 曲线在 base 之上,k 约在 32–128 之间交叉,右端 base 曲线升过所有 RL 曲线;六根差距条高度相近,天花板是均匀的。Limit of RLVR
注意结论的适用范围:实验限定在二元 0/1 可验证奖励、GRPO 风格无 value network 的方法;dense reward、process reward、agent 式 RL 是否突破这个天花板,论文标为开放问题,目前尚无可靠实证。
第二、三层判据:算力等效不是恒定汇率
Snell 2024 的 14× 常被引用成"推理算力可以兑换预训练算力"的普适汇率,但原图其实画出了它的条件性。

图注:FLOPs-matched 下预训练与测试时算力的权衡。每根线是一个难度分位下测试时算力缩放的性能;星号代表约 14 倍大模型 greedy pass@1 的等效位置。星在曲线下方说明测试时算力更划算,在曲线上方说明预训练更划算。简单题、低推理负载(R<<1,即推理算力远小于预训练算力)时测试时算力赢;难题、高负载(R>>1)时反过来。Test-Time Scaling
14× 是 MATH、PaLM 2-S*、低推理负载下的条件性数字,不是恒定比例。把 14× 当普适汇率写进预算模型的读者,等于同时假设了 R<<1 和简单题两个条件成立。再加上 METR 那句"16 小时以上测量不可靠",第三层判据的方法论边界也有了自证。METR 时间跨度
三层判据,缺一不可
把前面所有材料收敛成三条可证伪的判据,满足全部三条,才能把"局部换挡"升级为"通用跃迁":
| 判据 | 要回答的问题 | 目前的证据指向 |
|---|---|---|
| 匹配推理预算后的曲线对比 | 同样的推理预算下,换挡还在吗 | pass@1 的领先在 pass@256 消失(Limit of RLVR) |
| 跨越难验证与现实任务的报告 | 加速能不能越过"能自动判分"这条边界 | WeirdML V2 无断点,写作缺可靠奖励模型 |
| 完整的算力-性能曲线 | 14× 是可复制汇率还是条件性数字 | 仅 R<<1 与简单题成立,高负载反折 |
截至材料时间点,三条判据没有一条被满足。目前证据支持的是"可验证域局部换挡",不支持"通用能力结构性跃迁"。以下几条是文献中明确标注的开放问题,超出本文证据范围,建议结合后续资料验证:RLVR 天花板是否在 dense / process reward 条件下被突破;10 到 1000 倍的训练算力是否突破 pass@k 上限;METR 的任务分布能否外推到写作等跨域职业。这些正是检验"通用跃迁"叙事最值得盯的观察点。
所以,把这篇专题的论证收束成一句话:可验证性是这轮智能增长真正的阀门。能自动判对错的任务,RL 和测试时搜索可以放心地把算力砸进去,换挡由此发生;难验证的任务,验证器缺席,RL 退化成在 base 分布内采样,加速随之消失。今后再看到推理模型"又提升了"的头条,用一个动作检验它:把推理预算匹配掉、把难验证任务摆上来、把完整算力曲线要过来。三层判据俱全,才是通用换挡;否则,就只是可验证域里一次高回报的定向优化。
参考文献
本专题引用的核心资料如下,建议深入学习时阅读原文:
- ECI Documentation - Overview / FAQ / Methodology / Included Benchmarks — https://epoch.ai/data/eci-documentation
- Have AI Capabilities Accelerated? — https://epoch.ai/publications/have-ai-capabilities-accelerated
- A Rosetta Stone for AI Benchmarks — arXiv:2512.00193
- OpenAI o1 System Card — arXiv:2412.16720
- DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning — arXiv:2501.12948
- Reinforcement Learning Meets Large Language Models: A Survey of Advancements and Applications Across the LLM Lifecycle — arXiv:2509.16679
- Scaling LLM Test-Time Compute Optimally Can Be More Effective Than Scaling Parameters For Reasoning — arXiv:2408.03314
- Measuring AI Ability to Complete Long Software Tasks — arXiv:2503.14499
- WeirdML V2 Project Page — https://htihle.github.io/weirdml.html
- WeirdML Time Horizons (LessWrong) — https://www.lesswrong.com/posts/hoQd3rE7WEaduBmMT/weirdml-time-horizons
- Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model? — arXiv:2504.13837