RLVR 数据策略评估平台 DataFlex-RL：13 种做法、12 个随机种子，没一个赢过均匀采样
RLVR 成了推理后训练的主流，可训练数据该怎么喂没人说得清
13 种做法、12 个随机种子、591 次训练运行，最后摆到桌面上的结论只有一句：没有一种做法在统计上赢过“什么都不做”。这里的“什么都不做”，指的是均匀采样，让模型对每个问题生成固定数量的回答，全部等权送进更新，各领域的比例也一成不变。DataFlex-RL 为什么发现 13 种数据策略无人胜过均匀采样？这个问题绕不开三级台阶，每一级都是回答它所必需的前提：先讲清 RLVR 凭什么成为主流，再讲清数据策略究竟改的是训练的哪个环节，最后讲清为什么此前没有人能给这个问题一个答案。三块少一块，这个发现都读不懂。
第一级台阶是 RLVR 的崛起。以前的对齐，要靠一个神经网络去模拟人类偏好，给模型回答打分。现在的主流做法换了一种信号：把一道数学题丢给模型，让它自己写草稿，再拿规则去核对最终答案，答对了给奖励，答错了不给，人只负责出题和核对答案。这种训练方式叫 RLVR（带可验证奖励的强化学习）。它最轰动的证据来自 DeepSeek-R1-Zero：在没有任何人类推理示范的情况下，只靠数学答案比对、代码单测和逻辑校验这类规则奖励，AIME 2024 竞赛题的 Pass@1 从 15.6% 冲到 71.0%（多数表决进一步到 86.7%） DeepSeek-R1。推理能力不是被范例教出来的，是被奖励信号“逼”出来的。这一级为什么绕不开？因为奖励一旦变成可验证的规则，人在训练里能施加影响的自由度就被搬进了数据环节，这正是后面 13 个候选要争夺的位置。没有这一级，“数据策略”根本不会成为值得检验的问题。
图注：DeepSeek-R1 的多阶段训练体系：从 DeepSeek-V3-Base 出发，经冷启动 SFT、两轮 RL 与 rejection sampling 得到最终 R1；图中另标出 R1-Zero 这条纯 RLVR 分支，以及 R1 向 Llama / Qwen 小模型蒸馏的路径。DeepSeek-R1
第二级台阶回答“数据策略改的到底是哪一环”。每个训练步里，模型对同一个 prompt 会生成好几个回答，业界把这些回答叫 rollout，也就是模型针对同一问题生成的一整段完整回答。这些 rollout 怎么用？全部送进梯度更新，还是挑一部分？挑的话按什么信号挑？权重要不要调大调小？数学、逻辑、科学三个领域各配多少比例？这些选择被统称为数据策略（data policy），它决定的是“哪些样本以多大权重喂给训练”，而不是算法本身。奖励信号全程由规则自动判分，人不再给偏好打分，训练质量能被人影响的就只剩下“喂哪些样本、喂多重”这一个旋钮，这个旋钮就是数据策略。13 个候选比的就是谁能把这个旋钮拧得更好，不知道这一点，就不知道它们到底在比什么。
第三级台阶回答为什么此前没有人能回答这个问题。过去一年多，围绕数据策略冒出一大批方法：DAPO 说要把“组里全对或全错”的样本过滤掉，PODS 说只留方差最大的那几条，GFPO 说按“每个 token 的奖励”排序只学最好的几个，Advantage Reweighting 说低概率 token 的权重太大得压一压，DUMP 说领域配比应该做成在线课程。每篇论文都带着自己的实验、自己的基准、自己的“涨点”结论。反常之处在于：从来没有人把这些方法塞进同一个训练配方、同一组随机种子、同一个评估器里同台比过。各自的涨点都是在各自实验环境里测出来的，摆到一起根本没法互相比较 DataFlex-RL。所以“13 种数据策略无人胜过均匀采样”这个答案无法由任何一篇既有论文给出，只能由一把统一尺子量出来。
DataFlex-RL 就是奔着这把尺子来的，开头那个问题也要由它来实测作答。它不像上面的方法论文那样提出新招，而是搭了一个受控评估平台：把 13 个候选配置塞进完全相同的 GRPO 流程，每个配置在 12 个匹配的随机种子下重训，用配对置信区间判输赢。结果就是开头那句结论：没有哪个候选赢过均匀采样。回头看，三级台阶每一级都直接铺在这个发现上：没有 RLVR 的主流化，数据策略不会成为值得检验的工程问题；没有对数据策略的定义，13 个候选无从进场；没有既有方法的不可比，这把尺子的必要性也就不存在。这篇论文的价值不在发明，而在给出一个能检验所有发明的尺子。
先看配方再看手脚：一个 GRPO loss 上，能改的只有三处
要理解“没有赢家”为什么值得说，得先看清 DataFlex-RL 把训练过程统一成了什么样子。
它选定的配方是 GRPO（组内相对策略优化），这是 DeepSeekMath 论文给出的 PPO 替代方案 DeepSeekMath。GRPO 省掉了 PPO 里的 value model（值函数网络），对同一个问题采样 G 个回答后，直接用这组回答奖励的均值与标准差做基线，算出每个回答的优势：
$$\hat{A}_{i,t} = \frac{r_i - \mathrm{mean}(r)}{\mathrm{std}(r)}$$
为什么敢砍掉 value model？因为它和策略网络同规模，显存和训练成本都要翻倍，而它提供的无非是一个数值基线；GRPO 用组内均值当基线，省掉这一整块。归一化过的优势再进 PPO 式的 clipped surrogate 损失，KL 惩罚直接加进 loss，不单独设 critic。这套配方本身很能涨：DeepSeekMath 7B 用 GRPO 做强化，GSM8K 从 82.9 涨到 88.2，MATH 从 46.8 涨到 51.7。所以 DataFlex-RL 不在配方上做文章，配方只是“公共底座”，论文只关心底座上能动手脚的位置。
在这套流程里，任何数据策略都只是三个位置上的改动。mixture adaptation 改的是 prompt 采样阶段，它决定下一批训练数据从哪个领域来，数学、逻辑、科学各占多少比例，用抽样概率 $p_t(d)$ 表示。selection 改的是 GRPO update 阶段，用一个二值 mask $m_{gk} \in {0,1}$ 决定这个 rollout 的损失项是保留还是直接置零。reweighting 也改 update 阶段，用连续权重 $w_{gk\ell} \ge 0$ 决定每个 rollout 的损失乘以多少。均匀采样加单位 mask 加单位权重，就是那个谁也打不过的公共基线。
图注：论文 Figure 1：共享的 GRPO 工作流与三族数据策略的干预位置。mixture adaptation 在 prompt 采样阶段改动领域来源 $p_t(d)$；selection 与 reweighting 在 rollout 和判分之后，分别用 mask 与权重修改当前更新；uniform sampling 加单位 mask / 权重是共同基线。DataFlex-RL
这三族分类不是 DataFlex-RL 自己发明的。它直接继承了 DataFlex 框架在监督 LLM 训练里定下的 selection / mixture / reweighting 抽象 DataFlex，只是把“下一批数据该配什么比例”这类离线调度，搬进了在线 RLVR 流程。现在问题变成：那 13 个候选，分别是怎么在这三个位置动手脚的？
13 个候选进场：三族干预各自的主张是什么
13 个配置里，8 个属于 selection 或 reweighting，3 个属于 mixture adaptation，外加 baseline（均匀采样）和 static（固定均衡混合）两个对照。注意这些候选不是 DataFlex-RL 发明的，论文只做一件事：把已有方法翻译成统一的 mask、权重、抽样概率语言，并给每个方法指定一组具体的 cut-off。
| 家族 | 配置 | 具体做法 | 灵感来源 |
|---|---|---|---|
| 基线 | baseline | 领域均匀采样，单位 mask / 权重 | 共同对照 |
| 对照 | static | 固定均衡混合，领域比例不更新 | 共同对照 |
| selection | difffilter | 组正确率 $q_g$ 落在 0.2 到 0.8 之间才保留整组 | DAPO 风格过滤 |
| selection | maxvar | 保留使子集奖励方差最大的 $\mathrm{round}(0.5 \cdot | g |
| selection | gfpo | 按每 token 奖励排序，只学前 3 / 5 个 | GFPO |
| selection | topk | 按平均优势排序，保留前 50% | 简单对照 |
| reweighting | ar | 权重 $\propto 0.5\pi + 0.5$，压低低概率 token | Advantage Reweighting |
| reweighting | per | $(a + \varepsilon)^{0.5}$ | PER 风格 |
| reweighting | softmax | $\exp(a / T)$，$T=1$ | softmax 加权 |
| reweighting | diffband | 奖励四分位中段的回答权重乘 2 | 分位数加权 |
| mixture | reward_gap | 按领域奖励差距打分，softmax（$T=1$）+ 0.05 floor | 差距调度 |
| mixture | dump_ucb | 平均优势加 UCB 探索项，softmax（$T=1$）+ 0.05 floor | DUMP |
| mixture | tscl | 按奖励变化斜率打分，softmax（$T=1$）+ 0.05 floor | 教师学生课程 |
Selection 四家的主张各不相同 DataFlex-RL。difffilter 源自 DAPO：DAPO 观察到，一组回答全对或全错时，组内归一化后的优势全是 0，这批数据等于白采，还会让批次梯度噪声变大、有效样本越来越少，所以它要求只留“正确数在 0 和 G 之间”的组 DAPO；DataFlex-RL 的 difffilter 更严，把组正确率卡在 0.2 到 0.8，直接跳过两端。maxvar 源自 PODS，它的论点是别把所有 rollout 都送进更新，应该留“方差最大”的子集，也就是把答案谱两端的正例和反例都保住，给策略更新最强的对比信号 PODS。gfpo 针对的是 RLVR 里著名的 length inflation（回答越练越长）：按每个 token 的奖励排序，只学 top-3 / 5，其余 advantage 置零，相当于隐式奖励塑形 GFPO。
图注：GFPO 论文 Figure 1：左栏对照 GRPO 与 GFPO 的训练流程，GFPO 增加“按目标属性排序、只学 top-k、其余 advantage 置零”两步；右栏是响应长度随训练步数的曲线，GRPO 一路上涨，GFPO 变体更平稳。GFPO
Reweighting 四家里，ar 的动机最有意思。Advantage Reweighting 论文用实验证明了一个反直觉现象：GRPO 更新里 token 概率越低，它的梯度范数越大，近似正比于 $1-\pi$，于是整次更新被那些模型几乎不会输出的生僻 token 主导 AR。ar 的权重 $w \propto 0.5\pi + 0.5$ 就是把低概率 token 的贡献按概率压回来，其中 α=0.5 是 DataFlex-RL 给 ar 配置定的取值，比 AR 原论文在 K&K 上推荐的 0.2 到 0.3 更平。per 用 $(a+\varepsilon)^{0.5}$ 的根号压缩，softmax 按 $\exp(a/T)$ 加权，diffband 给奖励中段的回答双倍权重，三者是数据加权里常见的启发式。
图注：AR 论文六格诊断图中的第四格 panel (d)：GRPO 单步更新后，按 token 概率四分位统计的梯度范数与 $1-\pi$ 近似线性相关，说明概率越低的 token 越主导更新，这正是 reweighting 想修正的问题。AR
Mixture 三家长得几乎一样：对每个领域算一个分数，softmax（温度统一到 1）成抽样概率，再给每个领域一个 0.05 的下限，防止某个领域被饿到概率归零。reward_gap 看领域平均奖励的差距，哪边落后补哪边；dump_ucb 在平均优势上加一个 UCB 探索项 $\sqrt{2\log(N+1)/(n_d+1)}$，鼓励模型去尝试没怎么采过的领域 DUMP；tscl 走教师学生课程路线，按奖励变化斜率分配。三家的差别只在“用什么信号打分”，机制完全相同。每个候选都带着“我觉得这样更好”的理由进场，可“觉得更好”和“确实更好”之间，隔着一整套判赢的方法。
怎么判“赢”才算数：12 个匹配种子 + 配对置信区间
判断赢没赢，是这篇论文最较劲的地方。很多“涨点”报道是拿自己跑出来的配置，去对比别人论文里报告的数字。DataFlex-RL 把这条捷径堵死了，它的方法学核心有三条。
第一，基线必须同样重训。uniform GRPO 基线和其余 12 个配置吃同一批初始化运气，谁也没有默认优势。第二，用匹配种子配对。12 组随机种子在实验前一次性抽好，所有配置共享同一批，评价时不是比两个分布的平均值，而是把同一个种子下的两次运行配对做差，对 12 个差值做统计。第三，报告 95% 置信区间而不是点估计。论文自己先跑过 3 种子的子集，发现结论不稳定，这才把主块扩到 12 个种子 DataFlex-RL。
为什么非要配对？因为随机种子本身会带来整体性的运气起伏：某些种子可能让所有配置一起变难，另一些一起变易。直接比较两列独立运行的平均值时，这种共有的波动会变成噪声；配对做差之后，同一个种子下的起落被互相抵消，剩下的才是配置之间的真实差，统计功效因此高得多。
判读规则一句话：paired Δ 的 95% 区间跨过 0，就说明在这个精度下，没有检测到它比基线更好的证据；反过来，跨零不等于证明了等价。per 的区间是 [-3.28, 1.57]，跨度接近 5 个百分点，里面完全可能藏着一个真实的坏效应，只是这个精度测不出来。这正是评估精度本身的边界。这套协议的价值在于，结论的可信度来自“对照怎么跑”，跟方法新不新颖没有关系。看懂它，后面所有表格就有了统一的读法。
13 配置 × 12 种子：GRPO 自己涨了 7.76pp，可没有一个候选赢过均匀采样
主实验的阵仗不小：Qwen2.5-7B-base 上 13 个配置 × 12 个匹配种子，12 个数学、逻辑、科学基准，包括 MATH-500、AIME-2024、OlympiadBench、MinervaMath、GSM8K、Knights & Knaves、BBH Logical Deduction、BBH Object Tracking、ZebraLogic、MMLU-Pro 化学与物理、GPQA-Diamond，主块一共 156 次运行；整个实验矩阵（含 Llama 扩展、规模与家族扫描、机制对照）共 591 次 DataFlex-RL。
这套实验的搭台方式也值得一提。训练用 15,000 条 prompt，数学、逻辑、科学各 5,000 条，跑在 verl 框架上，每个 prompt 生成 K=5 个回答，KL 系数 1e-3，梯度只更新 300 步；总分的算法是先按域内平均、再跨域平均，保证三个领域等权；训练 prompt 还与全部评估题做过查重，没有重叠样本。台子搭得这么干净，就是为了让输赢只可能由数据策略本身引起。
先看配方自己的成绩。未训练的 checkpoint 平均 42.01，uniform GRPO 训练后 49.77，涨了 7.76 个百分点，95% 置信区间 [7.28, 8.25]。这个数字必须和下面的数字分开读：它说明模型确实在学，配方本身的训练空间（headroom）非常充足。再来看 13 个候选的表现。注意这里有两套对照口径，必须分开读。8 个 selection / reweighting 的 paired Δ 是相对 uniform 基线算的。3 个 mixture 的 paired Δ 则是相对 static 算的。static 是固定均衡混合的对照，领域比例从不更新，和 uniform 不是一回事。下面的表、后面的结论都要按这个口径分开读。
| 家族 | 配置 | 相对基线 | paired Δ (pp) | 95% CI |
|---|---|---|---|---|
| selection | difffilter | uniform | +0.08 | [-0.67, 0.82] |
| selection | maxvar | uniform | −0.58 | [-1.39, 0.23] |
| selection | gfpo | uniform | −0.90 | [-1.87, 0.08] |
| selection | topk | uniform | −0.38 | [-1.14, 0.38] |
| reweighting | ar | uniform | −0.28 | [-1.15, 0.60] |
| reweighting | per | uniform | −0.86 | [-3.28, 1.57] |
| reweighting | softmax | uniform | −0.23 | [-1.44, 0.98] |
| reweighting | diffband | uniform | −0.02 | [-0.61, 0.57] |
| mixture | reward_gap | static | +0.45 | [-0.09, 1.00] |
| mixture | dump_ucb | static | +0.61 | [-0.02, 1.25] |
| mixture | tscl | static | +0.16 | [-0.61, 0.93] |
先看 uniform 口径。8 个 selection / reweighting 候选加上 uniform 基线自己，9 个策略均值的总跨度只有 0.97 个百分点，8 条配对区间全部跨零，没有一条触及显著。再看 static 口径。3 个 adaptive mixture 的点估计甚至都是正的，+0.45、+0.61、+0.16，看起来方向都对，但区间同样全部跨零，总跨度 0.61 个百分点，统计上站不住 DataFlex-RL。
跨模型和换规模也是同样的故事。Llama-3.1-8B-base 上用 12 个种子重跑，各配置均值挤在 18.66（softmax）到 21.98（diffband）之间，基线 21.12，没有共同赢家。这里必须用修正后的数字：原评估器会把不支持的数学题静默判 0 分，修正后整体比最初报告低 14 到 16 个百分点。规模扫描里更出现符号翻转：difffilter 在 1.5B 上是 −0.83，到 14B 变成 +1.20，同一个方法在不同规模上时而拖后腿时而领先，看不出规律。论文还在附录用 3 个种子对替代 cut-off 做了描述性诊断，比如 difffilter 的备选强度、maxvar 和 topk 的 0.25 / 0.75 保留比例，结果只是方向性线索，没有资格进主协议。
把两块拼起来，“没有赢家”要按口径精确表述：8 个 selection / reweighting 相对 uniform 未见可重复增益，3 个 mixture 相对 static 也未见可重复增益。至于 mixture 直接对 uniform，论文没有另做配对检验，证据只到均值层面。同一张 12 种子均值矩阵里，三个 mixture 的点估计 49.46、49.61、49.16 全都低于 uniform 基线的 49.77，方向上同样不占优。所以“没有赢家”不是单点对比的偶然，而是一整块受控矩阵用配对区间判出来的结论：配方能涨 7.76 个百分点，说明模型在学；两套口径里都没有可重复的增益，说明在这个精度、这个配方、这组 cut-off 下，现有数据策略没有可测的增益。这两个事实必须分开读，混在一起就会得出完全相反的错觉。
换把尺子，第一名就换人：结论的边界与仍在进行的探索
主实验说“没赢家”，紧接着论文自己又补了一刀：用什么尺子量，几乎决定谁看起来像赢家。它把同一批 9 组 Qwen2.5-7B-Instruct 运行（3 个种子 × 3 个配置），换不同的基准拼盘重新打分排名。用保留全部基准的宏观平均（Macro-12）或逐题平均（Item-12），排名和领域均衡版（DB-12）的 Spearman 相关高达 0.88。可一旦换成“数学偏科”的拼盘 Math-Heavy-6（5 个数学基准加 GPQA-Diamond，逻辑基准全拿掉），相关直接变成 −0.33，分差也从 3.31 个点缩到 0.90 个点 DataFlex-RL。
| 评估拼盘 | 与 DB-12 的 Spearman ρ | 方法间分差 (pp) |
|---|---|---|
| Macro-12（按域宏观平均） | 0.88 | 2.79 |
| Item-12（逐题平均） | 0.88 | 2.17 |
| Math-Heavy-6（5 数学 + GPQA-Diamond，无逻辑） | −0.33 | 0.90 |
这不是方法真的反转了。把尺子换掉，等于给每个方法换了一组“能被看见的题”：逻辑领域的表现没有变化，但打分表里已经没有逻辑题，在逻辑上特别强的方法自然失去了露脸的机会。Math-Heavy-6 把 topk 和 diffband 排到第一，DB-12 却把 gfpo 和 difffilter 排到第一，两把尺子给出的第一名都不一样。换拼盘就像换把尺子，量出来的“谁更高”是尺子刻度的产物，不是身高的真相。所以今后看到任何“某方法涨了 x 分”的报道，第一反应都该是问一句：用什么尺子量的？
那“没赢家”能说得多满？论文自己把边界划得很清楚：训练只有 300 步，生产环境的 RL 往往上万步；领域只覆盖数学、逻辑、科学 3 个；13 个候选的 cut-off 都是论文指定的那几组具体数值；奖励只用了规则可验证的一类。跨零证明不了等价。换句话说，null 结论在“这个评估口径和这个精度内”成立，它不承诺其他 cut-off、其他训练长度、其他奖励形态下也不成立，论文也没有下这样的断言。
恰恰因为边界清楚，这条 null 结论才最有张力。2026 年 7 月，同方向的工作还在发论文。VIGOR 主张把 rollout 预算动态分配给高方差的 prompt，而不是每个 prompt 平均分：在 Qwen2.5-3B 的数学任务上，达到同样的目标准确率，它比 GRPO 少用 2.3 倍的 rollouts VIGOR。
图注：VIGOR 方法总览：以小初始 rollout 预算起步，每轮按组奖励方差保留 top-α% 的 prompt 并把预算乘 γ 扩大，最终把聚合的 rollouts 送进标准 GRPO 更新，GRPO 更新流程本身不变。VIGOR
ReCo 在 response 和 token 两层做重加权，用方差比压低已经饱和的高概率 token 的贡献，结果 Pass@64 在三个模型上比 GRPO 高 3.1 到 11.3 个百分点 ReCo。它们看起来都在“打脸”没赢家的结论，其实没有：VIGOR 比的因变量是 rollout 效率，也就是花更少的算力达到同样的准确率；ReCo 比的是 Pass@k 采样覆盖。这和 DataFlex-RL 的“终态准确率配对差”不是同一个问题，因变量不同，结论不可互驳。数据策略没有死，只是“数据策略有没有涨点”这个问法，第一次有了标准化的答案方式。
这才是 DataFlex-RL 真正想立的范式。它不是“数据策略没用”的判决书，而是一把可以复制到任何训练里的尺子。今后每个涨点宣称，都得先过三道关：在什么配方下测的？用了什么评估拼盘？报的是点估计还是配对置信区间？过不了这几关的“涨点”，可能只是换了把尺子量出来的幻觉；能过关的涨点，从此有了真正可比较的对手戏。数据策略之争，输赢从来不是重点，尺子才是。
想深入可以读原文：DataFlex-RL: An Evaluation Platform for RLVR Data Policies（arXiv:2609.06107），代码与文档已在 GitHub 开源。
参考文献
- DataFlex-RL: An Evaluation Platform for RLVR Data Policies（锚论文）：https://arxiv.org/abs/2609.06107
- DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models（GRPO 原始论文）：https://arxiv.org/abs/2402.03300
- DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning（RLVR 范式代表）：https://arxiv.org/abs/2501.12948
- DAPO: An Open-Source LLM Reinforcement Learning System at Scale（difffilter 来源）：https://arxiv.org/abs/2503.14476
- DataFlex: A Unified Framework for Data-Centric Dynamic Training of Large Language Models（三族抽象命名源头）：https://arxiv.org/abs/2603.26164
- Not All Rollouts are Useful: Down-Sampling Rollouts in LLM Reinforcement Learning (PODS)（maxvar 来源）：https://arxiv.org/abs/2504.13818
- Sample More to Think Less: Group Filtered Policy Optimization for Concise Reasoning (GFPO)（gfpo 来源）：https://arxiv.org/abs/2508.09726
- Do Not Let Low-Probability Tokens Over-Dominate in RL for LLMs (Advantage Reweighting / Lopti)（ar 来源）：https://arxiv.org/abs/2505.12929
- DUMP: Automated Distribution-Level Curriculum Learning for RL-based LLM Post-training（dump_ucb 来源）：https://arxiv.org/abs/2504.09710
- Learning as Reasoning Unfolds: Progressive Rollout Allocation for Efficient Reinforcement Learning (VIGOR)（同期对照）：https://arxiv.org/abs/2607.22002
- ReCo: Reweighting GRPO Against Distributional Concentration（同期对照）：https://arxiv.org/abs/2607.26862