A-RSI：不靠外部数据的多模态自我改进，用训练日志判断旧任务何时作废

速览

自我改进的真瓶颈不只是造题：旧经验会过期，却没人负责换掉它

A-RSI 是一篇 2026 年 10 月 28 日提交的 arXiv 预印本，编号 arXiv:2610.38568 v1，cs.AI，未标注会议。它解决的不是"怎么造出更好的训练题"，而是"手上这批题什么时候该整批换掉"。整条回路不用外部训练样本，也不用人工标注，题和答案都由模型写的程序按同一份配置算出。判断则完全交给训练日志：一批题如果已经不能让同一道题的不同回答拿到不同分数，就整池换新，权重保留。在 11 个多模态基准上，它用 800 条新任务把均分从 57.77 推到 61.05，高于用掉 3,200 条新任务的连续刷新臂（60.64）A-RSI。

自我改进回路的通行写法是模型自己出题、自己作答、再用作答结果训自己。这条回路成立有一个很少被写出来的前提：题得还有用。一批题被学到所有回答都趋同之后，后面的更新还在烧算力，却几乎不产生梯度。既有工作几乎都在优化"下一批造什么"，把"当前这批何时失效"当成那个问题的副产品。R-Zero 是这一侧的典型，它把难度写进奖励、每轮重新生成题目，于是系统里根本不存在一个会过期的固定池，也就没有"整池到期"这个决策可做R-Zero。

另一件被混在一起的事是标签从哪里来。同样不用外部数据，Absolute Zero 让程序执行结果判对错，MM-Zero 让 Solver 对同一道难题的多条推理做多数投票，再把票数结果当成下一轮的标签。差别不在题目形态，而在"谁有权说这个答案是对的"Absolute ZeroMM-Zero。

图注：Absolute Zero 的闭环。PROPOSE 之后由 Python 构造并检查题目，SOLVE 之后再由 Python 核验作答、给出准确率奖励，两类奖励汇入联合更新，箭头回指模型形成自博弈。Absolute Zero

把这张图与下一张并排看，"答案从哪来"这条轴就清楚了。Absolute Zero 的正确性来自一次真实执行，MM-Zero 的难题正确性来自模型自己的投票。

图注：MM-Zero 的三角色闭环。Proposer 产出描述、简单题与难题，Coder 把描述渲染成图，Solver 先答简单题验证渲染，再用 Majority Vote for Pseudo-Label 为难题生成标签。图中 30、20、50 是流程示例值。MM-Zero

把模型自身预测当标签的代价，Self-Rewarding LM 量过一遍。它的判官式胜率从 9.94% 涨到 20.44%，同期 ARC-challenge 从 57.51 掉到 53.13，回答长度从 1,092 涨到 2,552Self-Rewarding。分数在涨，能力和篇幅同时朝两个方向跑偏。

所以 A-RSI 缺的不是更强的出题器，而是一个判断"这批经验何时整体作废"的机制，同时还得证明答案本身可信。

把两件事拆开：何时换题只看训练日志，答案对不对交给程序

A-RSI 的方法改动可以压成一句：换题时机与答案正确性必须来自两个互不引用的来源，前者只读训练日志，后者只由程序算出。这条切割决定了系统在训练时根本不需要碰验证集和测试集。

图注：A-RSI 的三段闭环。(a) 准备一次，生成题目、检查输出、过滤、封池；(b) 只在当前池上训练 Solver，用完整池替换；(c) 判定面板标着 Logs only 与固定阈值，底注写明权重延续、每窗口重建优化器。A-RSI

(a) 是准备阶段，训练开始前就固定。固定程序采样出一份共享状态（示例是 A:18、B:11），同一份状态决定画出来的柱状图、问的题目和参考答案 18−11=7。(b) 只训练 Solver，奖励由格式、终止、答案三项相加，池子用完就整池替换。(c) 的锁形图标与 Logs only 是全文关键：控制器能看到的只有训练日志，看不到任何 benchmark 分数。

这份契约有一个具体例子。一道平行线截角题，β 在 40° 到 150° 之间采样，答案恒为 β/2；β 取 64° 时答案是 32°，程序按坐标重新解一遍，算出来不一致就丢掉这道题。整套生成器 7 个，产出 16,000 个候选，剔除诊断保留项与超纲项后剩 14,482 个可用候选；初始池 500 题，每次替换 400 题。论文从实际用过的池里抽 1,000 题独立重算参考答案，全部一致，注入的 4,000 个缺陷也全部被检出A-RSI。

边界必须说清。契约保证的是"答案由程序从同一份配置导出"，不是"每一道渲染出来的题都已被形式化证明正确"。1,000 题全部一致是一次抽样审计，不是全量证明。Absolute Zero 用执行器核验代码题是这条思路的原型，A-RSI 把它推广到了图、表、几何这类多模态任务。

池子"教完了"长什么样：组内奖励不再有差异的题越来越多

判据可以压成一句话：池子里还有多少道题，能让同一道题的不同回答拿到不同分数。它不需要标签，也不需要验证集，只需要训练时本来就会产生的奖励记录。

要理解它为什么成立，得回到 GRPO。GRPO 砍掉了价值网络，基线直接取同一道题一组回答的平均奖励，优势等于该回答奖励减去组均值再除以组内标准差。同一道题的 8 条回答如果奖励完全相同，分子恒为零、分母也为零，这组回答不贡献任何策略梯度DeepSeekMath。换成教学场景，一道题如果所有人都做对或者所有人都做错，它就无法再告诉老师该补什么，继续做只是重复。要注意这是对公式的直接推论，DeepSeekMath 原文没有讨论这个退化情形，写成"某篇论文指出"就错了。同一个信号更早已经在批级被工程化过，DAPO 的动态采样会直接剔掉组内结果全同的 promptDAPO。

这个现象有多大，另有人量过。MagicBeanStalk 在约 78,000 道公开数学题上，用 gpt-oss-120b 每题采 8 条回答、预算 32K，只有 12.2% 的题落在"部分答对"的可学习带里，6.3% 全错，其余大多每次都答对，合计约 88% 的语料不提供组内优势MagicBeanStalk。更关键的是这个比例会漂移。换一个更弱的策略，32.3% 的题会在"全错、可学、全对"三档之间重新分类；把预算从 16K 放宽到 64K，看起来"太难"的比例从 33.1% 降到 10.6%。所以判据必须绑在当前策略与当前预算的训练日志上，绑在固定难度标签上会随时失效。

讲解：为什么约九成题不再产生梯度

实现上控制器只维护三个量。U_w 是窗口内有非零组内优势的不同 prompt 计数，a_w 是日志里的训练准确率，δ_w 是触发标志。触发条件是窗口数够 3 个，并且 U_w 跌到两个窗口前的 85% 以下，或训练准确率比两个窗口前高出 10 个点以上。

讲解：整池换题的触发线怎么算

触发后不是重新训练，也不是补几道题。整池换成 400 道新题，已训练的权重继续用，但每个新窗口都会重建优化器与调度器；抽样按固定族配额走，不看模型答案，也不估难度。

跨模型的记录说明这套阈值不是给某个模型调出来的。Qwen 三个池的保持率是 81.59%、83.16%、83.98%，全部触发刷新；MiMo 前两个池是 62.45% 与 71.86%，第三个池是 98.68%，判为 Keep，也就是说一个固定"每三窗口换一次"的调度会换掉它还没用完的池。论文同时写下三条限定：饱和是操作性判据，不等于模型已掌握这批题；控制器不查验证集和测试集；优势用全部奖励项计算，所以格式与终止的差异也计入 U_w，附录复算显示第二次刷新正是靠这一项才真的触发A-RSI。

800 条新任务换来 3.27 分：均分 57.77 → 61.05，而每窗换题的 3,200 条只到 60.64

主结果是一个数据效率结论，不是"分数更高"的结论。同样是 800 条新任务，日志触发加随机补池拿到 61.05，按难度前沿挑题的 Frontier 臂只有 59.59，两者差 1.46 分，唯一区别是换哪一批题。

先把尺子立好。主实验的底座是 Qwen3-VL-8B-Instruct，评测是 11 个 benchmark 共 22,042 题，Macro11 是 11 个准确率的等权平均，不是把所有题拼在一起的 pooled accuracy；主设定输出上限 8,192 token。五个臂的新任务消耗是 800、800、1,200、3,200、0 条；除 No-Refresh 没有终点读数外，四个臂的得分依次是 61.05、59.59、59.89、60.64，折算到每 1,000 条新任务的增益是 4.09、2.28、1.77、0.90。11 个基准全部改善，PhyX-MC 提升最大（+8.33），SCEMQA-MC 最小（+1.19）A-RSI。

起点口径要在读数字之前说清。57.77 不是公开 base model 的分数，而是 S_t，也就是公开 checkpoint 已在旧池上训练 100 步之后的初始化；相对真正的起点 S_0，总提升是 4.40 分。把 57.77 当成 base model 会高估这篇的收益。

图注：左图是五条 Macro11 曲线，A-RSI 终点最高，No-Refresh 在窗口 6 附近终止；右图是池内信号保持率与 85% 阈值线，98.7% 那个点对应 Keep 判定，不是"这个模型学得更好"。A-RSI

这张图最重要的地方是把两个量并排放了。左边涨的是 benchmark 分数，右边是控制器读到的信号保持率，两者不是同一个东西。98.7% 意味着池子还没教完，所以判 Keep；把它读成 MiMo 表现更好，就是把检测器的输入当成了输出。No-Refresh 的缺口也不是"不刷新更差"的读数，那个臂在 S_31 被预注册的训练健康门拦停，最终端点写的是 no reading。

即便如此，边界很硬。每个臂只训练了一次，没有显著性检验；论文明确不主张检测器找到了更好的刷新时机，0.40 分的点估计撑不起这个结论；首次刷新点是用既有日志定的，所以"时机"与"用了新题"纠缠在一起；主比较只到第 8 个窗口，没有 16K 预算的评测；MiMo 的池还是按 Qwen 的难度前沿挑的，跨模型结论因此受限；生成器只覆盖几何、图表、表格、计数四族，函数图像与空间任务不在其中。

作者自己泼的两盆冷水：挑题挑不过随机，增益里有一截只是"把话说完"

论文自己做的两项反向检查把上面的收益收窄了不少。八个精心设计的替换选择器全部不如随机补题，而 4,096 预算下的增益有相当一部分，不训练也能拿到。

选择器消融用的是同一套 8,192 与 11 benchmark 协议。前七项对照的是四窗口、每窗口刷新的随机臂（60.29），最后一行 Frontier 对照的是八窗口的 A-RSI（61.05），八项的点估计都落在各自的对照之下A-RSI 附录。

作者给了三条机制解释，并声明这些解释有日志支持、但没有被消融隔离。随机池保留了模型做不完的题，训练答案截断率 21.9%，选中池是 17%，长度与优势的相关性是 −0.31；选择改变了答案类型构成，failure-prioritized 的池里没有多选题；随机池在第 4 到 8 窗口并没有饱和，每窗口有信号的任务数是 209、180、189、183。

外部文献并不都站在这一侧。ThinkLite-VL 报告 MCTS 难度筛选比等量随机样本高 3.29 分（7B，8 个基准），A Step Harder 报告难度递进是倒 U 形，升到中等偏难最好、再升一档就回落ThinkLite-VLA Step Harder。三套协议互不可比，所以 A-RSI 的负结果只能限定在它自己的生成器、模型与所测规则之下。

第二盆冷水针对"增益"这个词本身。上限从 4,096 放宽到 8,192，没训练过的 base 模型白拿 +2.00；MM-Zero v5 在 4,096 下的增益到 8,192 只剩 59%，A-RSI 自己保留 80%。在四个数据集上，未训练 base 放宽到 16K 得 51.12，约等于 MM-Zero 训练后在 4,096 下的 51.08。这正是作者把 8,192 定为主设定、并把任何 4,096 结果视为可疑的原因A-RSI 附录。

图注：输出上限从 4,096 放宽到 8,192 后训练增益还剩多少。两条线都以各自 4,096 的增益归一化为 100%，A-RSI 落到 80%，MM-Zero v5 落到 59%。纵轴是保留率，不是准确率。A-RSI 附录

论文还给了两个案例，"答完了"与"变聪明了"在那里被分开。两个案例里 base 解码都顶到 8,192 上限也没给出最终答案，S32 分别在 1,759 与 5,140 个 token 内收尾并给出答案，论文自己在这两个案例旁注明推理仍不自洽。

这条线与 Dr. GRPO 诊断的"答得更长但并不更对"是两条独立机制，一条关于预算与终止，一条关于目标函数里的长度加权，两者都说明分数上升不等于能力上升Dr. GRPO。

站得住的东西因此很朴素：把"何时换题"做成只读日志的触发器，换题时随机补一批新题，就已经拿到大部分收益；再聪明的挑题和再大的标题数字，都要先过输出预算与独立审计这两关。照着做的人可以带走三条报告要求，同预算下的 base 模型、每个模型的截断率、至少两个输出预算下的增益。

想深入可以读原文：A-RSI: Adaptive Task Refresh for Zero-Data Multimodal Self-Improvement — arXiv:2610.38568

参考文献

1. A-RSI: Adaptive Task Refresh for Zero-Data Multimodal Self-Improvement — https://arxiv.org/abs/2610.38568
2. A-RSI 补充附录（同一条目的 §11–§32 审计层） — https://arxiv.org/html/2610.38568v1
3. MM-Zero: Self-Evolving Multi-Model Vision Language Models From Zero Data — https://arxiv.org/abs/2603.09206
4. Absolute Zero: Reinforced Self-play Reasoning with Zero Data — https://arxiv.org/abs/2505.03335
5. R-Zero: Self-Evolving Reasoning LLM from Zero Data — https://arxiv.org/abs/2508.05004
6. DAPO: An Open-Source LLM Reinforcement Learning System at Scale — https://arxiv.org/abs/2503.14476
7. DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models — https://arxiv.org/abs/2402.03300
8. Understanding R1-Zero-Like Training: A Critical Perspective (Dr. GRPO) — https://arxiv.org/abs/2503.20783
9. MagicBeanStalk: Escaping the RLVR Zero Advantage Trap with Recursive Data Synthesis — https://arxiv.org/abs/2610.12659
10. SoTA with Less: MCTS-Guided Sample Selection for Data-Efficient Visual Reasoning Self-Improvement (ThinkLite-VL) — https://arxiv.org/abs/2504.07934
11. Self-Rewarding Language Models — https://arxiv.org/abs/2401.10020
12. A Step Harder, Not a Step Too Far: The Benefits and Limits of Curriculum Difficulty Progression in GRPO — https://arxiv.org/abs/2610.13669