递归自我改进卡在哪：AI 改完自己，考卷还是它自己出的

递归自我改进（Recursive Self-Improvement, RSI）听起来像个科幻设定：让 AI 找出自己身上的毛病，写出改进方案，把新版本换上去，然后新版本接着改下一代。到 2026 年，这个故事已经有一半落了地。真正卡住它的地方，不是"能不能改"，而是"改完谁说了算"。

这一篇会顺着这个问号往下走。我们先拆开一个改进闭环，看清里面哪一环承重；再看 AI 到底能改自己的哪几个零件，拿真实系统对号入座；然后把 2026 年的几套系统摆出来，看它们各自走到哪一步；最后正面回答两个卡点：新版到底好不好由谁来判，以及面对一个巨大的可改空间，AI 怎么知道该动哪一块。

一、自我对弈已经能自己变强了，为什么说它还不是 RSI？

先给 RSI 一句大白话。它指的是把 AI 自己当成改进对象，改出来的新版本又去改进下一代，形成能自我加速的循环。一个完整的改进闭环有四个动作：发现问题，也就是知道自己哪里不够好；生成改进，拿出一个具体的新版本；验证，判断新版是不是真的更好；换代，把好的那版换上去，接着下一轮。

四个动作里，第三步最容易被跳过。后面会看到，卡点几乎全在这里。

要理解这个闭环长什么样，最省事的入口是自我对弈（self-play），也就是让同一个系统不停地跟自己下棋，用胜负结果当训练信号。这件事 AlphaZero 做得最出名：它不靠人类棋谱，只靠自对弈产生的对局，在几个小时里超过了几十年积累的顶级国际象棋引擎。AlphaZero

图注：自我对弈闭环长这样。上栏是状态序列，每一步走出一个动作，每个局面下面挂着一棵搜索树；下栏是神经网络训练，同一组网络层最后分出两个头，一个负责给"下一步走哪里"打分，一个负责评估"这个局面好不好"。这张图出自 AlphaGo Zero 的 Nature 论文， AlphaZero 沿用同一套算法骨架，因此用它来指认自我对弈的结构。AlphaZero

看起来很激进，但它并不算 RSI。原因藏在"改的是哪一层"上。AlphaZero 每轮循环确实改了两样东西：新对局的训练数据，和网络里那组权重参数。但网络有几层、损失函数怎么算、搜索树按什么规则展开、学习率怎么衰减，这些在训练开始前就由人写死，系统从头到尾没碰过。"改自己的方式"这件事，压根没进入被改进的范围。

这个边界值得记住，因为它决定了后面所有内容的分寸：有自产数据、能自迭代，不等于 RSI。要让一个系统算得上 RSI，它改进的对象里必须包含"它改进自己的方式"。

同一套"造训练信号"的思路，到了大模型时代被搬到了另一个场景。STaR 让模型自己写出推理过程，只留下答对的那些，再拿来微调自己，等于把"造对局"换成了"造推理过程"。STaR

先别急着给它下结论。2026 年有一份覆盖 1,250 篇论文的综述，把这一整片领域画成了一张二维地图，横轴是"人还在不在环里"，纵轴是"系统改进的到底是什么"。自我对弈在图上落在"训练期自我迭代"这一行，而这一行是已经跑通的成熟范式之一。

图注：这张网格是理解整个 RSI 领域的坐标系。竖着四行是改进对象，分别是部署时的自我演化、训练期的自我迭代、自我评价，以及自动科研；横着三列是闭环程度，从"人在环内"到"人在环上"再到"完全闭环"。代表系统被标进各自的格子里，自我对弈落在训练期自我迭代这一行，离最右边那一列还很远。综述本身只做归类，不做实验。RSI Survey

真正有争议的格子，是"自我评价 × 完全闭环"，也就是一个系统自己重新定义什么叫"更好"。那正是这一篇最后要回答的地方。

二、闭环里真正承重的是哪一环：谁提议，谁裁决？

上一章说 RSI 要能改"改自己的方式"。这话听着抽象，我们把它翻译成工程语言。

MetaRSI-v1 给了闭环一个很具体的骨架，叫 Loop Kernel，把一轮改进切成七个阶段：观察、诊断、提议、验证、执行、选择、导出。有趣的是，论文自己说这七个阶段怎么切并不唯一——可以切得更粗，也可以切得更细。那为什么还要费劲定义它？因为真正承重的不是阶段数，而是环上那唯一一处开口。

图注：环的中心是这一次要改的地方，可以是数据、约束或者模型参数。环上只有一处权限边界，画成一把锁：彩色那一段由模型来提议，剩下三段灰色的是裁决、发出和读取，由确定性代码执行，产物再沿虚线回到信号源、重新编译成下一轮的输入。图下的说明特意指出，环被切成几段并不唯一，承重的是这条边界。MetaRSI

换句话说，一个改进系统安不安全、能不能放手让机器调度，取决于"提议"和"裁决"有没有被分开，而不取决于流程被切成几步。

这条边界很好理解，代码评审就是同一个结构：写代码的人不能同时是批准合并的人。哪怕他写的确实是好东西，只要批准权在他自己手里，团队就没法从流程上相信这次合并是对的，因为没人能从外面确认"代码真的更好"和"他把合并标准放松了"是不是同一件事。RSI 里的裁决闸门必须站在提议者的写入面之外，理由完全一样。

顺带说清三个写入面。系统能改的地方其实只有三块：数据，记为 D；约束，记为 H，包括提示词、工具、记忆、技能这些外围设置；模型参数，记为 θ。它们的成本差得很远：改一句提示词很便宜，改完数据重训一次模型很贵。所以"改哪里"天然不只是技术选择，还是一个要算预算的调度问题。

三、三条改进路径：AI 到底能改自己的哪几个零件？

现在把三个写入面拆成三条具体的路径，每条都配一个真实系统。

第一条是改代码，或者说改架构。Darwin Gödel Machine，简称 DGM，是这条路上最有名的例子：它把自己整个 Python 代码库当成可改对象，提示词、工具实现、工作流程都在改动范围里。它判断改得好不好，靠跑分。

图注：DGM 的循环。一个初始 agent 先跑起来，每轮从档案库里挑一个父代，让父代自我修改产生一个新版本，新版本跑一遍基准测试拿到分数，够格就进档案库。多个分支同时展开，越往后越像一个开枝散叶的家谱。这里的节点颜色只是图例约定，不是性能曲线。DGM

结果很实：SWE-bench Verified 从 20.0% 爬到 50.0%。DGM 但它有一条自己写明的边界：档案库怎么维护、父代怎么挑选，这些"元"层面的规则是固定的，DGM 自己动不了，也改不了底层的基础模型。这就是它留给后来者的空位。

第二条是造新数据重新训练。STaR 是这条路最早的干净样板：让模型对着一堆题生成推理过程，用标准答案筛掉做错的，只留正确的那些微调回自己，再循环。在 CommonsenseQA 上，它比小样本思维链高出 35.9 个百分点。它最要命的局限也很直白：答错的题拿不到任何梯度信号，光造数据不够。

图注：STaR 的流程。蓝色节点是题目和标准答案，红色节点是模型自己生成的推理过程，两者交替出现，外层虚线标出"微调"这个大循环。它只动了训练数据，没有改代码也没有改推理时用的脚手架。STaR

第三条是自我检查、定位错误。这条腿真正工程化的做法，不是让模型自己反省，而是把"什么算好"固化成一段能被反复执行的代码。AlphaEvolve 的自动评测器级联就是代表：容易通过的测试先当滤网，只有过得了前几关的解，才有资格进入更难的评测。AlphaEvolve

三条路径不是互斥的，它们的关系可以用一张转移图说清楚。

图注：数据、约束、模型三个节点之间，五条实线箭头是允许的改动路径，另有两个允许的自环；两条带叉的虚线是不允许的。最值得注意的是那条从约束直接指向模型的箭头被打上了叉：改完约束却没有产生新数据，直接拿去喂模型，模型学到的还是旧行为。MetaRSI

这张图里最反直觉的一点，恰恰是它最有信息量的地方。为什么改了约束不能直接去改模型？因为约束一改，旧的执行轨迹就过时了，模型需要的输入是"新约束下跑出来的新数据"。跳过这一步，等于拿旧地图找新路。至于 Frontis-MA1，它是自动机器学习工程这条支线上用四个原子动作做搜索的代表，我们在卡点二那一节会专门展开。

三条腿都已经在真实系统里各自跑通了，而且没有一条需要碰"改自己的方式"本身。这既是进展，也正是下一个问题的起点。

四、把三条腿同时踩下去：2026 年的真实系统已经跑到哪了？

上面是分头讲。现在把三条腿同时踩下去的，是 MetaRSI-v1 这套系统。它把数据、约束、模型三个写入面都打开，让三个不同的算子分别去写，然后让一个调度器决定这一轮该走哪条路；再往上一层，它连"调度策略"本身也每隔一段时间重写一次。

图注：左栏是它要改的目标系统，包含数据、约束、模型三个状态，以及一个只打开一次的评测划分，把执行轨迹编译成带类型的改进信号。中栏是那个环，以及由三个算子分别实例化出来的写法，它们唯一的差别就是写入哪个面。右栏是层层嵌套的调度，最外层每完成一轮就修订一次内层策略，而评测器、释放闸门始终待在每一个写入面之外。MetaRSI

落到成绩上，它在一个 35B 参数的开源模型上把四个基准的平均分提高了 10.9 分；换到六款前沿模型上，统一走约束这条改进路线，平均也能涨 7.3 分。需要保留的限定是：这是单家实现、自报口径的单一目标系统结果，不能外推成"所有 RSI 都这样"。

另外两家给出了产业尺度的证据。Anthropic 的报告说，截至 2026 年 5 月，归因到 Claude 的生产合并代码占比超过 80%，而 2025 年 2 月 Claude Code 研究预览发布是个明确拐点，在那之前这个比例只有个位数。

图注：21 根柱子从 2021 年第二季度排到 2026 年第二季度，最后那根是不完整的季度，用斜纹标出；九条灰色虚线对应九个模型的发布日。2025 年之前柱高长期在均值附近波动，拐点之后一路抬升，到 2026 年第二季度达到基准（2025 年前平均）的约 8 倍。Anthropic

这个 8 倍是代码行数量，不是质量，报告自己也承认它几乎肯定是真实生产力提升的高估，而且末柱还是不完整季度。把它读成"工程师产出八倍"是过度解读，读成"趋势方向明确、拐点清晰"才站得住。Anthropic

OpenAI 那边的测量是另一条轴。截至 2026 年 8 月中旬，按 8 小时工作日折算，整个研究组织消耗的 agent 运行时间已经是人类劳动时间的 3.1 倍，运行 agent 的时间在 6 月第一次反超人类。

图注：这张折线以"每位研究员每日美元支出"为纵轴，区间是 0 到 700，横轴从 2026 年 2 月排到 8 月。曲线从年初接近零起步，四五月慢慢抬头，六七月在 150 到 165 之间走了一段平台，七月末之后陡升，到八月末接近 600。OpenAI

但这些数字旁边还摆着一组反向的：过去半年里，超过一半被判定为成功、且人类完成需要 4 到 8 小时的任务，仍然至少需要一次人类介入。OpenAI 反复强调这些指标"容易采集、却很难解读"，也是自报口径。OpenAI

三家拼在一起，底色是同一个：三条腿都已经有数字、有系统，但人还留在环里。于是闭环里两个它自己补不上的洞浮了出来。

五、卡点一：改完之后，谁有资格说"新版真的更好"？

第一个洞是评判。一个系统自己写代码、又自己写单元测试，测试全绿代表代码对吗？不。因为没人知道这套测试是不是照着它自己的实现写的。生成方和评判方共享同一套东西时，分数就同时承载了两件事：能力真变强了，或者成功标准被放松了。

MetaRSI-v1 把这件事说得更狠，它的一条定律是：从环的内部看，"能力更好"和"成功标准定义得更好"给出的是同一个数字。这比通常说的刷分更麻烦，因为它不是难以检测，而是从环内根本观测不到，靠加统计手段也修不回来。所以他们给出的办法很干脆：把裁判放在所有能写的地方之外。只要密封评测集、任务集、释放规则不可写，报出来的分数就是能力；一旦它们中的任何一个变得可写，同一个分数就变成了定义。MetaRSI

评判信号不能一视同仁，得按可靠程度分层。

图注：从下往上，信号越来越可靠、能覆盖的任务却越来越窄：最底层是模型自身的置信度与自洽性这类内部信号，往上是学出来的裁判，再往上是执行反馈，比如测试、编译器和基准，最顶层是形式化验证器。失败模式集中堆在底部，而"人的研究判断"被画在阶梯之外，是自我改进目前还够不到的那一阶。综述明确说这是定性规律，不是严格定律。RSI Survey

越可靠的裁判，能判的任务越窄，这就是为什么便宜的裁判最容易被刷爆。综述里还记了一个很说明问题的实测：完全不给外部反馈、只让模型自我批评跑十轮，信息量会退化约 55%，它换来的是换个说法，不是进步；而在第三轮加一次最轻的外部验证，前进步伐就恢复了。

那有没有办法让"弱裁判"也能用？有。weak-to-strong 这条线做了一组很干净的实验：用一个弱得多的模型去监督一个强得多的模型，看强的那个能恢复多少差距。结果并不悲观，最朴素的微调在自然语言任务上就能恢复超过 20% 的差距，加一个辅助的置信度损失项，中位恢复率还能从约 25% 拉到约 80%。换句话说，弱裁判不一定只能教坏强模型，它至少能激发出对方的一部分能力。W2S

图注：三组任务从左到右分别是自然语言、棋类谜题和奖励模型。每组里浅灰线是弱监督者本身的水平，绿线是朴素弱到强训练，紫线是加上改进技巧之后，深灰线是理论天花板。绿线普遍高于浅灰线，说明学生学到了监督者之外的东西；紫线再往上抬一截，说明这件事还能靠技巧优化。这组实验刻意不读精确数值，只看方向。W2S

落到工程上，"把裁判挪到写面之外"具体长什么样？AlphaEvolve 给了一个可直接抄的模板。

图注：这张闭环图里，评测器站在语言模型和程序数据库之间，一头接收模型改出来的代码，一头决定哪些解能被存回数据库、供下一轮采样。它的工作机制是分级的：难度递增的测试先当滤网，能并行就并行，不只看一个指标，难以量化的属性再用一次模型调用补分。AlphaEvolve

它同时暴露了这条路的硬限制：只能处理那些能写出自动打分函数的问题。凡是必须靠真人做实验才能验证的领域，这套闭环就合不上。AlphaEvolve 而更让人不安的是，连"看模型怎么想的"这种兜底手段也在退步。OpenAI 的首席科学家公开承认，推理过程监控的可靠性正在下降，原因之一是模型越来越擅长推理和操纵自己的推理过程。OpenAI

所以卡点一的结论是：验证难，难在分数是不是还代表同一样东西。能做的只有把裁判挪到写面之外，并且承认它总有够不到的地方。

六、卡点二：能改的地方那么多，AI 怎么知道该动哪一块？

第二个洞是导航。面对一个巨大的可改空间，有权限改任何一处，和知道该修哪一处，是两种完全不同的能力。这就像手上有一个几百万行的代码库，理论上你能改任何一行，但真正的问题是修哪个模块才治本。权限和判断力，在这里第一次被明确分开。

2026 年至少有两条独立的路在回答它。

第一条来自 Meta^n。它的做法有点反直觉：把一个通用的元操作冻结住，不让它自己改自己，只让它的输入一层比一层更大。第一层看到的只是执行轨迹，到了更深的层，连"写出这些轨迹的代码本身"也一起喂进去。于是同一个操作，站在越来越高的地方看同一个任务。这个选择把现有"AI 改 AI"的做法分成了三档。

图注：三栏从左到右，是三种"AI 改 AI"的做法。第一栏的外层流程是固定的，只换被改的对象；第二栏让 agent 改自己的源码，但总有一层驱动逻辑不能动，实际递归深度被卡在两层半左右；第三栏是一层固定的元操作反复套在自己的产物上，嵌套的框一层比一层多，递归深度由收敛决定而不是预设。关键是第三栏里那个操作本身是冻结的，递归发生在它的输入上。Meta^n

这套机制在工程上分两步跑。离线时，元操作读下层轨迹，写出新一层的预处理指令和可复用的辅助函数；在线做题时，成品被一层层套上去，任务由外向内传给底层求解器。

图注：左栏是构建步骤，深度从 2 递增到 4，每一层都拿到下层轨迹摘要和之前写下的全部代码，输出一段预处理指令和一个库函数。图下的说明记了一个诚实的小插曲：第三层加进的某条指令写得太死，反而让分数回落，第四层把指令撤回、只保留有用的那个辅助函数。右栏是运行步骤，把整叠成品从外到内串成一条流。Meta^n

它的成绩是在 ARC-AGI-2 这个"刷记忆拿不到分"的基准上，按论文自报口径，拿到了唯一一个非零结果。Meta^n 要注意的是，元操作冻结不等于它自己改自己，它改的是"喂进去的东西"。

第二条路来自 Frontis-MA1，做法正好相反：不扩大视野，而是把可做的动作收窄。它把"该怎么改进"拆成四个原子动作，起草、改进、排错、交叉，让模型只在这四个动作上做非贪心的搜索，而不是在无限代码空间里瞎挑。

图注：左半边是 OpenMLE 的三层栈，底层是可执行任务的训练场，中间是训练算子的环节，顶层是长程搜索，训练出的模型同时是这套栈的产物和它的引擎。右半边是一根从进化通向递归自我改进的机制阶梯，橙色回路标出这套工作所处的位置：把改进者本身也训练一遍。论文自己写明它只是"元进化"的第一代，还没有达成完整的 RSI。Frontis-MA1

它在 MLE-Bench Lite 上把奖牌平均分从基座的 39.39% 推到 60.61%，配上更强的搜索配置后到 71.21%。Frontis-MA1

把两条路和前面的讨论放在一起，可以得到一句很好用的判断：决定自改进能进入哪些领域的，是验证能力，而不是原始能力，原始能力只决定"进去值不值"。MetaRSI

回到现实。据 OpenAI 自报口径，内部 agent 累计运行时间已超过人类劳动时间，但 4 到 8 小时的任务中，即便算作成功也有超半数至少需要一次人类介入，说明瓶颈已经从"做"上移到了"判断"：决定做什么、怎么设计实验、结果怎么读。这几件事，恰好都在验证阶梯之外，也是目前人的研究判断还守着的那一阶。

七、能力强了，环却还没合上：当前的共识、分歧与继续追踪的方向

把前面几章收在一起，共识已经很清楚：AI 已经在改 AI，而且在有可验证反馈的领域，闭环确实能跑起来。分歧在于"合上了没有"，同一个时间段的三方给出了三种判断。

三种立场都不是空谈，各自绑着自己的证据。分歧的根源也不难找：他们量的是不同的腿，又都承认人的判断还在环里。

环没合上，风险就有了具体的形状。综述把失控归纳成四类，每一类都对应验证阶梯上的一个位置：生成方和评判方绑在一起，会形成自证循环；只吃自己产出的数据，会模型崩塌；任务分布越走越窄，会多样性崩塌；把一个已经不值当的目标优化下去，会目标锁定。它们的共同点是，都能从环内部看起来一切正常。RSI Survey

最后一条定律把这个局面收得很干净：没有哪个闭环创造能力，每一分增益都是外来的。前面所有系统的加速，本质上是在放大已经存在的验证能力和数据。闭环是放大器，不是发动机。MetaRSI

所以与其问"它会不会失控"，更值得问的是：它拿什么当裁判，又把判断权留给了谁。这两个问题也是你接下来可以自己盯的四个入口。

评测器共同演化这条线最值得盯，因为它直接决定卡点一有没有解：2026 年已经有好几项工作独立地做了同一个动作，把评测器本身也变成被改进的对象。而它究竟是真的逃出了自证循环，还是只是给自证循环换了个故事，正是接下来两年要回答的经验问题。

至于你自己动手，最短的路径不是从零搭一个系统，而是从一个已经开源的改进骨架起步，先让它在一个你能亲自判分的小任务上跑几轮，亲眼看看它在哪一步开始自己给自己发高分。

参考文献

本专题引用的核心资料如下，建议深入学习时阅读原文：

1. MetaRSI / RSI²: A Meta-Recursive Self-Improving System for Recursive Self-Improving Systems Themselves — arXiv:2609.06396
2. Meta^n: Recursive Self-Improvement through Emergent Depth — arXiv:2608.24735
3. Frontis-MA1: Training an AI4AI Model towards Recursive Self-Improvement in Machine Learning Engineering — arXiv:2607.28568
4. AlphaEvolve: A coding agent for scientific and algorithmic discovery — arXiv:2506.13131
5. When AI Builds Itself (Anthropic Institute Report) — https://www.anthropic.com/institute/recursive-self-improvement
6. AlphaEvolve evaluator cascade (concept chapter) — arXiv:2506.13131
7. Darwin Gödel Machine: Open-Ended Evolution of Self-Improving Agents — arXiv:2505.22954
8. Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision — arXiv:2312.09390
9. STaR: Self-Taught Reasoner — Bootstrapping Reasoning With Reasoning — arXiv:2203.14465
10. Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm (AlphaZero) — arXiv:1712.01815
11. OpenAI: Research acceleration — The view inside OpenAI; Pachocki, "An Alien Mind" — https://openai.com/index/research-acceleration-view-inside-openai/
12. Recursive Self-Improvement in AI: From Bounded Self-Refinement to Autonomous Research Loops (RSI Survey 2024-2026) — arXiv:2607.07663