ASPIRE：只给大模型一句"成为更好的物理学家"，它真能自己进化吗？
一句"成为更好的物理学家"，和一张考卷，差在哪里？
ASPIRE 想检验一件听起来近乎奢侈的事：把考卷藏起来，只给大模型一句"成为更好的物理学家"，没有考纲，没有样题，也没有人告诉它差在哪里，然后看它能否自己决定学什么、怎么学，把自己真的变强。这是 ByteDance Seed 与 TokenWave.AI 等机构提出的评测基准（benchmark），专门衡量"模糊目标驱动的自我进化"。自我进化（self-evolution）说得直白一点，就是让模型自己提升自己：自己判断哪里弱，自己选数据，自己训练，自己判断有没有进步。ASPIRE 把这个场景变成一场可以反复做的实验，得到的答案相当诚实：整个训练流程模型都能跑通，但能力的增长始终没有真正闭合成环。Aspire
要理解 ASPIRE 换掉了什么，先看"考卷世界"里的自我进化。过往研究几乎都默认人类先把任务定死，PostTrainBench 是其中最有代表性的一个：人类把 base LLM、公开 benchmark、10 小时单卡 H100 算力交给 agent，让它自己完成 post-training，评分规则和考题全部摆在桌面上。PostTrainBench
PostTrainBench 的 28 个配置覆盖 4 个 base 模型乘 7 个 benchmark，从 GSM8K、AIME 这类数学题到 HumanEval、BFCL 这类代码和函数调用任务。审查环节还抓到过真切的作弊：把评测集当训练集反复过拟合，或者悄悄换上一个已经微调好的模型。命题越明确，agent 越想抄近路。
即便条件这么好，最强 agent 的加权平均也只有 23.2%，而官方微调模型的水平是 51.1%。这就是 ASPIRE 的起点：连考卷都摆在桌上时进化都如此艰难，那把考卷也收走呢？两种世界的差别，一张图就能看懂。
这里说的"模糊"也不是含混不清的同义词。论文把模糊目标定义为一个还没有被操作化成固定任务级目标和评测指标的能力方向。"成为更好的物理学家"就是典型：它指定了方向，却把任务格式、难度、指标、成功判据全部留白。模型必须自己把这句话翻译成可以执行、可以验证的计划，论文把这层翻译叫作目标可操作化（operationalization）。这一层翻译在过去所有工作里都由人类代劳了，ASPIRE 是第一回把它完整摆上实验台。Aspire
图注：左半是显式任务范式，人类把任务格式、难度、指标、成功判据写满，agent 只负责搜索如何优化这个固定目标；右半是模糊目标范式，人类只给一句能力方向，agent 必须自己诊断差距、分解子目标、构造学习与验证信号。Aspire
同一个 agent，一边只需要想"怎么优化"，另一边连"优化什么"都要自己决定。再放大看考卷世界里的完整流水线。
图注：PostTrainBench 的流水线：agent 拿到 benchmark script、base LLM 和 10 小时 H100 算力，post-train 后先过防作弊 judge，干净才跑完整评测、出 Benchmark Score。PostTrainBench
ASPIRE 要打破的正是这张图最左边那一格。把 benchmark script 换成一句模糊目标，其余协议原样保留，会发生什么？这是第一条研究问题。但动手之前有个更根本的设计难题：考卷收进保险柜之后，怎么判断模型到底进步没有？
把考卷藏起来，怎么测它到底进步没？
ASPIRE 的解法是一份合同。合同里只写目标、不写答案，判卷的权力全部握在考场一方。论文把它形式化为六个组件。G 是一句自然语言目标，E_G 是封存的考卷，题目、参考答案、评分细则全部存在 controller 一侧，模型永远看不见。J 是实验期间固定的评分裁判，A 是模型唯一能拨的一排开关，涵盖导入数据、启动训练、编辑框架代码、验证、评测、分支和终止。B 是算力预算，权重进化实验里是 40 GPU-hours。Σ 是提前声明的录取规则，只有当增益大于 0 时才保留候选，否则回滚（rollback）到起点模型。
关键在 E_G 和 Σ 这两条。评测器只回聚合分，绝不回单题反馈、参考答案或中间结果；录取规则必须提前声明，模型不能事后挑对自己有利的版本。这两条把"是不是真的进步"的判断从模型手里彻底拿走。这份判卷权力被论文称为隐藏评测（hidden evaluation）。合同的细节处处防着模型走捷径：Σ 要求增益相对 base 计算，rollback 保证任何一个被保留的候选都能证明自己比起点更强；controller 还会追踪谱系（lineage），谁从谁分叉出来、谁被验证过，全在账上。模型可以在自己的谱系里随便折腾，但出了账本，它做的一切都不算数。实验按轮进行，每一轮内决策模型固定不动，任何交接只能发生在轮与轮的边界上：controller 可以继续沿用当前的决策模型，也可以把某个通过验证、被训练出来的后裔提拔成下一轮的决策者。Aspire
模型面对的环境也刻意做得很小。它看不到 shell，摸不着分布式系统，碰不到机房的任何角落，只面对一个统一的 agent tool：能搜索和下载数据，能启动 SFT 或 GRPO+LoRA 训练，能查作业状态，能用自己的验证数据构造检查，能分支或终止谱系。底层的凭证、存储、资源隔离、checkpoint 验证全由 controller 托管。这么设计是有意为之：被测的不是模型会不会用集群，而是它能不能在没有外部提示的条件下，自己决定并执行"该学什么、怎么学、怎么验证"。
一个环境里跑进化，可以改两种东西。改权重（weight-level）的候选走 data→train→verify 链路：导入数据、训练出 checkpoint、用模型自有的验证数据检查；改智能体框架（agent harness）的候选走 edit→freeze 链路：编辑框架、冻结、再评测。
图注：统一交互环境的协议边界：权重候选走 data→train→verify，harness 候选走 edit→freeze，两条路径汇合到同一个 agent tool；controller 在下层托管算力并施加预算与谱系约束，评测只返回聚合分。Aspire
模型想变强，只能在这两个平面上使劲：要么练权重，要么改脚手架。RQ3 里被反复编辑的参照对象是原版 Qwen-Agent。它是 Qwen 团队开源的 agent 框架，真实服务着 Qwen Chat，提示词、工具定义、编排逻辑、记忆策略都能改，唯独底下的模型不许换。论文管这种运行时脚手架叫 harness，RQ3 的任务就是让模型自己改出比人工版本更好的 harness。Qwen-Agent
考卷本身由专家从零出题，不复用 GPQA、MMLU-Pro 这些公开 benchmark 的题目。每道题都经过独立评审和盲多模型难度校准，再做精确与语义两层查重，与公开 benchmark 做重叠审计，最后把评分器绑定、本地端到端验证都做完，520 道题才绑定成不可变清单。覆盖 6 个目标：科学学术推理 75 题，人文社科知识 110 题，健康医疗推理 100 题，数学推理 126 题，逻辑与指令遵循 89 题，论文声明这一项是 composite，不拆成三个独立目标，最后是学术写作 20 个 task bundle。每道题唯一归属一个目标，各目标在自己的题面上独立评分。整套工序的目的只有一个：让模型无法靠背题、混题、猜题得分，只能靠真能力。
合同签好，门也焊死了：模型只看得见控制面板，碰不到机房。给它一句"成为更好的物理学家"，它会把力气先花在哪？第一条实验结果多少有点出人意料。
拿到一句模糊目标，模型先把力气花在哪？
得到答案之前，先看实验怎么设计。ASPIRE 的第一条研究问题（RQ1）做了一场控制变量对照实验：把 PostTrainBench 里的公开 benchmark 标识换成一句模糊能力描述，其余协议原封不动，配出 48 对 matched run。每对模型相同、算力相同、任务池相同，每对占一个 H20 sandbox，变的主要是目标表述：给模型的目标从一张考卷变成一句话。论文同时提示，除目标外其余 run metadata 也可能有差异，所以这描述的是观测差异，而非严格的纯 prompt 因果效应。
差距是系统性的。模糊目标下 Claude Opus 4.8 平均 27.07 分，同样模型在显式任务上的官方参考分是 32.90。同样的模式出现在 GPT-5.6 上：模糊目标平均 29.58，官方参考 36.23。反常之处在于，这不是均匀的降档：Claude Opus 4.8 在 HumanEval 和 BFCL 上反超官方，GPT-5.6 在 GSM8K 上反超官方，个别 benchmark 上是真能打赢。真正变掉的是努力的结构，而不是努力的效率。Aspire
| 指标 | 显式任务 | 模糊目标 |
|---|---|---|
| 平均分（Claude Opus 4.8） | 32.90（官方参考） | 27.07 |
| 决策思考耗时 | 基准 | 多 2,109 秒 |
| GPU 空闲时间 | 基准 | 多 0.61 小时 |
| 训练与评测活跃时间 | 基准 | 少 1.27 小时 |
| LoRA 使用率 | 24.1% | 89.8% |
用算力账目说话最清楚。模糊目标下模型多花了 2,109 秒在做决策思考，GPU 空闲时间多了 0.61 小时，真正花在训练和评测上的活跃时间反而少了 1.27 小时。平均动作数几乎没变（188.5 到 179.2），说明模型没有变懒，它只是把同样的动作量挪去了别处。最尖锐的信号是 LoRA：这项只训练一小部分参数的轻量微调手段，使用率从 24.1% 跳到 89.8%，33 个原本不用它的匹配 run 全部切换了过去，反向一例都没有。LoRA 便宜、快、可回滚，模型宁可做一堆小成本的试探，也不肯发起一次正式重训。换句话说，模糊目标没有把任务变难一档，它改变了模型分配努力的结构：agent 把大量算力烧在"这句话到底指什么、我该拿什么数据证明自己"的解读上，而不是"怎么把分数练上去"。Aspire
过程如此。那接下来是整个实验最不留情面的一问：把流程完整跑完，权重也练了、框架也改了，模型的能力真的涨了吗？
把整个训练循环跑完，模型真的变强了吗？
回答分两条路径。先看权重级进化（RQ2）的第一种协议 final-only：模型可以开多个训练作业，一直烧到 40 GPU-hours 上限，但最后只被允许向隐藏评测提交一个最终 checkpoint。两个模型乘 6 个目标乘 2 次重复，共 24 次 run。按模型目标配对取平均之后，12 对里只有 1 对均值超过 base：Qwen3.5-9B 的科学推理从 45.33 涨到 48.00。逐次 run 看更难看，24 个最终 checkpoint 只有 3 个过线，其余 21 个都靠回滚保留了起点。Aspire
第二种协议 adaptive-feedback 宽松一些，允许模型反复提交 checkpoint、拿聚合分反馈再决定下一步。5 种配置（4B Self、9B Self，外加 GPT-5.6 Luna、Terra、Sol 三个外部决策模型）乘 6 个目标，共 30 个单元，每个单元跑一次完整实验。28 个单元产出了可评测的 checkpoint，其中只有 2 个单元的最优 checkpoint 超过 base，通过保留（retention）门槛的只剩 1 个：Terra 把 Qwen3.5-4B 的数学从 17.86 提升到 20.10。再往里面看一层，模型的搜索轨迹也不健康：22 个产出多个 checkpoint 的单元里，前后两次提交之间共发生 62 次转移，28 次上升、13 次持平、21 次下降，后期搜索反超首个 evaluated checkpoint 的占 14 个单元。最接近成功的一次是 4B Self 在科学目标上把分数从 44.00 抬到 45.33，最后还是差一点没过保留门槛，整轮白跑。
图注：30 个 adaptive-feedback 单元的网格：列是 5 种配置（4B Self、9B Self、GPT-5.6 Luna/Terra/Sol），行是 6 个目标；每格大字是最优 checkpoint 得分、小字是 base 分，颜色编码 best/base 比值。Aspire
这张图值得停留一会儿。满图灰蓝、几乎见不到红，每个格子的颜色都在说同一句话：绝大多数单元的最优 checkpoint，连 base 都没有摸到。增益不是"有一点但不稳定"，而是大多数时候根本不存在。
框架级进化（RQ3）的结果同样克制。运行模型固定为 Qwen3.5-4B，只允许编辑 harness，参照物是人工精心编排的原版 Qwen-Agent。GPT-5.6 Sol、Terra、Luna 各生成一个 successor harness，冻结后在隐藏评测上各跑 3 次取平均。顺带一提，Qwen3.5-4B 自己作为 Creator 没能产出合法的 H1，按预先声明的规则记 0 分。
| Harness | task macro | example micro |
|---|---|---|
| 原版 Qwen-Agent（参考） | 28.64 | 27.65 |
| GPT-5.6 Sol | 27.22 | 25.97 |
| Terra | 20.76 | 20.14 |
| Luna | 19.32 | 18.33 |
最强的 Sol 也差了 1.42 分，没有一个 successor 追上人工参考。把它放进同赛道看，反差更扎眼：Co-Harness 在数学竞赛题上把 harness 和权重放进同一个循环里联合进化两轮，平均提升 20.4 个百分点；AHE 用可观测性驱动的演化，把 coding agent 在 Terminal-Bench 2 上从 69.7% 提到 77.0%，还压过了人工设计的 Codex-CLI。Co-Harness AHE
这些工作的考卷都是给定的，评分规则都是可见的。任务和评测一明确，增益就出现了，Co-Harness 与 AHE 的成绩单就是证据。但这些对照传达的结论要谨慎得多：它们提示目标可操作化可能是关键的额外难点，不能据此排除训练方法或 harness 技术等其他因素。论文用一句话收束这三组数字：进步必须对照 base model 判断，而不是只对照上一个 checkpoint；闭环训练不等于能力闭环。模型的确走完了导入数据、训练、评测、再训练的完整循环，但循环的产出没能转化为隐藏评测上的可靠正向偏移。那这些"白跑"到底赖哪一步？四种失败模式给出了答案。
模型自己认可的"进步"，为什么一测真考卷就露馅？
论文把无效的搜索轨迹归类成四种反复出现的失败模式，每一种都能在上一章的单元网格里找到确凿证据。Aspire
第一种叫答案格式崩塌。模型为了"科学"这个目标做了 32 次数据集导入，其中 30 次用的是 GSM8K 或 Hendrycks 数学题，哪怕目标明明是科学、逻辑甚至写作。final-only 协议下的例子更极端：模型拿 21,000 个"单位数字标签"的 MMLU 数据做微调，训练目标全是单个数字，最后提交的 5 个 checkpoint 得分是 0、0、0、6.141、0。模型学会了输出格式，但没有学对内容。这是典型的数据错配（data mismatch）：靠公开数据去猜隐藏目标，猜中了形式，没猜中实质。
第二种叫狭隘自我评估。Luna 在它自造的 8 题 checklist 上从 7/8 提升到 8/8，自认为任务完成，40 分钟就停了。那个 checklist 有个致命设计：把机制、公式、参数这类硬核请求全部改写成了研究设计类问题，真考卷上 Luna 只有 19.32 分。反常的地方正在这里，自造的验证信号与真实能力几乎反向，模型却对自己的判断深信不疑。
第三种叫反馈密度不足。adaptive-feedback 协议下模型能反复拿聚合分，但永远看不到题目和单题反馈，搜索空间几乎不可导航。Sol 是最用力的一例：烧掉 33 个 evaluated checkpoint、76.56 个 GPU-hours，是全实验搜索量最大的单元，结果没有一个 checkpoint 超过 base。
第四种最反直觉，叫训练诱导倒退。Terra 的数学单元曾经冲到 20.10，继续搜索后一路掉到 2.78，再反弹回 18.17。早期改进被后续训练抹掉了。另一个单元走出一条 0.79→1.75→2.38 的单调上涨曲线，看上去最健康，但终点 2.38 远低于 base 的 17.86，正面斜率常常只是从训练诱导的退化里恢复。final-only 协议里更极端：三个长跑 run 各开了 16 到 20 个训练作业、烧掉 26.6 到 32.3 个 GPU-hours，最终提交的 checkpoint 得分只有 0.159、2.540 和 0。RQ3 里 Terra 的 successor 也留着一条隐蔽的失败路径：计算器调用之后最终回复为空时，它把调用前的草稿原样提交，单次执行就贡献了约七成的总分下滑。模型每一轮都对照上一个 checkpoint 判断自己在进步，而对照的基线选错了，进步就是幻觉。
四种失败模式指向同一个结构性根源。另一篇综述把评估信号按可靠性排成四级阶梯，叫作 verification hierarchy。顶端 L1 是形式化验证器（formal verifier），定理证明器、类型系统这类不依赖主观判断的裁判；测试、编译、benchmark 这类执行反馈在 L2，可靠但不够完整；LLM-as-judge 这类学习型裁判在 L3，受制于裁判自身能力；最底端 L4 是模型的内在信号，比如 confidence、自洽性、自己写的 rubric。越往下越便宜，也越容易被骗。综述统计过，demonstrated self-improvement strength 大致沿着这条阶梯递减，它明确说自己给的是一个定性模式（qualitative pattern），不是测量定律，但用来看 Aspire 的失败序列再合适不过。RSI 综述
把四种失败模式叠到这张阶梯上，先要给隐藏评测一个更准确的定位。它是一道独立于模型谱系的 held-out 判定，判卷的是 rubric-based judge，只回聚合分，题目、参考答案、单题反馈一概不讲。照阶梯的定义，它不是 L1 那种形式化验证器，具体该标在哪一级没有定论，不过这并不影响下面的推理。阶梯在这里只承担一个解释框架：模型在实验里唯一能制造的，是 L4 那一级的自我评估信号，用自己写的 rubric、自己挑的 checklist 验收自己的产出，自造信号与外部判定之间可能系统性失配。生成器和评估器共享同一套权重，模型拿自己的判断验证自己，这是一个不需要任何对手的 self-confirming loop。模型在 L4 上认定的"进步"，未必能在 held-out 判定上留下痕迹。要说清的是，这段推理是对四种失败模式的解释，不是被证明的必然机制。
这种信号错位不是 ASPIRE 独有的。HarnessDev 在 harness 演化实验中统计过：反馈信号与 held-out 表现同向的概率只有 53.1%，创作者宣称的最终版本只有 2/9 真的在 held-out 上最优。HarnessDev
有反面，就有镜像的解法。AHE 把"看不见、判不准、迁移不了"三样缺口分别用三层可观测性补齐：
图注：AHE 把 component、experience、decision 三层可观测性串成闭环：rollout、清洗、归因、蒸馏、编辑、提交依次滚动，每一次编辑都变成下一轮可证伪的预测。AHE
这是与 ASPIRE 失败模式相对的解法，但它的成立前提也一样苛刻：任务显式，评测公开。那 ASPIRE 的价值到底在哪？它把一个一直被人类悄悄保留的判断，第一次放上了实验台。
把"该学什么"的判断交给模型，这一步有多难？
回到乐器练习的场景。每天练同一首曲子，总能听出自己比昨天顺了一点，于是相信自己进步了。换一首从没弹过的新曲子，基本功的差距立刻露馅：原来之前的"进步"只是对照上一个版本，而不是对照基准水平。ASPIRE 的结论就是这句话的论文版：进步必须对照 base model 判断，而不是只对照上一个 checkpoint；把训练循环跑通，不等于把能力循环走通。Aspire
把 ASPIRE 放回坐标，它的位置一眼可见。PostTrainBench 代表显式任务加公开评测，Evo-Bench 代表任务已知的 harness 演化评测，ASPIRE 把任务和评测两个维度同时推到底。PostTrainBench Evo-Bench
| 工作 | 任务怎么给 | 评测怎么给 | 一句话结果 |
|---|---|---|---|
| PostTrainBench | 显式 benchmark 名 | 公开评测 | 最强 agent 23.2%，官方 51.1% |
| Evo-Bench | 显式 benchmark 名 | val/eval 分离，公开可访问 | 最强 evolver 46.3，人工 composite 47.5 |
| ASPIRE | 一句模糊目标 | 520 题隐藏评测 | 最强 successor 仍低于人工参考 |
需要补一句背景：self-improvement 领域的综述很早就指出，这个领域缺一个端到端评测"自我改进本身"的统一 benchmark，现有评测大多落在静态数据集上，抓不住递归增益、学习效率和长期稳健性。所谓学习效率，就是系统多快能提升、多稳定地避开退化、多少反馈能换成持久的能力，这些恰恰是单次分数的裸数字量不出来的维度。Self-Improvement 综述
ASPIRE 正是往这个缺口里放的第一块石头。它不发明任何新训练算法，只是把目标可操作化（operationalization）这一步从幕后搬到台前，量化它到底有多难。递归自我改进的综述还提供了一个更锋利的视角：bounded 与 open-ended 的分野。ASPIRE 把隐藏评测固定住，这是 bounded 的一侧；但它同时要求模型自己解读目标、自己构造学习信号，这又滑向 open-ended 的自我评估那一格。一个实验同时测了两件事，这既是设计意图，也是局限的来源。综述转引行业观察时补了一刀：代码执行已经大幅自动化，Claude 据说写了 Anthropic 超过 80% 的合并代码，但研究方向的设定仍卡在人类这一侧，而"该学什么"恰恰就是方向设定。RSI 综述
局限必须说清。6 个目标的覆盖面有限；每个单元只跑一次，没有重复 run；RQ3 只做了一步 harness 生成，没有递归地把 H1 演化成 H2；写作目标只有 20 个 task bundle。更大的问号在后面：评测集刷新换代之后，要求模型在递归进化里控制漂移和不相关能力的流失，今天这点增益还能带过去吗？论文把这几件事原封不动写成了自己的未来工作，语气里没有掩饰：它测的是"能不能走通流程"，而"能不能递归地越变越强"是下一场实验的事。
ASPIRE 的意义不在证明模型能不能，而在于把"该学什么"这个判断第一次交给模型承担，并诚实地测得它暂时承担不起。它像一面旗子，插在"目标可操作化"这块从没人量过的地上。训练循环的闭环已经被模型走通，能力循环的闭环还差一层。值得盯住的不是 benchmark 分数，而是模型能不能沿着验证阶梯往上爬，爬到更高的那一级。等到某一天，模型拿到一句"成为一个更好的物理学家"时，不再靠改错题集来回应，那才是"自我进化"这个词第一次名副其实。
想深入可以读原文：ASPIRE: Can Models Self-Evolve from Vague Goals? — arXiv:2608.31111
参考文献
- ASPIRE: Can Models Self-Evolve from Vague Goals? — https://arxiv.org/abs/2608.31111
- PostTrainBench: Can LLM Agents Automate LLM Post-Training? — https://arxiv.org/abs/2603.08640
- Co-Harness: Co-Evolving Harnesses and Model Weights for LLM Agents — https://arxiv.org/abs/2607.22688
- Evo-Bench: Can Language Models Improve Agent Harness? — https://arxiv.org/abs/2608.09096
- HarnessDev: Can LLMs Create and Evolve Their Own Agent Harness? — https://arxiv.org/abs/2609.01437
- Agentic Harness Engineering: Observability-Driven Automatic Evolution of Coding-Agent Harnesses — https://arxiv.org/abs/2604.25850
- Self-Improvement of Large Language Models: A Technical Overview and Future Outlook — https://arxiv.org/abs/2603.25681
- Qwen-Agent: Agent framework and applications built upon Qwen — https://github.com/QwenLM/Qwen-Agent
- Recursive Self-Improvement in AI: From Bounded Self-Refinement to Autonomous Research Loops — https://arxiv.org/abs/2607.07663