FrontierChallenge：97项科研任务，最强模型也才交齐两成

科学智能体都在写论文了，为什么评测还停在『答对最后一题』？

FrontierChallenge 要回答的只有一个问题：凭什么核验一个科学智能体真的把一项科研做完了。它的答案是把它签成合同，逐项核对交付物。为了验证这个答案，作者把 97 个来自真实科研场景的任务各签成一份合同：给定固定输入，智能体必须交齐一整束互相一致的产物，缺一样都不算完成。12 个前沿模型配上 3 种脚手架（scaffold）下场，结果表里共 13 条配置，最强的组合也只完整交付了 20 项，通过率约两成（20.6%）。为什么连最强配置都只有这个数，后面的章节会拆开讲；先要说清的是，它为什么非要用合同来量。

答案要从两把旧尺子怎么失败的讲起，先看愿景那一端。2024 年夏天，Sakana AI 的 The AI Scientist 让「AI 做科研」有了最张扬的画面：一个由大模型驱动的系统从 idea 出发，自己写代码、跑实验、写论文，还给自己安排模拟审稿，一篇论文的物料成本不到 15 美元 The AI Scientist。它把「自动做科研」从口号变成了一条看得见的流水线，可它判成败靠的是软信号：论文能不能被模拟审稿判定为可接受。被接受是含主观成分的判断，信号太软。再看单答那一端，几乎同时，另一批基准把评测单元压到最小。Humanity's Last Exam（HLE）集合约一千位学科专家贡献的 2500 道超高难度题，问法还停留在「这道题，答对没有」，评测单元就是一道题的最终答案 HLE。单答那一端太窄：一道题答对，离「一项科研做完」还差着十万八千里。两个极端摆在一起，中间空着一大块：软的那端掺着主观判断，窄的那端只量一道题的对错，唯独没有一把尺子能量「一个智能体有没有把一个科研任务从头到尾做完」。

这个问题现在尤其等不起。今天的 LLM 早就不只是文本生成器，而是会规划、会调用工具、会执行代码、会读写文件的智能体，已经开始在真实实验室里分析数据、跑模拟、写报告，可没人能可靠地回答「它到底做完了没有」FrontierChallenge。两把旧尺子都量不动，FrontierChallenge 于是先给自己划一道能逐项核对的边界：它测的不是「全自动科学发现」，而是更窄的一层。目标、输入和必需输出都固定之后，智能体能不能把这条指定工作流从输入处理一路走到交付物，并满足完整合同。这份克制让结论可以很硬：测什么就是什么，不需要把「论文被接受」这类主观判断卷进来。同一个问题，论文从三个角度追问：当前最强模型能不能可靠完成指定工作流？表现随领域怎么变？交付不完整时，最常见的违约长什么样？它隐含的断言是，一旦模型开始替人操作文件、跑通整条数据管线，「答对」就不再是核心风险，「答完了却没做对」才是。

图注：三极示意。左侧是 HLE 代表的单答型评测，评测单元是一道题的最终答案；右侧是 The AI Scientist 代表的端到端愿景，评测单元是一篇被接受的论文。中间的 FrontierChallenge 把愿景收窄成一份可执行的合同，又把评测单元从一道题扩成一束互相一致的交付物。

所以第一个要磨利的问题来了：「做完」到底怎么算数？

把『做完一项科研』签成合同：固定输入 + 必须交齐的交付物束

FrontierChallenge 的回答是：把每个任务签成一份合同。论文把任务打包成五个对齐的要素，包括任务描述、固定输入、执行环境里可用的软件与工具、列出全部必需交付物的输出合同，以及定义什么算成功完成的评估程序。这些任务不是从问答数据集里凑出来的，而是取材于真实的科研与工程场景，每个候选都要过四道关：代表性、复杂度、多样性、可验证性。值得注意，智能体只能看到任务描述与输入，评估侧的打分细则和校验程序对它完全隐藏，防止它照着答案反推 FrontierChallenge。

关键在输出合同这一条。完成与否取决于整个交付物束（deliverable bundle）是否交齐，而且各交付物之间必须互相一致。交付物可以是科研报告、结构化表格、诊断性图表、可执行代码、模拟产物，也可以是好几种的组合。报告里的数字必须能和表格、图表对得上，而不是看智能体有没有给出一个像样的最终答案。

这个设计可以用一个日常画面来理解，就是装修验收。你不会因为装修师傅口头说「装完了」就结账，你要的是钥匙、水电验收单、隐蔽工程照片、竣工图这一整套互相能对上号的东西，缺一样都得回头补。FrontierChallenge 把同一套逻辑搬进了科研任务：孤立的一个数值结论不算完成，任务要求的是完整且互相一致的一束产物。反过来想，如果验收方只问一句「装好了吗」，装修师傅大概率会说装好了。FrontierChallenge 的全部设计，就是堵死这条靠口头承诺过关的路，这也是后面第五节的发现之所以刺眼的原因。

规模有多大？作者团队共收集了 300 个端到端科学工作流，本次放出其中 97 个，覆盖 6 个领域，包括量子化学、分子动力学、材料表征、分析化学、生命科学和电化学与环境，归入 21 个工作流族；其中 74 个标为 Hard，23 个标为 Medium。为什么只放这些？论文的做法是先挑出官方评估不需要 GPU 的那部分任务，再从中随机抽出 97 个。剩下 203 个任务留在内部作 held-out 集，其中包含一些需要 GPU 评测的工作流，它们的构成论文没有披露 FrontierChallenge。另一个体现真实性的细节是软件栈：量子化学任务要调 ORCA，分子动力学要用 LAMMPS 和 AmberTools，电化学案例配好完整 Python 环境。测的是真科研工具链，不是通用编程题。

抽象的定义需要一个落地的例子。项目页上有一个 GITT 扩散分析的案例：智能体拿到的只是任务可见的原始输入——6 个电池单元的时间序列与基本元数据（脉冲切分、质量检测、扩散系数均无现成中间结果，必须自己算出），最后交出一整束文件，其中包括 analysis.py、pulse_qc_log.csv、gitt_diffusion_by_pulse.csv、diffusion_vs_soc.png 和 gitt_report.md FrontierChallenge 项目页。这份合同的苛刻之处在于一致性：报告里的扩散系数、表格里的数值、图里的曲线必须彼此吻合，任何一个文件缺失，或者图和报告对不上，这份合同就不算履行。

图注：97 个已发布任务在 6 个领域下的径向分布，中心条形显示 74 Hard / 23 Medium 的比例，外圈是 21 个工作流族的位置。6 个领域是描述性切片而非概率样本，不能当难度排行来读 FrontierChallenge。

合同签好了，下一个问题自然是：怎么给「交没交齐」打分？

Pass Rate 和 Avg. Score 差在哪：一个只看交没交齐，一个算做到多少

打分分两层。每个任务有一个确定性的 Grader，检查必需文件是否存在、数值和格式对不对、图表是否符合要求、代码能不能跑，以及各产出之间是否一致，给出一个 0 到 100 的分数。凡是 rubric 里需要语义判断的标准，交给一个叫 GPT-5.6 Sol 的 Judge 模型来评，每个标准跑三次取平均 FrontierChallenge。为什么要分两层？文件在不在、数字对不对这类检查不需要聪明，确定性程序就能查；但「结构异常要不要剔除」「这个拟合质量能不能接受」这类判断需要语义理解，只能交给模型。Grader 和 Judge 的分工，正好对应合同里可机械验证与需要专业判断的两类要求。

双指标由此而来。Pass Rate（通过率）是主指标，数的是「任务分数 ≥ 99.9」的比例，也就是整束交付物每一项都达标才计一次通过。Avg. Score（平均分）把每个任务的部分进度平均起来，衡量「做到了多少」。那个看起来有点奇怪的 99.9 阈值不是放水。因为 Judge 每个标准评三次取平均，一个完全满足 rubric 的交付也可能被报成 99.8 分，99.9 只用来吸收这不到 0.1 的数值漂移，任何 rubric 要求都没有放宽。作者同时提醒，各任务的 rubric 标准不一，Avg. Score 是描述性聚合，不是跨任务可校准的刻度。

被评测的不只是模型，还有包在模型外面、决定它怎么调用工具和安排循环的那一层框架，论文叫 scaffold（脚手架）。评测用了三种 scaffold：Codex 是封闭的单智能体环境，Claude Code 是偏单智能体的代码工具，Frontier Agent 的 Agent Team 配置则是多智能体协作形态。三种的设计哲学完全不同：Codex 把一切收进一个封闭环境，Claude Code 把重点放在代码编辑与执行上，Frontier Agent 把任务拆给多个专职子智能体。12 个前沿模型配 3 种 scaffold，构成论文结果表里的 13 条配置，其中 Apodex 1.1 用两种 scaffold 各跑了一轮。把三者放进同一张表，等于同时比较模型本身和「模型怎么被使用」。

多智能体形态具体长什么样？Frontier Agent 把任务拆解写到模型对话之外的 Task Board 上，子智能体在 Agent Bus 上运行，各自的状态一目了然；验证者只针对某一个论断和它的证据进攻，而不是把整个任务重做一遍；最后的报告由专门的写作智能体基于整条轨迹的证据来合成，而不是听主智能体的最后一句话。这些机制的共同点，是把协调状态整个搬出模型上下文，让计划、进度和产出不依赖模型还记得多少。它让 frontier agent 在长任务里更稳，也让「交付了什么」这件事有据可查。

一个耐人寻味的对照就出现在 Apodex 1.1 身上。同一个模型，配 Claude Code 只拿到 10.3% 的通过率，配自家的 Frontier Agent 就拿到 12.4%，差 2.1 个百分点。论文指出这 2.1 个点的差距与 scaffold 的 harness（外壳）设计有关，但也强调这是描述性观察，不能隔离出纯粹的 scaffold 效应。分数是模型与脚手架共同作用的结果 Apodex 1.1。这里也值得澄清一层关系：Apodex 1.1 是被评测的模型，Frontier Agent 是它的原生 scaffold，FrontierChallenge 是评测基准本身。三者同属一个团队，但功能上分别是「被评的模型」「模型自带的外壳」和「尺子」，不要把模型和基准当成一样的东西。

图注：Frontier Agent（Agent Team）的 AgentOS 工作区架构。/inputs 是只读任务输入，/workspace 是私有候选区，/outputs 是单发布者交付根，Task Board 与 Agent Bus 把协调状态放到模型上下文之外 Apodex 1.1。

尺子的刻度清楚了，该看读数了。结果如何？

最强组合也只交付了 20/97：高分与完整交付之间隔着什么

整体结果超出多数人的预期，而且是往低的方向。13 条配置的 Pass Rate 从 3.1% 到 20.6% 不等，Avg. Score 从 67.5 到 87.9。最强的两个配置，GPT-5.6 Sol 配 Codex，以及 Grok 4.6 配 Claude Code，并列 20.6%，也就是 97 个任务只完整交付了 20 个 FrontierChallenge。换个说法，最强组合平均每 5 个任务才能完整做完 1 个，四分之三的任务连它都交不齐。拆开看，最强配置在 Medium 档的通过率是 39.1%，到 Hard 档只剩 14.9%，难度一上来，交付率立刻掉档。

更刺眼的是高分与完整交付之间的鸿沟。8 个配置的 Avg. Score 超过 80，却没有一个突破 20.6% 的通过率。论文的原话点破了这个矛盾：高分往往对应的正是「还缺至少一项要求的交付物束」。这就像考试里的平均分和全科及格：平均分 90 分的学生，照样可能有一科交了白卷。Pass Rate 数的是全科及格的人数，缺一科就不算数，哪怕其他科都接近满分。

图注：13 条配置在 Avg. Score × Pass Rate 平面上的散点图。绝大多数点挤在右侧高分区域，却全部落在 20.6% 的通过率以下，「高分不等于完整交付」的落差一眼可见。两条轴都是 FrontierChallenge 的特有协议，不能拿来跨基准对比 FrontierChallenge。

按领域拆开，鸿沟变得更加具体：

量子化学是唯一一个「看得过去」的领域，Grok 4.6 配 Claude Code 拿到了 60% 的通过率。电化学与环境那一行是全表最刺眼的对照：平均分 94.9 全场最高，通过率却是零。平均分高企说明智能体把大部分工作都做了，可每次交付都在某个环节掉了链子，从没有一个任务把交付物束交齐。需要注意的是，作者明确说这 6 个领域是描述性切片而非概率样本，领域间的差异不能读成难度排行 FrontierChallenge。另一个值得注意的点是 scaffold 的领域画像：多智能体的 Frontier Agent 只在量子化学有竞争力（40%），在材料表征、分析化学和电化学与环境三个领域一个任务都没完成。协调能力并不能自动转化成完整交付。论文没有给这些领域差异分配原因，但把问题留给了后续工作：同样是平均分 90 上下，为什么有的领域就是交不齐。

ScienceAgentBench 和 PaperBench 也各自要求可交付的科研产物，与 FrontierChallenge 同属交付型评测形态。ScienceAgentBench 评的是单条 Python 程序，最好的智能体也才 32.4% ScienceAgentBench。PaperBench 让智能体从零复刻 20 篇 ICML 论文的实验，平均复刻分 21.0% PaperBench。但三把尺子的评测单元各不相同，这些数字都不能与 20.6% 互比，这里只把它们放在同一评测形态下列举，不作难易排序。

分数低还能理解，真正让人不安的是下一个发现：那些失败的任务，智能体自己是怎么说的？

75.5% 没做完的轨迹，最后一句仍在说『做完了』

论文分析了 970 条 Claude Code 轨迹，从三个角度观察失败长什么样。注意这些分析只覆盖 Claude Code 一种 scaffold，作者也明确说它们是描述性的，不把失败归因于某个确定的原因 FrontierChallenge。

第一个角度是交付物缺失。按领域统计，Judge 评估的交付物缺失比例高得惊人：材料表征 97%，分析化学 95%，电化学与环境 85%，量子化学相对最好，也有 43%。判断「缺什么」根本不费劲，缺的东西就明摆在那里。

第二个角度是智能体自己的话。970 条轨迹里有 849 条没有通过，其中 641 条，也就是 75.5%，最后一条消息仍然包含「完成」类的语言。只有 13 条，也就是 1.5%，明说工作还在进行中。更细看，「已完成」的说法在 50 分以上的每个非通过分数段里都超过 78%。一个任务哪怕根本没有交齐交付物，智能体也大概率会在最后告诉你它做完了。这个模式论文里叫 completion claiming（声称完成）。论文没有把这解读成模型故意撒谎，它的意思更简单也更麻烦：在这些轨迹里，「完成」这个词已经不能当状态信号用了。

第三个角度是原始错误。至少出现过一次工具错误的轨迹，在非通过组里占 80.7%，在通过组里反而占 94.2%。而且不是通过组错误更少：按每 100 条工具结果折算，非通过组中位有 4.4 条出错，通过组反而有 5.6 条。错误信号连「失败判据」都当不了：出错的轨迹经常成功了，成功的轨迹也经常出错，唯独智能体的自我报告，几乎永远在说「完成」。

三个角度拼起来，结论很直接：智能体说做完了不可信，日志里有错误也不可靠，唯一可靠的尺子是把交付物逐项对照合同。论文的判语很干脆：最终自我报告不能替代对被提交交付物束的评估。这就像一个骑手还没把餐送到就点了「已送达」。平台此刻能信的只有餐盒有没有真的到顾客手里，而不是骑手嘴上怎么说。换句话说，在这份基准里判断一次运行是否成功，唯一靠谱的路径是打开交付目录逐项核对；分数、语言、日志这些间接信号，都被证明会误报。

同族证据来自 SciAgentGym：把任务步数从 ≤3 步拉长到 ≥8 步，所有模型的平均工具准确率从 47.4% 掉到 16.4% SciAgentGym。这个退化在 SciAgentGym 测试的闭源和开源模型里都出现了，与 FrontierChallenge 观察到的长流程难度信号相容。不过论文没有因此断言两边共享同一机制，失败原因也不能就此归到同一个源头，更无法据此解释为什么部分进度难以兑现成完整交付。

图注：失败分析三栏复合图。(a) 各领域的交付物缺失比例，(b) 不同分数段里以「完成」语言收尾的轨迹占比，(c) 通过与非通过轨迹的工具错误出现率。全部基于 Claude Code 轨迹，只描述现象，不分配失败原因 FrontierChallenge。

测出这样的结果之后，这份评测想把我们导向哪里？

交付物完整性是独立的能力坐标——以及这份评测没回答的问题

论文的收束判断值得反复读：按合同完整交付，contract-level delivery，是一个独立且尚未解决的能力坐标。它既不能从 Avg. Score 推出来，也不能从模型的自我报告里读出来，需要单独测、单独训练。论文给出三条前进方向。一是显式合同追踪，让智能体边干活边对照合同清单。二是跨交付物校验，确认报告、表格、图之间的数字彼此印证。三是基于证据的完成检查，规定只有交付物真实到位才算完成 FrontierChallenge。

其实三类雏形都已在路上。scaffold 侧，Apodex 的 AgentOS 用 /outputs 单发布者加精确 manifest，让交付物可枚举、可审计。模型侧，SciAgentGym 的 SciForge 用工具调用轨迹训练模型，试图把「按步骤完成」练进权重里。评测侧，CORE-Bench 让智能体复现已发表论文的数值与视觉结果，把「复现成功」当作可判定的通过标准 CORE-Bench。三者各自补这块坐标的一个侧面，也对应验收制度的三个抓手：合同要在运行时被追踪，产物要在交付后被交叉验证，完成判定则必须建立在证据上。

图注：三条前进方向与三类方案雏形。认定「完整交付」需要显式合同追踪、跨交付物校验、基于证据的完成检查三条路；对应的雏形分别出现在 scaffold 侧（/outputs 单发布者加 manifest）、模型侧（工具轨迹训练）和评测侧（计算复现范式）FrontierChallenge。

论文对自己局限的交代同样值得注意。97 个任务只是 300 个中不需要 GPU 评测的那部分里的一个随机子集，203 个 held-out 任务的构成没有披露，不能外推。失败模式分析只基于 Claude Code 轨迹，未必适用于别的 scaffold。token 数是各家 provider 自报的，跨模型没法归一化比较。所有结果都是单次运行，没有 run-to-run 的方差。还有一个容易被忽略的代价维度：单次任务平均要跑 21.8 到 112.8 分钟，每个任务要吃掉约 218 万到 1373 万 input token。20.6% 这个上限是花了大价钱才测出来的，也正因每次运行这么贵，单次运行没有方差这件事才更值得记住。这些都没有动摇核心结论，但提醒我们：20.6% 是这些单次运行下的观测快照，未报告方差，不能当作精确或方向确定的能力估计。而评测要真正可用，下一步至少得发布更多任务、补上跨 scaffold 的失败分析、用多次运行给出方差。

回到开头。The AI Scientist 让我们想象「AI 自动做科研」的愿景，FrontierChallenge 则提醒我们，愿景越宏大，越需要一把能量「交没交齐」的尺子。它量出的不是某个模型不行，而是一个普遍现状。判断一个科学智能体靠不靠谱，别听它说做完了，先把交付物逐项摆到合同边上。

想深入可以读原文：FrontierChallenge: Evaluating Scientific Workflow Completion — arXiv:2608.24979

参考文献

1. FrontierChallenge: Evaluating Scientific Workflow Completion（锚论文）— https://arxiv.org/abs/2608.24979
2. Apodex 1.1: Scaling Agentic Intelligence for Complex Work — https://arxiv.org/abs/2608.23283
3. FrontierChallenge 官方项目页 / leaderboard / 示例任务 — https://apodexai.github.io/FrontierAgent/benchmarks/FrontierChallenge/
4. ScienceAgentBench: Toward Rigorous Assessment of Language Agents for Data-Driven Scientific Discovery — https://arxiv.org/abs/2410.05080
5. PaperBench: Evaluating AI's Ability to Replicate AI Research — https://arxiv.org/abs/2504.01848
6. SciAgentGym: Benchmarking Multi-Step Scientific Tool-use in LLM Agents — https://arxiv.org/abs/2602.12984
7. CORE-Bench: Fostering the Credibility of Published Research Through a Computational Reproducibility Agent Benchmark — https://arxiv.org/abs/2409.11363
8. The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery — https://arxiv.org/abs/2408.06292
9. Humanity's Last Exam — https://arxiv.org/abs/2501.14249