AI Scientist:科研管线确实跑通了,但结论大多还不能信
如果你正在用 Claude Code 这类工具做科研,你和 AI 的分工大概是这样的:你定方向、拆任务,它写代码、跑实验,你审阅、它修改。AI 是副驾驶,方向盘在你手里。这篇专题想讨论一个更激进的版本:如果方向盘也交给 AI,整条科研管线全都自动跑完,从选题、综述、假设,到实验、分析、写作、投稿,会发生什么?2025 到 2026 年,这个问题的答案已经从「不可能」变成了「能跑通,但结论大多还不能信」。下面七章,我们沿着这条管线逐段看。
1. 拐点:AI 把整条科研管线自动跑通了,当事人却选择了撤稿
一条从想法到审稿全自动的管线
2024 年 8 月,Sakana AI 发布了 AI Scientist v1,第一个引起广泛关注的「输入一个研究想法 prompt,输出投稿级论文草稿」的端到端系统。你只给一句话,它自己选题、自己写代码跑实验、自己写 LaTeX 论文、最后还自己写一份按 ML 会议惯例生成的审稿意见。副驾驶模式里「人写代码 AI 补全」的日常经验,在这里被彻底反转:人只剩提供初始想法这一步。

图注:AI Scientist v1 的端到端管线,从左到右:生成 idea 并自评新颖性,自动改代码、跑实验收集数值与图表结果,写成 LaTeX 报告,最后生成自动评审。这就是「管线全自动」的最小心智模型。AI Scientist
这条线就是本专题反复出现的 pipeline(流水线)的最小心智模型:Idea → Experiment → Paper → Review。
一稿通过盲审,却按协议撤稿
2025 年 3 月发生了标志性事件。AI Scientist v2 投了 3 篇论文到 ICLR 2025 的 ICBINB workshop,其中一篇拿到三位审稿人 6、7、6 分,平均 6.33,约排进前 45%,超过 workshop 的接收门槛。需要注意 workshop 的接收率约 70%,比主会议约 32% 宽松得多,但它确实是「AI 论文首次通过盲审」的公开记录。
反常的地方来了:这篇论文没有进入正式科学记录。因为 Sakana 在投稿前就与 ICLR 主办方和 UBC 伦理委员会(IRB)签了三方协议:所有 AI 投稿无论接收与否一律撤稿,审稿人被告知投稿可能由 AI 生成并可选择退出。当事团队自己都不让这篇论文进入科学记录,却在系统论文里把它称为「AI 科学家图灵测试」的雏形。2026 年 3 月,这条管线本身的论文登上了 Nature 正刊,但它讲的是管线能跑通,不是某个 AI 产出的结论被采信。AI Scientist
「管线跑通了」和「结论能被采信」是两件事,这个张力就是全篇的驱动问题。
历史起点:这条路 2023 年就有
别以为全自动科研是 2024 年才冒出来的新事物。2023 年 12 月,Nature 上的 Coscientist 已经用 GPT-4 当 Planner,通过 GOOGLE、PYTHON、DOCUMENTATION、EXPERIMENT 四个命令驱动真实的液体处理机器人,完成了 Suzuki-Miyaura 和 Sonogashira 偶联反应,论文明确写道「实验过程中没有人类做决策」。只是它自动化的是「实验执行」这一整段,还没有把选题和写作连进来。Coscientist
AI Scientist 的新贡献是把整条管线连起来,一直自动到投稿审稿。它做成了,然后选择撤稿。所以问题就变成了:到底是哪一段不可信?
2. 「全流程」是指哪几段?一条从选题到投稿的管线,有几种编法
一条六段管线
把科研拆成流水线,可以分成六段:选题与综述、假设生成、实验设计与代码、实验执行、结果分析、论文写作与投稿审稿。不同系统对它的压缩方式不同:AI Scientist v1 压成三阶段(Idea、Experiment、Paper),data-to-paper 展开成 17 步,FARS 分成四阶段。但心智模型始终是这一条六段线,后面每一章对应其中一段或几段。
同一条管线,不同的编法
同一条管线至少有两种编法。AI Scientist v1 是一个 agent 从头跑到尾的线性流水线;FARS 则把它拆成 Ideation、Planning、Experiment、Writing 四个阶段,每阶段由专门的 agent 子团队负责,多个项目并行跑同一条管道结构。让并行编排成立的关键是贯穿四阶段的 shared workspace(共享工作区):提案、计划、代码、日志、结果、稿件都写进这份持久项目记忆里,各阶段 agent 随时取用和回写,而不是靠阶段间的口头交接。

图注:FARS 的四阶段架构:Ideation/Planning/Experiment/Writing 四个阶段框,下方一条贯穿的 Shared Workspace 长条(存放 proposals、plans、code、logs、results、manuscripts),右侧是工具盒(网络、curated skills、160 块 GPU 的集群与模型推理端点)。多个项目在阶段框上有并行 lane。FARS
另一条正交的编法是对入口的选择。AI Scientist 是 idea-first:先给研究想法,再找数据验证。data-to-paper 是 data-first:从原始数据出发,让多个 agent 依次走完 17 步研究步骤,直到组装出完整论文。Data-to-Paper
自动化程度的坐标:Level 2 还是 Level 3
有了段和编法,还需要一把尺子。Agentic Science 综述给出了 Level 1 到 Level 4 的刻度:Level 1 是计算 oracle,模型只是静态函数逼近器;Level 2 是 automated research assistant,agent 在人的高阶目标指导下执行定义好的子流程,人仍然主导;Level 3 是 autonomous scientific partner,全栈自主,人只在高层给定 broad research direction(宽泛研究方向)并在关键验证节点介入。2026 年的端到端系统大多落在 Level 2 和 Level 3 之间。

图注:Agentic Science 综述的统一框架:四大学科(生命科学/化学/材料/物理)× Level 1-4 自动化阶梯 × 五类能力(规划推理、工具使用、记忆、协作、优化)× 四段核心流程(观察与假设、实验规划执行、结果分析、综合验证)。这是一个 framework 而非 benchmark,图里不含评分数字。AgenticSurvey
所以「全流程」= 一条六段管线 × 若干种编排方式 × Level 2/3 的自动化刻度。接下来逐段看真实自动化程度,先从前端开始。
3. AI 自己选方向:它觉得「新」的研究,真的新吗?
假设生成的双保险
选题段的核心是假设生成:基于文献与数据提出可验证的假说。AI Scientist v1 在这里设计了「双保险」:每个 idea 先由 LLM 自评 interestingness、novelty、feasibility 三项指标(1 到 10 分);再调 Semantic Scholar API 检索已有文献,把高语义相似度的 idea 拒掉。机制上听起来很稳:内部自评一道,外部检索一道。
双保险同时失效
独立评测把这道双保险拆穿了。SIGIR Forum 2025 上,Beel 等人完整复现了 v1:12 个想法(10 个 AI 生成 + 2 个 seed)全部被标为 novel,但 micro-batching for SGD、adaptive learning rate、hybrid matrix factorization 这些通通是已有工作。更糟的是,7 篇成功手稿每篇引用中位数只有 5 条,34 条总引用里只有 5 条来自 2020 年之后。SakanaEval
第二道保险失效的原因很具体:Semantic Scholar 只做关键词级检索,不做深度综合,所以拦不住「换个说法就是新」的旧工作。两道保险一起失效,流程如下:

图注:两道新颖性保险双双失效,12 个想法实为已有工作
AI 判断「新不新」,本质上是自我感觉良好。
综述与自定目标:失败率最高的两个环节
选题段还有两个硬数据。Agent Laboratory 的实证显示,文献综述是全管线失败率最高的阶段:gpt-4o 60%、o1-mini 70%、o1-preview 80%。反常点在于更强模型反而更容易失败:它们反复触发 summarize 命令直到触达命令步数上限(max_steps),把整个阶段卡死。所以如果你想让 AI 全程跑,综述段是最该人工兜底的地方。AgentLab
另一个是目标的来源。data-to-paper 区分了 fixed-goal(人类给定目标)和 open-goal(AI 自定目标)两种模式:后者 10 篇里 2 篇出现根本性错误,其中一篇正是目标规约阶段的幻觉导致结论超出数据范围。让 AI 自己立题的风险,不在选题本身,而在于它在立题时就幻觉了。Data-to-Paper
第一段的结论:AI 的「新」不可轻信,综述和自定目标正是人在环(human-in-the-loop)最该插桩的两个环节。
4. AI 自己写实验:能把代码改到「跑出结果」为止吗?
写、跑、读报错、改:一个闭环
第二段是实验执行。AI Scientist v1 用 Aider 改代码:写代码、运行、超时或报错就把 error message 灌回去重写,每个实验最多重试 4 次,单次 timeout 7200 秒。这就是最小闭环,但它有一个关键缺失:没有评分。改到能跑就算赢,跑得好不好没人管。AI Scientist
这个闭环的原型其实 2023 年就有:Coscientist 的 Planner 写 Opentrons 协议、方法名写错、现场查 API 文档纠正、真实反应跑通。机制演进是有来路的。
给代码循环加裁判和记忆
mle-solver 把闭环做了两处升级。第一处是加裁判:用 LLM-as-judge 对「研究计划 + 当前代码 + 运行输出」的整体对齐度打一个 0 到 1 的软评分,而不是只看 dev set 上的 accuracy。第二处是加记忆:维护一个 top-program 池,下一轮从中随机抽一份当 seed。从池里抽新程序是探索新解,用高分程序替换池内最低分是利用已有好解,这就是多臂老虎机式的探索利用权衡,也就是在「试新东西」和「守住已知的好东西」之间做平衡,论文原话叫 balance between exploration and refinement。mle-solver

图注:mle-solver 的五步闭环:A. 命令执行(REPLACE 整文件重写 / EDIT 行级替换);B. 代码执行(编译验证 + 失败重试);C. 程序评分(LLM-as-judge 给出 0-1 分);D. 自反思;E. 性能稳定化(top-program 池 + 批量并行)。mle-solver
树搜索:从单线重试到并行探索
v2 再把「单线重试」升级成树搜索。Best-First Tree Search 把实验拆成四个阶段:初始代码、超参调优、主实验 agenda、消融,每阶段独立跑一棵树。每个节点是一个「实验脚本 + 计划 + error trace + 性能 + 图 + VLM 反馈 + buggy/non-buggy 标志」的组合;非 buggy 节点被扩展去提升性能,buggy 节点被派去用报错信息调试;阶段之间把表现最好的 checkpoint 传下去当下一阶段的根节点。树搜索把「4 次重试就放弃」变成「多个方向并行试、交叉验证」。AI Scientist

图注:v2 的实验树搜索:Stage 1 从根节点并行生成初始代码,节点按运行成败标为 buggy(报错)或 non-buggy;Stage 2 创建超参调优节点;Stage 3 执行研究 agenda;Stage 4 生成消融、复制与聚合节点,阶段之间传递 best checkpoint。AI Scientist
刹车:约四成实验会失败
但机制升级不是免费午餐。独立评测里,12 个想法有 5 个在第一轮就 Failed to run,失败率 42%;而且 Aider 每轮平均只改动 baseline 代码 6260 字符的约 8%,说明它高度依赖人类提供的模板,改的是模板而不是方法学。SakanaEval

图注:独立评测记录的 12 个想法在 Aider 迭代中的字符净变化表:5 行在第一轮就标记 Failed to run(对应 42% 失败率),成功轮次的改动幅度大多在个位数百分比。这张表只证明「改代码」这一段的失败,不代表写作或评测环节。SakanaEval
更有代表性的是一个方法学漏洞:系统本想测 e-fold 交叉验证里 e 取 2、3、4、5,实际执行时却把 e 固定在 2,还不重跑 baseline,结果让 e-fold 显得「不可能地优越」。它无法自检自己的方法学缺陷。自动调试能跑通大部分实验,但约四成会死在第一轮,而「跑出结果」和「跑出正确结果」之间还有一条它看不见的鸿沟。
5. AI 写论文并自评:这份稿子,真人审稿能过吗?
从模板填充到按反馈改稿
写作自动化有两代。v1 是模板填充:Aider 按会议 template 逐节填 LaTeX,引用用 Semantic Scholar 检索补齐,编译错误最多修 5 轮。v2 去掉了模板依赖,引入跨阶段调度的 Experiment Progress Manager 和 VLM 批评循环:图先可视化,VLM 批评图是否准确描述了结果,反馈进树搜索;写稿阶段再评 caption 与图是否一致。AI Scientist

图注:AI Scientist v2 的工作流:Idea Generation → 树搜索实验(橙色块是从阶段一到阶段四跨阶段调度的 Experiment Progress Manager)→ 图表可视化 → 手稿写作 → 评审,全程不再依赖人工代码模板。AI Scientist
Agent Laboratory 的 paper-solver 走的是另一条路:精修。先生成 LaTeX 模板骨架,用 arXiv 工具在相关段落补文献,再用 EDIT 命令精确修改段落,每次修改后编译验证完整性,最后用一个类 NeurIPS 风格的 LLM reviewer 打分,驱动「回到实验还是继续改稿」的决策循环。已知局限是每篇最多生成 2 张图。mle-solver

图注:paper-solver 的四步流程:A. 生成 LaTeX 报告骨架与标准段落占位符;B. 用 arXiv 工具检索文献补进相关段落;C. 编辑阶段用 EDIT 精确修改 + LaTeX 编译验证;D. reward-based 论文评审。AgentLab
data-chaining:可复现性的机制级定义
写作自动化里最值得讲透的是 data-to-paper 的 data-chaining(数据链)。传统可复现性靠模型自觉:「我应该把方法写清楚」。data-chaining 把它变成程序强制:论文里每个被引用的数值,都能经算法验证的超链接逐级回溯。这是一条从论文指向代码的链:Data-to-Paper
每个引用都能按「数值 → 附录 → 表格 → 代码输出 → 代码行」一路点到底。可复现性第一次有了机制保证,而不是论文里的客套话。这正是 data-first 路线与 ideation-first 系统最大的范式差别:前者靠信息流控制强制可溯源,后者靠模型自觉。
「AI 论文能过审」的三层证据
「AI 写的论文能不能过审」要分三层看,三个数字根本不是一回事。
第一层,系统自带的 reviewer 与人类接近。v1 的 Automated Reviewer 在 ICLR 2022 OpenReview 平衡数据集上达到 balanced accuracy(平衡准确率)0.65,人类基线 0.66;Nature 版换了 backend,用 o4-mini 在 2025 post-cutoff 数据上给出 66%。两个数字同源但 backend 不同,要分开说。
第二层,模拟评审。CycleResearcher 用开源模型把「研究」拆成 Research → Review → Refinement 三段闭环:CycleResearcher 生成论文,CycleReviewer 当 reward 模型模拟多位审稿人打分,Iterative SimPO 把偏好对训回研究者模型,循环多轮。它报告 CycleReviewer 比个体人类审稿人的 MAE(平均绝对误差)低 26.89%,模拟 acceptance 31.07%。但这是模拟分,不是真人接收;而且论文脚注自己承认,它生成的实验结果是 fabricated(伪造)的,实验段不是真实执行。CycleResearcher

图注:CycleResearcher 的三段闭环:研究者模型从文献输入生成 outline 与正文,评审者模型给分并构造偏好对,Iterative SimPO 把反馈迭代训回研究者模型。注意其实验段是模拟而非真实运行。CycleResearcher
第三层,真人评审。Virtual Lab 的纳米抗体工作通过了 Nature 审稿,但它保留了人类顶层反馈,不是纯自动管线。再看一个刹车数据:独立评测里 AI Scientist 自带的 reviewer agent 对 10 篇 OpenReview 上的人类论文拒掉 9 篇,其中包括 4 篇被人类接受的,呈现「保守偏置 + 与人类判断错位」;同一评测还发现 7 篇 AI 手稿里 4 篇(57%)含错误或完全幻觉的数值,比如声称训练时间从 116 秒降到 115 秒却没有方法学解释。SakanaEval
写作自动化能把结果变成合规论文,data-chaining 让「可复现」首次有了机制保证;但「能过审」要分三层看:自评接近人类,模拟评审接近 preprint 但实验数据是假的,真人审稿目前只有带人类反馈的管线真正通过。
6. 端到端连起来:管线跑通了,结论就可信了吗?
一套 AI 评 AI 的坐标系
逐段看完,现在把端到端系统放到一起。第三方独立评测早就把 v1 的输出形容为「赶工的本科生作业」:形式像样,执行不认真。2026 年 4 月的横评则第一次把五套系统放进同一个量化坐标系:15 个 FARS 提案,经 wrapper 转成各系统各自格式的输入,四个系统并行各生成 15 篇论文,加上 FARS 自家 15 篇共 75 篇,交给三个独立 LLM reviewer(GPT-5.4、Gemini 3.1 Pro、Claude Opus 4.6),在创新性、严谨性、清晰度、重要性四个维度按 1 到 5 打分。AIScienceBench

图注:这套横评的完整管线:15 个 FARS 提案 → wrapper 转成各系统输入(Data-to-Paper 直接接收数据集)→ 四个系统并行生成 PDF → Sakana v1/v2 的多份 PDF 由 LLM 合并 → 共 75 篇 → 三个独立 LLM reviewer 评分。这就是后面所有分数的生成方式,AI 评 AI。AIScienceBench
结果:FARS 的合成均值 2.14 到 2.47,其余四家 1.00 到 1.87。逐维度看,FARS 也只是 Originality 2.00、Rigor 2.00、Clarity 2.87、Significance 2.00,CycleResearcher 是非 FARS 系统里最好的,Clarity 也只有 1.60。AIScienceBench

图注:五个系统 × 四个维度的合成分数柱状图:FARS 全面领先(Clarity 2.87 最高),其余系统贴近 1.00-1.07 的最低区间。注意这是三个 reviewer 的合成(synthesis)分而非单个 reviewer 分,「2 倍领先」的口径只在 Gemini/Claude 两个 reviewer 上成立。AIScienceBench
最强系统也只有 2.5/5。这就是「跑通管线 ≠ 跑出可信结论」的量化落点。方法学上还要记住两点:这是 LLM 评 LLM,没有人类基线;三个 reviewer 的一致性两极化,Gemini 与 Claude 的 Spearman 相关 ρ=0.907,而 GPT-5.4 与另外两家只有 ρ≈0.32,判据系统性不同。坐标系本身也要打个折扣。
部署级审计:不是精选的成功集
第二根支柱是 FARS 的部署审计。此前所有端到端系统都只展示精选成功样本,v1 是从几百篇里挑 10 篇;FARS 第一次公开 166 篇论文、67 个主题、282 份人类志愿审稿的全量语料,并明确写道:部署的目的不是展示精选成功,而是暴露一个持续运行系统的真实输出分布。FARS

图注:FARS 生成论文的主题分布:蓝条为初始给定的 9 个 seed 主题,灰条为部署过程中自主涌现的 emergent 主题(最大簇是 AI Safety,13 篇)。纵轴是论文篇数,不是时间轴。FARS
这份语料的价值在于主动承认失败。人审 overall 均值只有 3.17(10 分制),11.4% 的论文达到 6 分阈值;三类失分清清楚楚:narrow experimental scope(实验范围过窄)46.8%、methodological limitations(方法学局限)63.1%、integrity issues(诚信问题:fabricated results 7.4%、hallucinated methods 7.8%、hallucinated citations 5.7%)。系统确实自主越过了 seed set,但产出分布里大量是同类弱项目。几代系统的规模对比:
| 系统 | 编排方式 | 验证方式 | 规模与公开度 |
|---|---|---|---|
| AI Scientist v1 | 线性三阶段 | 计算实验 | 精选 10 篇展示 |
| AI Scientist v2 | 树搜索 + VLM 反馈 | 计算实验 | 3 篇提交 workshop |
| AgentLab / Data-to-Paper | 双模式 / 数据驱动 | 计算 + 人环 | 15 篇 × 3 backend / 多组 case study |
| FARS | 多 agent 阶段并行 | 计算 | 166 篇全量 + 282 份审稿公开 |
再往前走一步,AgentRxiv 把多个 agent 实验室接到一个中心化 preprint server(预印本服务器)上共享累积,并行模式换来 +13.7% 的相对提升,但总成本 +203.9%,这是作者自报的数字,每一分收益都有可审计的代价。AgentRxiv
正面对照:湿实验路线的可验证性
可信度与可验证性成正比,湿实验路线给出了正面对照。Virtual Lab 让 PI agent 牵头组织免疫学家、ML 专家、计算生物学家三个 agent 开会讨论方案、选工具链(ESM、AlphaFold-Multimer、Rosetta)、各自写代码实现,产出 92 个候选 nanobody(纳米抗体),其中 2 个经 ELISA(酶联免疫吸附实验)湿实验验证对 JN.1/KP.3 变异有改进结合,论文登上了 Nature 正刊。Virtual Lab

图注:Virtual Lab 在 nanobody 设计上的五阶段流程:人类定义 PI 与 Scientific Critic → team meeting 定项目规格 → 选计算工具(ESM/AlphaFold-Multimer/Rosetta)→ 各 agent 写代码实现 → PI 决定打分工作流。92 个候选由此产生并进入湿实验验证。Virtual Lab
自动科研不是只能跑 ML benchmark,也不是只有失败。但注意,这条路上线的人类顶层反馈和湿实验验证,正是它能通过真人审稿的前提。端到端连起来看,量化证据指向同一句话:管线能自动跑,结论离可采信还有相当距离;验证越硬(湿实验 > 可审计语料 > 模拟),结论越可信。
7. 哪些环节真能交给 AI:Nature 的红线,和你的落地顺序
三档风险框架,而不是工具黑名单
最后回答「谁负责、怎么落地」。Nature Portfolio 2026 年的政策放弃了 2023 年「LLM 不满足 authorship 标准」的措辞,换成一份对作者、审稿人、编辑统一适用的三档风险框架:Green(允许)、Amber(谨慎)、Red(禁止)。划分依据不是「用了什么工具」,而是这次 AI 使用是否可逆、可验证、可归因到人。Nature Policy

图注:Nature Portfolio 的三档风险标记:绿色圆勾(Green / Permitted)、琥珀色感叹号(Amber / Exercise caution)、红色菱形感叹号(Red / Not permitted)。三档按风险高低而非工具类型划分。此处仅作结构示意,非官方整图。Nature Policy
把框架落到你自己的项目上:语言润色、翻译 reviewer comments 是 Green;起草摘要、建议实验方法落 Amber,允许但必须人来验证与披露;把 AI 生成内容当作人类产出、伪造数据、把审稿委托给 LLM、把 authorship(署名权)交给 AI,全部 Red。四条核心期望里最关键的一条是 human accountability 不可转移:学术内容、评审与编辑决策的责任,不能委托给 AI。Nature Policy
回头看第一章,AI Scientist 的撤稿加水印正是 Red 档预期的合规操作:AI 生成的论文退出正式科学记录。但那是三方预设立的特例,别当成行业惯例。
落地顺序:先 co-pilot,后 autopilot
政策和数据指向同一个落地顺序。第一步,从可全自动的封闭子任务切入:mle-solver 在 MLE-Bench 拿了 4 块奖牌(2 金 1 银 1 铜),这类「给定数据集和评分函数」的任务交给 agent 跑是安全的。第二步,把整条管线跑成 co-pilot 模式:AgentLab 把 autonomous 与 co-pilot 做成系统级的一等公民,区别只在每个 subtask 末尾是否有人工 checkpoint(检查点)。AgentLab

图注:Agent Laboratory 的三阶段管线(文献综述 / 实验 / 报告写作),底部圆点是插在各子任务末尾的人类 checkpoint:autonomous 与 co-pilot 两种模式跑同一条管线,区别只在检查点有没有人。AgentLab
代价与收益要一起看:co-pilot 把整体分从 3.8/10 拉到 4.13/10(+0.33),外部评审进一步到 4.38,但距 NeurIPS 2024 接收线 5.85 还差 1.45。人在环显著改善的是表达和可信度,而非常识层面的新颖性贡献。data-to-paper 给了同向的最省力证据:复杂目标下,每轮只要 2 到 3 条单句评论,就能把错误论文挽救成准确论文。Data-to-Paper
第三步,低风险环节才试 autopilot,比如审稿总结这类文案任务。顺序的实质是:先让 AI 证明它在封闭任务里靠谱,再在全程有人审阅的 co-pilot 模式里放开,最后才把低风险环节交给全自动。
2026 的诚实结论
收束回光谱。Agentic Science 综述把路线画成四段:computational tools → assistants → autonomous partners → generative architects。Agentic Science 目前主要落在 Level 3(full agentic),Level 4 的 generative architect,也就是自主发明新工具、新方法、新概念框架的 AI,还只是 future prospect,对应的诺贝尔-图灵测试尚未实现。AgenticSurvey

图注:AI for Science 的四阶段演进路线:computational tools → assistants → autonomous partners → generative architects;Agentic Science 标在 Level 3 并建立在 Level 2 之上,Level 4 尚未实现。AgenticSurvey
所以 2026 年的诚实结论是:能全自动的是「执行」,不能全自动的是「负责」。管线值得跑,AI Scientist 们的上线证明了这一点;但结论的署名和问责,得留在人手里。给自己的工作流划一条 Green/Amber/Red 的线,从封闭子任务的全自动开始,用阶段末 checkpoint 把人在关键环节焊死,再逐步把低风险环节交给 autopilot。这就是副驾驶走向自动驾驶时,唯一走得通的路线。
参考文献
本专题引用的核心资料如下,建议深入学习时阅读原文:
- The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery (v1, 2024) / Towards End-to-End Automation of AI Research (Nature 2026) — arXiv:2408.06292
- Agent Laboratory: Using LLM Agents as Research Assistants — arXiv:2501.04227
- Agent Laboratory 的 mle-solver / paper-solver 实现细节(Findings of EMNLP 2025) — ACL Anthology
- AgentRxiv: Towards Collaborative Autonomous Research — arXiv:2503.18102
- The Virtual Lab of AI agents designs new SARS-CoV-2 nanobodies — Nature 2025
- Evaluating Sakana's AI Scientist for Autonomous Research(SIGIR Forum 第三方独立评测) — arXiv:2502.14297
- Autonomous LLM-driven research from data to human-verifiable research papers(data-to-paper, NEJM AI 2025) — arXiv:2404.17605
- Autonomous chemical research with large language models(Coscientist) — Nature 2023
- CycleResearcher: Improving Automated Research via Automated Review — arXiv:2411.00816
- FARS: A Fully Automated Research System Deployed at Scale — arXiv:2606.31651
- Nature Portfolio Editorial Policies: AI — risk-assessment framework — nature.com
- Can AI Evaluate AI Scientists? A Benchmarking Study of Autonomous Research Generation Systems — arXiv:2607.28631
- From AI for Science to Agentic Science: A Survey on Autonomous Scientific Discovery — arXiv:2508.14111