DisCo：1,000个GitHub仓库压成技能，AI科研智能体强多少？

会规划 ≠ 会跑通：AI 科研智能体缺的那一层是什么？

DisCo 要补的缺口，一句话说清楚：让科研智能体把方法跑通的操作知识。给当前的 AI 科研智能体一个机器学习题目，它最常卡住的环节往往不是算法，而是环境：装错版本的包、放错位置的数据、默默把结果变成 NaN 的某个算子。智能体已经会规划研究流程、会调用工具、会自我验证，但「怎么把一个方法真正跑通」这件事，它手里没有现成的经验。论文把这层经验命名为操作知识（operational knowledge），并把答案落在一个具体形态上：把它从 GitHub 蒸馏成可校验的技能，把 1,000 个仓库里的实战经验压成 5,353 个技能，在模型、工程框架与预算一律不动的条件下，把 MLE-bench 的奖牌率从 31% 拉到 73%。

围绕「让方法跑通」这个缺口，要先说清它装在哪。论文把研究任务形式化为一个元组 τ，把科研智能体写成两个组件的组合：模型骨干 M_θ 加 harness（负责规划、执行、记忆与验证的工程框架）。骨干模型是先验宽泛但固定的 LLM，harness 只控制流程，而让方法跑通所需的领域 know-how，这两层都没有装。论文的关键断言就在这里：操作知识不在模型里，也不在 harness 里，它是第三层 𝒦，研究智能体的完整形态因此是三组件 (M_θ, H, 𝒦)。Repo-To-Skill 具体到机器学习科研里，这层知识回答的是该选哪种方法、用哪个包、数据怎么放、参数怎么设、常见的实现与评测坑在哪里。它不是课本上的原理，而是工位上的日常。

三层形态定了，再看这层知识里要装什么，才能真把方法跑通。它内部要拆成两个互补的成分。其一是 knowledge → capability，把方法、代码、模型、API 打包成智能体真正能调用的单元；其二是 capability → usage policy，给每个单元附上触发条件、原因和标准操作流程。能力不带使用策略，等于给了工具没给选择标准；策略不带能力，等于给了建议没给可执行接口。这层与 harness 的边界也因此清楚：H 决定智能体怎么探索，𝒦 决定它探索时知道要考虑什么。

缺口和它该装的内容都清楚了，反常之处才显出来：过去几年的自动化科研工程几乎全押在 harness 这一层。AIDE 在代码空间里做树搜索，AI Scientist-v2 用 Experiment Progress Manager 串联多阶段工作流，配 VLM 评审与树搜索修错，工程复杂度压到了框架内部。AI Scientist-v2 也就是说，大家都在优化「怎么探索」，却没人专门去装「探索时该知道的常识」，操作知识这一层一直空着没人补，这正是 DisCo 要补的那一层。

图注：论文 Figure 1。(a) 在模型骨干与 harness 之上叠出 AREX-Skill 操作知识层，用可复用的流程替代试错式探索；(b) 是技能库与 DisCo 组成的成品栈和四个基准的提升柱状图，柱高留到第 5 章再读。Repo-To-Skill

图注：作为对照，AI Scientist-v2 的工作流把研究拆成多个 stage，由 Experiment Progress Manager 串联，下方配 VLM Reviewer 与 Manuscript Writing、AI Reviewer。复杂度全部集中在这一层流程工程上。AI Scientist-v2

操作知识既不在模型里，也不在 harness 里，它是一道从「知道一个方法」到「让方法跑通」之间的坎。人类工程师每天跨过这道坎，而且几十年来的经验都留在了同一个地方：GitHub。

答案在 GitHub 上：缺的是能装进智能体的形态

操作知识并没有消失。它堆在全世界的仓库和论文里，但形态是写给人类读的：完整代码库、长文档、配置说明，一个仓库几十万行，没法在任务运行期间塞进上下文。要让智能体用上它，先得有一种能装进 agent 的形态。论文选择的载体是技能（skill），工程上它就是一个目录：SKILL.md 说明技能的范围、路由、工作流与校验方法，references/ 放聚焦的说明与来源，scripts/ 放可执行的辅助脚本。

Anthropic 在 2025 年 10 月的工程博客里把这种格式讲清楚，并于 12 月发布为开放标准，核心是一套叫渐进披露（progressive disclosure）的加载机制。Agent Skills

图注：SKILL.md 的三层渐进披露表格。Level 1 元数据常驻上下文，约 100 token；Level 2 正文在技能被触发时加载，不超过 5k token；Level 3+ 的附带文件按需读取，unlimited 带星号，不是硬上限。Agent Skills

这套机制像一本写好的操作手册：目录（YAML 元数据）常驻在手边，某个章节（正文）要靠目录检索才翻开，附录与工具脚本（bundled files）用到才取。对智能体来说，真正每次都进上下文的只有每份 SKILL.md 开头那点元数据，几千个技能因此装得进一次对话。脚本可以放在磁盘上直接执行、不进上下文，这也是这套设计的关键。

为什么偏偏叫技能，而不是工具、记忆或直接检索？工具给的是接口，技能给的是接口加使用策略。一个具体例子能说清差别：接口告诉智能体「这里有函数可以调」，却回答不了「现在是该调它、还是该换一条路」；使用策略补上的正是后半句判断。把仓库原样塞进检索库，或者让模型自己上网搜，拿到的是没校验过、没触发条件、没恢复路径的原材料。技能要回答的是「这个任务现在该调用哪段经验」，而一个敢被调用的答案，必须经过验证。

技能把操作经验压缩成紧凑、带使用策略、按需加载的模块，五千多个技能因此不会撑爆上下文。但技能不会自己从仓库里长出来，它需要一个蒸馏过程，这正是 DisCo 做的事。

仓库怎么变成技能：一条锚定、取证、构造、校验的流水线

DisCo 是一个技能驱动的科研智能体，两个模式共享同一套骨干与 harness。Creator 模式负责把知识蒸馏成技能，Researcher 模式在求解任务时加载技能，把它用作操作上下文 𝒦。论文的核心工程是那条四阶段蒸馏流水线：scope 把锚解析为一个能力集合 𝒬，这里的锚可以是仓库也可以是任务；ground 把能力对应的证据 𝒳 收集到位；construct 把证据打包成候选技能图；verify 校验技能确实可跑，通过后得到技能图 𝒢 与构建记录 R。

图注：DisCo 总架构。研究任务 τ 由三组件 (M_θ, H, 𝒦) 求解；左侧 Creator 模式把锚经过 scope、ground、construct、verify 四阶段变成校验过的技能图；右侧 Researcher 模式从 AREX-Skill Library 只加载需要的分支，用作运行时的 𝒦。Repo-To-Skill

同一条流水线跑两种蒸馏，差别只在锚与证据来源。task-agnostic 蒸馏锚定仓库，源是预先持有的仓库内容，验证信号是仓库自带的测试；task-oriented 蒸馏锚定具体任务，源是主动搜索到的外部材料，验证信号是任务反馈。前者是为任意任务长期备料，后者按需取材、同类任务可复用。拿实例说话更清楚：task-agnostic 轨锚定 vLLM、FAISS 这类被广泛使用的仓库，蒸出部署、索引、检索的通用技能，谁用得着谁取；task-oriented 轨则在接到「复现某篇论文」这类具体任务后，才去搜它与哪些仓库、哪些方法相关，造出的技能只服务这一类任务。

图注：四阶段流水线的工程视图。能力集合 Q 经取证过滤出证据 X，构造出候选图，再经过校验与修订的闭环，最终输出校验过的技能图 𝒢 与构建记录 R。AREX-Skill 仓库

这条流水线和「把仓库摘要给模型看」的本质区别，在最后一道 verify。论文有一句很重的断言：verification 是蒸馏与摘要的分界。每个技能必须通过断言支持的用例、仓库原生示例、CLI 检查、冒烟测试；改不动的地方就把残留缺口写进构建记录 R，而不是藏起来。摘要可以只是抄一遍，蒸馏必须让每一条都证明自己能跑。技能图也不是平铺的，它有向边编码三种关系：路由、依赖、组合，运行中的智能体只打开任务需要的那条分支。

这四阶段把「抄来的」变成「能跑的」，靠的正是那道不许跳过的校验。一个仓库造出几个技能是一回事，把一千个仓库的经验都变成技能是另一回事，下一个问题就是规模化。

1,000 个仓库蒸馏出 5,353 个技能之后，「找到对的那一个」成了新问题

DisCo 把 task-agnostic 蒸馏铺到开源生态上，产物叫 AREX-Skill Library。截至论文提交，它覆盖 1,000 个广泛使用的机器学习仓库，蒸馏出 5,353 个技能，归入 20 个研究领域、178 个能力家族。AREX-Skill 仓库 工程镜像的节奏也印证了这一点：2026 年 8 月 3 日首发时覆盖 170 多个仓库，24 天后扩到 1,000 个仓库，论文在 9 月初提交。

库的关键设计是「重叠索引」。一个仓库可能同时支撑多种能力，于是有 700 个仓库同时出现在多个家族名下，领域与家族的归属是重叠的，不是互斥切分；论文记录了 2,209 条仓库到领域家族的精确指派路径。索引是为了路由服务的：研究请求先收敛到领域，再收敛到家族，最后落到仓库的技能图，像在图书馆里按分类号逐级缩小搜索范围。

图注：技能库拓扑与路由器。左侧是 1,000 个仓库的集合，中段是 20 个领域、178 个能力家族的索引，一个仓库可以落在多个索引格里；右侧路由器把请求从领域逐级收敛到仓库技能图，智能体只加载需要的技能。Repo-To-Skill

图注：库的规模总览。顶部是 20 领域、178 家族、1,000 仓库、5,000+ 技能；中部 20 张领域卡片给出各自的家族与仓库计数，例如 Computer Vision 有 21 个家族、211 个仓库；底部是用户请求到相关技能的五步路由。AREX-Skill 仓库

规模化的代价是真实的。论文给出的平均构建成本是一个仓库约 40 美元，用论文自报的 GPT-5.5 与 GPT-5.6-sol 骨干、xhigh 推理强度跑蒸馏；技能在评测开始前全部造好并冻结。造这座库在烧钱，烧得值不值，取决于后面的复用次数，这笔账留到最后一节。

5,353 个技能不是平铺的列表，而是靠领域、家族两级索引加仓库技能图三级路由组织起来的。库造出来了，接下来要回答那个更难的问题：只外挂这一层，智能体到底强了多少？

只加一层技能、其它全部冻结：四个基准给出了什么答案？

实验设计先立规矩，数字才可信。论文把所有可能影响结果的因素全部冻结：harness 用 Codex，骨干用论文自报的 GPT-5.5，推理强度固定为 xhigh，运行预算固定；技能在评测前构造完成并冻结。唯一变化的，是智能体有没有带这些蒸馏出来的技能。这样一来，任何提升都只能归因到操作上下文这一个变量。Repo-To-Skill

图注：四组对照柱状图，每组灰条是无技能的 Codex、青条是 Codex 加 AREX-Skill：MLE-bench 31.11 到 72.89、PaperBench 29.45 到 39.59、FrontierCS 70.63 到 77.14、PassNet 1.343 到 1.531，各配相对百分比。AREX-Skill 仓库

MLE-bench 先出场。它取 75 场 Kaggle 比赛，按人类排行榜的奖牌线判定胜负，拿到铜牌及以上算赢。Codex 无技能时 Any Medal 率为 31.11%，加上技能后是 72.89%，相对提升 134.3%。分难度看更有意思：Low 档从 42.42 升到 86.36，Medium 档从 31.58 到 69.30，High 档从 13.33 涨到 62.22，相对增益高达 366.8%，约 4.7 倍。在 MLE-bench 的这三个难度档中，High 档的相对升幅最大；不过这属于该基准内的观察，论文没有把它外推成普遍规律。带技能的配置还超过了当时公开的最强基线 64.44。MLE-bench

PaperBench 的题目是复现 20 篇 ICML 2024 的 spotlight 与 oral 论文。它把每篇论文的复现细则拆成 8,316 个可单独打分的节点，智能体从零搭代码库、执行复现脚本，再由 LLM judge 按细则判分。PaperBench

图注：PaperBench 的三段打分流程。智能体从零搭建代码库并产出 reproduce.sh，在干净环境里执行，最后由 LLM judge 按 rubric 逐项判分得出 Replication Score。PaperBench

在这道题上，Codex 加技能从 29.45 涨到 39.59，相对提升 34.4%，20 题里 18 题上升。单题增益最大的都是复杂工程：rice 涨 40.57 分，sequential-neural 涨 23.70，what-will-my-model-forget 涨 21.10；低基线题目收益尤其猛，ftrl 从 1.50 涨到 17.17，约 11 倍。但这里必须诚实：还有 2 题反退了，sample-specific-masks 掉 5.07 分，stay-on-topic 掉 4.52 分。论文的归因是检索精度 trade-off：当任务依赖一个狭窄、异质的策略，而技能图没有充分覆盖它时，智能体跟从检索到的技能，反而偏离了本来能自己找到的方案。技能让大部分任务变好，却会在特定任务上帮倒忙，这个失败模式论文没有藏。论文给出的改进方向是更精细的路由，以及在检索匹配度低时显式回退到不带技能的推理。Repo-To-Skill 至于人类参照，PaperBench 原论文只在 3 篇论文的子集上报告过 PhD 基线（best-of-3 为 41.4%），与 20 题全集不是同一口径，不能直接比。PaperBench

FrontierCS 是另一类题目：开放式的算法与系统优化，没有已知最优解，但可确定性打分。这里要分清口径：FrontierCS 官方公开的是 156 题、单轮 20 分钟直接出程序；DisCo 跑的是自己设定的 Agent Track，188 个任务、5 小时预算、2 核 CPU 与 4 GiB 内存容器，允许多轮提交改进，两者不是一回事。FrontierCS 在这个口径下，分数从 70.63 升到 77.14，相对提升 9.22%，其中 74 题改善、66 题基本不变、48 题小幅反退；相比两条 Claude Code 配置，带技能的 Codex 分数更高（77.14 对 74.5 和 61.9），token 却花得更少（4.47M 对 14.72M 和 13.85M），更省预算换来了更高分。

PassNet 最冷门也最硬核：让模型写编译器 pass，也就是识别可优化子图的模式匹配器加保留语义的重写器。它的主指标 AS Score 对错误极其敏感，写错的 pass 会被压到 0.1 的惩罚地板。带技能后 AS 从 1.343 升到 1.5313，相对提升 14.0%，正确率从 81.35% 升到 90.76%，失败样本从 14 个降到 5 个，还超过了 torch.compile 的 TorchInductor 1.419。PassNet 换个角度看，这项提升的性质和其他基准不同：分数涨上去主要靠写错与写残的 pass 大幅变少，而不是把本来就对的 pass 写得更快。在错误惩罚最狠的指标上，操作知识换回的是「少犯错」，这恰好是它最该发挥作用的地方。

四个基准、四种任务形态，共同的结论是：在固定骨干与预算下，只加一层技能能换回可复盘的增益，MLE-bench 上尤其惊人。但增益有明确前提，两个反例也在那里，说明这层知识不是越多越好。剩下的问题是：这笔账划不划算？

一次蒸馏、多次复用：这条路值在哪、边界在哪？

回到三层视图做定位。harness 工程路线把功夫下在 AIDE 的树搜索、AI Scientist-v2 的多阶段管理上，每个任务相对孤立，配置与流程每跑一遍都要重新学。DisCo 的不变量是另外两件事都不动：不换骨干、不改 harness，只外挂一层操作知识。因此技能是能跨智能体携带的资产，可以直接导出给 Codex、Claude Code 这类支持 SKILL.md 的 harness 消费。

图注：两层冻结、只外挂技能层的实验结构。上方骨干与 harness 固定不动，技能层是唯一变化，任务经技能层求解。

这条路的账本是「一次蒸馏、N 次复用」：蒸馏成本发生在库的构建期，运行期只是按需加载，值不值取决于 N 有多大。这也是四条边界所在。构建成本真实存在，平均约 40 美元一个仓库，论文没有回避。task-oriented 技能是按任务接口逐题蒸馏的（MLE-bench 75 题各造一张技能图、PaperBench 按目标论文组装技能池，FrontierCS 与 PassNet 各一张共享图），能不能跨任务、跨领域复用还没有证据。受测组合只有 GPT-5.5 加 Codex 一个，弱骨干、弱 harness 下技能是否仍然有效，论文没有回答。检索精度 trade-off 已经兑现为 PaperBench 上两个反退。此外，构造与运行被刻意分离，技能是预蒸馏的资产，不是运行时边跑边学；上游仓库更新之后技能怎么过期、怎么重蒸馏，也还是开放问题。Repo-To-Skill

harness 工程与操作知识两条路线并不是对手。DisCo 自定位为对智能体设计进步的补充：不引入新的控制循环，只蒸馏一层兼容的智能体都能消费的操作知识。这层定位如果成立，它的意义是把「每个任务重新踩一遍社区早已写好的坑」，变成「一次蒸馏、反复取出」。

值得记住的结论是：让 AI 科研智能体变强的，不只是更大的模型和更聪明的搜索，还有那些曾经只存在于人脑和仓库里的操作经验。把经验蒸馏成技能，也许是比换骨干更省钱的一条路。

想深入可以读原文：Repo-To-Skill: Distilling GitHub Repositories Into AI4AI Skills — arXiv:2609.02749

参考文献

1. Repo-To-Skill: Distilling GitHub Repositories Into AI4AI Skills（DisCo / AREX-Skill 锚论文）— https://arxiv.org/abs/2609.02749
2. AREX-Skill 官方仓库（VectorSpaceLab/Auto-ML-Skills）— https://github.com/VectorSpaceLab/Auto-ML-Skills
3. MLE-bench: Evaluating Machine Learning Agents on Machine Learning Engineering — https://arxiv.org/abs/2410.07095
4. PaperBench: Evaluating AI's Ability to Replicate AI Research — https://arxiv.org/abs/2504.01848
5. FrontierCS: Evolving Challenges for Evolving Intelligence — https://arxiv.org/abs/2512.15699
6. PassNet: Scaling Large Language Models for Graph Compiler Pass Generation — https://arxiv.org/abs/2605.29357
7. Equipping agents for the real world with Agent Skills（Anthropic Engineering）— https://www.anthropic.com/engineering/equipping-agents-for-the-real-world-with-agent-skills
8. The AI Scientist-v2: Workshop-Level Automated Scientific Discovery via Agentic Tree Search — https://arxiv.org/abs/2504.08066