Dr. Claw:把 AI 执行变成可审计的人机协作科研工作台

为什么"AI 把执行做完了"还不够——科研的真正痛点

Dr. Claw 要解决的核心命题,是如何把已经能独立执行的命令行 coding agent 包成一台可审计的研究工作台。

Claude Code、Gemini CLI、Codex 这一类工具在过去两年迅速成熟:它们能稳定地读取仓库、运行代码、跨长会话维护上下文,从"会写 Python 脚本"进化到"能独立完成一次代码评审"。很多研究者已经开始把其中一些步骤外包给它们,文献检索让 AI 做、初版代码让 AI 写、实验跑通后让 AI 出一段结果分析。单次执行的能力确实变强了,但端到端的研究过程并没有因此变得更顺,这正是 Dr. Claw 把它当作出发点的原因:CLI agent 的执行能力已经不再是瓶颈,把它转成可审计研究工作台才是。

原因在于,研究项目通常会横跨数天到数周,研究者一边在 chat 工具里和 LLM 讨论思路,一边在 IDE 里改代码、在终端里跑实验、在写作软件里起草论文。这些工具彼此独立,研究者自己的目标、约束、决策散落在多个对话窗口和文件里。当实验出现偏差需要回溯当时为什么做这个决定时,往往只能从记忆里重建;当某次 LLM 生成的代码改坏了某个文件而没有被察觉时,纠错成本远超重新生成一次;当一次长跑跑到一半发现目标本身需要调整时,整条执行链的中间状态已经没法回放。Dr. Claw 把这一组碎片化痛点视作 CLI agent 直接落地科研时必须补齐的接口层缺口。

Dr. Claw 给出的答案是它自己命名的 Vibe Research。研究者只负责表述高层次的"vibe",也就是目标、约束、验收标准;AI 负责把这份 vibe 编译成可执行的研究闭环并实际跑起来,最终的判断与决策仍然回到人手里Dr. Claw 论文摘要。把这个范式做成现实工具,正是 arXiv:2609.00365《Dr. Claw: An AI Scientist Workspace for Vibe Research》整篇论文的目标Dr. Claw 论文。这个范式的关键不是把 AI 做得更强,而是把人与 AI 之间的接口做得更可审计。

要理解 Dr. Claw 的设计立场,先看论文 Figure 1 给出的控制分层。论文把这张图直接命名为 "Control split in Dr. Claw"——它把研究过程切成左右两半:

Dr. Claw 控制分层:Human-Controlled 与 AI-Execution 双侧

图注:Dr. Claw 的控制分层框架。左列 "Human-Controlled" 由研究者设定目标、约束与验收标准;右列 "AI-Execution" 由 AI 跑五项核心操作(Plan → Execute);中间由四件持久化状态对象串联,右列执行后通过 Verify / Revise / Retry / Handoff 四种反馈回到左侧。Dr. Claw 论文 Figure 1

这张图最值得注意的一点是:左列没有替换右列。Dr. Claw 不会去重新训练一个"研究型 AI",也不会去发明第六种 coding agent;它做的事情是把现有的命令行 coding agent 包了一层,在外面加上了一套持久化状态对象和反馈回路。换句话说,Claude Code / Gemini CLI / Codex 仍然在跑 Plan → Execute,但它们跑的每一步都被落盘了,每一次 Verify / Revise / Retry / Handoff 都被记录了,研究的决策因此变成可回放的轨迹。

把这一点说透,需要补充一段来自 HCI(人机交互)研究的外部证据。CHI / UIST 2024–2025 的五篇工作(Gu et al. 2024 CHI、Kazemitabaar et al. 2024a UIST 与 2024b CHI、Xie et al. 2024 UIST、Flores-Saviaga et al. 2025 CHI)共同指向一个事实:跨数据分析师、编程学生、视障开发者三类人群,AI 协作的真正瓶颈不在生成速度,而在验证(verification)与上下文维护(context maintenance)。用户经常无法判断 LLM 给出的答案是否真的对,也无法在多任务间顺畅切换。Xie 等人的 WaitGPT 是其中最直观的代表,它把 LLM 流式生成的代码实时转成可视化的节点-链接图,让用户能即时看到数据操作的流向WaitGPT (Xie et al. 2024 UIST)。

WaitGPT 可视化 workflow:把 LLM 生成的代码实时映射成可视化操作图

图注:WaitGPT 在用户与 LLM 之间插入一个可视化层,左侧是用户输入,右侧是 LLM 输出,中间三步 parse → execute → visualize 把代码逻辑显式化。这类设计的核心主张是:让用户看到 AI 在做什么,比让 AI 做得更快更重要。

Dr. Claw 把 HCI 共识(过程可见、可中断)直接翻译成了架构层的 affordance:不是再做一个聊天界面、也不是让 LLM 解释自己,而是把研究的中间状态、决策、轨迹固化下来,由人按需回放和接管。理解了这一点之后,我们接下来要看 Dr. Claw 是如何把这件事落到具体机制上的。

Dr. Claw 的整体架构:四件状态对象 + 三层 + 闭环

Figure 1 给的是控制分层的高层视角,Figure 2 才是论文里唯一一张同时含"四件状态对象 + 三层架构 + 闭环 + policy 公式"的系统全景图。理解这张图,就理解了 Dr. Claw 的核心机制。

Dr. Claw 系统全景:四件状态对象 + 三层架构 + 闭环 + policy 公式

图注:Dr. Claw 系统全景,自上而下分四带。最上方是四件持久化状态对象(Task Graph、Artifact Store、Decision Log、Execution Trace);中间是三层架构(Interaction、Orchestration、Execution);下方是 Plan-Execute-Verify-Write-back 闭环;最底部是安全策略约束公式 Action_t ∈ 𝒜(Policy_t)。Dr. Claw 论文 Figure 2

四件状态对象是 Dr. Claw 把"研究过程"具体化的方式,每一件解决一个具体的可追溯问题:

状态对象回答什么问题具体形式
Task Graph这一步在做什么、做完没有queryable DAG 节点,含 ID、status、priority、dependencies、stage、type、required inputs、suggested skills、next-action prompt
Artifact Store产物落到哪里了文件系统,由 Artifact_{t+1} = Artifact_t ∪ ΔArtifact_t 写回
Decision Log关键决策为什么这么做人批准 / 修改 / 拒绝的记录与理由
Execution Trace执行器实际做了什么timestamped 事件流,Vibe Research 条件下 mean 14 transitions / run

论文用一句话给状态转移的形式化:State_{t+1} = f(State_t, Action_t, Obs_t)。这意味着 Dr. Claw 优化的不是单次响应,而是每一次状态迭代的可追溯性Dr. Claw 论文 Section 3.1。Task Graph 是 DAG 节点集合,Artifact Store 是文件加法,Decision Log 是决策流水,Execution Trace 是时间戳事件。

这里有一个命名上的歧义需要点破。中文里"任务图"听起来像是工作流的可视化抽象,但 Dr. Claw 论文里的 Task Graph 特指四件状态对象里的第一件——一个可查询的 DAG 节点表,每条任务对应一行(ID / 状态 / 优先级 / 依赖 / 阶段 / 类型 / 输入 / 推荐 skill / 下一步提示)。这是数据结构,不是流程图。

三层架构把用户交互、状态调度、底层执行分开:

  • Interaction 层——统一工作空间,承载聊天窗口、任务视图、文件操作、版本控制。
  • Orchestration 层——把高层意图分解为阶段任务,并管理状态与生命周期。
  • Execution 层——调用后端执行器、返回结果、处理异构执行器间的异常。

这种分层让用户可以在不同任务类型间切换执行策略(比如某个 step 用 Codex、另一个 step 用 Claude Code),而无需改变工作流的语义。

闭环由 Plan → Execute → Verify → Write-back 四步构成。输出流入 Artifact Store,任务状态在 Task Graph 里更新,干预留在 Decision Log 与 Execution Trace。状态转移遵循依赖:pending → running → done,全历史保留。安全边界用 Action set 表达:每一轮允许的动作必须落在当前 permission profile 定义的动作集里,写成 Action_t ∈ 𝒜(Policy_t)。

把这套机制放进更广的工程语境:Dr. Claw 的"任务图 + 状态机 + 持久化 + checkpoint"组合,并不是 agent 框架里唯一的实现路径。LangGraph 作为通用编排框架,把 interrupt / checkpoint / Command(resume=...) 这套原语做了通用化,但state schema 留给开发者声明——你需要自己写 TypedDict 定义状态结构LangGraph 官方文档。Dr. Claw 的差异在于:它把 Task Graph / Artifact Store / Decision Log / Execution Trace 这四件写死成科研专用的内置 state schema,研究者不必为每个项目重新定义状态结构。

LangGraph checkpoint 机制:每个 super-step 在 thread 上落一份状态快照

图注:LangGraph 官方 checkpointers 页示意图。从上到下分五行:Graph(节点与状态)→ Super-steps(每步边界)→ Checkpoints(快照内容)→ Thread(同一 thread_id 串起)→ StateSnapshot(外部可读的快照对象)。这是通用编排框架如何做"每步可回放"的官方可视化。

对比之下,Dr. Claw 不需要开发者写 state schema,但反过来也不像 LangGraph 那样能直接挂任意节点。它是科研专用的 workspace,不是通用 agent runtime。这是 Table 1 设计空间定位里 Dr. Claw 与 LangGraph 最关键的一处分歧。

到这里我们看到了 Dr. Claw 的骨架——四件状态对象是骨架、三层架构是分层、Plan-Execute-Verify-Write-back 是关节。下一步要看骨架上挂的 capacity:可复用 Skill 库与多执行器协同。

Skill 库与多执行器协同:把能力装进可复用容器

仅有骨架还不能让研究跑起来。Dr. Claw 的骨架上挂的 capacity 来自两个机制:可复用 Skill 库(把科研子任务封进可命名的能力单元)和多执行器协同(在 Claude Code / Gemini CLI / Codex / Cursor hooks 之间切换)。

论文 Appendix B.2 给出了完整的数字。Skill 库部署态总共 171 条,其中 87 条是有自己 SKILL.md 的 top-level skill,剩下的 84 条是它们的子项或引用。58 条 stage-mapped skill 按研究阶段分布:survey 11、ideation 14、experiment 18、publication 22、promotion 3。还有 30 条 top-level skill 尚未挂到 stage map 上。三个内部家族承担了大部分内容:aris-* 44 条、inno-* 16 条、ds-* 14 条,其余从公开库导入Dr. Claw 论文 Appendix B.2。

每条 skill 是一个目录,根下必须有 SKILL.md(YAML frontmatter + Markdown body),可以挂 references/、scripts/、assets/ 三个可选子目录。YAML 头限定常用字段:name、description,以及常见的 version、license、allowed-tools、argument-hint,可选 stage、domain。Skill 在激活前会经过版本与 schema 校验。

注入路径有三种,把 skill 在 workflow 里的出现时机说清楚:

  1. stage-skill map:任务的 stage + type 解析出推荐 skill,挂到 Task Graph 节点上,注入到下一步 prompt。
  2. keyword auto-load:扫描用户指令与任务文本,关键词命中则自动加载对应 skill。
  3. manual invocation:从 Skills Dashboard 手动调用。

后端执行器由 Backend Adapter 接管:Claude SDK、Codex SDK,加上 Cursor hooks。每一个 backend 都用显式 policy 设置(allowed / disallowed tools、permission mode、sandbox / approval)来约束 action set。论文把这种解耦写成一句明确的设计取舍:切换研究领域只需要改一份 JSON map,不需要改代码。

把这段设计与同期同主题的 Kassis 等人工作(Scientific Agent Skills,arXiv:2609.00065)对照一下,会看到 skill library 不是 Dr. Claw 的发明。Kassis 等人在 v2.65.0 tag 上发布了 163 条 scientific procedures,覆盖 16 个领域(genomics、cheminformatics、medical imaging、study design、scientific communication),全部用"目录 + SKILL.md + references/ + scripts/ + assets/" 的形式组织Scientific Agent Skills 论文。

Kassis 库 skill 子目录组合分布(v2.65.0)

图注:Kassis 等人的 skill 库在 v2.65.0 tag 时的子目录组合分布。163 条 skill 中绝大多数是 references/ + scripts/ 双件套(68 条)或加上 assets/(31 条),纯 SKILL.md 只有 3 条。子目录的文件数分布也是 heavy-tailed——少数 skill 占了大半引用文件。

Kassis 仓库布局:skills/ 下面是 agent-loadable material,其它都是仓库级装置

图注:Kassis 仓库把 agent-loadable material 与 repository apparatus 严格分开。skills/<name>/ 下放 SKILL.md 与可选 references / scripts / assets;测试、共享校验、CI workflow 放在仓库其它位置。这是"目录即 skill"设计的另一种实现。

两条路线都做"把可复用程序性知识装进可被 agent 加载的容器",但落点不同。Dr. Claw 把 skill 与研究阶段绑死,靠 stage-skill map 在运行时把 skill 注入任务节点;Kassis 等人把 skill 设计成与 host runtime 完全解耦的目录资产,靠 progressive disclosure 在 host 启动时只入 description(14,246 tokens / 163 条 / 中位 67 tokens,占 200K-token 窗口的 7.1%)。后者甚至在 Limitations 里诚实交代:没有 task-level evaluation、没有 host selection rate、reach 不是 use——这一点和 Dr. Claw 在评估节的态度呼应。

到这里我们已经看到:四件状态对象提供骨架,Skill 库提供 capacity,多执行器协同提供 backend 灵活性。下一节要看这三者是如何在用户面前被调度的——也就是三视图场景。

三视图场景:人到底怎么真正接管

骨架与 capacity 都到位之后,研究者真正面对的"界面"长什么样?论文 Figure 3 给出的是 Dr. Claw 的三视图场景图,由左、中、右三块面板组成。

Dr. Claw 三视图场景:Skills Dashboard(左)— 主交互界面(中)— Task List(右)

图注:Dr. Claw 三视图场景示意图。左侧是 Skills Dashboard,用于能力发现与按研究阶段 / 标签筛选;中间是主交互界面,统一承接目标 / 约束 / 验收 + 实时执行反馈;右侧是 Task List,展示同步任务卡与状态进度,并支持任务级 traceability。Dr. Claw 论文 Figure 3

这三块面板不是三个独立的工具,而是同一个工作流的三个入口:

  • Skills Dashboard 解决"我有什么能力可以用"。按研究阶段(survey / ideation / experiment / publication / promotion)浏览、按标签(Ideation / Experiment / Publication 等)筛选、手动装载需要的 skill。在某个新领域首次跑研究时,研究者通常从这里开始建立自己的工具集。
  • 主交互界面 解决"我现在要做什么"。一个统一的 prompt 接收 goal、constraint、acceptance criteria,研究者在这里做"研究 lead",Dr. Claw 负责把目标分解成 task graph、dispatch 到 backend execution、把状态反馈推到同一界面。每一次确认 / 修改 / 拒绝都进入 Decision Log。
  • Task List 解决"现在做到哪了、下一步怎么走"。整体计数(Total / Done / In Progress / Pending)、进度条、按 stage 分组的 Synchronised Task Cards。每个卡可以查任务级 traceability——任务 ID、目标、关联 skill 标签,并能直接进入下一步或回到 pending / in-progress 节点续跑。

论文强调 Figure 3 是 paper 的场景示意图,不是真实运行截图。三视图协调面板的设计意图是清晰的:让人成为研究 lead,而不是被 AI 报告淹没的旁观者。这一点与 ResearStudio(Yang and Weng, EMNLP 2025 Demos)的对照值得点一笔。ResearStudio 走的是 hierarchical Planner–Executor + live plan-as-document,把"任意时刻 pause / edit / resume"做进框架层。在 mid-run takeover 这个维度上,Dr. Claw 自承比 ResearStudio 弱(只能在 checkpoint 暂停,不能在任意时刻暂停)ResearStudio 论文。

ResearStudio 三层架构:MCP Toolbox / Agent Core / WebPage

图注:ResearStudio 的三层架构。L-1 MCP Toolbox 提供被 Planner–Executor 调用的能力;L-2 Agent Core 包含 Planner 与 Executor;L-3 WebPage 是前端界面;三层之间通过 Communication Protocol 串起。这是"任意时刻可暂停"的代表实现。

Dr. Claw 的差异在于把 mid-run takeover 与持久化研究状态绑在了一起:每一次暂停背后都有一个 queryable Task Graph 与时间戳 Execution Trace,研究者不需要担心"暂停了之后能不能接回去"。

到这里我们看到正常流——Plan / Execute / Verify / Write-back 在三视图下顺畅流转。下一个问题是:当执行器出错、文件被破坏、目标本身需要调整时,Dr. Claw 能不能续跑?

异常流也会续跑:失败恢复与非破坏性任务变更

研究项目几乎不可能一帆风顺。一次执行可能拿到 wrong-path 错误(路径不存在、JSON 解析失败),一次会议中途中断,一次 prompt 改写了原有约束。Dr. Claw 对异常流的处理方式,是论文 Section 5.2 集中演示的部分,也是它与"另一个 chat 工具"差异最大的一块。

论文给出的是一次诱导的 wrong-path 错误走读。具体做法是:在 Derm7pt 医学影像数据集上跑一个 mini-project,刻意让执行器走到一条不存在的路径,把任务打挂。然后观察 Dr. Claw 如何处理。

论文给出的 verbatim 数字:恢复后系统跑出真实 accuracy 0.892,5 个 pre-existing files 全部保留,23 个 tool events 全部记录。这里的"5 + 23"是 Section 5.2 验证段落明确给出的数字。

失败的捕获与处理走三层:

  1. 管线 / 文件层:缺路径、JSON 解析失败、磁盘不可写等问题被显式捕获,返回明确的 4xx / 5xx 状态;初始化时若缺 pipeline-state 默认文件,会自动重建。
  2. 权限层:allow / deny 显式标记,附理由;approval 请求有 bounded timeout,避免挂死。
  3. 会话层:执行器 abort 被支持、错误事件结构化、生命周期状态一致。

更关键的是非破坏性任务变更 API。论文 Appendix B.2 显式列出四种 mutation 方式:update 改 status、revise 改内容、append 加任务、continue 从 pending / in-progress 节点续跑。这些 mutation 不删除历史——每一条 prior state 仍然留在 Execution Trace 与 Decision Log 里,研究者随时可以回到任意时间点。

为什么这点重要?因为大多数 AI 工具一旦执行器报错,研究者只能重新跑一遍整条流程;Dr. Claw 把"恢复"做成第一公民,原状态不丢,新尝试叠加在旧状态之上。

为了不让读者觉得这套设计是孤例,我们看一眼同主题同期不同工程栈的另一份工作:AgentR(Samanta et al., arXiv:2608.15264)。AgentR 也做"持久化中间状态 + 可恢复执行 + 可审计使用记录",但走完全不同的实现路线AgentR 论文。

AgentR 四层架构:API / Service / Orchestration / Persistence + Cross-Cutting Concerns

图注:AgentR 的四层架构示意。蓝色 REST API Layer、绿色 Core Services、紫色 Workflow Orchestration(BullMQ + Redis + Worker)、青色 Persistence Layer(PostgreSQL + Prisma);右侧橙色 Cross-Cutting Concerns 涵盖 Security / Observability / Reliability / Financial Integrity / Configuration Management。这是"持久化 + 恢复 + 审计"这条工程脉络的另一种实现。

设计命题Dr. Claw 选了什么AgentR 选了什么
持久化载体文件系统 + WebSocketPostgreSQL + Prisma(13 张表)
任务队列Task Graph DAGBullMQ + Redis 三条队列
状态机pending / running / done6 态 ProcessingStatus
恢复策略非破坏性 mutation APIStrategy A(Redis retry)+ Strategy B(DB 重建,部分实现)
失败处理三层(管线 / 权限 / 会话)worker orphan check + exponential backoff + circuit breaker
计量记账由 Action set 限定工具ACID 事务内做 token-cost 扣减 + Type-2 SCD pricing

两者共享设计命题(持久化 + 恢复 + 审计),但实现栈完全不同。AgentR 给读者的是"工程完整度的另一种参照系"——它在开发数据集上达到 99.2% JCR / 4.3× 并行加速,但论文自承 Strategy B(DB 重建)目前"only partially realized"。

到这里我们看到了 Dr. Claw 的全部机制层。下一步进入评估节:这套系统在受控条件下做得多好?论文怎么解释数字?

对照评估:固定执行器下的 completeness + 可审计过程轨迹

论文 Section 5.1 是全文最容易被误读的部分,必须逐条点破。这一节有两个数字、一个 CI、一个论证方向:

实验设计

三个医学任务:melanoma classification on Derm7pt、nevus classification on Derm7pt、clinical-note risk baseline。两个条件:bare Codex(裸 CLI agent)、Dr. Claw 包同一 Codex。后端固定在 Codex provider + 模型 gpt-5.4、permission profile 统一为 danger-full-access / approval-never。给两个条件的指令完全一致("conduct a rigorous, publication-quality study..."),评分 rubric 对 prompt 不可见Dr. Claw 论文 Section 5.1。

核心数字

指标Dr. Claw裸 Codex差异
Pooled(21 个 best-practice 元素平均)0.9520.873Δ = +0.079
95% bootstrap CI——[-0.00, +0.14]
Limitations section1.000.33+0.67
Subgroup analysis1.000.33+0.67
Real related-work citations0.670.00+0.67
引用解析率100%62%+38 pp
引用数量488×6

注意几点:

  1. CI 包含零。+0.079 的方向在三个任务上都一致(Dr. Claw ≥ bare),但置信区间下界是 -0.00——不构成统计显著,是 single replicate 的方向一致证据。论文自己明示评估是探索性的,不是 powered comparative study。
  2. 差距全部集中在 research hygiene。在建模条件(multi-models、CV、calibration、ablation、statistical rigor)上两条件都打 1.00 平手;差距全在 limitations、subgroup、real citations 这三个"研究规范"维度上。裸 agent 在三个任务上一条真实 related-work citation 都没有,Dr. Claw 至少在两个任务上触发了 reference audit。
  3. 可审计过程轨迹是架构 affordance,不是分数。Dr. Claw 在三个任务上平均持久化 17 条 tracked tasks / 12 次 skill 读入 / 14 个 Task Graph 节点 / 14 条 Execution Trace / 10 条 Decision Log 简记;bare agent 持久化零条。"bare = absent"是构造性的,不是 empirical 差异。
  4. 一次 tie 的解释。在 clinical-note 任务上两条件 reference audit 都没触发,Dr. Claw 在这一项上没拉开差距——这说明 reference audit 机制不是默认开启的,触发条件没满足时,差距自然不出现。

这组数字能 / 不能回答什么

能回答:Dr. Claw 包在裸 Codex 外面的一整套编排(task graph + state objects + skill library + workflow instructions)作为一个 bundle,确实让生成的产物更接近论文写作规范。它至少触发了 reference audit、留下了 limitations section、做了 subgroup 分析。

不能回答:哪个具体组件(task graph / state objects / skill library / workflow instructions)贡献了多少。论文自承这是 bundle comparison,不是 ablation——下一步该做的是 skill-only vs orchestration-only 这样的对照。

这正是评估方法学反思要插进来的一段。同期 trajectory-judge 工作(Mohammadi, arXiv:2609.00038)论证了一个具体问题:只看最终结果的 outcome-only judge 在 silent fault(过程错但结果对)上漏掉多少?实验给出:loud recall 84%,silent recall 45%trajectory-judge 论文。

trajectory-judge 五 judge recall 拆分:outcome-only 在 silent 上的盲点

图注:5 个 judge 的 recall 按 silent / loud 拆成两根条。outcome-only judge 在 silent 上只有 45%,在 loud 上有 84%,39 个百分点的鸿沟是结构性盲点。step-rubric judge 把这条鸿沟几乎抹平,代价是 cost ×3。红色 × 是"flag everything"反例——召回满分但价值为零。

这段外部证据的方向和 Dr. Claw 一致:只看 outcome 的评判方式不够。Dr. Claw 的 0.952 vs 0.873 是 coverage,不是 correctness;它的审计轨迹是 first-class artifact,不是事后日志。这两件事在同一方向上:评判 agent 的过程也要 verification,不能只看结果。

接下来还要给一个用户视角的补充。论文 Appendix A 跑了一次 N=7 PhD 研究者的 retrospective study,对照 C1 No-AI / C2 Web-Desktop-AI(ChatGPT / Gemini / Claude)/ C3 Dr. Claw 三种条件。Dr. Claw 条件落在更短的完成时间带(主要 <1h 与 1h–1d)、更高的 stage output score、更少的工具切换、更高的 experience score。Experience 维度在三个 stage 上 pairwise 全部显著;Time Band 仅在 Stage 2–3 显著。论文自承这是 hybrid exploratory 协议(C3 live logs、C1/C2 retrospective reports),不构成因果证据,但确实是 operator-facing 效应Dr. Claw 论文 Section 5.3 + Appendix A。

到这里评估节结束。下一个问题:把这套系统放进更广的设计空间里,它和 AI Scientist、ResearStudio、TinyScientist、LangGraph 各自站在哪个位置?

Dr. Claw 究竟做到哪一步:设计空间定位

论文 Table 1 是这张定位图。Dr. Claw 在七个维度上自评全 ●:

维度Dr. ClawAI Scientist v1/v2TinyScientistResearStudioLangGraph
Wraps CLI agent●◐●○○
Research skills●◐◐◐○
Built-in research state●●◐●○
In-place recovery●◐○●●
Mid-run takeover●○○●◐
End-user workspace●○●●○
Unattended end-to-end●●●◐●

每个维度单独看都有前辈:

  • Wraps CLI agent:TinyScientist 也把 Coder 委托给外部 coding agent(Aider / Claude Agent SDK)TinyScientist 论文。
  • Built-in research state:AI Scientist-v2 持久化结构化的实验树(replication node + aggregation node)AI Scientist-v2 论文。

AI Scientist-v2 的 agentic tree search:replication node + aggregation node

图注:AI Scientist-v2 的多阶段树状实验流程。每个阶段都是一次 tree-search problem,replication node 重复父节点的实验,aggregation node 聚合 replication 结果出综合可视化。这是 Dr. Claw Section 2.1 引为"持久化结构化实验树"单一维度先例的视觉证据。

  • In-place recovery:LangGraph 的 checkpoint + replay 提供通用恢复原语。
  • Mid-run takeover:ResearStudio 的任意时刻 pause / edit / resume 比 Dr. Claw 在这一维上更强(Dr. Claw 自承)。

TinyScientist framework:thinker/coder/writer/reviewer 四模块 + feature 组件

图注:TinyScientist 把研究流程切成 thinker / coder / writer / reviewer 四个模块,每个模块由 InputFormatter / OutputFormatter / MCPClient / Checker 四个 feature 组件支撑。这是"wraps CLI agent"维度的另一条实现路线,Coder 模块委托给外部 coding agent。

Dr. Claw 的差异不在某一维上独占鳌头,而在把七件事组合成一个 sustained human takeover 的长时工作流——这是 Table 1 上唯一七维全 ● 的工作。

这也回答了"为什么这篇值得读"。AI Scientist-v2 跑的是"自主长跑到投稿成功",ResearStudio 跑的是"任意时刻可暂停的人机协作",TinyScientist 跑的是"模块化 + 外包执行",LangGraph 跑的是"通用持久化与恢复"。Dr. Claw 把这些线索里的几条(外包 CLI、持久化研究状态、内置 skill、in-place recovery、mid-run takeover、end-user workspace、unattended mode)合并到一个不放弃人类决策权的端到端研究工作台里。这不是又一个自主 agent,而是一个以人为 lead 的科研工作台。

到这里定位节结束。下一节要给读者最关键的一帖:Dr. Claw 不是 SOTA 论文,它是 EMNLP 2026 System Demonstrations demo,论文自承的限制需要逐条复述。

局限与延伸讨论:Dr. Claw 不是 SOTA 论文

论文 Limitations 节是这一段最重要的证据,下表为中文意译,语义与 Limitations 节一致,但并非逐字逐句的英文 verbatim 复述Dr. Claw 论文 Limitations 节。

#限制具体含义写作建议
1小规模探索性 demo3 个医学任务、每任务 1 次重复,CI 含零不要把它读成 SOTA 论文
2不是 ablationtask graph + state objects + skill library + workflow instructions 是一个 bundle下一自然实验是 skill-only vs orchestration-only 对照
3覆盖率而非正确性21 个 best-practice 元素是 coverage 计数,不是 expert correctness review高风险场景不要把系统输出直接当真
4对照组是 bare executorLimitations 原文只说「not a state-of-the-art orchestration framework」,未点名具体框架;下表的对照对象另引自论文 Table 1不能写成"Dr. Claw 比 LangGraph 好"
5单域医学transfer 到开放探索 / 多模态 / 跨学科未验证不在医学外场景下做能力承诺
6不主张模型级创新增益依赖 backend model + permission profile + skill 覆盖度配置变动时增益会变

延伸风险

AGPL-3.0 + GPL-3.0 上游合规边界。Dr. Claw 仓库走 AGPL-3.0,但上游 backend adapter 组件(Codex SDK / Claude SDK,即论文 Section 3.5 描述的 backend adapters for the Claude and Codex SDKs with Cursor hooks)走 GPL-3.0。AGPL-3.0 的网络服务条款意味着:把 Dr. Claw 部署为 SaaS 也必须开源整套修改。GPL-3.0 上游则意味着任何衍生工作必须以兼容许可证发布。这对希望闭源集成的团队是硬约束Dr. Claw 论文 Abstract + License 节。

依赖上游 coding agent 的脆弱性。Dr. Claw 包的是 Claude Code / Gemini CLI / Codex SDK——这三家本身都在快速演进:模型版本、permission 模式、tool use 接口都会变。Dr. Claw 的 Backend Adapter 列表(Claude SDK + Codex SDK + Cursor hooks)需要持续跟进,policy 设置(allowed-tools / permission mode / sandbox / approval)任何上游变动都可能让 Dr. Claw 的 action set 错位。

评估方法学透明度。Kassis 等人在 Scientific Agent Skills 论文的 Limitations 里诚实写明:"no task-level evaluation, no host selection rate, reach is not use"。这种"知道自己测了什么、没测什么"的态度和 Dr. Claw 评估节的态度呼应:dr. claw 的 0.952 vs 0.873 是 bundle comparison 的方向证据,不是 SOTA 主张。

到这里,全文收口。Dr. Claw 的设计立场是"包一层而不是再造一个新自主 agent":把现有 CLI coding agent 包进持久化状态对象 + 可复用 Skill 库 + 多执行器协同 + 人在环审计的可追溯工作台,让 Vibe Research 范式落地。它的核心机制(四件状态对象、三层架构、Plan-Execute-Verify-Write-back 闭环、policy 公式)让每一步决策变得可回放;它的可恢复能力让异常流也能续跑;它在 Table 1 的七维设计空间里是唯一全 ● 的工作。但它也是一份 EMNLP 2026 System Demonstrations demo——评估是探索性的、不是消融、是覆盖率而非正确性、单域医学、未主张模型级创新。把这一帖吃透,是正确使用 Dr. Claw 的前提。

参考文献

本专题引用的核心资料如下,建议深入学习时阅读原文:

  1. Dr. Claw: An AI Scientist Workspace for Vibe Research — arXiv:2609.00365
  2. Scientific Agent Skills: A Library of Procedural Knowledge for Research Agents (Kassis et al., K-Dense) — arXiv:2609.00065
  3. The AI Scientist-v2: Workshop-Level Automated Scientific Discovery via Agentic Tree Search (Yamada et al., Sakana AI) — arXiv:2504.08066
  4. ResearStudio: A Human-intervenable Framework for Building Controllable Deep Research Agents (Yang & Weng) — ACL Anthology 2025.emnlp-demos.69
  5. trajectory-judge: What Outcome-Only LLM Judges Miss on Agent Trajectories (Mohammadi) — arXiv:2609.00038
  6. AgentR: A Stateful and Recovery-Aware Software Architecture for LLM-based Auditable Workflows (Samanta et al.) — arXiv:2608.15264
  7. TinyScientist: An Interactive, Extensible, and Controllable Framework for Building Research Agents (Yu et al.) — ACL Anthology 2025.emnlp-demos.41
  8. WaitGPT: Zero-shot Interactive Data Analysis (Xie et al., UIST 2024) — arXiv:2408.01703
  9. LangGraph: a low-level orchestration framework for stateful agents — 官方文档