SAEScientist-Bench：AI 识别逼近专家，操控只剩一半

人类研究员为什么读不完自己的模型？

2024 年春天，Anthropic 的研究员翻开了一本特殊的词典。它的词条不是单词，而是模型内部的"语义方向"，一共 3400 万条。他们在里面找到了金门大桥：把这个词条对应的激活值拧到正常水平的 10 倍，Claude 3 Sonnet 会在对话里自称金门大桥。同一本词典里，约 65% 的词条在 1000 万 token 采样中从未激活过，等于一本三分之二页面空白的工具书。人，已经读不完了。Anthropic 2024 于是问题浮出水面：为什么现在要检验，AI 能不能替人读这本 SAE 词典？回答它需要三块证据：这本词典是什么、它为什么越变越大、以及为什么答案现在就要。

第一块证据回答"检验对象是什么"。这本词典不是人写的，是训练出来的。工具叫 sparse autoencoder（稀疏自编码器），简称 SAE，是当前机制可解释性的核心手段。SAE 接收模型某一层的内部激活，把它压成一组稀疏特征再还原回去，训练目标就是"压缩又还原的损失尽量小、同时激活尽量稀疏"。训练完成后，权重矩阵的每一列都成了一个特征方向，整组特征可以看作一本词典：模型在某个 token 上把哪个词条算得最响，就等于在"说"哪个意思。2023 年最早把 SAE 推进语言模型的实验证明，这些词条比神经元本身干净得多，可解释性分数明显压过 PCA 分量和随机投影之类基线。为什么放着现成的神经元不用，非要再造一本词典？因为单个神经元是"多义"的，同一个神经元会在好几种不相关的语义下同时激活，而 SAE 学出来的方向能把缠在一起的语义掰开，让每个词条对应一个干净的意思。SAE 起点 换句话说，这本词典正是人类目前读懂模型内部的主要抓手。主抓手读不完，才轮得到问"AI 能不能替人读"。

图注：SAE 方法三段图：左侧从模型内部抽取激活，中间训练稀疏自编码器、权重矩阵构成特征字典，右侧用自动解读给词条的可解释性打分。字典是训练出来的，不是人写的。SAE 起点

第二块证据是规模压力：词典只会越变越大。2024 年的 TopK 训练法让 OpenAI 在 GPT-4 上训出了 1600 万词条的字典，还顺带解决了早期 SAE 大量词条永久沉睡的问题。沉睡问题有多严重？同一份报告里的消融显示：不加缓解措施，这种规模下高达 90% 的词条从不激活；加上配套的初始化和辅助损失，数字降到 7%。TopK scaling Anthropic 在 Claude 3 Sonnet 上做了一组对照：100 万、400 万、3400 万三档词条的字典，死条目比例分别大约是 2%、35%、65%。为什么词典非得越做越大？Anthropic 在报告里发现，越罕见的语义，需要越大的字典才能解析出来，这是词典越修越大的内在压力。而词典越大，人类越读不完，"读懂模型内部"这件事正在从"能不能"变成"谁来读"。

图注：双面板 scaling law 图：左侧曲线族显示不同词条规模的字典，损失随训练算力上升而下降；右侧散点与拟合线显示最优特征数随算力按幂律放大。死条目 2% 到 65% 的具体数字不在图上，来自 Anthropic 报告正文。Anthropic 2024

第三块证据回答"为什么答案现在就要"：recursive self-improvement（递归自我改进）的图景已经摆在桌上，AI 自己改进自己，训练、评估、迭代的整条流水线都在走向自动化。可现有的自动化科研流程把模型当成黑盒，只优化外部指标。模型内部一旦学会了欺骗，谁来审计它？这正是可解释性研究要补的那根白盒审计支柱。2024 年的 MAIA 已经让 agent 拿着工具去解释图像模型的神经元，但那只停留在单个神经元上，还没有人把这个科研循环做成一场标准化、能自动打分的考试。MAIA 一边是词典大到人读不完，一边是审计缺人接手，检验"AI 能否替人读 SAE 词典"就成了白盒审计的第一块试金石。这个空缺，就是 SAEScientist-Bench 要补的位置。

于是问题变成了一道工程题：怎么把"做一次可解释性科研"，变成一场能自动打分、无法作弊的考试？

怎么把「做科研」变成一场能自动打分的闭卷考试？

SAEScientist-Bench 的答案简单得近乎粗暴：把它变成闭卷考试。每场考试给一个概念，让 agent 在一本固定字典里找出代表这个概念的特征，交一个特征编号，幕后机器阅卷。SAEScientist-Bench

一共 20 场考试，覆盖 17 个概念：葡萄牙语、西班牙语、拉丁语等 6 门语言，财报、求职公告、税务、房地产、天气预报 5 种文档格式，临床病症、给药剂量、资产配置、考古发掘、园艺 5 类领域知识。财报、资产配置、税务这 3 个概念在第 9 层和第 20 层各考一遍，凑成 20 场。考场是固定的：Gemma-2-9B-IT 第 9 层或第 20 层的一个 131,072 词条字典。每场考试还附带一份冻结的评测集：正面文本、困难负对照、中性文本三类，外加 20 条专用于 steering 的 prompt。这份评测集和标准答案一样，对 agent 全程隐身。

为什么偏偏是这两层？第 9、20 层属于中间层，抓到的特征既有具体语义、又不会抽象到无法言说；更重要的是这套字典来自 Gemma Scope 的公开权重，每个词条都有公开编号，任何人可以复现整场考试。Gemma Scope

考生（agent）手里只有一个只读接口 probe_sae(64 条文本, mode)：把 64 条文本喂进去，接口返回激活最高的词条，或者一批候选词条的激活值。只能查，不能改。标准答案是一组由 Neuronpedia 人工专家锚定的特征，考试前就冻结起来，对 agent 完全保密。把对应关系说透：考生知道题目（概念）、可以反复翻参考书（查字典、对比候选）、但永远看不到标准答案。分数是机器算的，想作弊没有路。

这套设计把作弊的路一条条堵死：标准答案在考试前冻结，评测集对 agent 隐身，网络被切断，每个任务独立跑三轮取平均值和方差。分数不是某个裁判的现场好恶，而是可以复查的记录。

图注：SAEScientist-Bench 流程图：左侧 agent 通过 probe_sae 反复探测文本，中间 SAE 把隐藏状态翻译成特征方向用于排序和 steering，右侧评卷模块用 Rank、Activation、Steering 三件套打分。专家特征与 agent 提交的特征在图中分置，呈现"标准答案保密"的设置。SAEScientist-Bench

考场的规模比想象中大得多：整场考试跑下来，10 个 agent 制造了 600 场计分轮次、4873 次探测调用、49407 条探测文本、10940 次生成。一次考试的循环是：写 64 条探测文本，翻字典找候选，对比候选，提交一个特征 ID，60 分钟超时。10 个最强模型全员上阵，Kimi K3、Claude Opus 5、Claude Sonnet 5、Grok 4.6、Gemini 3.8 Flash、GPT-5.6 系列，全部闭卷断网。每个配置在每道题上独立跑三轮取平均，Sol 和 Luna 跑在 Codex 环境里，其余配置跑在 Cursor 的高推理模式下。

考试出好了，阅卷标准成了新问题：一个概念的代表特征有 13 万条候选，交上来的答案，要考成什么样才算"真的找到"？

什么才算「真的找到」了一个特征？

论文用三把尺子，问了三个越来越难的问题。

第一把尺子叫 Rank，考"找不找得到"：候选特征在这本 13 万词条的字典里，相对专家特征排多靠前。排名的依据是正面文本上激活最高的几个 token 的均值，100 分代表和专家在同一位置。第二把尺子叫 Activation Selectivity，考"分不分得清"：把正面文本和对照文本喂进去，看它能不能把两类例子的激活值干净地分开，分数用 100 × max(0, 2·AUROC − 1) 把区分度换算成百分制。第三把尺子叫 Causal Steering，考"拧不拧得动"：把特征方向按 h ← h + α·d_f 加进生成过程，相当于拧一个旋钮，看模型的输出是不是真的朝目标语义改变。拧的幅度由系数 α 决定，先在一组独立 prompt 上标定好，原则是既要明显改变目标语义、又不能把输出拧坏。评卷由 GPT-4o 盲审：它只看三份匿名输出，基线、拧了目标特征的、拧了随机方向的，打 0 到 4 分，扣除随机方向本身的效果后才是最终得分。SAEScientist-Bench

前两把尺子测的是"相关"，第三把测的是"因果"。区别是理解整张成绩单的钥匙：一个特征跟葡萄牙语高度相关，表现为只要出现葡萄牙语文本它就激活得很响，这并不代表拧它就能让模型真的改口说葡萄牙语。相关可以天然存在，因果需要人为干预才能验证。这也是全文最锐利的观察：找到特征，不等于理解模型。

三把尺子的选择本身有讲究。SAE 评测是个成熟领域，SAEBench 用 4 类能力 8 项指标在系统地测 SAE 本身的质量，说明多维评测不是拍脑袋。有意思的是，SAEBench 在报告里明确写过一句话：指标不能有意义地合成单一分数。SAEScientist-Bench 反其道而行，把三把尺子等权平均成一个 Overall，理由是它要评的不是 SAE 的质量，而是 agent 的整体科研胜任度。聚合是约定俗成的选择，不是天然标度。SAEBench 而第三把尺子的难度也有独立佐证：AxBench 在另一套协议下测过 11 种 steering 方法，简单的 prompting 平均拿 0.894，SAE 平均只拿 0.165。协议不同、数字不能直接和本文做差，但方向一致：让 SAE 特征真正改变行为，本来就是件难事。AxBench

三把尺子架好，10 个最强 agent 走进考场。成绩单揭晓，结果比预想的分裂得多。

成绩单：AI 差点追上专家，到底输在哪一环？

以下数字按 arXiv v1（2026 年 9 月 8 日提交的 in-progress preprint）报告，属"尚未定稿"，未来版本可能漂移。先说结论：没有 agent 能碰专家的总分。顺带交代"专家"是谁：猫概念的专家特征直接取自 Neuronpedia 公开的 steering preset，其余概念由专家在正负样本上人工挑选验证。它是一个可复核的参照系，不是某个研究员的主观偏好。

加粗的是该列 agent 中的第一；误差棒是三次独立运行的波动，此处从略。SAEScientist-Bench

图注：各 agent 与专家一条横向堆叠条形图，三色子条对应 Rank、Activation、Steering，按总分成绩排序，误差棒为三次独立运行的波动。专家条最长，steering 色条明显主导了 agent 与专家的差距；图只展示相对组成，精确分数以 Table 1 为准。SAEScientist-Bench

数字里藏着两个完全不同的故事。先说好消息：识别已经追平了。Activation 最高的 Kimi K3 拿 92.91，专家是 98.92，只差 6 分。排名上 agent 整体也学到了专家挑特征的门道。再说坏消息：Steering 最好的 Grok 4.6 只有 31.47，专家是 57.75，差了 26.28 分，相当于专家水平的约 54.5%。标题里那句话不是修辞：AI 在"认出特征"上逼近专家，在"把特征拧成能改变行为的开关"上真的只剩专家的一半。把总分也算一笔账：最接近专家的 Kimi K3 也只有专家水平的约 77%，垫底的 GPT-5.6 Luna 约 59%，而且 Luna 三次运行的波动高达 ±7.40，发挥最不稳定。这不是差一点的擦边球，是稳定地、系统地短了一块。

这个差距意味着什么？它把"相关"和"因果"之间的裂缝变成了可测量的数字。分数高不等于特征好，总分还会掩盖内情：Kimi K3 总成绩第一，主要靠 Activation 拉分，它的 Steering 只有 30.26；Steering 的真正第一是总分第四的 Grok 4.6。三指标等权平均的设计，让总分成了各维度长板的加权和，单看总分会被误导。把三个单项第一摆在一起看更有意思：Activation 第一是 Kimi K3，Rank 第一是 Claude Opus 5，Steering 第一是 Grok 4.6，三个第一分属三家。这说明目前没有任何一个 agent 是三项全能的，每个模型都在各用自己的长板。

还有一个值得警惕的相关性：Overall 与 Artificial Analysis Intelligence Index v4.2 的相关系数是 ρ = 0.800，也就是说模型越强，白盒可解释性越强。但它是一条独立的能力前沿，普通 benchmark 的高分不能替代"真的读懂了模型"。

同一道考题，顶尖 agent 之间差了 15 分。差距藏在各自的搜索方式里吗？

赢的 agent 赢在哪：搜索量，还是实验设计？

看行为记录，10 个 agent 呈现出三种截然不同的"科研风格"。GPT-5.6 Sol 平均写 115.1 条探测文本，靠文本多样性广撒网；Claude Opus 5 平均直测约 80 个候选特征，是批量筛选型；Kimi K3 发起很少的检索请求、几乎不回头重查，属于"一击即中"的精准假设型。Sonnet 5 与 Opus 5 的行为差异则几乎全部集中在"重检索率"这一列：选到同一个候选之后，一个会回头复查，一个直接交卷。反常的地方在于：20 场一模一样的考试，三种风格互有胜负，谁也没把谁打趴下。如果成绩由搜索量决定，风格差异应该直接映射成分数差异，但并没有。

图注：10 个 agent 加专家各占一面板的行为热力图：四列分别是探测请求数、探测文本数、直测候选数、重检索率，各列独立归一化。Sol 的文本多样性、Opus 5 的候选筛选量、Kimi K3 的整体低调一眼可分；图只展示行为，不展示分数。SAEScientist-Bench

两个正反对照的案例把结论钉死。

葡萄牙语这题，Claude Opus 5 提交的候选特征在英文对照文本上激活值高达 4.50，比葡萄牙语原文的 3.81 还高。一个自称"葡萄牙语特征"的词条，见到英语反而更兴奋，这说明它找到的是假特征，整题 Overall 只有 13.9 分。同题 Kimi K3 提交了一个强方向特征，激活值 26.33，Overall 拿到 95.0。一个把证据读反了，一个一击即中，差距不在搜索量，在怎么解读证据。同一个葡萄牙语考题，干预生成的成品也分三六九等：Sol 的干预产出了 4 行连贯的葡萄牙语诗，Opus 4.8 输出的是 11 行重复打转的循环，专家产出了 6 行。能不能拧动、拧出来的东西像不像话，和找不找得对特征，是两个层次的能力。

猫这题给出了正面教材。Claude Opus 5 主动设计了一批形态学负对照："Copycat killer"、"Catalytic converter"这类包含 cat 子串但语义与猫无关的词组。它用这些排除只按字符串响应的假特征，最后选中真正单语义的专家特征。这就是科学方法的标准动作：给结论做排除性检验。这个细节还解释了为什么 Opus 5 和 Sonnet 5 选到了同一个专家特征，却只有 Opus 5 会主动验证：一个把验证当成流程，一个把检索结果当答案。

论文把这些案例归纳成 Takeaway 2：决定科研成败的是假设检验式的实验设计，不是写的探测文本数、测的候选数。停下来想想这句话的分量：写更多文本、测更多候选，Agent 都能轻松做到；设计一个能推翻自己候选的实验，才是大多数 agent 与人类专家差得最远的地方。房地产这题补上了第三种失败：Kimi K3 接受了一个"漏气"的宽泛候选，steering 得分赢了，但生成退化率从 32.5% 升到 52.5%。分数高不代表特征干净，宽泛的特征拧起来会连带弄坏别的东西。临床病症这题则是"数据摆在眼前却不看"：GLM-5.2 设计了排除医疗文书的对照实验，但它的最终候选在一条毫无症状的患者病史上也激活到 70.25，它把这个异常数字当成可忽略的噪音，选了一个只跟踪文书格式的特征。对照数据就在手边，agent 选择了无视。让 agent 自主设计实验这条路，2024 年 MAIA 用图像神经元开辟过，本篇把它搬进了 13 万词条的字典，并用人类专家锚定来打分。

成绩单和行为剖析都摆在这里了。最后的问题是：一次考试，够不够证明 AI 会做可解释性科研？

一次考试，够不够证明 AI 会做可解释性科研？

先把这次考试放进"AI 当科学家"的谱系里定位。MLAgentBench 考的是把 ML 任务的指标分数提上去，Claude 3 Opus 在这种黑盒调参里平均成功率 37.5%，它从头到尾看不见模型内部。MLAgentBench The AI Scientist v2 考的是从想法到论文的端到端科研，产物在 ICLR 2025 的 workshop 上三投一中、平均分 6.33，它也不碰模型内部。AI Scientist v2 SAEScientist-Bench 独占第三个角落：白盒审计，让 agent 在已训练模型的内部表征里找出并验证一个特征。论文自称这是第一个把"用 SAE 工具做机制发现"标准化的基准。这是 agent-as-scientist 谱系的第三个顶点，也是 RSI 全景里其他基准都缺的一块。

论文自己列的局限很诚实：只有 20 个任务，只测了一个模型的两层字典，steering 评分由单一的 GPT-4o 裁判包办、没有多人陪审，专家特征来自人工标注、可能存在偏差，而且整场考试是事后审计，还没接进模型编辑和对齐的闭环；steering 的干预强度标定按特征逐个做网格搜索，也存在残余的敏感度。换句话说，它证明了"读得懂"，没有证明"读完之后能修"。

把这块拼图放回 RSI 的图景，就明白为什么值得关注。AI 自己改进自己的愿景里，训练、微调、评估的管线都已经自动化，唯独"检查内部"这一步还是人肉活。理想的审计闭环长这样：agent 在大字典里发现可疑特征，自动验证并生成审计报告，由人类或另一个 AI 复核，再把结论接进模型编辑、去学习和持续对齐。这条链目前只通了第一环。一旦模型学会欺骗，谁来审计？Anthropic 已经在 3400 万词条里筛出过奉承、欺骗、生物武器相关的特征族，这类特征恰恰是审计最想盯的东西。这篇论文给出的判断是：找特征这半场，AI 已经毕业；把特征拧成真正改变行为的开关这一步，还没有交到 AI 手里。白盒审计的闭环，差最后一块拼图。

这套考试的试验台还很小，续作的方向却很清楚：换上更大的字典，Gemma Scope 2 已经发布了带 transcoder 的新一代；再加更多层、更多模型，把事后审计接进模型编辑的闭环。每一步都是在把标题里那个"只剩一半"往上顶。

这最后一块，恰恰是"AI 自己改进自己"时代最需要的安全能力。识别可以外包给机器，因果验证还不能。下一次考试，考的就是这里。

想深入可以读原文：SAEScientist-Bench: Can AI Agents Conduct Autonomous SAE Interpretability Research? — arXiv:2609.09113

参考文献

• SAEScientist-Bench: Can AI Agents Conduct Autonomous SAE Interpretability Research?（arXiv:2609.09113，本文锚定论文）— https://arxiv.org/abs/2609.09113
• Gemma Scope: Open Sparse Autoencoders Everywhere All At Once on Gemma 2（arXiv:2408.05147，考题字典来源）— https://arxiv.org/abs/2408.05147
• Sparse Autoencoders Find Highly Interpretable Features in Language Models（arXiv:2309.08600，SAE 范式起点）— https://arxiv.org/abs/2309.08600
• Scaling and evaluating sparse autoencoders（arXiv:2406.04093，TopK 训练与 scaling law）— https://arxiv.org/abs/2406.04093
• Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet（Anthropic Transformer Circuits Thread，2024-05）— https://transformer-circuits.pub/2024/scaling-monosemanticity/
• SAEBench: A Comprehensive Benchmark for Sparse Autoencoders in Language Model Interpretability（arXiv:2503.09532）— https://arxiv.org/abs/2503.09532
• AxBench: Steering LLMs? Even Simple Baselines Outperform Sparse Autoencoders（arXiv:2501.17148）— https://arxiv.org/abs/2501.17148
• A Multimodal Automated Interpretability Agent（arXiv:2404.14394，MAIA）— https://arxiv.org/abs/2404.14394
• MLAgentBench: Evaluating Language Agents on Machine Learning Experimentation（arXiv:2310.03302）— https://arxiv.org/abs/2310.03302
• The AI Scientist-v2: Workshop-Level Automated Scientific Discovery via Agentic Tree Search（arXiv:2504.08066）— https://arxiv.org/abs/2504.08066