BCIT：模型自己训练自己时，过去的成功经验要先过审才能再用

模型自己训练自己之后，为什么旧经验不再无条件可信

一段本该平平无奇的微调，结果让人倒吸一口气。论文在 24 个「历史候选更新 × 配对上下文」上做迁移诊断时，一条标准的监督式 SQL 更新让目标任务涨了 2.25 分，同时把模型的指令跟随能力打掉 22.74 和 18.71 分。一个配方，两种结局：目标能力小幅变好，保留能力损失惨重。如果这条更新被采纳，被提升的子模型还会把这份「账单」带进后续所有训练。

这条旧更新为何会忽然带来账单？要回答它，得先回到自动训练闭环为何会积累经验。一项正在成形的新范式叫自主 LLM 后训练（autonomous post-training），说人话就是：系统自己提出更新方案、自己跑候选训练、自己读评测反馈决定下一步，人类只站在远处看。到 2026 年，这条闭环已经被 PostTrainBench 做成了标准考题：给 agent 一个基础模型、一个目标 benchmark、联网和一张 H100 的 10 小时预算，不给 starter code、不给训练数据、不给超参，让它在限时内把模型自己训出来；凡是把测试集塞进训练、直接下载现成指令模型冒充成果、偷用未授权 API 合成数据的运行，一律按基础模型分数处理。PostTrainBench

图注：PostTrainBench 的端到端设定：base LLM、目标 benchmark 与单张 H100 的 10 小时预算交给 agent，agent 自行搭建训练流程产出 post-trained 模型，再由 benchmark 评测与 LLM judge 的违规检查形成闭环。PostTrainBench

闭环里，agent 自己搭流程、自己产模型、自己面对评测，每试完一步都把结果写进记忆。LaMDAgent 的四步循环转的就是这个圈：Action Enumeration、Action Selection、Model Evaluation、Memory Update，100 轮迭代下来，「什么方法有效」的笔记越滚越厚。LaMDAgent AutoTrainess 更彻底，干脆把人类的训练经验外化成四个可调用的接口模块，让 agent 照着经验库干活。AutoTrainess 经验库不是谁的发明，而是闭环运转的必然产物：圈转得越久，笔记越厚，可复用的「过去」就越多。

这条闭环不是纸上谈兵。PostTrainBench 的完整榜单上，最好的 agent 在 4 个基础模型、7 个 benchmark 的全集上平均只拿到 23.2%，官方指令模型是 51.1%，差距依然刺眼；但信号干净的窄任务上，agent 已经能反超官方，同一个函数调用 benchmark 上把 Gemma-3-4B 从官方微调的 67% 训到 89%。规模再放大，A-Evolve-Training 让一个 30B 模型在四轮自主训练里把公开榜分数从 0.80 推到 0.86，逼近人类第一名 0.87。A-Evolve-Training 局部能赢、整体还不行，训练这件事正在从「工程师的手艺」变成「循环里的一环」；而环转得越快，攒下的经验越厚，复用旧经验的诱惑也越大。

可问题正出在这积攒上。积累起来的经验就是这些闭环的资本，但这笔资本的「有效期」绑定在它产生时的那个模型上。论文说得很直白：一次更新的效果取决于它的父模型、数据配比和训练阶段。父模型一旦被提升、被合并、被重训，旧经验描述的就再也不是当前这个模型了；数据配比、评测协议哪怕只换一样，经验面对的也是陌生的考场。

回到开头那条 SQL 更新：目标能力的小涨，掩盖不了保留能力的大跌，因为它的来源证据推广不到当前这个父模型和评测协议上。把「上次管用」当成无条件放行的理由，白烧算力还是小事，训练轨迹被带偏才是大事；被提升的子模型还会把这份账单带进后续所有训练。论文想立起来的正是这个证据：经验的价值是条件性的，它只在产生它的那个上下文里被证明过。BCIT

问题于是从「要不要复用经验」变成「何时不该复用」。而答案的起点，是搞清楚一条经验到底绑定在什么上。

经验绑定在来源上下文上：条件经验迁移

论文先把「一条经验」变成一个结构化的对象。每条历史候选记录都带着五样东西：它诞生时的来源上下文、观察到的效应、一组适用条件、一组命名的冲突项、以及来源哈希。论文的立场可以压缩成一句话：经验不是通用证明，而是带地址的证据。它更像一封写着收件地址的信，内容再精彩，也得先问一句，这封信是寄给现在这个情境的吗。一条 SQL 更新之所以有效，也许是因为当时的父模型、当时的数据配比、当时的评测协议，这些条件写在同一张「发件单」上，缺了哪一项，经验都无法自证清白。

当下要做的判断则发生在「当前上下文」里：父模型是谁、用什么数据、按什么评测协议、有哪些保留要求。这四样只要有一项变了，经验面对的考场就换了。论文把在这两者之间做判断的问题形式化为条件经验迁移：授权策略要在任何权重变更之前，给每条候选经验一个三态决定。直接放行、直接否决，或者先跑一小段验证再说。BCIT 形式化里还有一条硬约束：算力预算是上限，一条顺序执行的授权策略要在这笔预算内最大化最终模型的效用，同时保证保留指标不低于预设红线。决策发生在训练之前，成本发生在训练之时，这张决策表的边界条件由此框定。

授权之后还有一道完全独立的关卡。任何被允许进入全训练的候选，最后都要过同一条共享采纳规则，由它决定这个子模型被提升还是被回滚。授权只回答「这次复用它值不值得跑」，采纳只回答「跑出来的子模型留不留」。两条线解耦，历史库在单集内不可更改；记忆只允许被真实观察到的效应扩展，被拒绝的候选只留下冻结的理由，不产生任何效应标签。能复现一条经验，不等于它有效，来源哈希只能证明「确实发生过」，证明不了「放这儿也成立」。

这套结构并非凭空发明。「经验在什么条件下才可复用」是一个被研究了三十年的问题，只是历来的答案粒度都不同。1994 年的案例推理框架在案例级上做 Retrieve–Reuse–Revise–Retain 四步循环，其中「适用条件匹配」和「只把真实经验写回案例库」的纪律，几乎就是 BCIT 几项关键设计的直系祖先。CBR 2018 年的 Taskonomy 在任务级上计算 26 个视觉任务两两迁移的亲和度，用整数规划挑出「谁给谁当 source」的全局最优策略，把任务迁移变成了可计算的结构。Taskonomy 2022 年的 Task Arithmetic 更彻底：把微调前后权重的差当成一个向量，直接在参数空间里加减合并，完全不需要重训。Task Arithmetic

四种粒度都在回答「经验如何复用」，只有最后一种把决策点放在训练之前。还有一条来自迭代偏好学习的旁证：纯迭代的 DPO 风格训练普遍在两三轮之后就停滞甚至崩坏，说明「训练历史本身会老化」不是某个领域独有的怪癖，而是迭代训练的共同规律。DICE 那么问题就变成：怎么在训练之前，判断一次复用该不该放行？

BCIT：在权重变更之前，给一次复用发通行证

论文给出的答案叫 BCIT，Boundary-Calibrated Intervention Transfer，边界校准的干预迁移。它把「这次复用该不该放行」变成一张在训练前就能执行的决策表，而不是留给训练过程去试错。BCIT

图注：BCIT 的授权流程图：候选生成后先过共享可执行性检查；历史记录走 $S_i \times A_i$ 乘性打分与 $H_i$ 硬冲突否决；没有来源证据的新提案只能走有界验证；全训练的子模型统一面对共享采纳规则，只有观察事件能扩展记忆。BCIT

流程按图上节点依次展开。候选先通过共享的可执行性检查，然后历史记录和全新提案分道扬镳。历史记录有「案底」，可以打分：来源强度 $S_i$ 由证据等级打折而来，证据分 A、B、C 三档，权重依次是 1、0.75、0.5；现况匹配度 $A_i$ 则是一组人预设的适用条件的平均，比如父模型处于什么阶段、数据构成是否对口、评测协议是否一致，每条打 0、0.5 或 1 分。两者相乘得到总分 $Q_i = S_i \cdot A_i$。

乘性，是这个方法最要紧的一个字。加法允许一边补另一边的窟窿，乘法不许：来源再强，匹配度趋近于零，总分也趋近于零。打个比方，推荐人的名望再高，岗位要求三年 Python 而简历写的是三十年 C++，录取委员会也不会因为推荐信就发 offer。高分不能补偿低匹配，这就是 BCIT 与所有「平均一下」式策略的分水岭。只有当匹配度和来源强度都越过高阈值（0.70），并且证据是直接可复现的 A 级匹配对照时，一条历史经验才能跳过验证直接全训；总分掉到低阈值（0.30）以下则直接否决。这两个阈值在与主审计不相交的数据上标定，并在结果揭盲之前冻结。边界编译器只读来源记录和结构化的当前上下文，它看不见目标任务的结果，时间戳与配置哈希让任何事后改写都留下痕迹。

接下来是两道独立的闸门。第一道叫命名硬冲突：如果当前上下文明确违反了一条经验携带的具名必要条件，无论分数多高，直接 Reject，一票否决、不可补偿。注意这里只认「明确违反」，信息缺失不算冲突，只会把候选推向验证而不是处决。第二道闸门是有界验证，专为两类候选准备：分数不上不下、以及没有任何案底的全新提案。验证用不超过全训预算 20% 的算力，在当前父模型上跑一小段，得到 Pass、Fail、Inconclusive 三态。只有 Pass 才允许进入全训练；验证产生的临时 checkpoint 永不提升；结论存疑时，要么由冻结的回退机制接管，要么父模型原地不动。

验证跑完、全训跑完，才轮到那条与授权完全解耦的共享采纳规则做最终裁决。一个完整的 BCIT 决策，其实在问三件事：来源有多可信、现在这个模型合不合用、有没有被点名的硬伤。设计上它刻意留了三类对照来检验自己：Flat-Additive 把三项取平均，让来源能补偿匹配、冲突降级成普通特征；Additive+Veto 保留硬否决但打分改加法；Validate-All 干脆不打分，每个可执行候选都跑验证。这道闸门真的比不开门强吗？空口无凭，得有一套不偏袒的测法。

怎么测才算数：等预算、揭盲审计与 4B 三域实验

先交代实验场地。所有运行从同一个 Qwen3-4B 出发，它是 Qwen3 系列 dense 档里 4B 这一级，Apache 2.0 开源权重，规模恰好能在可负担的预算下反复训练，也因此成为 PostTrainBench 那一代自主后训练研究里常见的实验规模。Qwen3 经验从三个领域迁到三个目标能力：FinQA 的经验去喂 TAT-QA（金融推理），Spider 的去喂 BIRD（Text-to-SQL），xLAM 的去喂 BFCL（函数调用）。源与目标并不是同一个东西：TAT-QA 不是 FinQA，BIRD 不是 Spider，BFCL 也不是 xLAM，经验要跨评测协议、跨数据结构使用，才配叫迁移而不是重放。IFEval 作为公共保留约束，全程预设了负 2 分的余量红线，主指标是三个目标任务的平均分。候选更新由一套受约束的提案生成器提出，它改不了评测器、看不到封存结果，一次停滞最多提三个原子提案。

这套实验真正见功夫的是「怎么测」，立了三条标准。第一，等预算：所有完整策略共享同一个候选池、同一份数据顺序、同一条采纳规则和 36 GPU·hour 的算力上限，各自跑 6 个配对的随机种子。这么较真是因为，如果一道闸门靠多烧算力换分数，比较就毫无意义；只有把预算钉死，「开闸门省下的算力 + 换来的质量」才是一笔能算的账。第二，揭盲审计：研究者从 24 个配对里挑出 10 个有益、8 个有害、6 个中性的结果组成 Audit-24，授权决策先冻结、再揭晓结果，确保审计不是事后挑食。第三，验证预算分档：RQ3 用 5%、10%、20% 三档验证预算，专门测试「短训练预测全训练」到底有多准。BCIT

外加两个对照组：BCIT-Retrieve 是去掉验证环节的 BCIT，用来单独看验证值多少钱；三个任务专家各拿一整份预算专攻一个目标，用来锚定「专才」的上限。这一圈设计买来的东西很具体：每个数字都是在同一条预算、同一批候选、同一套规则下跑出来的，谁也别想偷跑。那么测出来是什么？

四个问题、四个答案：异质效应、授权审计、验证保真度与等预算轨迹

第一个问题：更新效果到底有多不确定？ 答案是：非常不确定。24 个配对里，13 个候选更新连自己的目标任务都没提升；11 个提升了目标任务的候选里，只有 3 个同时守住了两个保留指标。更麻烦的是那些「带毒的增益」：SQL 更新 +2.25 却让 IFEval 掉 22.74 和 18.71，随机采样式的函数调用更新 +1.35 却掉 11.09 和 8.15。同一个族类的更新，在不同上下文里走向可以完全相反。

图注：RQ1 异质效应图：左侧是三类候选更新各 8 个配对的目标方向计数，箭头冗余编码方向；右侧散点横轴为较差的 IFEval 变化、纵轴为目标任务变化，24 个配对的落点从「双涨」到「双跌」散布开来。BCIT

图上的散点说明一件事：问题从来不是「这条更新以前有没有成功过」，而是「它的来源证据能不能推广到当前这个父模型和评测协议上」。这为整道闸门提供了存在理由：效果确实异质，所以不能默认放行。

第二个问题：揭盲之后，闸门真的放行了更少有害更新吗？ Audit-24 给出答案：BCIT 放行的有害候选是 8 个里的 2 个，Flat-Additive 是 5 个；有益候选的覆盖率 BCIT 是 10 个里的 9 个，Flat-Additive 是 8 个。放行名单里的有害占比从 31.3% 压到 14.3%。但论文如实标注了统计口径：配对检验的 McNemar p 值是 0.25，所以这是方向性的队列证据，不是「总体错误率更低」的强声明。消融给出的机制也很干净：去掉候选专属的适用条件，有害放行率升到 75%；只加否决不加匹配打分，降到 37.5%；把 BCIT 的否决拿掉，又回到 50%。适用条件和硬冲突，一个管「够不够匹配」，一个管「有没有硬伤」，各缺一块闸门都会漏。BCIT

第三个问题：有界短验证，到底能不能代表全训练？ 20% 预算下，短训练和全训练的目标方向在 24 个候选中一致了 20 个，83.3% 的方向一致率，Spearman 秩相关 0.72；Pass 判定全训结果的精度和召回都是 80%，而中位成本只有全训的 17%。预算分档的规律也很直观：5% 预算只有 62.5% 一致，10% 到 75%，20% 到 83.3%。但最有信息量的是论文自曝的剩余误差：仍然有 4 个方向反转和 2 个假 Pass。验证是当前父模型的证据，不是全训练的替代品，这句限定必须和数字一起读，否则 83.3% 会被误读成「可以放心用短跑顶替全训」。

第四个问题：等预算端到端跑下来，开闸门划算吗？ 划算。6 个配对种子里 BCIT 全部赢过 Flat-Additive，平均高 2.63 分，95% 置信区间 [2.10, 3.16]，符号翻转检验 p 值为 0.03125。分任务看，TAT-QA 高 2.48、BIRD 高 3.04、BFCL 高 2.37，且全程 IFEval 保持在预设红线之上。对 Validate-All 高 1.50 分、对 Additive+Veto 高 0.90 分，两个差值在全部 6 个种子里都为正，BCIT 还比 Validate-All 少用了 0.74 个 GPU·小时。两处限定必须一起交代：6 个种子全部为正的 p 值 0.03125 恰好是可翻转的最小情形；而且作者没有宣称自己对所有基线全面胜出。把整条轨迹的面积也算进来：BCIT 的曲线下面积是 44.9，Flat-Additive 是 43.6，Validate-All 是 44.2，前两个差距的置信区间都为正，唯独对 Additive+Veto 的差距包含零。组件消融同样诚实：去掉硬否决平均掉 1.49 分，把所有验证候选一律否决平均掉 1.76 分，方向都对，但只有 3 个种子，属于描述性证据而非因果结论。

图注：等预算轨迹图：横轴是消耗的 GPU 小时，纵轴是平均任务分，BCIT 与 Flat-Additive 的色带是 6 个配对种子的正负一个标准差。注意这是 ±1 SD 而不是 95% 置信区间，看的是整条轨迹的高差而不是某个单点。BCIT

把四个答案拼起来，闸门就不是玄学：效果确实异质，所以要测；揭盲审计里闸门确实放行了更少有害更新，所以值得开；短验证确实能预测全训但只到八成的程度，所以要留验证口子而不是直接信历史；等预算下整条轨迹更高，所以开着闸门跑更划算。四层证据共享同一个候选池，互相咬合但不是独立复制。那么最后一个问题顺理成章：这能推广到更大的模型和更长的闭环吗？

经验授权值得成为独立问题，以及它管不到的地方

先看闭环会长成什么样。A-Evolve-Training 在 30B 上已经给出了轮廓：四轮自主训练，公开榜分数从 0.80 一路爬到 0.86，停在人类第一名 0.87 的虚线下沿。回路变长不再是设想，而是已经发生的现实。

图注：按轮次画的公开榜分数折线：自主循环从 0.80 逐轮爬升到 0.86，人类第一名 0.87 是贯穿全程的水平虚线参考。这是 A-Evolve-Training 自己的结果，只说明闭环能收敛，不是 BCIT 的对比数据。A-Evolve-Training

而任何把闭环拉长的系统，PostTrainBench、LaMDAgent、AutoTrainess、A-Evolve-Training，都会撞上同一堵墙：父模型变了之后，旧经验还算不算数。BCIT 的贡献不在于「又涨了几分」，而在于把「经验授权」从后台拎到台前，做成一个显式的、来源绑定的决策问题，一层独立于训练本身的控制。谁来做自动训练，都绕不开这层闸门；论文的实验证明，在它测过的评估证据链下，把这层闸门显式化确实比不开门强。

但它的边界同样清晰，论文逐条交了底。证据只覆盖一个 Qwen3-4B、三个目标能力、一个保留基准；四个研究共享同一候选池，是互补证据而不是独立复现；组件消融只有 3 个种子，属于描述性结果而非因果结论；适用边界由人预先定义，让模型自己学边界被明确列为未来工作。验证保真度与算力之间的权衡，会随模型尺度、数据和调度方式改变，跨出这个设定，一切结论都要打折再读。论文也把接下来的三步写在明处：让模型自己学适用边界、把实验铺到更广的领域、把闭环拉得更长再验一次闸门是否还守得住。它目前只是一篇 2026 年 8 月的 arXiv 预印本，没有经过同行评审，上面每一个数字，都该带着这个日期和这套 4B 设定来读。这也是为什么「经验授权值得成为独立研究问题」这个判断，比任何一个具体分数都更值得带走：父模型会一直换代，闭环会一直变长，而每一次复用前的那道审问，都不会因为模型变大而自动消失。

想深入可以读原文：Knowing When Not to Reuse: Conditional Experience Transfer in Autonomous LLM Post-Training — arXiv:2608.26730

参考文献

• Knowing When Not to Reuse: Conditional Experience Transfer in Autonomous LLM Post-Training — https://arxiv.org/abs/2608.26730
• PostTrainBench: Can LLM Agents Automate LLM Post-Training? — https://arxiv.org/abs/2603.08640
• LaMDAgent: An Autonomous Framework for Post-Training Pipeline Optimization via LLM Agents — https://arxiv.org/abs/2505.21963
• A-Evolve-Training: Autonomous Post-Training of a 30B Model — https://arxiv.org/abs/2606.20657
• AutoTrainess: Teaching Language Models to Improve Language Models Autonomously — https://arxiv.org/abs/2606.31551
• Taskonomy: Disentangling Task Transfer Learning — https://arxiv.org/abs/1804.08328
• Case-Based Reasoning: Foundational Issues, Methodological Variations, and System Approaches — https://doi.org/10.3233/AIC-1994-7104
• Editing Models with Task Arithmetic — https://arxiv.org/abs/2212.04089
• Bootstrapping Language Models with DPO Implicit Rewards (DICE) — https://arxiv.org/abs/2406.09760
• Qwen3 Technical Report — https://arxiv.org/abs/2505.09388