EBR-bench:同一桌游连打三十局,AI 纹丝不动、人类越打越强
1. 分数高,到底证明它「会学习」,还是只是「底子好」?
本文要判断的只有一个问题:长时程任务里打出的分数,能否归因于模型从经验中学习。答案没法直接从分数里读出来,因为一个分数混着两样东西:起点能力(先验强度),也就是模型发布时就会的、来自预训练阶段的那部分能力,它可能很高,但跟「会不会在部署中变强」没有关系;经验增益,也就是可归因于先前部署经历的那部分能力增量,这是持续学习唯一可观测的证据。单点分数或平均分数把这两者搅在一起:一个从预训练里就自带完整游戏理解的模型,即使从头到尾不学任何东西也能拿高分;另一个会在部署中持续变强的系统,前几局的分数反而可能平平。要分辨两者,必须做一个反事实实验:让同一个系统「不学习」地再跑一遍同样的任务,看差值。差的这一部分,才是经验增益。
EBR-bench(Epoch AI 在 2026 年推出的长时程学习基准,全称 Earthborne Rangers benchmark)的整套设计,就是冲着这个判断来的。它选的环境是一款同名桌游:冷门的卡牌游戏,几乎没有出现在主流预训练数据里,这保证了模型不太可能提前「背过」答案,等于把先验这条腿按下去;被测 agent 在同一套规则里连续跑 30 个 playthrough(一整局的完整游玩),把经验这条腿拉出来。游戏本身是一场 5 天的战役式旅程,一共 21 个可计分目标(任务完成、解锁奖励、记录重要事件都算);人类打一局要 2 到 4 个小时,真正玩明白需要几十局。被测 agent 的工程骨架是一套 ReAct 风格的 harness,也就是连接模型与环境的驱动层,外加持久笔记工具。
先看这个设计在现场给出的第一份证据,三十局曲线,再看怎么解读。

图注:横轴是第几次 playthrough(0 到 30),纵轴是 21 分制的得分。三条彩色曲线分别是 GPT-5.5、Opus 4.8 与 Gemini 3.1 Pro,灰色的 EXPERT HUMAN 参考线在 20 分上下。三模型全程在 0 到 10 分之间波动,30 局里看不出任何上升趋势(EPOCH AI,CC-BY)。EBR-bench
这张图要拆的是本专题第一个直觉:跑得久,不等于会学习。你可能会反驳:这只能证明「AI 菜、人类强」。但问题没这么简单。三条模型曲线全程在 0 到 10 分之间波动,30 个 playthrough 里看不出任何上升趋势,而 EXPERT HUMAN 参考线在 20 分上下。这条曲线之所以能对「会不会学习」说话,靠的是上面那两步设计:冷门游戏压低了先验的贡献,连续 30 局给了经验足够长的跑道。设计上还差最后一环,也就是「不学习地重跑一遍」这个反事实本身怎么落地,两种实现都放在下一章统一讲。至于曲线的平,已经说明模型的增益约等于零。EBR-bench
同样的错位,在长上下文赛道上有更尖锐的现场,这是同一个问题的第二份证据。AgentLongBench 把同一个推理任务放进两种设置:Knowledge-Intensive 用大众熟知的 Pokémon 实体,Knowledge-Free 把实体替换成 Item_84、Attr_1 这类抽象符号,强行把预训练知识挡在门外。

图注:AgentLongBench 在 Knowledge-Free 与精简回复设置下的主结果热力图。任务去掉实体语义提示后,长上下文一侧(约 512K 起)几乎全线低分,与部分模型在 Knowledge-Intensive 下尚存 30–40% 量级的表现形成悬崖。图中单元格数值不作精确引用。AgentLongBench
这里的反常值得点破:上下文长度是模型实打实看到的,为什么换掉实体名字就崩了?因为此前所谓「长上下文能力强」,有一部分是预训练知识在撑。这一对照说明实体先验显著参与了原设置的表现;它是否以及如何替代状态追踪,还需机制证据。能确定的只有一点:Knowledge-Intensive 里计进分数的有一部分是先验,不是经验增益,而先验这一列,恰好就是 EBR-bench 用冷门游戏想按下去的东西。这个「先剥先验、再看能力」的动作,和 EBR-bench 的三十局曲线指向同一个错位,只是换了个赛道:两处都演示了,不把先验从分数里剥出去,就问不出「会不会学习」。
要把这个错位从直觉收成一条可算的公式,需要一套度量语言,以及公式成立的边界条件。CL-Bench 的度量语言做的正是这件事,下一章就建立这条公式,以及公式成立的三个条件。
2. 什么条件下,长时程任务才真的在测「学习」?
先给直觉。假设考试的出题规律固定:某种题型总在考,但每张考卷长得不一样。新手第一场考不好,多考几场能总结出规律,而下一场还会考到。这时分数随场次上升,才能归因于「会学习」。如果每场考题毫无规律,或者规律从不重复,分数再高也只是底子好。出题规律就是隐藏结构;规律会复现、且后续任务必须调用它,才谈得上学习。
Continual Learning Bench(CL-Bench)把这套直觉操作化了。它挑了六个真实感很强的域,每个域都埋了一份「多次实例共享、需要在线发现并复用」的隐藏结构,而且结构会在后续任务里再次出现并要求调用:

图注:CL-Bench 的六域任务总览。每个域一栏,标出各自的实例数 N(从 12 到 120)与 reward 轴。隐藏结构(latent structure)是学习系统能跨实例发现并利用的规律,比如数据库的 schema、扑克对手的类型、各簇销量增长率。CL-Bench
举两个具象例子。Database Exploration 是一个故意混淆过的 SQLite 数据库,agent 要答 40 个问题;答到第 20 题时 schema 中途迁移,表被改名、加了新列,考验学到的东西能否迁移。Exploitable Poker 是 120 手单挑德州扑克,对手只有三种确定性类型(跟注狂、契合就弃、松凶),真正值得学的不是牌技,而是识别当前对手属于哪种并针对性调整。
判断一个长时程评测是否真的在测学习,就查三件套:
- 可迁移的隐藏结构:早期经历确实暴露了一个未知规律。
- 复现要求:后续任务要求调用它,不调用就做不好。
- 无学习反事实基线:同一系统在「不累积经验」的模式下跑同样的实例。
第三件是关键动作。CL-Bench 的写法是:同一套系统,在 stateful(有状态)与 stateless(无状态)两种模式下跑完全相同的实例序列。有状态指经验在实例间累积,无状态指每个实例重新开始。两者相减:
$$g_t = r^{\text{sf}}_t - r^{\text{sl}}_t$$
两个分数来自同一个系统、同一个实例,所以实例本身对底层模型偏难还是偏易,会互相抵消;剩下的差值只归因于「累积下来的状态」。为了让不同任务、不同系统的增益可比,再除以系统自己的 headroom,也就是最大可达分数减去它无状态时的分数,得到归一化增益:它衡量的是「抓住了多少可用上升空间」。
$$\hat{g} = \frac{\bar{r}^{\text{sf}} - \bar{r}^{\text{sl}}}{r_{\max} - \bar{r}^{\text{sl}}}$$
记住这一点:后文出现的 25.4% 这类数字,是归一化增益,不是原始得分百分比。CL-Bench
EBR-bench 的 ablated learning score 是同一套反事实操作的另一个名字:给 matched sample 只留 2 次 playthrough 并提示立即最大化,与完整 10 次 playthrough 的分数之差就是经验增益,报告时带 90% 置信区间,区间不跨零才算「显著在学或在退步」。EBR-bench
HORIZON 又把这条思路推广了一步,提出与模型无关的任务难度轴 intrinsic horizon $H^{*}$,也就是最优策略下完成任务所需的最少有效动作数。这让不同域的任务能在同一根长度轴上比较,等于把「隐藏结构」推广成可跨域构造的难度度量。HORIZON
三件套齐了。EBR-bench 是不是符合?下一章拿它的现场数字来对表。
3. 同一个游戏、同一套规则:人类顶尖第五局满分,AI 三十局原地踏步
把三件套套到 EBR-bench 上,会发现它几乎是为「先验 vs 增益」的对照量身定做的:游戏冷门(压低预训练污染)、内容几乎纯文本卡牌(不牵扯多模态短板)、且兼有两条学习轴,一局之内的回合战术和跨局的组牌策略(deck-building)。agent 被允许在局与局之间留下持久笔记。这些条件被显式控制之后,剩下的反差就是主线要的证据。
人类这边,2026 年 7 月到 8 月跑了一组基线:招募 15 人(来自作者的职业与个人网络),2 人中途退出,最后公开 13 人的成绩。13 人中的大多数随局数提高,最顶尖的一位在第 5 局就拿到满分 21/21。注意口径:满分是顶尖参与者的成绩,不是全体人类的平均。另外,人类的学习增益用「最后一次计分跑次减前两次」这个代理量估计,可能略偏高估,因为人类知道前期不计分;作者回放 transcript 核实过,没有人把早期局当丢分场,偏差被认为有限。EBR-bench
模型这边就是第 1 章那张图:首局就能胜过不少新手人类(先验强),但 30 次 playthrough 曲线近乎平坦,GPT-5.5、Opus 4.8、Gemini 3.1 Pro 全在 0 到 10 分之间,远离约 20 分的 EXPERT HUMAN 参考线。用第 2 章的增益语言说:人类有实实在在的增益,AI 的增益约等于零。也说明一下口径:EBR-bench 的数字对方法学版本敏感,v1(2026-07 首发)、v2(7 月底引入 ablated learning score)、v3(8 月中双 compaction 设置)的数据点不可直接比较,这里讨论的是 v2/v3 口径下的曲线。
如果瓶颈只是「不知道该怎么玩」,那给答案应该有用。Epoch AI 试了最极端的一种:把作者本人打到 20/21 用的牌组路线和回合战术,当成答案手册直接塞给模型。

图注:三个模型在 Basic(基础提示)与 With Strategy Guide(附带策略指南)两种条件下的得分对比。带指南的柱子都略高一点,但全部远没有碰到 EXPERT HUMAN 参考线(EPOCH AI,CC-BY)。图柱数值为视觉估读,正文只引用「+2 到 +3.5」的范围口径。EBR-bench
反常点就在这:策略指南只换来 +2 到 +3.5 objectives 的提升(21 分制;该范围来自 v1 figure-5 的视觉估读口径,v2 之后换成更详细的 step-by-step 指南,效果会更大)。把答案手册塞进输入,几乎等于把解法写在卷子上,分还是上不去。这条结果排除了「只需补一份静态攻略」这一种解释,并提示瓶颈可能在归纳、执行或指南的调用上。下一章考察归纳假说:模型缺的是不是把跨局经历升级成可复用的规则、再在新局里有选择地调用的能力;记忆综述把这种能力定义为 Experience 阶段,即跨轨迹抽象出来的规则集。
4. 塞给它笔记和答案攻略还不够:归纳可能是缺口
先推翻最省事的解释:「是不是模型记不住?」如果只是记不住,给它更大的记忆应该有效。CL-Bench 的实测至少不支持这个推断:六个域上,朴素 ICL(in-context learning,上下文内学习),也就是不做任何专门记忆管理、只让经验直接留在上下文里的配置,配 Sonnet 4.6 拿到归一化增益 25.4%,冠绝全场;而配备了完整记忆管理的 ACE,配 GPT-5.4 增益只有 8.6%,还是全场最贵的系统(单次完整运行约 $62.8)。需要提醒口径:这两组配置的底座模型并不同(Sonnet 4.6 对 GPT-5.4),单点排名不能作排他归因;但方向一致地提示,多花钱、多搭记忆层,并不自动换来更多学习。CL-Bench
更反直觉的是:专用记忆系统不但没帮忙,还会把陈旧信念带进后续决策,让「有状态」变成负资产。把 CL-Bench 附录里的一个失败案例讲透。Sales Prediction 域里,agent 在第 9 个实例(模拟 2035 年)看到自己打分 0.945,认定之前高估了国王床(king bed frame)系列的销量,于是把它的预测压成一条平线(约 228);到了第 10 个实例(2036 年)它又完全反转,同一个系列给出 +16%/年的增长。两次决策都被最近的观察牵着走,前一次的「信念」既没有守住、也没有被检验。另一个同类的例子只提一句:Cohort Studies 的 Study 15 里,agent 把一组存活率预测原样套给 28 个变量缺失的队列,得分 0.005,几乎等于不预测。笔记里明明有相关内容,只是没在对的时刻被调出来。这两类失败,正是「存得越多、碍事越多」的当代版本。
回到 EBR-bench:给笔记、给答案手册,也只换来 +2 到 +3.5 的小幅提升。合并起来看,这些结果不支持「只要扩容记忆就会学习」的解释;归纳不足是与陈旧检索、执行能力等并列的假说,未必是唯一瓶颈。一个值得检验的方向是:模型缺的可能是把成败、延迟后果、规则例外压缩成可检验的因果策略,并在新局中有选择地调用的能力。这一步叫策略压缩。
这个现象在文献里有名字:稳定性—可塑性困境(stability-plasticity dilemma)。系统要吸收新规律(可塑性),就可能覆盖旧知识;要守住旧知识(稳定性),就可能学不进新东西。连续体的一头是灾难性遗忘,另一头是信念固化:
其中一个时间锚值得补一句:这个话题 1989 年就被 McCloskey 与 Cohen 命名为 catastrophic interference(灾难性干扰,顺序学习问题)。他们的原始论据是分布式表示里共享权重会被新梯度覆盖;今天 agent 记忆里的陈旧信念,与它呈现相似的稳定—可塑取舍,但一个涉及权重更新、另一个涉及外部记忆与检索,不能据此认定机制相同。这里只作历史锚,不展开当年的实验。McCloskey 1989
为什么「存得越多越僵」会在 agent 身上发生?另一份记忆综述给了机制解释,用三阶段进化框架讲:Storage(存轨迹)、Reflection(提炼)、Experience(跨轨迹抽象)。

图注:LLM agent 记忆机制的三阶段进化总览:轨迹保存(Storage)经语义精炼(Reflection)再到跨轨迹抽象(Experience),箭头标示信息流向。这是该综述自己的演化视角,不是工业共识。StorageExp
问题出在中间的 Reflection 阶段。它像一个「语义过滤器」:把一段轨迹提炼成一条看似权威的独立信念,存进记忆库。但提炼结果高度依赖生成它的具体语境(原文描述为碎片化且对上下文高度依赖),于是新情境只要稍有偏移,这条信念就被误用:它读起来是对的,但它的适用条件已经不在场。这正好解释了策略压缩为什么会失败:轨迹没有被保留住适用条件、压成可检验的规则,国王床系列先被压成平线、又在下一个实例里被彻底反转,就是提炼结果脱离适用条件的现场。按这份综述的解释框架,这就是错误泛化的源头,CL-Bench 那些失败案例可以这样读;需要说明的是,这是综述给出的机制解释,不是已被这些案例证明的因果链。StorageExp
可塑性在 EBR-bench 现场还有一个直观的出口:探索。牌组由 4 个 Background × 4 个 Specialty × 2 个 Role 组合而成,理论上有 32 个原型(archetype),但多数模型只探索其中 1 个。

图注:14 个模型在牌组原型上的占比分布,每个色块代表一种 archetype。多数头部模型几乎只用一个原型;反常的是,较新的模型探索多样性反而更低(EPOCH AI,CC-BY)。图中比例不作精确引用,只作量级判断。EBR-bench
反常点在于:更强的模型更早锁定一个「看起来合理」的策略,然后不再去试其余 31 个。用稳定—可塑连续体来读,这是可塑性瓶颈在探索层最自然的现场表现,与连续体右端的信念固化同构;作为机制结论它仍是假说,探索多样性低也可能是策略搜索算力有限等别的因素造成的。你可能会问:有没有人在做机制层的破解,让记忆本身能被安全地修改?有,而且不止一派。下一章把现有方案归成三类:长上下文靠扩容输入窗口,压缩交给模型自己在上下文里完成,校验最弱、容量有限;检索记忆把经验存到外部、在提问时刻召回,压缩保留在笔记原文,校验交给「捞得回来还要捞得对」的相关性判断;测试时参数更新直接让归纳发生在权重里,压缩与校验都做到最强,但可审计性和成本最差。三套方案各自如何处理策略压缩与校验、付出什么代价,下一章放在同一台秤上称。
5. 长上下文、检索记忆、测试时参数更新:三套方案在同一个秤上怎么称?
部署期让模型变强,大致有三条路。记忆机制综述给了坐标系,先给大白话再上术语:三套方案的差别是,经验放在哪、怎么放、要花多少钱。
第一种,长上下文:什么都塞进窗口,经验靠上下文里的累积。机制家族叫 context-resident compression(上下文驻留压缩),零基础设施、完全透明,但容量有限,压缩轮次多了会「摘要漂移」,低频细节被悄悄丢掉。
第二种,检索记忆:经验存到外部存储,需要时再捞回来。家族叫 retrieval-augmented stores(检索增强存储)。难点从存储转移到相关性:捞得回来不等于捞得对。
第三种,测试时参数更新或策略学习:直接改机制本身。家族里最重的两档是 policy-learned management(策略学习管理)和 parametric memory(参数化记忆)。前者把「何时写、何时读、何时删」本身训练成策略;后者把知识压进权重。沿这条家族轴,可审计性一路走低:从完全透明的启发式规则,到提示式、层级式、反思式,再到策略学习与参数化,越往后越难回答「模型为什么做了这个记忆操作」。MemSurvey
把三套方案放上同一台秤,要用三个砝码:成本、遗忘风险、可审计性。成本与增益这一侧,CL-Bench 给过一组标定数字:
| 方案 | 机制家族 | 成本标定(CL-Bench) | 遗忘风险 | 可审计性 |
|---|---|---|---|---|
| 长上下文 | context-resident compression | ICL 起步价最低:Gemini 3 Flash 约 $7.6 拿 16.4% 增益;Sonnet 4.6 约 $30.4 拿 25.4% | 摘要漂移、注意力稀释 | 完全透明(全在窗口里) |
| 检索/笔记式记忆 | retrieval-augmented stores | Mem0 约 $18.3(20.2%);ACE 约 $62.8(8.6%) | 陈旧信念、检索不到关键证据 | 可检查原始记录,检索与写入逻辑难审计 |
| 测试时参数更新 / 策略学习 | policy-learned / parametric | 无同口径 benchmark 数字(CL-Bench 明确把参数化方法划在评测外) | 学习式遗忘可能删掉安全关键信息 | 最弱:改在权重或策略里,难以解释 |
注:表中增益百分比均为归一化增益(相对各系统自身 stateless 基线可捕捉 headroom 的比例,公式见第 2 章),不是原始得分百分比。
先声明:这张表不是三套方案同等实证厚度的证明。测试时参数更新(test-time training,TTT)那一格最薄,CL-Bench 明确把它划在评测范围之外,目前没有同口径的基准数字;Recuris 属于策略学习家族,是半参数化实例,并不直接等价于改权重的 TTT。这一列的能力证据来自机制综述与工程侧面描述,不是同等厚度的 benchmark 数据。
再看反常的那组数字:花最贵的钱买的记忆系统,增益最低。ACE 约 $62.8 只换 8.6% 的归一化增益;朴素 ICL 用约 $7.6 就能拿 16.4% 的归一化增益;全场唯一在增益和成本上都站得住脚的非 ICL 系统是 Claude Code(约 $38.6 / 23.9%)。也就是说,在 CL-Bench 覆盖的六域里,没有一个专用记忆系统能在成本轴上支配朴素 ICL。CL-Bench
面对这个诊断,2026 年 8 月的 Recuris 走的是「策略学习」路线:不动 LLM 权重,只对记忆组件做组件级局部补丁,外加一道 held-out 验证门。

图注:Recuris 的双循环架构。任务内:工作记忆跟踪每个目标及其已验证状态,调用策略 ρ 从技能库检索技能,行动后由校验器 C 只提交观察支持的更新;跨任务:固定 Meta-Agent 读结构化轨迹,把失败归属到单个组件,只补丁受牵连的组件,候选更新必须通过 held-out 验证门才被采纳。base LLM 始终冻结。Recuris
这套设计的看点,是把「改记忆」本身变成可审计、可回滚的操作。论文报的数字:4 个长时程基准 × 10 个模型,35/37 个模型-基准对得到提升(GPT-5.6 Sol 在 τ²-Retail 上从 58.3 提到 76.1,Claude Opus 5 从 72.4 提到 87.9);失败定位从结构化轨迹入手能到 64.8% 的准确率,只看最终结果只有 13.0%。但必须带天花板警示:基线接近任务上限时增益会消失,Opus 5 基线 72.4 时加 15.6 分,基线 73.5 时只加 4.8 分。Recuris 是「剩余空间的放大器」,不是「从零教起」,论文自己也这么定位。Recuris
同一时间窗里,一份流式评测给出了同向警示:在跨基准持续任务流上,自演化增益被模型能力门槛卡住,弱模型三场景全负(GPT-5.4 在 Isolated、Sequential、Interleaved 三种场景下的增益分别是 −0.35%、−0.78%、−0.62%)。这一句只作窗口旁证,不展开。AgentStream
所以三套方案不是谁替代谁,而是三份不同的「成本、遗忘与可审计性」合同。选型的前提,是把这三列数字摆到同一张表上。这个要求对评测同样成立:一个可信的长时程基准,报告也得按同一台秤来。下一章把它落实成四个必报维度。
6. 一个可信的长时程基准,至少得报告这四件事
把第 5 章的秤,从「选型工具」升级成「报告格式」。CL-Bench 的报告框架是 reward × gain × cost 三联:奖励(reward)用固定外部基线归一化,增益(gain)用每个系统自己的 headroom 归一化,成本(cost)按平均 rollout 花销。落到可以对照任何长时程基准的判断工具,就是四个必报维度。其中「学习增益」一项本身含着「剥离先验」的要求:同实例无学习反事实跑的是同一个系统的同一批实例,只把「累积经验」拿掉;因此反事实跑必须与原跑保持先验条件一致,否则差值里混进的是先验差异,不是学习增益。CL-Bench
| 维度 | 怎么算 | 对应证据 |
|---|---|---|
| 学习增益(含剥离先验) | gain = stateful − stateless,按 headroom 归一化;反事实跑须与原跑保持先验条件一致 | CL-Bench 的 ĝ;EBR-bench 的 ablated learning score(90% CI 不跨零才算显著) |
| 留出变化下的迁移 | 用没见过的变体测试,检验学到的是规律还是死记 | CL-Bench 的 schema 漂移(数据库第 20 题改名加列)、概念漂移 |
| 遗忘 | 单独报告陈旧信念与灾难性遗忘造成的负向 | CL-Bench 的 King Bed Frame / Study 15;HORIZON 把 catastrophic forgetting 列为独立设计级风险 |
| 探索成本 | cost per rollout 与必要探索量 | CL-Bench 的 $7.6 到 $62.8 成本跨度 |
为什么要一起报而不是只报一个总分?CL-Bench 的 Pareto 图把原因画得很直白:

图注:CL-Bench 公开榜的聚合 Pareto 视图。左面板是归一化 reward 对成本,右面板是归一化 gain 对成本,黑线连接未被任何配置支配的 Pareto 前沿。最便宜的 ICL 配置在左下角,最贵的 ACE 在右上角,增收都不成比例。注意两个 y 轴都是归一化口径。CL-Bench
只报顶线分数会掩盖什么?HORIZON 用横切数据补了最硬的一击:它把 WebArena、AgentBench、MAC-SQL、Isaac Sim 四个域的 700+ 任务、3100+ 条轨迹的失败原因,归成 7 类、两大组。

图注:四个任务域各自的失败组成,每栏按失败类别分色。过程级风险(PFMEA)合计占 72.5%,包括环境交互、指令跟随、规划错误、历史错误累积;设计级风险(DFMEA)合计占 27.5%,包括记忆受限、灾难性遗忘与错误假设。这是聚集后的失败组成,不是失败率随时程变化的曲线。HORIZON
注意口径:记忆受限、灾难性遗忘与错误假设三项合在一起,才是占 27.5% 的设计级风险;前两项自身没有各自单独的占比可引用,不能由此说它们「合计近三成」。正因为拿不到单独数字,记忆受限和灾难性遗忘才必须分别单列报告,否则结构性瓶颈到底落在哪一项,根本无从判断。如果只报成功率,这部分结构性瓶颈会被顶线分数完全盖住;规划类失败同样是结构性的(Embodied 域里 Planning Error 占该域失败 94.9%,Database 域 79.3%,各只提一句)。记忆综述里有一条旁证说得更直白:现有评测「没人把遗忘测好」,虽然过时信息会悄悄毒化检索精度。MemSurvey
最后把标准连回本专题的起点。漏报「剥离先验」这项反事实前提的代价,AgentLongBench 已经演示过:不把 Knowledge-Intensive 和 Knowledge-Free 两侧都报出来,预训练强弱就会被误读成学习能力。AgentLongBench 对齐评测因此不能只问「模型发布时会什么」,还要问第二个问题:它在真实交互中,以什么速度获得新能力,这份能力能否归因为经验。这正是 EBR-bench 这类长时程基准存在的理由。
也保留应有的诚实边界。EBR-bench 不是对 AI 学习能力的终审判决:Epoch AI 试过代码执行、替代 harness、多 agent、给专家转录文本,都没有显著提升,但作者明确提示 elicitation,也就是把能力逼出来的提示技巧,无法完全排除;人类基线只有 13 人,且来自作者网络,可能有游戏熟悉度的选择偏差;再说一次,21/21 是顶尖参与者的成绩,不是全体人类。
收束全文的主线:长时程环境只有在反复交互中埋入未知但可迁移的因果结构,并用无学习反事实基线把起点能力和经验增益分开测量,才测得出持续学习;否则,它主要测到的是预训练强弱和记忆容量。拿这四个维度去对照任何一份长时程基准,你就能判断它到底在测学习,还是把更强的预训练误判成了会学习。
参考文献
本专题引用的核心资料如下,建议深入学习时阅读原文:
- Earthborne Rangers (EBR-bench) — On-the-Fly Learning Benchmark: https://epoch.ai/benchmarks/ebr-bench
- Continual Learning Bench: Evaluating Frontier AI Systems in Real-World Stateful Environments: arXiv:2606.05661
- Memory for Autonomous LLM Agents: Mechanisms, Evaluation, and Emerging Frontiers: arXiv:2603.07670
- From Storage to Experience: A Survey on the Evolution of LLM Agent Memory Mechanisms: arXiv:2605.06716
- The stability-plasticity dilemma: investigating the continuum from catastrophic forgetting to age-limited learning effects: Frontiers in Psychology, 2013
- Catastrophic Interference in Connectionist Networks: The Sequential Learning Problem: McCloskey & Cohen, 1989
- Recursive Experiential–Working Memory Evolution for Long-Horizon Agent Harnesses (Recuris): arXiv:2608.24876
- AgentLongBench: A Controllable Long Benchmark For Long-Contexts Agents via Environment Rollouts: arXiv:2601.20730
- The Long-Horizon Task Mirage? Diagnosing Where and Why Agentic Systems Break (HORIZON): arXiv:2604.11978
- AgentStream: How Well Do Self-Evolving LLM Agents Perform Under Streaming Tasks?: arXiv:2608.00155