Learn2Play Bench：分数最高的模型，未必是进步最快的
一、分数最高，就等于会学习吗
在 Learn2Play Bench 的公开榜单上，总分最高的模型是 Opus 5.5：它的 Max（峰值分）是 80.1，Mean（平均分）是 61.0，两项都排第一。可榜单上最"会涨"的却不是它。Learning Gain（学习增益）和 Learning Slope（学习斜率）的第一名落在 Qwen 3.8 头上，分别是 +25.2 和 +6.30。分数最高的那个模型，和在一连串尝试里进步最快的那个模型，是两个不同的家伙。
这份榜单出自新加坡国立大学的一个团队，做法本身并不复杂：让 LLM agent 去玩 20 个规则完全陌生的文本游戏，规则既不写进 prompt，也猜不出来，模型只能一轮一轮地试，团队再把每次尝试的分数连成一条曲线来比。反常就出在这条曲线上。按老规矩看，谁分高谁就强；可到了没见过的规则里，"分高"和"学得快"竟然分开了。Learn2Play Bench 要检验的，正是这件听上去像废话的事：一个 agent 拿到高分，到底是真的从陌生环境里学来的，还是它本来就记得答案？而要解释榜单上这个反差，得先回到一个更基础的问题：既有的 agent 评测，为什么分不开这两件事。
要理解这个问题为什么不好答，得先把两件事分开。一件是"用预训练知识推理"：任务规则要么写在 prompt 里，要么本来就属于模型见过无数次的世界常识，模型要做的是回忆加推理。另一件是"从经验学习"：规则既不写在 prompt 里，也不符合常识，agent 只能一次次和环境互动，从反馈里把规律试出来。论文的判断是，现有基准几乎都在测前一件事，却常常被当成后一件事的成绩来读。
举个更日常的说法。假设你让模型做一道规则写在说明里的任务，它做得又快又准，你会说它很能干。但这更像一次开卷考试，考的其实是它有没有读懂说明。真正难的是另一类场景：规则没有说明书，你得先试几次，从成功和失败里把规律倒推出来，再用这个规律把后面的事做得更好。前者靠的是预训练里已经装好的语言和常识，后者靠的是一种更陌生的能力。Learn2Play 想单独拎出来量一量的，正是后者。
举一个最近的例子。2023 年的 AgentBench 第一次把 LLM 当 agent 放进 8 个环境里做系统评测，横跨 Code、Game、Web 三类，一共测了 29 个 LLM AgentBench。它做得很扎实，也因此暴露了一个瓶颈：所有任务里最常见的失败模式是 Task Limit Exceeded，也就是模型在长程交互里陷进重复动作、迟迟交不出结果。这说明"在环境里持续做事"本身就已经很难，但它衡量的仍然是模型带着既有能力去解题，不是它有没有从交互里学到新东西。
图注：AgentBench 论文的评测框架图，左侧是 agent 与环境多轮交互并记录轨迹的协议示意，右侧按 Code、Game、Web 三类列出 8 个评测环境。它代表的是"把 LLM 当 agent 放进多个环境里横向跑一遍"这种评测形态 AgentBench。
这里就藏着"高分骗人"的地方。如果一个 agent 在熟悉规则里拿高分，很可能只是它记得答案，而不是它学会了。要问它会不会学习，第一步得让答案根本背不到。Learn2Play Bench 的整个设计都围着这一步转。
二、把规则藏起来：造一个"背不到答案"的考场
论文的解法干脆：重新设计了 20 个文本游戏，规则要么全新，要么故意反直觉，而且一律不告诉 agent。它明确要求规则既不能写在提示里，也不能靠常识猜到，只能靠和环境互动试出来。
"反直觉"不是修辞。论文举的例子包括：在 Poisoner 这个游戏里，玩家要给国王上菜，但国王的口味偏好被藏了起来，只能靠一次次上菜后的反应去猜；还有一条规则更离经叛道，偷同事的午餐反而能帮玩家升职，而努力工作却不行。这类规则对任何一个训练语料丰富的模型都是"没背过"的，也就逼着它必须现场学。这套设计被归纳成四条原则：规则新颖、自动评分、反馈可复现、跨实例受控变化。
四条各有各的用处。规则新颖负责切断"靠记忆答题"这条路。自动评分让每个游戏都能算出分数，不需要人工打标，从而支撑大规模评测。反馈可复现意味着同样的动作总能得到同样的反馈，agent 之间才能被公平比较。最后一条最关键：20 个游戏里，10 个是固定实例，反复跑同一套；另外 10 个是重新洗过的实例，外观换了、规则没换。换外观这件事专门用来测一件事：学到的东西到底能不能迁移到没见过的情境里。
这套协议还有一处细节。普通游戏跑 5 个 episode，被标记为挑战的 5 个游戏跑 10 个，最后按挑战游戏权重 3、普通游戏权重 1 聚合成总分。被标成挑战的 5 个游戏名字分别是 Catnip、DreamGarden、Mola Tea、RedEye 和 Roadside Observatory，它们在总分里占的分量最重。设置各不相同，目的却一致：把"一次发挥得漂亮"和"越玩越会玩"区分开。
图注：Learn2Play Bench 论文的基准总览图。左栏是 20 个手工设计的游戏模板卡片，每张卡片用锁形、交叉箭头、星星三类标记区分固定、重洗与挑战游戏；右栏高亮的 Poisoner 展示了"环境描述状态并列出可选动作、玩家选一个动作、环境返回结果、最后自动算出分数"的完整交互协议 Learn2Play。
值得一提的是，这类"文本游戏加多次尝试加可复现反馈"的协议骨架并不是这篇论文独创。2025 年的 TextGames 也用了相似的骨架，把 8 个拼图式文本游戏打包起来评测模型 TextGames。区别在于目标维度：TextGames 主要看推理能力，Learn2Play 看的是从经验里学习。同样的骨架，一个量"会不会想"，一个量"会不会学"。
三、怎么算"真的学会了"：峰值、增益、斜率，还有换个新花样
考场搭好了，接下来的问题是打分。Learn2Play 没有只用一个"考了多少分"的指标，而是把同一套规则跑 5 到 10 个 episode，得到一条分数序列，再从这条序列里读出四件事。Max 是这条序列里的峰值，衡量它最好能到哪。Mean 是平均值，衡量它稳不稳。Learning Gain 比较前几个 episode 和后几个 episode 的差距，衡量它有没有进步。Learning Slope 则是把整条曲线拟合出一条直线的斜率，衡量它进步得快不快。
这四个指标让"考得好"和"学得快"第一次成了两把分开的尺子。一个模型可以起点很高、峰值很漂亮，但曲线几乎是平的，说明它只是把已有的能力用出来了。另一个模型起点一般，但每一轮都在往上爬，说明它真的在从反馈里调整。开篇那个反直觉的对比，正是这两把尺子分道扬镳的结果。
举个例子就清楚了。假设两个模型跑同一个游戏。甲第一轮就拿 70 分，之后一直卡在 70 分上下，它的 Max 和 Mean 都不难看，但 Learning Gain 接近零。乙第一轮只有 40 分，第五轮爬到了 65 分，峰值不如甲，可 Learning Gain 和 Learning Slope 都明显为正。传统榜单通常只报一个分数，很可能甲赢；但如果你关心的是"它能不能在陌生环境里越做越好"，乙才更值得看。这就是论文非要拆出四个指标的原因。
实验框架则被拆成三根轴，同一套游戏放上去横比。第一根轴是 11 个基座模型，涉及 Opus、Gemini、GPT、DeepSeek、Kimi、Qwen、Sonnet 等一串名字。第二根轴是 6 种自演化方法，也就是在固定基座上加载不同的"从经验里学"的策略。第三根轴是 3 种 agent harness，包在模型外面的那层脚手架。三根轴搭成一个矩阵，让"到底是模型强、方法强、还是外壳强"这几个问题能在同一张表上回答。
图注：论文汇总 20 个游戏画出的 11 个基座模型归一化学习曲线，横轴是 episode 进度，纵轴是归一化分数。可以看到不同模型之间存在明显分层，顶部与底部拉开很大距离，而各条曲线的上升幅度并不与它的起点高低一致。这张图只适合看整体趋势，不适合读单点数值 Learn2Play。
迁移这件事还有更细的结果。用那 10 个重洗实例做对照实验时，Sonnet 5、Gemini Flash 这些模型的学习速率出现明显下滑，Learning Slope 掉了 1.73 到 2.67；而 Opus 5、Kimi K3 掉得很少，只有 0.59 和 0.88；Qwen 3.8 Max 这类模型甚至在新实例上不降反升。论文对此的解释是：当一个 agent 记住了"上次这样做成功了"，却没有记住"为什么这样做会成功"，它过去的成功反而会在新情境里误导它。
四、结论一：把每一步原样记下来，比总结成规则学得更好
三根轴里，第二根最出结论。论文横评了 6 种自演化方法，其中最朴素的两个是 Naive，也就是什么都不加，以及 Memory，把每一轮的动作和反馈原样保留下来。另外四种走的是另一条路：Reflexion 把失败总结成一段自然语言的反思，EvoTest、ReasoningBank、AWM 则把经历压缩成规则、经验或工作流。一句话概括这条分界，就是一派保留完整记录，另一派把经历概括成规则。
在 Kimi K3 这个固定基座上，两派的表现拉得很开。下表是论文 Table 1 的原始数字。
| 方法 | Max | Mean | Learning Gain | Learning Slope |
|---|---|---|---|---|
| Memory（完整记录） | 63.3 | 48.0 | +16.9 | +4.69 |
| EvoTest（概括） | 62.4 | 48.0 | +1.8 | +1.01 |
| Reflexion（概括） | 61.6 | 40.4 | +14.8 | +3.35 |
| ReasoningBank（概括） | 59.9 | 40.1 | +8.3 | +2.59 |
| AWM（概括，工作流） | 56.1 | 37.0 | +4.8 | +0.62 |
| Naive（不加记忆） | 54.7 | 31.9 | +0.3 | +0.42 |
数字值得细看。Memory 在峰值上领先不算悬殊，但在 Mean 上到了 48.0，Learning Slope 到了 +4.69，把大多数"概括成规则"的方法甩在后面。Learning Gain 这一列尤其刺眼：Memory 拿到 +16.9，而同为概括派的 EvoTest 只有 +1.8。换句话说，EvoTest 这条把经历压成固定规则的路线，在这套新游戏上的学习增益尤其有限。论文由此给出它的第一条结论：保留动作和反馈的完整记录，比把它们概括成规则或策略，更能支撑有效的学习。
图注：论文在 Opus 5 固定基座上画出的 6 种自演化方法学习曲线，横轴是 episode 进度，纵轴是归一化分数。保留完整原始轨迹的 Memory 处在靠前的一组，多种"概括成规则"的方法位置偏低。该图用于看方法之间的相对分布，不代表某个方法在所有基座上绝对最强 Learn2Play。
这个结论之所以反直觉，是因为"反思"听起来总比"照单全收"高级。但论文给出的机制解释很实在：把经历压成一句规则，等于丢掉了"为什么"。当情境变了，那条规则可能还成立，也可能恰好失效，而 agent 手里已经没有原始记录去重新判断。
用 Poisoner 打个比方就直观了。假设 agent 试出"国王不喜欢甜的"这条规则，把它记了下来。下一轮情境变了，甜点换成另一种食材，这条规则可能立刻失效。可如果它保留的是"上菜后国王皱眉"这条原始反馈记录，它还能重新比对、重新推断。压缩成规则的那一派，丢掉的正是这条退路。
这条线索在更早的工作里其实已经埋下。Generative Agents 用一条 memory stream 把 agent 的每一次感知都原样写下，再在记录之上生成更高阶的反思，完整记录和抽象概括是并存的 Generative Agents。而 Reflexion 这一支则把失败经验总结成一句 verbal reflection 存进记忆缓冲，是"概括成规则"路线的代表 Reflexion。同一条谱系上还有 ExpeL，它跨任务把经验抽成自然语言 insights ExpeL；Voyager 把学到的东西写进技能库，存的是可执行代码 Voyager；Sweet & Sour 则是对 Reflexion 的一次修正，连成功经验也一并反思 Sweet & Sour。Learn2Play 把这些路子收进同一张表，才有机会说清楚"完整记录"和"概括成规则"到底差在哪。
五、学习能力究竟装在哪儿：人、模型，还是模型外面那层壳
如果学习能力只在模型权重里，那前面的结论就够了。但论文用两个对照实验说明，事情没这么简单。
第一个对照是人。研究团队邀请大学生用同一套接口玩这些游戏，每个游戏按峰值成绩取 Top-1、Top-3、Top-5。之所以按峰值取，是因为游戏本身有随机性，一次发挥不好不代表水平不行，取最高能更接近玩家的真实上限。结果顶尖人类的峰值分到了 84.3，高于所有被评测的 agent。真正有意思的不是这个分数，而是过程上的差异。
| 维度 | 顶尖人类 | 被测 agent |
|---|---|---|
| 峰值分（Top-1 Max） | 84.3 | 低于人类 |
| Top-3 连续动作相似度 | 0.54 | 0.66 |
| 低分后下一集创个人新高的比例 | 33% | 22% |
这三行放在一起才有意思。人类不只是分数高，他们的连续动作相似度更低，意味着更愿意换招；在某一集失利之后，他们下一集刷新自己最好成绩的比例是 33%，agent 只有 22%。翻译成一句话：人类更常改变策略、更常从暂时的失败里反弹，而 agent 更常重复一个稳但当不了最优的套路 Learn2Play。这里要加一条限定：人类样本是每个游戏 21 到 30 人的小样本，而且是按峰值取的 Top-k，不是普通玩家的平均水平。
第二个对照更出乎意料：把基座锁死，只换模型外面那层壳。所谓 agent harness，就是包在基座模型外面、负责组织提示、调用工具和管理多轮交互的那层脚手架。它以前常被当成中性的包装，可论文的对照实验显示，同一基座换个 harness，分数会明显变化。
| 基座 | harness 变化 | Max | Mean | Learning Gain | Learning Slope |
|---|---|---|---|---|---|
| Opus 5 | OpenCode → Claude Code | 74.5 → 81.8 | 53.8 → 62.3 | +21.3 → +27.1 | +5.13 → +6.59 |
| GPT-5.6-SOL | OpenCode → Codex | 57.0 → 74.3 | 41.1 → 54.8 | +14.5 → +22.2 | +3.71 → +5.66 |
模型一个字都没变，只是换了个壳，Opus 5 的 Max 就从 74.5 涨到 81.8。论文给出的解释是，Claude Code、Codex 这类闭源 harness 是为各自基座专门训练并适配过的，所以换壳提分并不奇怪。由此引出第三条结论：固定基座的前提下，换 harness 能改变 agent 的表现。
图注：PawBench 基准的 harness 差异图。左面板用三根横向条形展示同一个模型 qwen3.6-35b-a3b 在 QwenPaw、OpenClaw、Hermes 三个 harness 下的分数，标出 11.5 分的极差；右面板按极差大小排序列出多个模型跨三个 harness 的分差。底部注释强调 harness 是被测量 agent 的一部分，而不是中性包装 PawBench。
这里有一处容易混淆的地方要讲清楚：harness 不是基座模型。换 harness 之所以能提分，一部分原因是好的壳更懂怎么把模型的推理能力组织成有效的动作序列，也更能管住长程任务里那些白白烧 token 的重复动作。模型没变，只是换了一双手去用它，成绩就变了。
这并不是孤例。2026 年的 AgentCompass 直接把评测拆成 Benchmark、Harness、Environment 三层独立组件，让"同一个 benchmark 换不同 harness 跑"不必重写评测代码，从工程上承认 harness 是一等变量 AgentCompass。PawBench 则在同一批 150 个任务上把同一模型放上三个 harness，量出最高 11.5 分的极差。这些是同期独立的工作，不是这篇论文的后续，但它们和 Learn2Play 的第三条结论指向同一个方法学判断：模型和 harness 必须分开评，否则会把壳的功劳记到模型头上。
六、这篇基准站得住吗：它自陈的局限与在谱系里的位置
一篇基准论文的分量，往往不在它给出的榜单，而在它把什么问题第一次摆清楚了。Learn2Play 摆清楚的是"怎样才算 agent 真的从经验里学会了"，以及为什么这件事以前测不准。但它自己也很清楚边界在哪里，并在讨论部分列了四条局限。
第一条，它评的 agent 都不更新权重，所以那些靠改参数来学习的方法，比如 TT-SI 一类，不在横评范围内。第二条，游戏仍然建立在"规则新颖加反馈可复现"这个前提下，和真实任务之间还有距离，现实里的反馈往往是噪声、延迟甚至矛盾的。第三条，人类基线是每个游戏 21 到 30 人的小样本，是描述性对比，不能当作通用的人类基准。第四条，榜单上的名次是聚合后的点估计，论文里写得很直白，这不是显著性排序，leaderboard 也不展示显著性检验。这四条合起来提醒读者：论文的三条结论来自单一研究，是描述性的比较，不是领域共识。
与局限相对的是它做对的地方。论文用自动评分加确定性反馈，再配上公开的 leaderboard 和学习曲线，让任何人都能复核这些数字是怎么来的，这在仍然依赖人工打分的 agent 评测里并不常见。但同时也要记住那条限定：榜单默认排序不带显著性检验，所以看到名次接近时，别急着下"谁比谁强"的结论。
把它放回评测谱系里，位置会清楚一些。AgentBench 测的是在多个环境里的既有能力，TALES 把 5 个文本游戏框架统一起来测复合推理，结果是在合成的框架上模型几乎刷到满分，在人类手写的 Zork1 上却全线拿不到 16% TALES。这恰好说明评测结论高度依赖环境选择，换个环境，结论可能就变了。而 Learn2Play 测的是第三个维度：从经验学习。它和 AgentCompass、PawBench 关心的 harness 解耦也同源，但问的不是同一个问题。2026 年的一篇 LLM agent 评测综述甚至把"解耦模型与 harness 评测"直接列为待解决的开放问题，从侧面说明这条方法学路线还处在早期 Agent 评测综述。
回到开头那个反差。Opus 5.5 分数最高，Qwen 3.8 进步最快，这两个事实之所以能同时出现在一张榜上，是因为 Learn2Play 把"考得好"和"学得快"拆成了两把尺子。它没打算给出一个终极排名，它做的是把"如何公正地测 agent 会不会学习"这个问题第一次摆到台面上，顺便留下一串还没答完的题：权重级的学习怎么测，噪声环境下的学习怎么测，人类那 33% 的反弹率能不能被复制到模型身上。
想深入可以读原文：Learn2Play Bench: How Well Do LLM Agents Learn from Experience in Unfamiliar Environments? — arXiv:2610.08215
参考文献
- Learn2Play Bench: How Well Do LLM Agents Learn from Experience in Unfamiliar Environments? — https://arxiv.org/abs/2610.08215
- AgentBench: Evaluating LLMs as Agents — https://arxiv.org/abs/2308.03688
- ReAct: Synergizing Reasoning and Acting in Language Models — https://arxiv.org/abs/2210.03629
- Reflexion: Language Agents with Verbal Reinforcement Learning — https://arxiv.org/abs/2303.11366
- ExpeL: LLM Agents Are Experiential Learners — https://arxiv.org/abs/2308.10144
- Generative Agents: Interactive Simulacra of Human Behavior — https://arxiv.org/abs/2304.03442
- Voyager: An Open-Ended Embodied Agent with Large Language Models — https://arxiv.org/abs/2305.16291
- TextGames: Learning to Self-Play Text-Based Puzzle Games via Language Model Reasoning — https://arxiv.org/abs/2502.18431
- TALES: Text Adventure Learning Environment Suite — https://arxiv.org/abs/2504.14128
- Positive Experience Reflection for Agents in Interactive Text Environments (Sweet & Sour) — https://arxiv.org/abs/2411.02223
- AgentCompass: A Unified Evaluation Infrastructure for Agent Capabilities — https://arxiv.org/abs/2607.13705
- PawBench: A Model × Harness Co-Evaluation Benchmark for Agentic AI — https://github.com/agentscope-ai/PawBench
- A Survey on Evaluation of LLM-based Agents — https://arxiv.org/abs/2503.16416