Trajectory2Gym：跑通的工具轨迹，只有一部分动作配当监督

速览

一、成功只认证结局，不认证它教了什么

Trajectory2Gym 换掉了工具调用数据合成的一个默认前提：一条跑通的轨迹，不等于其中每个动作都值得被模仿。轨迹在这里指一次完整的工具调用交互记录，从用户请求、工具观测一路到最终回复。作者把训练数据的构造从「收集成功轨迹」改成「刻意造出可学的交互经验」，在五个 Qwen3 规模上做纯 SFT，Tau1 与 Tau2 两基准的配对均值在 1.7B 上从 15.93 涨到 35.97，在 30B-A3B 上从 36.36 涨到 75.47；按三个基准等权平均，提升区间是 16.9 到 29.8 个百分点。Trajectory2Gym

换掉这个前提的理由很具体。论文认为这类语料的瓶颈已经从「造得出」转到「筛得对」，所以判据成了关键。既有流水线的收口是结果比对。APIGen-MT 用最终环境状态和最终回复去对齐 groundtruth，条件是 r=1 才保留轨迹 APIGen-MT。这条判据回答的是「这一集结束了没有」，不回答「这一集里的某个动作，在当时的信息下能不能被推出来」。两者不是精度差别，是层级差别。一条轨迹可以整体成功，同时混入若干靠未来信息、采集者私有信息或没被观测到的状态才成立的动作，而监督微调会把它们一起学进去。

论文用 Figure 1 的构造样例把落差摆出来。用户先说要换大瓶、把台灯调暗，随后改口「只要台灯」。两条候选动作分别是「只调暗台灯」和「调暗台灯并把 500ml 瓶换成 750ml」。把它们放进原生工具重放，两个都会执行成功，因为工具只检查参数合法，不管用户最后一句。按执行结果过滤，两条都留；按「决策时刻能看到什么」过滤，只留第一条。

图注：上排两个虚线框并排：左框「Checking execution is not enough」用红字指出单独调用看不到上下文、错误的换货同样能执行；右框给出本文做法，先构建完整交互、训练前逐动作检查。下排从同一条共享请求与用户确认出发，分出两条候选动作，按执行结果过滤给出两个 Keep，按本文规则只保留台灯、拒绝换瓶。Trajectory2Gym

图里的对话经过改写，第二个候选动作由作者构造，不是真实基准记录，但它精确指出了过滤规则的漏洞。数据侧还有一个更朴素的证据：在 34,772 条已认证候选轨迹里，40.9% 至多只含两个被监督决策，只有 10.0% 在一次真实错误之后还留有被认证的决策。也就是说，即便把「成功」当作唯一标准筛出来的语料，在「多步依赖」和「错误恢复」这两个最需要经验的结构上也是稀薄的。

二、两条可以写进代码的判据

论文把「学得会」拆成两条可检查项：动作要由决策时刻的可见证据撑住，经验要按依赖结构计次。前者管单个动作的资格，后者管这类经验在语料里出现了几次。两条必须一起满足，只满足一条都会让语料失效：动作全部可推但路径单一，模型没机会见到依赖；路径丰富但动作不可推，模型学到的是猜。

决策接地是第一条，讲的是被监督的动作必须能由决策时刻可见的历史推出来。形式化上，决策上下文记作 $c_t=(x,\mathcal T_t,V(H_{<t}))$，其中 $x$ 是请求，$\mathcal T_t$ 是工具 schema，$V(H_{<t})$ 是此前交互历史在智能体可见部分的投影。关键在投影 $V$：开发者记录完整日志，学习者只能通过原生接口行动，采集者用过而学习者看不到的信息被投影掉。判据分两层。执行有效性 $e_t$ 只说明这次调用真的跑通了，没有报错，参数也被原生动作级校验接受。决策时可见性 $v_t$ 才回答「这一步能不能由当时看得到的历史推出来」，例如工具必须已经出现在可见的检索结果里，标识符类参数必须能被前面的观测支撑。两者相乘得到局部资格 $g_t$，再叠加终止成功与工作流顺序检查，才落成逐动作的监督掩码。

这里最容易被读反的一点是错误步骤的处置。被拒绝的调用和它的真实报错不会被删掉，它们留在上下文里，只是不吃 imitation loss；真正被监督的是其后的接地恢复动作。可见不等于被监督，这一处如果读反，整条流水线就变成了「删掉失败样本」，而那恰好是论文要反对的做法。

讲解：哪些动作才配有监督标签

第二条是组合覆盖。一条规范路径 $p$ 是把若干能力要求串起来的有序序列，覆盖说的是这条路在语料里被支撑了几次 $n_S(p)$，缺口是目标支撑深度减去已支撑次数。目标深度随规模递增，从 1.7B 的 1 到 30B-A3B 的 8。这里要正面拆掉两个误读。覆盖不是样本条数，堆一万条同一种「查订单再取消」的简单串联，路径覆盖还是一条。覆盖也不是工具调用长度的多样性，长不等于有依赖。还有一个更隐蔽的点：只有原生执行里真实发生的依赖才算支撑，一个「打算需要恢复」但一路顺利的任务，不提供任何恢复经验。计划中的结构和实际获得的结构必须分开记。

讲解：堆样本为什么不等于补覆盖

作为近邻对照，2026 年另一条线把接地下沉到了参数粒度：SAP 要求每个工具参数显式声明来源，由执行器逐调用校验并在失败时回滚 SAP。它说明接地既不等于答案对，也不等于参数有出处，但那套判据的粒度与认证时机都和这里的决策级判定不同。

三、按结构缺口造交互，按父交互分权重

方法的主线可以压成一句话：在真实可执行环境里围绕欠支撑的结构去造交互，再按一次完整语义交互来分配训练权重。论文第 4 节实际只有三个子节，分别是组合交互合成、接地监督、结构化支撑学习；常被转述的「四步流水线」是把最后一节里的两件事拆开叙述的结果。

图注：三段式总览。左段围绕目标能力缺口生成请求，教师与原生环境之间以工具调用和观测往返，产出执行日志；中段从采集记录经筛选与认证得到学生轨迹，区分灰色 Context 与紫色 Learn；右段从已认证轨迹池经结构化选择进入父归一化 SFT，最终得到工具调用智能体。图内没有任何数字。Trajectory2Gym

第一步造交互。系统维护一张共享能力词表，涵盖语义动作与参数、观测结果、恢复、分支、转交、终止等要求，一条规范路径就是把这些要求排成有序序列。生成器造出请求与初始状态，教师模型在原生环境里执行，于是每个动作都产生真实观测。关键在定向：构造目标不是随机铺量，而是找出当前语料里支撑不足的路径，往那里补。可执行环境本身不是这篇论文首创，Gecko 用仿真工具加状态反馈做闭环 Gecko，TopoCurate 按交互拓扑组织已成功的轨迹 TopoCurate。本文的增量是「围绕欠支撑的组合结构定向构造」这个选择维度。

第二步是认证，每个决策按上一节的判据链过一遍，教师独有的提示被排除出学习者可见的上下文，真实错误保留为恢复上下文。第三步是分配与训练，候选池固定后按缺口决定补哪些路径，再用父归一化目标做 SFT。

两根支柱各有一件证据。第一件是同预算对照：固定 8B、14,819 个父交互、等目标 token，结构化选择覆盖 6,360 条规范路径，随机选择覆盖 5,418 条，多出 942 条；分数变化是 Tau1 +5.87、Tau2 +1.67、BFCL −0.58，BFCL 属基本持平。Trajectory2Gym

图注：两栏对照。左栏纵轴为覆盖的规范路径数，灰柱是随机选择的 5,418，蓝柱是结构化选择的 6,360；右栏横轴为相对随机的分数变化，Tau1 为 +5.87、Tau2 为 +1.67、BFCL 为 −0.58，零线处有灰色参考线。Trajectory2Gym

这张图说明改变的是被表示的结构分布，不是监督总量。机制也能算出来：这一对里整体只抽了约 43% 的候选，只出现过一次的路径有约 57% 的概率被随机漏掉，出现过三次的约 19%。

第二件是权重单位。一条语义轨迹会渲染成多条原生训练样本，如果按行平均，父交互的权重就正比于它渲染出多少行，长多轮交互会凭行数主导 loss。

父归一化把每个父交互的总权重固定为 $1/P_s$，内部再按监督目标 token 分配。它没有改变 loss 的形式，改变的是优化质量的单位，从渲染行换回一次完整语义交互。

四、五个规模全涨，增益集中在状态化多轮

五个规模全部上涨，而且增益最集中在需要跨步依赖前序观测的任务上。证据来自五组同初始化配对：每个后训练模型都和自己的起点在同任务总体、同接口、同工具访问、同解码配置、同用户模拟器、同原生打分器下比，每个任务只跑一次。

读这张表要守三条口径。第一，左列的 Tau 均值只含 Tau1 与 Tau2，对应的配对增益是 +20.04、+35.00、+36.21、+40.92、+39.11，不能拿去对摘要里的 16.9 到 29.8 个百分点，后者是 Tau1、Tau2、BFCL 三基准的等权平均。第二，论文附带的公开 checkpoint 对比只是跨方法参考，它自己写明训练数据、模型家族、上下文预算都不同，既非匹配干预也非等算力对比，不能做组件级归因。第三，每任务只跑一次，这是 Pass@1 的单次读数。

BFCL 那一列的结构比总分有信息量。增益集中在 Multi-turn Base，从 +7 到 +41 分，4B 起每个模型都超过论文引用的 GPT-5.5 的 60.00；单轮类别基本持平，唯一一致的负面是 Live Simple 在五个规模中的四个下降 6 到 13 分，作者的解释是模型转向了信息收集。BFCL

分域看，最大位移在 Tau2 Telecom，30B-A3B 从 12.50 升到 95.00；25 组域与规模的配对里 24 组改善，唯一没动的是 1.7B 上的 Tau2 Airline。

增益为什么集中在状态化多轮，两个基准的形态给出了答案。Tau1 里用户只能通过智能体的工具间接触发状态变化 τ-bench；Tau2 是双控制，用户一侧自带工具面板和独立数据库，可以和智能体共享同一个世界状态并真实改写它 τ²-bench。后一步决策依赖前一步的观测与反馈，这正是本文两条判据针对的场景。BFCL 的 Multi-turn Base 同理，逐轮真实执行后比对实例状态，任一轮失败即整条判错。

图注：双控制设定的示意。上方 Agent 与下方 User 各自带一个工具面板，右侧 World 框内并列 Agent DB 与 User DB，绿色循环箭头表示世界状态可被改写。图示为 Telecom 场景，图中没有任务数、split 或任何分数。τ²-bench

行为层面的对照也能看出差别。Simia 已经在订单记录里看到目标地址，却反复去查用户档案 Simia；MUA-RL 先改商品，导致随后的地址更新被拒 MUA-RL；LoopTool 在确认前就提交退货，使换货与取消都失效。论文同时保留了自己输掉的案例：一条支付任务上本方法发出付款请求后就转接了，连通性与欠费账单检查都没满足，而 Simia 完成了。这些是行为说明，不是同上下文对照。

消融里最大的一块不是新机制，而是权重归一化。8B 上四组配对组件消融，父归一化带来 +8.04 的三基准均值提升，语义轨迹、渲染样本、目标掩码完全不变，只改了训练质量的分配方式；定向扩展 +3.55、决策接地 +2.75、结构化选择 +2.32。四组各只跑一次，一个 Tau2 Airline 任务就能让三基准均值移动 0.56 分，几分以内的差别只能当方向性证据；四组干预发生在不同阶段，增益也不可相加。还有一处反直觉的结果：支撑深度不是越深越好，深度 2 的三基准均值 72.28 高于深度 3 的 70.55 和深度 4 的 69.44，而这三档同时改变了数据量，所以「补更多结构」并不免费。

五、代价落在两个没有数字的地方

这篇论文最贵的两块恰好没有数字。可执行环境的构建与沙箱成本，以及接地判定中需要人工裁决的部分，论文只做了定性描述，没有任何量化。这意味着复现的第一道门槛不在算法，而在能不能搭出同等的原生环境，以及愿不愿意为「这一步当时看不看得到」逐条判定。相比之下，34,772 条候选交互、三套基准适配器这些是能直接看到的部分。

另一条边界来自新颖性。同月的 Davinci-Tool 是独立同期工作，它同样把可执行环境当监督载体，同样主张「只扩覆盖或只加强验证都不够」，但接受判据始终是结果谓词验证，全文没有决策时刻可见性这一层 Davinci-Tool。这构成一次压力测试：本文两个要求里，「可执行环境加结果可验证」这一半已被同行独立推进，「决策接地」这一半仍然只有本文自己的实现。SAP 从参数侧靠近了一点，粒度和时机都不同。

图注：横向流程。左侧两类来源是外部编写的系统与合成域，中部 EGTS 与 EES 两条通路各自经 verify 得到已验证示范，汇入 Davinci-ToolData，右侧基座模型经 SFT 与 DPO 得到最终模型。绿色对勾标的是结果验证，不是决策级接地认证。Davinci-Tool

规模上还有一个不整齐的现象。按表内三列等权平均推算，逐规模增益约为 +16.9、+27.3、+27.9、+29.8、+27.2，30B-A3B 上回落，增益不随规模单调上升，这个数需要标注为由表内数字推算。评测面本身也在动：Tau2 已有官方修正版，同一模型换数据版本绝对分数就会平移，本文的 Tau2 数字必须带版本说明读，两套不可直接比较 τ²-Bench-Verified；BFCL 的 Overall 口径对应官方 V4 之前的等权公式，也不能与今天的榜单并列。

放回工程决策里，这篇论文值得记住的是问题换得对不对：训练数据的单位从「成功的轨迹」变成「可学的决策经验」，并且两条判据都能落成代码。需要警惕的是它最自信的两块，造环境和判接地，恰好最贵、最依赖人工、也最没有被量化。想深入可以读原文：Trajectory2Gym: Decision-Grounded Compositional Interaction Synthesis for Tool-Use Agents（arXiv:2610.33568）。

参考文献

1. Trajectory2Gym: Decision-Grounded Compositional Interaction Synthesis for Tool-Use Agents，https://arxiv.org/abs/2610.33568
2. τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains，https://arxiv.org/abs/2406.12045
3. τ²-Bench: Evaluating Conversational Agents in a Dual-Control Environment，https://arxiv.org/abs/2506.07982
4. τ²-Bench-Verified 评测集与 SABER 论文，https://github.com/amazon-agi/tau2-bench-verified 与 https://arxiv.org/abs/2512.07850
5. Berkeley Function Calling Leaderboard (BFCL) 官方仓库与排行榜，https://github.com/ShishirPatil/gorilla
6. APIGen-MT: Agentic Pipeline for Multi-Turn Data Generation via Simulated Agent-Human Interplay，https://arxiv.org/abs/2504.03601
7. Simia: Simulating Environments with Reasoning Models for Agent Training，https://arxiv.org/abs/2511.01824
8. MUA-RL: Multi-turn User-interacting Agent Reinforcement Learning for agentic tool use，https://arxiv.org/abs/2508.18669
9. Gecko: A Simulation Environment with Stateful Feedback for Refining Agent Tool Calls，https://arxiv.org/abs/2602.19218
10. TopoCurate: Modeling Interaction Topology for Tool-Use Agent Training，https://arxiv.org/abs/2603.01714
11. Davinci-Tool: Scaling Agentic Tool-Use Supervision with Verifiable Executable Environments，https://arxiv.org/abs/2610.16867
12. SAP: State-Guided Data Synthesis with Argument Provenance for Multi-Turn Tool Use，https://arxiv.org/abs/2609.06124