Long-WAM：机器人操作模型的长历史，只有按顺序预训练才真正兑现

一、机器人为什么要记住，而记住为什么这么贵？

同一段 19.2 秒的视觉历史，喂给两套结构几乎一致的机器人操作模型，一套把任务成功率从 63.3% 顶到 78.7%，另一套几乎原地不动。差别不在历史有没有喂进去，这是 NVIDIA 团队在 Long-WAM 里抛出的核心发现，也是整篇论文最反直觉的地方：看得见历史，不等于用得上历史。要把这个反差讲清楚，得先承认它其实不是一个问题，而是一串条件。同样长度的历史要兑现成成功率，任务、结构、系统、训练这四关必须一关一关都过，缺了任何一关，历史都换不成动作。下面逐关来看，并且盯住哪一关才真正决定成败。

第一关是任务本身得真的需要历史。机器人叠杯子，杯子在传送带上移动、速度还会变，只看当前画面，控制器判断不出这个杯子是刚加速还是马上就要停，它需要一小段过去才能把运动趋势外推出去。任务越长、越动态，这段历史越关键。但这一关只证明历史值得被兑现，它不保证任何一个具体模型接得住。任务提出需求，是历史能起作用的前提，却不是历史能变成成功率的答案。

第二关是模型结构得给历史留出进来的通道。世界-动作模型（World-Action Model，WAM）就是把这件事摆上台面的那类模型，它把"预测接下来画面会变成什么样"和"输出机器人动作"绑进同一个模型。一份 WAM 综述按未来预测与动作的耦合方式，把现有工作分成四类：先想象再执行、用视频特征条件化动作、视频与动作联合建模、把视频预测当作辅助训练信号。Long-WAM 属于第三类，视频和动作在同一个模型里联合生成WAM Survey。这个坐标回答的只是历史有没有通道进来。结构上留了接口，不等于历史进来之后会被用上，所以通道同样只是必要条件之一。

第三关落在系统侧，历史还得赶在下一个动作触发之前就送达。机器人控制是实时闭环，模型不是慢慢算一次就完事，而是一次前向吐出一小段动作序列，也就是一个 action chunk（动作块），机器人执行完这段，再等下一块。每块算多久，直接决定机器人跟不跟得上前方的变化。WAM 的麻烦在于，它想让动作用上对未来的想象，就得先花算力把未来的视频潜变量推出来。跳过这一步便宜得多：同样在 RTX 5090 上，跳过未来想象的 Fast-WAM 跑出 190 ms，而保留显式未来生成的变体要 810 ms，差了四倍以上Fast-WAM。这笔账还会随历史长度继续堆高。Long-WAM 报告，把视觉历史从 2.4 秒加到 19.2 秒（历史长度八倍），同一条推理链路的单块延迟会在 RTX 5090 上从 107.4 ms 涨到 341.0 ms，约 3.2 倍Long-WAM。就算任务需要历史、结构也接得住，只要系统送不及时，前两关照样落空。

三关都过了，历史就一定能兑现吗？开头那组对照给出了否定的答案。同样是 19.2 秒，结构相近、历史都喂了进去的模型，一套涨到 78.7%，另一套几乎不动。这说明在任务、结构、系统之外还有第四个变量，而且它才是真正决定历史能不能变成成功率的那一个。成本只是入场的门槛，关键问题是模型当初被训练成了什么样。这个变量留到下一节单独拆。

于是这篇论文要拆的结摆在这里：机器人要做长程、动态的任务，就必须记住刚发生了什么；可把这段记忆喂进一个还要想象未来的视频模型，动作输出就会被拖慢。这两个需求互相拉扯，而 Long-WAM 声称自己同时兑现了两边。先看一张总览图，它把这套条件要跨过的四个环节摆在同一张图里。

图注：Long-WAM 论文的总览图，四块分别对应按顺序的视频预训练、因果到因果的动作适配、上下文缩放结果与实时部署优化。第三块的曲线显示，RoboCasa GR-1 上成功率随历史变长从 63.3% 升到 78.7%，LIBERO-Long 上在 2.4 秒历史处就到达峰值 99.5%。Long-WAM

二、多给历史本该更有用，为什么在多数模型上它一点没涨？

如果问题只是"历史越多越慢"，那不过是一道工程题，加算力、做加速就能缓解。Long-WAM 真正扎人的发现在下一层。他们做了一组控制变量实验，适配方法完全相同，都是同一套因果结构的世界-动作适配，唯一变化的变量是视频底座的初始化方式。结果画成一张图，横轴是上下文秒数，纵轴是成功率。

图注：同一套因果适配、只更换视频初始化时的上下文缩放曲线，横轴为上下文秒数，纵轴为成功率。RoboCasa GR-1 上两条因果自回归曲线随历史变长升至峰值 78.7%，双向 Wan2.2 那条几乎贴平；LIBERO-Long 上峰值标注为 99.5%。Long-WAM

在 RoboCasa GR-1 这个包含 24 个多阶段桌面任务的基准上，两条因果自回归初始化的曲线随历史变长一路爬升：机器人域微调过的那条从 63.3% 涨到峰值 78.7%，通用视频底座那条也涨了约 11 个点。而双向预训练的 Wan2.2 初始化那条灰线，从 0 秒到 19.2 秒几乎贴着 60% 上下抹平。历史明明进了模型的注意力范围，双向底座却没能把它换成任何东西。论文把因果自回归相对双向的领先量化出来：没有历史时领先 3.3 个点，到了 19.2 秒扩大到 17.1 个点Long-WAM。

为什么会有这种差别？关键在"看到"和"会用"是两件事。双向预训练的视频模型，训练时把一整段视频的每一帧同时送进去做去噪，每一帧都能看到它前后的其他帧。Wan 系列就是这类双向扩散底座的代表，它由 VAE、扩散 Transformer 和文本编码器组成，文本条件通过 cross-attention 注入Wan 2.1。它学会的是"给定整段，把每一帧补全"。因果自回归预训练反过来，逐块按顺序生成，生成当前这块时只看得到已经发生的过去LongLive-2.0。差别不在能不能看到历史，而在训练时有没有被逼着从历史推未来。

可以把它想成两种看电影的方式。一种是把整部片子摊开在桌上，任意一帧都能对照前后文来理解，这样你能很好地描述每一帧，却从没被要求猜过下一幕。另一种是逐帧往下看，每一帧都由你闭着眼先猜，再睁眼对照。看完同样长的素材，后者练出来的才是"从已知推未知"的本能。机器人操作要的恰恰是后一种，它要拿刚发生的画面去预判接下来会怎样。双向底座把历史看全了，却在预训练阶段从没被迫赌过下一秒，到了动作预测这一步自然也拿不出用历史推未来的能力。

预训练目标还决定了隐藏状态里装着什么。因果自回归模型每次都被要求只凭过去生成下一块，它的中间表示会被迫浓缩成"刚才发生了什么、接下来往哪去"的摘要，这份摘要在动作适配时可以直接拿来用。双向模型没有这个压力，它的表示服务于"把整段补全"，历史与未来的区分对任务不重要，自然也就没有为动作预测准备任何东西。论文把这个差别表述为一份推断：因果自回归预训练学到了从历史到未来的依赖，这份依赖在动作适配阶段被保留了下来。

同一组实验里还有一条对照，说明上下文依赖性本身是有上限的，而且上限由任务决定。在 LIBERO-Long 的 10 个长程任务上，成功率在 2.4 秒历史时就冲到 99.5%，相比 0 秒起点 94.5% 提升了 5 个点，之后继续加历史已经没有意义Long-WAM。也就是说，这类相对静态的桌面任务在 2.4 秒内信息就够用；真正吃长历史的是 GR-1 那种多阶段、会动态变化的任务。一句话，多给历史本来应该更有用，但这个"更有用"只在按顺序训练过的底座上才兑现。

三、要造出用得上历史的模型，需要在哪一环把因果结构焊死？

既然因果自回归预训练是先决条件，下一个问题就是：怎么在接入动作的过程中，不把这份结构弄丢。Long-WAM 的答案是因果到因果适配，先在无动作标签的机器人视频和第一视角视频上学"从历史推未来"，再让动作输出接上来。论文用一张图把四种可能的推理策略并排列开。

图注：四种视频与动作推理策略的注意力示意，蓝色为观测、黄色为视频、红色为动作、灰色为被遮蔽位置。第四种策略先预测未来潜变量再据此去噪动作，Long-WAM 默认采用它，且视频一侧从不读取动作 token。Long-WAM

四种策略分别是：只看当前帧出动作；看历史但不预测未来；视频与动作联合去噪；先预测未来潜变量再据此出动作。Long-WAM 默认第四种。它和第三种看起来只差一个顺序，为什么值得单独拎出来？因为决定成败的不是先算视频还是先算动作，而是注意力的方向。

真正的机关在注意力接口的非对称设计上：video query 从不读 action token。动作可以单向地从视频那边取信息，反过来不行。具体说，动作查询读的是三样东西：观测到的历史、部分去噪的未来潜变量、以及自己那一小段动作块。这样做的用意是让动作信息无法回流进视频的因果结构里，视频那头始终维持着"只从过去推未来"的形态。训练目标则是两项损失相加，一项管视频、一项管动作。推理时，视频去噪只走四步就停在某个中间噪声水平，未来潜变量永远不还原成像素，它只在动作去噪的过程中被当作可复用的视觉 KV。省掉了把未来解码成画面的开销。

这里有必要和 Fast-WAM 对照一下，因为两篇是同期独立路线，不是谁升级了谁。Fast-WAM 用一套结构化注意力掩码，训练时保留视频协同训练，推理时把未来通道整条拿掉，只做一次前向就出动作Fast-WAM。Long-WAM 则在训练和推理两头都保留未来潜变量。这个"保留"正是后面那笔工程账的来源。

那么这份因果结构是在什么底座上长出来的？Long-WAM 的骨干叫 LongLive2.0-Robot，做法是在 LongLive-2.0 之上，用约 10,000 window-equivalent hours 的机器人加第一视角视频继续微调。这个数字的细节值得点破：它实际是 2,294,889 个 16 秒样本，合计约 10,004.5 小时，来自 RoVid-X、AgiBot World、EgoDex、EgoVerse、VITRA 五个数据家族，其中 RoVid-X 一家就占了 1,898,562 条Long-WAM。论文特别强调这是窗口等效估计，不是独立原始录像时长的简单相加。

四、19.2 秒历史凭什么跑进 107 毫秒？

Long-WAM 在 RTX 5090 上做到每块 107.4 ms。这是论文在部署配置下的头条延迟，测的是含未来视频潜变量预测的完整推理，视频专家的线性层走 W4A4 NVFP4 量化，动作专家保持 BF16。同一套对比里，它比 BF16 eager 的 356.0 ms 快 3.3 倍，比同样跳过未来生成的 Fast-WAM 的 244.1 ms 还快 2.3 倍Long-WAM。也就是说它明明多做了未来预测，却比不做的那套更快，这个反直觉之处值得停一下。答案不在模型结构里，而在整套推理系统栈上，而且这套栈大部分不是它自己发明的。

不过这里有一组数字很容易被并成一个，动手算账之前得先拆开。107.4 ms 是部署配置下的单块延迟，它并不对应 19.2 秒历史这个工况；19.2 秒是上下文缩放实验中成功率峰值所在的历史窗口，也是附录 G 延迟实验测得的最长窗口，论文在那里给出的单块延迟是 341.0 ms，这个代价记在附录 G（论文的上下文扫描其实延伸到 38.4 秒，但成功率已开始回落）。两处测量的上下文长度与设置都不一样，把它们绑成一句"19.2 秒跑进 107 毫秒"，就等于把历史变长带来的那部分延迟代价整个抹掉了Long-WAM。

图注：LongLive-2.0 的训练与推理总览。左侧训练栈用 Balanced SP 与 NVFP4 量化把 5B 模型训成长视频因果自回归生成器，右侧推理栈走 W4A4 低位宽推理、量化 KV cache 与异步流式 VAE 解码。Long-WAM 的实时回路建立在这套已打通的栈之上。LongLive-2.0

Long-WAM 的实时能力继承自 LongLive-2.0，一套端到端的 NVFP4 长视频生成系统，把 5B 模型推到 45.7 FPS，训练相对基线提速 2.15 倍、推理提速 1.84 倍LongLive-2.0。它的 KV cache 也按块做 NVFP4 量化，存储被压到约 3.6 倍压缩，长历史大多时候不占满显存LongLive-2.0。Long-WAM 在这个基础上做三件事，把它改成面向机器人的实时回路。第一是流式观测编码：视频帧边到边编码，不等整段历史凑齐再处理。第二是异步执行：推理与动作执行在时间轴上重叠，不必等整个动作块算完才开始动。第三是低位宽与设备特定调优：视频专家的线性层走 W4A4 NVFP4 量化，动作专家仍保留 BF16；CUDA Graph 重放压掉 kernel 启动开销；再针对不同边缘设备调整 buffer 与 tile 的配置。

"边到边处理"这件事值得单独讲清楚，因为它就是长历史不再堵塞动作输出的原因。可以把它类比成直播和录播的区别。录播是先录完整场节目，再慢慢剪辑，观众要等到剪辑结束才能看到画面；直播是节目一边播，导播一边切，画面在你看的同时就已经处理好了。流式编码要满足的硬条件是：上一次的观测编码必须在下一次动作触发之前就绪，否则机器人就会累积空转。异步执行再把"等编码"这段空隙用执行时间填上，于是长历史带来的额外计算被藏进了原本就存在的等待里。

整条调度的时间关系大致是这样：

即便如此，代价仍然如实存在，而且它正好落在刚才拆开的那组数字上。论文的历史缩放实验测的是上下文长度本身如何推高单块延迟：0 秒基线在 RTX 5090 上约 74.6 ms，把历史拉到 19.2 秒后升到 341.0 msLong-WAM。这里还得交代一句测量口径：这两个数报的都是单块推理本身的耗时，衡量的是模型这一侧要算多久；流式编码与异步执行是压在上面的调度层，作用是把这段计算塞进机器人本来就存在的等待窗口，让机器人不空转，而不是让单块延迟本身缩水。跨设备表现也不一样，下表列的是部署配置下每个 action chunk 的延迟：

相对 BF16 eager，跨设备累计加速在 3.2 到 4.1 倍之间Long-WAM。也就是说，实时性是被工程硬压出来的，不是长历史自带的赠品。

同期还有两条不同的路，说明"实时化"没有唯一答案。AHA-WAM 在训练阶段就把视频规划与动作执行的时间尺度解耦，让慢的世界规划器配一个快的动作执行器，在 RTX 5090D 上做到 41.37 ms、24.17 HzAHA-WAM。RealtimeWAM 则完全不动训练，只在推理侧做 Prefill 与预测重叠、按视觉稳定性复用 token、按预测位移自适应调整去噪次数，在 RTX 4090 上把一条 baseline 从 214.33 ms 压到 24.09 msRealtimeWAM。三条路线的硬件与基线都不同，不能直接比绝对数字，但可以看清 Long-WAM 的选择：训练时保持因果结构，推理时把流水线切到极致。

五、这套栈真的做到了什么？

先看仿真基准。LIBERO 一共包含 130 个语言条件任务，LIBERO-Long 是其中专门用于长程评估的 10 个任务，每个任务配 50 条人类遥操作演示，任务并不包含高速运动的物理动态LIBERO。在四个任务套件的平均成绩上，Long-WAM 报告 99.5%；其中 LIBERO-Long 从 94.5% 升到 99.5%。在 RoboTwin 2.0 上平均 94.4%。在 RoboCasa GR-1 上峰值 78.7%，出现在 19.2 秒历史处。这是同一套模型在不同长程基准上的表现，不是每个基准各训一版。

动态操作是更能看出差别的地方。要理解这类任务难在哪，得先看它的难度是怎么分级的。

图注：动态操作的难度分级示意。顶部四档从静态一路到随机突变，中部强调这类任务既需要捕捉历史、也需要预判未来运动，底部显示现有方法从静态环境换到动态环境后成功率明显下滑。DOMINO

DOMINO 把动态难度分三层：目标以常速运动；轨迹是多项式因而会变速变向；轨迹由多段拼接因而在接管处速度突变。它还用速度系数把"动态"量化，主要实验跑在最大速度 0.1 m/s 的设置上。这套基准本身极难，纯 VLA 路线中表现最好的 PUMA 在最低难度档也只拿到 17.20% 的成功率DOMINO。Long-WAM 在动态数据上微调后报告 34.9% 的成功率。要留意这里两个数字的口径不同：DOMINO 是仿真上 35 个任务的平均，而接下来那组是真机单任务，二者不能直接比。

最有冲击力的证据来自真机。在 Unitree G1 上做动态杯堆叠，Long-WAM 二十次里成功十九次，也就是 95%；而 π0.5 与 Fast-WAM 各二十次全部失败Long-WAM。这个 0/20 的对照是 Long-WAM 论文自己报的，π0.5 原论文里并没有这个实验，引用时得说清来源。另外，同一台机器人还在传送带抓取上，于四个速度档保持 90% 到 100% 的抓取率；在 YAM 平台上做平均超过 40 秒的长程任务，成功率 81.7%。

读这些数字时有两处口径要分清。仿真是多个任务的平均，真机是单个任务的成功率，两边不能直接相减。0/20 与 95% 之间那么大的差距，显示其在这项动态杯堆叠任务上具有显著表现优势；该对照本身不能单独归因于某一种内部预测机制。论文把这一优势解释为对历史与未来动态的利用：杯子的运动趋势藏在刚才那几帧里，抓得住历史才接得稳。不过这只是论文给出的解释，并不是这组对照单独证明的机制。它给出的提示，也解释了为什么一个"多算未来"的模型，反而能在动态任务上把"省掉未来"的对手甩开。

六、它能走多远？

先把边界讲实。历史并不是越长越好。把上下文拉到 38.4 秒时，两条因果自回归曲线反而掉到 75.2% 和 74.2%。论文给出的解释是数据分布问题，不是模型的记忆上限：训练轨迹平均只有 12.1 秒，38.4 秒这个窗口已经是它的三倍多，而其中 80.4% 是合成的 padding（填充帧）Long-WAM。换句话说，模型在更长的历史上学到的往往是空帧，而不是真实事件。由此可以推出一个可验证的判断：更密、更长的真实机器人数据，能把这条天花板顶高。论文也把"推理时自适应选择上下文窗口"列为未来工作，目前每个上下文长度都要单独训一个模型。

另一个容易被忽略的点是它的角色定位。Long-WAM 是"记忆型的执行器"，不是替代高层规划器的方案。把它放在一个外部高层规划器之下，两者组合会更好。论文报告，在 RoboCasa365 的组合任务上，Long-WAM 配合 GPT-6 Astra 后整体成功率从 31.4% 提到 54.4%，在未见的组合任务上从 6.1% 提到 35.0%Long-WAM。

这和纯 VLA 路线是分层分工，不是谁替代谁。π0.5 这类模型走的是另一条路：从多种数据源预训练，先用语言产出高层的语义子任务，再据此预测连续的低层动作，整条链路里没有对未来的视频预测。在 RoboCasa365 上，Long-WAM 单独执行已见过的原子任务能到 67.9%，而 π0.5 是 39.6%Long-WAM。

图注：π0.5 论文的模型总览图，展示两阶段训练流程。第一阶段把多种数据源汇聚成统一 VLA，第二阶段加入 flow matching 的动作专家；推理时先产生高层语义子任务，再基于子任务预测低层连续动作，全程不含视频未来预测模块。π0.5

它擅长的是语义与泛化，Long-WAM 擅长的是物理动态，两者的边界不一样。

所以回到读者最实际的问题：什么时候值得选因果自回归预训练做自己的视频-动作 backbone？答案是有条件的。任务必须长时程而且动态，你得能拿到足够密、足够长的历史数据，还要愿意为实时性做一整套模型与系统的协同设计。三者缺一，收益就会打折扣。反过来，如果只是想省掉推理时的未来想象，Fast-WAM 式的跳过未来是一条更轻的路；如果任务本身偏语义、动态性不强，纯 VLA 也站得住脚。

Long-WAM 证明的不是"长历史一加就灵"，而是长历史要兑现成成功率，需要底座、适配、推理栈三件事一起对齐，而且它的上限还被训练数据的密度捏在手里。这既是该不该跟的判断依据，也标出了下一块最该补的数据在哪里。

想深入可以读原文：Long-WAM: Scaling the Context of World-Action Models — arXiv:2610.10528

参考文献

1. Long-WAM: Scaling the Context of World-Action Models — arXiv:2610.10528
2. Fast-WAM: Do World Action Models Need Test-time Future Imagination? — arXiv:2603.16666
3. π0.5: a Vision-Language-Action Model with Open-World Generalization — arXiv:2504.16054
4. Wan: Open and Advanced Large-Scale Video Generative Models — arXiv:2503.20314
5. LongLive-2.0: An NVFP4 Parallel Infrastructure for Long Video Generation — arXiv:2605.18739
6. AHA-WAM: Asynchronous Horizon-Adaptive World-Action Modeling with Observation-Guided Context Routing — arXiv:2606.09811
7. RealtimeWAM: How Fast Can I Run My World Action Model? — arXiv:2610.10079
8. From World Models to World Action Models: A Concise Tutorial for Robotics — arXiv:2607.00836
9. LIBERO: Benchmarking Knowledge Transfer for Lifelong Robot Learning — arXiv:2306.03310
10. Towards Generalizable Robotic Manipulation in Dynamic Environments (DOMINO + PUMA) — arXiv:2603.15620