WorldBridge：视频-动作模型，光看视频不够，新任务还得一条演示

速览

一、多给视频能把没练过的任务成功率从 25% 抬到 56%，再往上就得靠动作演示

只看视频、不碰动作标注，WorldBridge 在 RoboTwin 2.0 上把训练时没见过的任务成功率从 25.07% 提到 55.90%。每个新任务再补一条带动作的演示，同一个数字变成 70.70%。与此同时域内任务的成功率几乎不动，从 91.85% 到 91.96%，说明单纯加视频带来的 30.83 点不是整体变强，而是真的迁到了没练过的任务上。这三个数字是理解这篇论文的坐标原点，后面所有关于"桥"的讨论都以它为参照。WorldBridge

论文把任务泛化拆成两种可以分别测量的能力。视频泛化指预测新任务会怎样演化，这部分靠无标注视频喂。动作泛化指把预测翻译成可执行动作，这部分必须有动作监督。两者之间的翻译机制被命名为 video-to-action bridge，承担逆动力学模型（inverse dynamics model, IDM）的角色。这个拆法自带一个可证伪的位置：如果只加视频就能让成功率饱和，桥就不重要，后面所有机制设计都成了装饰。实际结果是它停在 55.90%，所以桥必须被单独拿出来讨论。

图注：三栏分别对应只用域内数据、加上域外视频、再加少量域外配对。每栏左侧是视频空间，右侧是动作空间，蓝点为域内样本，橙点为域外样本，紫圈标出同时落进两侧的配对样本。栏下印着三档域外任务成功率：25.07%、55.90%、70.70%。WorldBridge

监督配比的收益递减同样清楚。每任务 1 条动作标注带来 14.80 点，5 条带来 13.97 点，20 条只带来 5.36 点，此时 90.03% 比 550 条的 92.83% 低 2.80 点，而动作标注预算只用掉约 3.6%。再往上，100 条到 93.17%，550 条反而回落到 92.83%。论文没有报告多种子方差，这 0.34 点只能算疑似噪声，不能读成"标注越多越差"。

把这条曲线按动作标注预算摊开，就是下面八档，域内一侧固定为每任务 550 条带动作视频。

另有一档不在这个序列里：100 条视频配 100 条动作标注只有 88.83%，低于 550 条视频配 20 条标注的 90.03%，尽管后者动作标注少了五分之四。这说明视频覆盖决定能迁移多远，极少量配对决定能不能落地，两者的贡献不是同一回事。还要说明，这几档都是受控的监督配比设置，不是最终系统的成绩。完整方法在 RoboTwin 2.0 Full 上的平均成功率是 96.23%，由后面的联合预训练与架构设计叠出来。

讲解：多喂视频还是多补演示，成功率怎么变

二、预测出下一帧不等于知道该给哪个关节，缺的那层逆动力学才是关键

视频模型能告诉你画面接下来会怎么变，但它不告诉你该给哪个关节多大的量。WorldBridge 的主张是这条翻译通路本身需要学，而且一旦在域内动作监督下学出来，就能承接域外视频。

世界-动作模型（World Action Model, WAM）的工作定义，是把预测性的世界表征和可执行的动作生成耦合起来。耦合有两条路：同时预测未来状态与动作，或者先预测未来状态再通过逆动力学接口反推动作。反应式 VLA 直接从观测和指令出动作，不显式建模未来；纯世界模型只预测不控制；动作条件视频生成只做了视觉规划那一半。它们的差别不在模型大小，而在有没有把预测接到可执行的控制量上。WAM 综述

论文对缺口的描述只有两句，但说得很准：一个模型可以预测出合理的视觉未来，却缺少把它实现出来的动作根基；反过来，一条可迁移的桥能让额外视频带来的知识改善执行，即使这些视频没有对应的动作标注。这解释了为什么"再多喂视频"不会自动解决问题，也解释了为什么桥必须从少量配对数据里学出来，再被复用到没有配对的任务上。

视频以什么形式进入动作策略，至少有三种互不等价的位置。第一种只把它当骨干初始化，视频预训练结束后就与动作训练无关。第二种把它当训练期辅助目标，用记录到的未来做监督，训练完把预测头丢掉。第三种在推理期继续生成未来，让动作显式条件于预测出的画面。另一篇同期工作 JAM 把这三项拆成可独立开关的选择，并证明未来监督本身可以脱离视觉生成存在。JAM

图注：左半是训练，右半是部署。训练侧的橙色虚线框里，记录到的未来帧只进入冻结的未来锚并产生目标，可训练的预测头负责逼近它，这条支路不接动作。部署侧只剩骨干与动作专家，未来锚、预测头和视觉生成都不在。JAM

这是外部工作提出的分析框架，不是 WorldBridge 的自我表述，但它能消解一个常见误读：WAM 不等于"带视频生成的 VLA"。WorldBridge 选的是第三种，也是三种里唯一在推理期还要跑视觉生成分支的一种，尽管它省掉了未来视频的 RGB 解码。这个选择决定了后面所有关于延迟与部署的讨论。

三、桥的位置画出来了：视频专家和动作专家靠两阶段注意力掩码单向传话

桥不是外挂模块，而是同一组 joint self-attention 里被掩码开出来的一条单向通路，信息只能沿"记忆和当前帧 → 未来视频 → 动作"流动。

WorldBridge 的骨架是 Mixture-of-Transformers，视频专家和动作专家各持一套参数、FFN 与解码头，在每个 block 内通过共享的 joint self-attention 交换信息。条件由两部分组成：video VAE 编码的观测与记忆，以及 T5 编码的指令。训练用联合流匹配，视频流的时间步 $\tau_v$ 与动作流的时间步 $\tau_a$ 各自独立采样，两条流各自回归自己的速度场，推理时也各自从高斯噪声积分。这种独立采样很关键：它不要求视频与动作在同一个噪声水平上对齐，两条流的不确定性可以不一样。项目页

图注：左半是主流程，指令经 T5 编码，视觉记忆与当前帧经 video VAE 编码，加噪的未来视频和动作块分别进入双专家，经共享注意力与联合流匹配后由动作解码器输出动作块。右半把 46 维拆成手臂 14、末端 14、夹爪 2、灵巧手 12、腰部 4，并标出逐维有效性掩码。项目页

掩码是这套设计里最实的一块。预训练阶段用第一套掩码，视频 token 只看视频 token，不看动作 token，动作 token 可以看全部视频和全部动作。这样做的目的是让视频专家先学会不看动作也能预测未来，否则它会走捷径，用动作信息去补画面。后训练阶段换成第二套：记忆 token 与当前帧互看，未来视频 token 只看当前帧和未来视频，动作 token 只看未来视频和动作。于是动作只能读到视觉演化，读不到记忆与当前帧的直接通路。可以把掩码理解成一张访问控制表，行是发起读取的 token，列是被读取的 token，白格就是没有权限。它不增加任何参数，只规定谁可以读谁。WorldBridge

图注：两张 8×8 掩码，(a) 用于预训练，(b) 用于后训练。黄格是视频注意力，绿格是动作注意力，白格被遮蔽；横轴为 Key，纵轴为 Query，行列都按记忆、当前帧、未来视频、动作排列。(b) 中动作行只在未来视频列与动作列着色，未来视频行看不到动作列。WorldBridge

论文还给了一个例外：记忆需求强的任务会退回预训练掩码，让动作 token 直接访问记忆 token。这说明掩码不是一套固定规则，而是可以按任务切换的通路配置。

联合流匹配之外还有两个训练技巧。动作强制把动作流的时间步从标量扩成向量，按组大小 g 对每组独立采样，噪声也逐个动作独立采样，于是同一个动作块里的 token 处在不同噪声水平上，被迫更多依赖视觉上下文而不是彼此抄答案。推理时这个混合噪声并不存在，所有动作 token 从独立高斯噪声出发，用共享的时间步联合去噪。双尺度视觉记忆则同时保留两套历史帧，短期偏移为 −8、−6、−4、−2，长期偏移为 −128、−96、−64、−32，各 4 帧，短期承载局部运动，长期承载任务进程。

异构数据靠统一动作空间拼在一起。46 维带上逐维有效性掩码，不可用的维度零填充且不进入监督，机器人数据和人类第一视角数据都映射到这套槽位。清洗后合计约 2.23 万小时，其中机器人 9,729.58 小时，第一视角 12,591.63 小时。这也是"更多视频覆盖"能落进同一个模型的前提。

四、收益能一项项归因：动作强制加双尺度记忆值 4 到 11 点，联合预训练值 25.8 点

这套方法的收益可以一项项拆开，每一项都能对应到一组消融数字，而每一份数字背后都有明确的数据或算力代价。

第一组归因是动作强制与双尺度记忆的累加消融。在 RoboTwin 2.0 上，基础配置 91.28%，加动作强制 93.31%，再加短期记忆 93.98%，再加长期记忆 95.20%。同一组配置在 RoboCasa 上是 67.50 → 69.17 → 74.33 → 78.58，在 RoboDojo 上是 14.50 → 16.52 → 16.90 → 21.07。全配置相对基础配置分别提升 3.92、11.08、6.57 点。记忆项的收益在两个更难的基准上明显更大，长期记忆在 RoboCasa 与 RoboDojo 上各贡献 4.25 与 4.17 点，在 RoboTwin 上只有 1.22 点。这说明它解决的是长时序与任务进程，不是简单的局部控制。

第二组归因是联合预训练。只用目标机器人数据时，RoboTwin 的 Clean2Random 平均 62.7%，其中随机化场景只有 42.6%。加入机器人数据预训练后升到 77.4%，随机化场景跳到 67.7%。再加入第一视角数据后到 80.9%，随机化 73.4%。两项合计 +18.2 点，增益主要集中在视觉分布发生变化的条件上。真机给的是更直接的对照：两个平台分别微调同一个联合预训练 checkpoint，六个任务各 20 次试验，WorldBridge 平均 72.5%，π0.5 是 57.5%。把联合视频-动作预训练整个去掉、只保留预训练的 Wan 视频骨干，平均掉到 46.7%，少了 25.8 点。官方项目页因为一处未替换的模板占位符，把这个变体写成了 "Heres"。它不是模型名也不是基线，就是去掉联合预训练的那一版。WorldBridge

主结果分散在六个基准上，必须分开看。RoboTwin 2.0 Full 是 96.23%，RoboCasa GR1 82.8%，DOMINO Level-1 的 SR 57.6%、MS 64.6%，RMBench 83.0%，SimplerEnv-WidowX 84.4%，RoboDojo 平均 Score 26.03、SR 19.15%。SimplerEnv 的正文称超过多数 VLA，但同表里 GalaxeaVLA 的 87.3 高于本文的 84.4。RoboDojo 的 Open 维度只有 2.50 和 1.75，平均 SR 19.15 也略低于 DM0.5 的 19.34，领先的是 Score。这些不是致命问题，但提醒读者 96.23% 这个门面数字依赖具体的基准与任务组成，而论文没有披露域内与域外各包含多少个任务。WorldBridge

五、收益并不稳：分布偏移下会失效，生成未来几乎不改动作，延迟却比不生成多七到九成

WorldBridge 证明的是这条桥能 work、监督配比可测，不是这条桥最优。收益在分布偏移下不稳，延迟与负迁移则要由部署方承担。

最严格的外部检验来自一项受控消融：固定架构、初始化、机器人训练数据和训练步数，只开关未来视频预测损失。在实验 1 的已见干净场景上，FastWAM 从 14.97% 升到 39.34%，OpenWAM 从 7.00% 升到 79.91%，分别 +24.38 与 +72.91 点，收益巨大。实验 3 的条件更全：已见干净场景仍有 +36.37 与 +89.25 点，已见随机化却变成 −0.13 与 −0.25；未见任务加干净场景，FastWAM 只有 +0.28，OpenWAM 还有 +23.38；未见任务加随机化，两者分别是 −1.62 与 −2.75。随机化条件下的绝对成功率都不超过 3.22%，存在地板效应，所以这些负值不能读成"关掉视频损失更鲁棒"，但也没有观察到视频监督的正向优势。作者的结论很克制：一个在熟悉任务上带来巨大增益的目标，不会自动带来可靠迁移。WhatWM

图注：四个面板。(a) 同一架构下开关未来视频预测损失的受控设置；(b) 一个任务的行为模式占比与模式内成功率；(c) 在 Seen/Unseen 与 Clean/Randomized 四组条件下的成功率差；(d) π0.5 加轻量预测器与加预训练 Wan 分支的对比。WhatWM

另一项工作把问题换成"预测出的未来到底改变了多少动作"。它在同一个 checkpoint 内保留两条动作路径，一条能读未来视频，一条不能，共享全部参数、初始状态和动作噪声，只差是否条件化于自生成的未来。结果是基准均值几乎不动，LIBERO +0.8 点，RoboTwin 2.0 −0.8 点，但延迟变成原来的 1.70 倍和 1.89 倍，从 274.4 ms 到 467.5 ms，从 280.0 ms 到 528.7 ms。均值掩盖了结构：RoboTwin 2.0 的 50 个任务里有 21 个变差，中位数却是 0.0，真正的伤害集中在 Press Stapler 的 −54.0 和 Place Can Basket 的 −34.0。Utility-WAM

讲解：生成未来几乎不改动作，却多花七到九成时间

延迟这个数字要和论文自己的加速阶梯分开读。WorldBridge 把每次模型调用的中位延迟从 957.2 ms 压到 103.9 ms，加速 9.21 倍，真机执行时能维持接近 7 Hz。这套优化利用了一个结构性质：掩码是单向的，动作 token 不会反馈给视频 token，所以可以先用 n 步同步去噪构造视频 KV，再用剩下的步数复用这些 KV 做动作去噪。但这是实现侧的自我优化，不代表方法本身变便宜。9.21 倍与 1.7 到 1.9 倍记的是两本账：前者是同一套系统在实现侧的优化幅度，后者是"生成未来"与"不生成未来"的方法级差价。两组数字的硬件与协议都不同，不能相减，但可以并列起来看，一个说明工程还有空间，另一个说明这份空间买不回被生成环节吃掉的时间。

论文自身的证据空白也要说清楚。它没有做注意力掩码的消融，结构化掩码到底值多少点至今没有被单独量化。它没有 Limitations 章节，所有局限只能从正文零散句子和外部工作里构建。它没有公开代码、权重和数据入口，复现要从方法章逐条重建。再加上域内与域外的任务数量未披露、动作强制的组大小 g 未披露、各基准没有多种子方差，这套结果的强度是"在作者设定的协议下成立"，不是"换个协议还成立"。WorldBridge

最后，桥怎么接远没有收敛。BridgeWAM 认为密集逐层耦合会让动作被无关视觉特征淹没，还会强制两个专家等深，于是改用 32 个 Latent Bridge Query 做窄接口，视频专家 30 层而动作专家只要 2 层。BridgeWAM OpenWAM 把生成顺序与跨模态可见性做成四个可配置开关，在同一套骨架上比较联合、先视频后动作、先动作后视频与解耦四种形态。OpenWAM 同样署名 Joy Future Academy 的 ZimaBlue 则把视觉动力学经 Slow 分支的视频 K/V 缓存注入 Fast 分支的自注意力，根本不走 IDM 这条路。ZimaBlue

所以这篇论文的位置可以这样定：它把"视频预训练值不值"从一句口号变成了一个可以算的配比问题，也把桥从比喻画成了一张掩码矩阵。它没有证明这条桥是最优接法，更没有证明视频可以免费替代动作标注。每个新任务那一条演示，仍然是它自己数据里最便宜也最关键的一环。

想深入可以读原文：WorldBridge: Bridging Video and Action for Task Generalization in World Action Models，arXiv:2610.40748。

参考文献

• WorldBridge: Bridging Video and Action for Task Generalization in World Action Models，arXiv:2610.40748
• WorldBridge 官方项目页，worldbridge-jd.github.io
• World-Action Models for Robot Learning and Control: A Survey，arXiv:2609.16074
• OpenWAM: An Open Framework for Composable World-Action Models，arXiv:2610.07922
• BridgeWAM: Bridging Video and Action Experts via Latent Bridge Queries，arXiv:2610.14746
• What Does World Modeling Actually Improve in Robot Action Learning?，arXiv:2610.34593
• Utility-WAM: Correcting Future-Induced Action Changes，arXiv:2610.39367
• Vision-Language-Action or World-Action? Just Action Models，arXiv:2610.37219
• OSWAM: An Effective World Action Model with One-Step Action Generation，arXiv:2610.35850
• CausalWAM: Learning the Causes of Actions in World Action Models，arXiv:2610.42096
• Zero-WAM: In-Context World-Action Modeling from Human Videos for Open-Ended Task Generalization，arXiv:2608.26103
• ZimaBlue: Evolving Generalizable World Action Models through Scalable Video Pre-training，arXiv:2609.00188