SyncWorld：视频生成模型看一段现场动作，就能当机器人模拟器？

本文要讲 SyncWorld 如何修复视频模拟器换环境就失灵的接口。先看这截接口为什么值得修。想让一个机械臂学会"把果酱瓶放到桌上"，传统上只有两条路：在物理仿真器里反复练习，或者租一台真机器人、雇人遥控采集数据。前者难在建模，一个场景的几何、材质、接触要手工搭，每换一个环境就得重来一遍；后者难在时间，一个技能要成千上万次演示。而且就算仿真器搭得很像，仿真里练出的技能迁到真机时依然要打折扣，相机噪声、光照、摩擦全都对不上。这个问题有个专门的名字叫 sim-to-real（仿真到真机的迁移），是机器人社区的老大难。2023年的 UniSim 展示了第三条路：训练一个视频生成模型来当模拟器，给它一个动作数值，它吐出一段"接下来画面会变成什么样"的视频，机器人就在这虚构画面里学，学完直接上真机。建模成本和迁移成本，它想一起绕开。

修好一截接口的前提，是它真的存在、真的能走通，UniSim 正是证明这一点的工程。UniSim 用"动作进、视频出"的统一接口，把电机控制、语言指令甚至相机运动都编码成条件，喂给一个视频扩散模型；预测完一段，把最后几帧拼回输入，自回归地一段接一段想象下去。它拿下了 ICLR 2024 的 Outstanding Paper，参数量 5.6B、512 块 TPU-v3 烧了 20 天，是实打实的重工业工程。它的训练数据本身也是一门手艺：每个公开数据集只"富一个维度"，仿真渲染给出稠密动作，真实机器人数据给出低层控制，Ego4D 这样的第一人称生活视频给出人类行为，互联网图文最后补上开放世界的外观，拼成一个名副其实的数据集乐高。结果撑住了方向：在它的仿真画面里用强化学习练出来的策略，部署到真实机器人上零样本就能用，任务成功率从 0.58 提到 0.81；一个长程语言策略在仿真画面里做过 hindsight relabeling（用未来信息改标签）后，真实环境成功率也从 0.11 提到 0.34。它甚至能在自回归 rollout 里一口气完成"开抽屉、放进橙子、关抽屉"这样的多步操作，物体位置跨帧保持一致。UniSim

这截接口背后的底牌很硬：不用手写物理引擎，不用为每个新环境建 3D 模型，而且训练素材是海量且便宜的互联网数据，这是物理仿真器永远碰不到的数据天花板。同一动机还有一条 latent 路线，代表作 DreamerV3 在压缩的表征空间里想象未来，用同一套超参跑通 150 多个任务，论文登上了 Nature，但它不生成像素画面，本文主角不在这条线上。DreamerV3 接口建好之后要同时扛两种用法，这也是后续所有讨论的地基。一种是训练时当环境：机器人策略在模型想象出来的画面上 rollout，用想象中的结果当经验来更新自己，UniSim 的强化学习训练就是这么干的。另一种是测试时当预演：策略先提出几个候选动作，模型把每个候选的结果想象出来，再挑一个执行，这个用法到文章最后的高潮才会登场。两种用法都压着同一条生死线：模型产出的画面必须可信，想象得越真，策略学到的和决策依赖的就越靠得住。零样本的意义也正在于此，一个训练好的世界模型，换到新环境不用微调、不用重新训练，直接就能当环境用。可这个"直接"，恰好卡在一个没人正视过的接口问题上。

裂缝就藏在这个没人正视的问题里。UniSim 自己也承认毛病：动作和场景不匹配时会幻觉出不存在的东西，给一台桌面机器人下"洗手"的指令，它凭空生成出一个水槽。系统能走通，但离"信得过"还远。把"动作进、视频出"的统一接口摊开看，左边是历史画面与各类动作，右边是下一段视频，虚线箭头勾出自回归的滚雪球方式。这套框架始终默认着一个从未被检验的假设：训练时学到的那套"动作→画面"对应关系，换到部署环境时依然成立。而 2026 年 9 月的新预印本 SyncWorld，要拆穿的就是这个假设。SyncWorld

UniSim 训练与推理流程

图注：UniSim 把历史帧和各种模态的动作编码成统一条件，喂给中间的视频扩散模型，输出下一段画面；虚线箭头表示把上一段末尾拼回输入、自回归地滚下去，整套设计就是"动作进、视频出"。UniSim

同样的动作指令，为什么换个机器人就全变样了？

假设到底哪里站不住脚？SyncWorld 的观察很直白：同一个数值动作，在不同相机视角、不同机器人基座位姿、不同本体形态下，在像素里造成的后果完全不同。前文说的那截"换环境就失灵"的接口，失灵的正是这条"动作→画面"的对应关系，而它也正是 SyncWorld 修复的对象。

用一个具体场景来理解。训练数据里，机械臂做某个抬升动作时，画面里物体向左上移动；同一个动作数值，换一个相机机位，同样的操作在画面上却变成往右移动，幅度也不一样；换一台关节尺寸不同的机器人，这个操作在画面上甚至看不出来。注意这个现象不是任务难，而是最简单的一个动作数值都换不来稳定的画面后果。相机挪个位置、机器人底座换个朝向、手臂长短差一点，都会改写同一个动作的视觉解释。把这里面的对应关系想成一本词典：数值动作是词条，画面变化是译文，而相机和机器人决定了这本词典用的是什么语言。模型学到的是"数值动作"和"像素变化"之间的一套对应关系，可这套关系随环境漂移，等于它记住了一本动作词典，却不知道词典的语言是会变的。论文把这套关系命名为 Action-Visual Mapping（动作-视觉映射），并点明它天生是 setup-dependent，依赖具体环境的配置。要修好这截接口，就得先让模型看清眼前这套配置下的翻译规则。

这两类失效都由此而来。第一类叫 conflicting supervision（冲突监督）：混合多环境数据训练时，同一个动作数值对应着多种互不相容的画面变化，模型不知道该学哪一套，只能取一个谁都不满意的折中。第二类叫 non-adaptive test-time mapping（测试时映射不迁移）：到了训练分布之外的环境，那套映射依然漂移，不额外训练就恢复不了。为什么这个问题此前没被当回事？因为模型在单一环境里训练和评测时，动作和画面的关系是自洽的，问题只会到换环境的那一刻才暴露；而评测通常都在熟悉的环境里比画质，自然看不见接口在漂移。请特别注意，这里的问题不是数据不够、也不是模型不够大。把模型做大、喂更多数据，只会让已有的词典记得更熟，解决不了"换环境等于换词典"这件事。所有模拟器都默认"动作→画面"是一个可以全局统一的潜变量，可它实际上随环境变，这正是接口假定的问题，而不是规模的问题。SyncWorld 也正因如此，它不只是 SyncWorld 一家的烦恼：按 Yue 等人的梳理，"动作进、视频出"的交互型世界模型正卡在从"能互动"走向"能帮决策"的代际关口上；而在 SyncWorld 看来，接口偏差正是这条代际路径上绕不开的关卡。Yue et al.

那么旧办法为什么修不动它？传统上只有两条"对齐参数"的路：要么标定相机外参，摆标定板、做精确测量，现场要专门布置；要么对模型做 test-time 微调，每换一个环境都要跑一轮带梯度的训练，要算力还要数据。SyncWorld 跳出了"对齐参数"的思路：与其从历史画面里反推相机的几何参数，不如在视觉域里把"动作→画面"的对应关系当场演示给模型看，标定的是模型的输入，不是模型的权重。演示怎么做，正是下一章。

不用重新训练：现场录 12 段动作，把「动作词典」直接喂给模型

这就是这次的主角：Visual Calibration Episode（视觉标定视频）。换到新环境后，先让机器人做一段几十秒级的短交互，然后从这段交互里抽出 12 段单维运动的片段。六个运动自由度分别是 x/y/z 三个方向的平动，加上 yaw/pitch/roll 三个方向的转动，每个自由度各往正负两个方向动一段。抽取是确定性的，对每个自由度和方向取交互里最明显的一段连续单轴运动，不靠人挑。12 段按固定顺序拼成一个标定上下文，论文记作 C^s，连同历史画面和未来的动作序列，一起作为条件喂给模型。

Calibration Episode 构造

图注：标定视频的构造：六个运动自由度分别朝正负方向各动一段，共 12 段单维运动，按固定顺序拼成一个标定上下文。每段只动一个轴，等于逐条演示"这个动作数值在这个镜头里会带来什么画面"。SyncWorld

每一段只动一个自由度，等于给模型上了一堂"当前这个相机、这台机器人面前，数值动作在画面上意味着什么"的小课。六个自由度必须全覆盖：漏掉任何一个轴，这条轴的"动作→画面"关系就悬空了，模型只能靠猜。夹爪的开合反而不在标定里，因为开合夹爪的画面后果微不足道，不值得占用上下文。12 段的拼接顺序固定成 canonical 的次序，这一点就像词典固定的字母序，模型知道去哪一段找哪个轴的证据；但每段具体怎么动、动多远，在不同标定视频之间是随机的，模型被训练成不依赖任何一套特定的标定模板，只看"这一轴确实动了一下"这个事实。

标定视频、历史帧、未来动作作为三个前缀流进入 DiT（Diffusion Transformer），共同决定下一段未来画面：

$$I_{t+1:t+H} \sim W_\theta(\cdot | C^s, H_t, A_t)$$

SyncWorld 架构

图注：SyncWorld 架构：标定上下文 C^s、历史帧和未来动作一起作为前缀进入 DiT，编码后再生成未来帧。注意标定视频是输入的一部分，走与普通画面相同的编码路径，而不是事后处理。SyncWorld

用文字翻译这个公式就是：未来这一小段画面，只由标定上下文、历史画面、未来动作三样东西决定，没有别的输入。这个设计最关键的一点，是标定视频属于模型输入的一部分，而不是后处理。它和已有历史帧走完全相同的编码路径，模型在生成任何画面之前先"看过"这段演示，公式里标定上下文排在第一位，地位和画面历史并列。还要说清标定视频不做什么：它不教物理规律，不教任务流程，甚至不教这个环境的布局，只教一件事，数值动作在这个镜头下的翻译规则。模型对桌面操作、抓握、物理接触的理解来自预训练和大量数据，标定只是把最后那一环连接工作补上，所以它才这么短，几十秒就够，因为要证的只有这一句翻译。一个工程对照能说明这有多轻。传统标定相机外参要摆标定板、解算几何参数，精度要求高；test-time 微调要在每个新环境跑带梯度的训练。SyncWorld 两者都不要，只是往输入里塞了一段视频，换环境时唯一的成本，就是现场让机械臂自己动几下。换个角度看，给证据是零成本的对齐：不碰模型权重，不碰相机参数，模型还是那个模型，变的只是输入。这种"对齐输入而不对齐参数"的思路，是整篇论文最值得记住的工程判断。

不过这里立刻冒出一个诚实的问题：每换一个环境都要先录标定视频，那还算 zero-shot 吗？论文给了两层回答，下一节拆开看。

标定视频不是每次都有：模型凭什么在部署时也能不掉链子？

第一层回答在训练时就防住"死记硬背"，手段叫 action-coordinate augmentation（动作坐标增强）。训练时对标定视频、历史帧、未来动作三路输入施加同一个随机 3D 变换：随机翻转 x/y/z 的正负号，随机置换这三个轴，对平动分量加一个全局缩放因子，画面本身完全不变。这意味着两段标定视频在画面上一模一样，动作数值的坐标却被搅乱了。为什么三路必须一起变？因为如果只改标定视频的坐标、不动另外两路，模型会学会"忽略标定里的坐标信息"这条捷径；三流共用同一个变换，等于告诉模型，画面和动作坐标之间的对应关系本身是可以任意改写的，唯一可靠的证据来源是标定视频里的画面内容。模型如果靠背坐标约定来理解动作，立刻出错；只有真的从标定视频里读出动作语义，才能稳定预测。这逼着模型养成"先读词典再翻译"的习惯，而不是"记住第几页写着什么"。训练分两阶段，先温和后加强，让模型从依赖标定慢慢过渡到不依赖标定也能工作（history-only）。

第二层回答叫 calibration distillation（标定蒸馏）。训练同一条轨迹时，同时构造两种输入：teacher 输入带标定视频，student 输入不带，用空标定占位符显式表示"这里没有标定"。占位符是一段归一化空间里全黑的小视频、一组零位姿外加一个特殊标记位，故意做成不会和真实静止画面混淆的样子，否则模型分不清"没有标定"和"画面真的静止不动"两件事。学生被优化去匹配教师的输出，于是它学会了仅凭历史帧推断动作和画面的关系。为什么不直接拿无标定的数据多训几轮？因为那样学到的只是"没有标定时的平均表现"，而蒸馏学到的是"和看过标定的老师一致的表现"，后者才能保证部署时换不换标定，输出都稳定在同一水平线上。这里教的不是标准答案，而是行为：学生必须在不看词典的情况下，复现教师"看过词典之后"的输出。部署时没有标定视频，模型就落到 student 模式继续工作。训练数据里还混入了非成功轨迹，防止模型只擅长想象成功结局。所以部署时其实有三个档位：带标定的用标定模式，不带标定的走 history-only 模式，两者共享同一套权重，没有任何额外的流程。SyncWorld

图注：标定蒸馏的师生结构。同一条轨迹分别构造带标定与不带标定的输入，喂给同一套权重；教师的输出和学生的输出都朝同一份真实未来帧学习，学生额外被要求贴近教师，于是部署时没有标定也不会掉链子。

顺便打消一个误解：这不需要天文数字的算力。DiT 主干从 Wan2.2-TI2V-5B 初始化，输入是 60 帧标定加 25 帧历史加 16 帧未来，视频 512×512，4×8 张 H100 训两到三天就收敛，属于这个规模下相当轻的配置。两条防线合起来说：标定在时就现场读词典，标定不在时就凭历史推断。那它到底做成了什么？

在没见过的环境里，它生成的画面真的可信吗？

论文在 LIBERO、ManiSkill 和一台没见过的真实 xArm 机械臂三组数据上，和三个现有模拟器直接对比，这里只看最有信息量的一组，LIBERO 上的生成质量：

方法	PSNR↑	SSIM↑	LPIPS↓	FID↓
SyncWorld 带标定	28.3	0.935	0.035	7.0
SyncWorld 不带标定	27.9	0.933	0.049	8.7
Ctrl-World（最强 baseline）	24.8	0.892	0.137	16.5

这四个指标各看一面：PSNR 和 SSIM 衡量重建有多接近，LPIPS 衡量感知上像不像，FID 衡量整批画面的分布真实性。模拟器把这些指标做好，机器人学出来的策略才不会被"看起来对、细节错"的画面误导。三个评测环境横跨仿真与真实：LIBERO 是桌面操作仿真，ManiSkill 是更复杂的交互仿真，xArm 是一台训练时完全没见过的真实机械臂，三个环境全是 SyncWorld 全维度领先，ManiSkill 和真实 xArm 呈现与 LIBERO 相同的模式。SyncWorld

带标定比不带标定好，但差别不大，28.3 对 27.9。这本身就是一条信息：标定视频的作用是让模型在全新环境里快速对齐"动作→画面"，而不是把生成质量本身拔高，质量主要来自训练。真正伤人的是这一组对照：带标定能赢最强 baseline 3.5 个 PSNR，一个标定都不做，也还有 3 个点以上的余量。被甩开的这个 Ctrl-World 值得细看，它把多视角联合预测、位姿记忆检索、帧级动作条件化三件套全用上了，各路机制堆到最满，唯独没有做标定，因为它的设计假设正是"模型可以隐式学到动作和画面的映射"。这个对照本身就是论点：SyncWorld 赢的不是堆机制，而是接口设计。Ctrl-World

Ctrl-World 架构

图注：被超越的最强 baseline Ctrl-World 的架构：预训练视频扩散模型上叠加多视角联合预测、位姿记忆检索、帧级动作条件化三件套。它什么机制都用了，唯独没有标定。Ctrl-World

这里值得补一句背景：Ctrl-World 在 DROID 平台近十万条轨迹上训练，用的是 1.5B 的视频扩散主干，不是小作坊模型。它被全面超越，恰好说明堆料的边际已经到头，缺的是接口那一环。和它同台的另外两个 baseline 各一句话带过：WorldGym 把世界模型当评测环境给策略打分，IRASim 用逐帧动作条件化处理同一问题的另一种表征方案，在 SyncWorld 的指标下同样全面落后。WorldGym IRASim

光有画面还不够，生成出来的画面还得在空间上自洽。论文用 Met3r 这个跨视角 3D 一致性指标检验：同一时刻从两个视角分别生成画面，两条生成轨迹之间的一致性平均 0.538，已经逼近用两张真实视角画面当上限的 oracle 得分 0.523，几个 baseline 全在 0.56 到 0.58 之间。这个指标的含义值得说透：如果模型对空间的理解错了，两个视角各自想象出来的画面会对不上，物体位置、遮挡关系会互相矛盾；逼近 oracle 说明它"脑内"的空间关系没有散架。消融实验再把每个设计的贡献单独摘出来：去掉标定训练，三组数据的 PSNR 掉到 25.0 / 23.2 / 26.7；再去掉蒸馏，进一步掉到 24.2 / 22.5 / 26.0。注意这两个数字的落点，标定训练一摘掉，跨域泛化立刻崩，说明它负责的是"新环境能用"；蒸馏一摘掉，部署时的无标定档位又掉一块，说明它负责的是"没标定也不掉链子"。每刀都见血，这些提升不是堆出来的数字。把三组证据放在一起看，还能得出一个更整体的判断。第一，领先是跨三个基准一致出现的，连训练时完全没见过的真实 xArm 都成立，说明不是过拟合某个仿真环境；第二，跨视角一致性逼近真实画面的上限，说明不仅是每个视角单独画得真，两个视角之间的空间关系也对得上；第三，也是最能说明问题的一点，这些"更真的画面"传导到了下游决策，把现成策略的成功率抬了起来。画面质量、空间一致、决策提升三层证据互相印证，"可信的状态转移"这个说法才算立住。但模拟器练得再真，最终还是要回答一个问题：它能不能帮机器人做出更好的决定？

从「想象未来的生成器」到「帮策略做决定的裁判」：以及它还没做到的事

论文最后的高潮是一套叫 GPC-Rank 的测试时决策闭环。给定指令和当前观测，一个现成的 VLA 策略先生成多个候选 action chunk（动作块），SyncWorld 从多视角替每个候选各自想象一段未来画面，再由 GPT-5 作为 VLM 裁判，按原始指令给这些想象中的 rollout 评分，机器人执行得分最高的那个。注意，机器人策略本身一行参数都没改，全是测试时发生的临时扩展。多视角想象不是炫技：单视角的画面可能"看起来顺眼"却在空间上骗人，两个视角互相印证，才能筛掉自欺欺人的候选。

GPC-Rank 决策闭环

图注：GPC-Rank 闭环：VLA 策略按指令生成多个候选动作块，SyncWorld 从多视角为每个候选想象未来画面，VLM 裁判按指令给想象中的 rollout 打分，执行得分最高的。世界模型在这里充当给裁判供想象的模拟器。候选个数、裁判型号这些实验参数不在图中，来自论文正文。SyncWorld

效果在 LIBERO 的三个任务上都成立：BBQ Sauce 成功率从 0.52 提到 0.58，仿真器 oracle 上限是 0.60；Orange Juice 从 0.56 提到 0.72，oracle 是 0.80；Black Bowl 从 0.48 提到 0.60，oracle 是 0.66，全部逼近 oracle，而且每任务只评估 50 轮。这里还有一层容易被忽略的对照：那个 oracle 就是 LIBERO 自带的物理仿真器。SyncWorld 生成的画面在决策闭环里逼近物理仿真器能提供的上限，等于说它已经摸到了顶替上一代模拟器干活的门槛，而不只是画质指标上的叫板。这套 GPC-Rank 框架并不是 SyncWorld 自创，它来自 Qi 等人 2025 年的工作，SyncWorld 的贡献是把它接到自己的世界模型上，让"想象"这一步由零样本模拟器来承担。SyncWorld

这一步把世界模型从"生成器"升级成了"决策辅助器"：它不直接说该怎么做，而是替每个候选方案预演未来，让裁判去选。今年上半年还有一条反过来走的路：DreamZero 这类 World Action Model（世界动作模型）把视频扩散模型直接当地图，联合解码视频和动作，模型自己输出动作，是 video→action；SyncWorld 则是 video→judge→action，想象力给裁判供货。方向看似相反，其实是同一个技术底座被往两个方向使劲：DreamZero 要的是实时闭环，把同类技术推到 14B 参数和 7Hz 的推理速度，追求策略侧省事；SyncWorld 不追求实时，追求的是给已有策略提供可信的模拟结果。DiT4DiT 是这条 WAM 路线上另一种双 DiT 级联的实现，从视频 DiT 的中间特征里抽信息去驱动动作 DiT。一个在策略侧省事，一个在模拟侧省事，互补而非竞争。DreamZero DiT4DiT

论文对自己的边界交代得相当清楚：只在没见过的单臂 xArm 上验证过，双臂、人形都还没碰；标定必须覆盖完整的动作空间，漏一个自由度就失效；GPC-Rank 的上限受制于 VLM 裁判的能力，逼近 oracle 的数字背后，还夹着裁判打分可能不准的成分；它当前只做 16 帧的短未来，长 horizon 的稳定想象没有验证；它还和训练时就把多机器人数据熔进去的跨 embodiment 路线互补，而不是替代。换个角度看，这些边界同时也标出了这条路线接下来要打的仗：把标定的覆盖范围做宽、把想象的长度做长、让裁判更强，或者把训练时的数据融合和测试时的标定结合起来，每一仗都值得打。再往远看一层，如果标定协议能标准化，社区就可以像共享数据集一样共享标定规范；如果蒸馏再往前走一步，无标定的想象时长被拉长，长 horizon 就不再是奢望；裁判换更强的视觉语言模型，GPC-Rank 的上限还会被抬高。SyncWorld 的意义不在于把某一个指标刷到多高，而在于它让这条路线接下来的竞争点，从画质和算力，移到了接口本身。

回头看这篇论文真正立住的判断：零样本模拟不是免费的，但 SyncWorld 用最轻的工程，把"可信的状态转移"换到了手。换环境时录一段几十秒的视频，成本低到几乎可以忽略。它没有把模型做大，而是把一个一直被默认的接口假设摆到明处，然后当场给证据。当"接口对齐"从离线参数估计变成现场给证据，这条"视频生成当模拟器"的路，才算真正跨过了那道困扰它多年的关卡。

想深入可以读原文：SyncWorld: Visual Calibration Enables World Models as Zero-Shot Simulators — arXiv:2609.09155