上真机之前，先在模拟舱里预演——六项世界模型工作，其实在搭同一台模拟器

飞行员上真机之前，会在模拟舱里把各种险情先过一遍。智能体也该有一个模拟舱：在付出真实代价之前，先在自己内部把"如果这样，那么那样"演一遍，再决定动手。这个模拟舱，就是世界模型（world model）。

一、在动手之前，先在脑子里预演一遍——世界模型到底是什么？

你下棋时会先想两步，过路口时会先扫一眼来车再决定起步，伸手抓杯子之前会先估一下距离。动作落地之前，大脑都先做同一件事：预演。世界模型想做的，就是把这台脑内预演外置成一台可学习的机器。

它的定义很朴素：给定当前及历史的世界状态，加上一个动作或其他条件，预测未来的世界状态。状态没有固定形态，可以是图像、点云、占据栅格，也可以是抽象的潜变量。2026 年的一篇世界模型综合综述给出过一个工作定义：世界模型是 internal simulators that learn the structure and dynamics of an environment，也就是先学会环境的结构与动力学、再在内部推演未来的模拟器。WM2026

图注：世界模型的通用定义：从当前及历史状态出发，在动作或其他条件约束下预测未来。本文要看的六篇工作，都是给这台机器装上不同的部件。

动手之前，先把一个常见误读按住。很多人把世界模型当成"更好的视频生成"或"更好的轨迹规划"。这两个说法各对一半，但都会遮住全局。按功能角色分，世界模型有两条路线。一条是表示学习器：在潜空间里预测未来，把"接下来会发生什么"的上下文交给下游的感知与策略模型，服务的是决策。另一条是场景生成器：在观测空间里生成未来，为训练数据生成与闭环仿真提供"假但可信"的样本，服务的是数据。视频生成只是场景生成器一侧的一种形态，轨迹规划只是表示学习器一侧的一种消费方式。机器人操作与自动驾驶，是两类功能都能落地的两个例子。

把视野拉开，这个领域远比两句话大。看下面这张综述的全景图：

图注：世界模型的版图：上层是概念分类（隐式表示与未来预测两大支），中层是从 1974 年的 frame system 一路到近年的里程碑时间线，下层是机器人、社交仿真与自动驾驶三个应用域。WM2026

要如实交代一句：这篇综述审阅到 2026 年 5 月，而我们接下来要读的六篇工作（DriveX、DriveWAM、GeoPredict、LIVE、MemoryForcing、SymphoMotion）没有任何一篇在它的引用清单里。所以本文的坐标系不是抄来的，而是借综述的框架自己搭的：六篇看起来各说各话的论文，其实是同一台内部模拟器上依次补齐的六个部件。下一节先给四把尺子，让每篇各就各位。

二、六篇看起来毫不相干的工作，怎么放进同一张图？

读六篇论文之前先别碰方法细节，先用四把尺子给每篇定位。这四把尺子脱胎于综述沿架构、方法、推理、应用四条正交轴给出的 taxonomy，在这里压缩成够用的四维。WM2026

• 表示载体：未来的世界"存成"什么。像素视频、潜 BEV、3D 关键点加 3D 高斯、潜变量都是合法载体。
• 功能角色：这台模型是表示学习器还是场景生成器，服务策略还是服务数据。
• 时间跨度：只预测几步之内的未来（策略级），还是要连续生成几百帧（长时生成）。
• 控制条件：未来被什么约束。连续动作、文本引导、检索条件，还是相机与物体的显式轨迹。

六篇工作的落点如下：

先扫一眼这张表，两件事就清楚了。第一，前三篇全是表示学习器，后三篇全是场景生成器，正好对应上一节的两条功能路线，也预告了本文的叙事顺序。第二，载体从"潜 BEV"滑向"视频像素"，时间跨度从"短时"拉到"长时"，这两列分别对应表示学习器和场景生成器各自要啃的硬骨头。之后每一篇出现，都会自动落回这张表，不需要读者在心里重建坐标系。

从第一把尺子问起：未来的世界到底该"存成什么"。这是表示学习器的第一问，也是下一节 DriveX 与 DriveWAM 的分歧点。

三、自动驾驶的未来世界，该"存成"潜 BEV，还是视频像素？

表示学习器要做的第一个决定，是给"未来世界状态"选一个载体。驾驶场景里有两派互不相让的答案。

先看 DriveX 的选择。DriveX 论文开篇就把既有做法摆成三种范式，三者的差别一眼可见：

图注：(a) 世界模型只当辅助监督，监督信号窄，学不到通用世界知识；(b) 在视频像素空间预测未来，下游任务要先做 2D 到 3D 的提升，生成视频的空间与时间一致性又难保证；(c) DriveX 直接在潜 3D 空间解码未来，学到任务无关的 BEV 特征，下游任务拿起来就能用。DriveX

DriveX 选 (c)。理由是驾驶任务本质上是三维空间的决策，查询未来空间结构是刚需：与其先预测像素再费劲提升回 3D，不如让世界模型直接长在空间感知的潜 BEV 里，解码出的未来特征天然带着物理位置语义。它内部的全域场景建模与未来空间注意力怎么实现，这里不展开，《世界该存成什么样：从状态表示到 DriveX 潜空间驾驶模型》一篇会讲到模块层面。DriveX

但反过来说，视频像素路线也不是没道理。DriveWAM 的立论来自 VLA 与 WAM 的能力分工：纯视觉语言模型路线擅长高层语义理解，却在稠密空间布局、时间因果与运动模式上吃亏，因为这些线索要靠在视频上预训练才学得到。WAM（World-Action Model）家族的思路，是直接把预训练视频扩散 Transformer 改造成策略主干。DriveWAM 把视频潜变量与动作潜变量组织成统一时间序列，在同一 Transformer 上做联合 flow-matching：训练时动作分支的条件用真值未来视频，推理时换成模型自己生成的未来，动作解码于是变成对"预测的未来"做逆动力学读出（给定未来状态反求动作）。再挂一个冻结的 Qwen3-VL-8B，在每个 chunk 给出随场景演化的语义引导（直行、让行还是停车）；选择性 KV 记忆则把长时 rollout 的历史压在有界预算里。这两个辅助机制的入口先点到这里，细节分别归《让想象直接变成方向盘：DriveWAM 的世界—动作联合生成》与《记住关键一瞥：DriveWAM 的长时缓存与实验证据》。DriveWAM

看它的整体骨架：

图注：DriveWAM 把预训练视频生成主干改造成统一的视频动作策略：输入层把视频、动作、自车状态与文本各编码成 token，核心层是一条横贯全图的视频扩散 Transformer，输出层是记忆缓存与下一块的视频动作预测。图上雪花标记表示该编码器冻结，火焰标记表示它继续训练。DriveWAM

所以"表示学习器"这一功能下，有两条互补路线：DriveX 的 3D 几何路线偏空间查询，DriveWAM 的时序动力学路线偏运动先验，选型由下游任务决定，不是谁取代谁。横向坐标上，DriveDreamer 是更早的"2D 像素视频 + 结构化条件"范式：动作经 ActionFormer 间接桥接成未来的 HDMap 与 3D 框，再喂给扩散主干生成视频，而不是 DriveWAM 那种 token 级联合。DriveDreamer 而"未来在潜空间预测"这个传统本身，可以一路追溯到 Dreamer 一族，那一脉留到收尾章和 DreamerV3 一起看。

一句话收束：未来世界存成什么没有标准答案。潜 BEV 偏空间查询、视频动作偏时序动力学，各有各的消费场景。

四、把镜头从方向盘换成机械臂，这台模拟器还成立吗？

如果"未来几何作训练监督"真是一套可迁移的范式，它就不该只适用于驾驶。GeoPredict 把它搬到了机器人操作上：在一个只凭当前观测决策的主流 VLA 主干（π₀）上，加两路并联的"预测未来"模块。

图注：GeoPredict 三大模块并联在中央 Transformer 主干上：左下 Track Encoder 压缩关键点历史轨迹，右上一路输出未来多步 3D 关键点轨迹，右侧另一路经 Voxel Decoder 输出工作空间 3D 高斯；两条预测线汇合处做 track-guided refinement，最后经 Action Expert 输出动作。GeoPredict

一路预测"关键点轨迹"：Track Encoder 把 K 条历史 3D 轨迹压缩成 history token，Future Track Query 输出未来 51 步的 3D 坐标。另一路预测"工作空间几何"：3D Spatial Query 经 Voxel Decoder 输出一组 3D 高斯基元，并只对被预测关键点穿越的 voxel 加密（track-guided refinement），把几何容量集中到任务真正会触碰的区域，而不是均匀撒在全空间。两条预测线都用未来深度渲染作训练时监督，推理时整条 3DGS 链路（voxel decoder 加深度渲染）被丢掉，策略本体一点没变慢。

这正是上一章的范式重演：DriveX 把"未来 BEV 作训练监督"在驾驶方向演过一遍，GeoPredict 把同一套路搬上机器人，只是载体从 BEV 平面换成 3D 高斯。效果是可测的：真实机械臂实验里，空间泛化、几何推理、鲁棒性三类成功率从 π₀ 基线的 60/50/35 提到 85/95/90，该数字已与原文 Table 7 对齐。"多想一步未来"确实有用。GeoPredict

你可能会问：多预测一套 3D，推理会不会被拖慢？答案藏在那张注意力设计里：

图注：block-wise causal attention 把 token 序列分成 2D Token、3D Token、3D Query、State Token、Action Noise 五块，同色块内部双向注意力，块与块之间只有从左到右的严格因果箭头。GeoPredict

3D Query 块与 Action Noise 块被严格解耦：训练时 3D 链路完整（深度渲染只当监督），推理时只跑 2D Token 到 3D Token 再到 Action Noise 这条因果链，等于没有额外开销地拿到一套未来几何。关键点怎么选、3D 高斯怎么渲染，归《机器人为什么要先想象几何：GeoPredict 的未来空间监督》。到这里，表示学习器一侧的三件代表作讲完了：同一台模拟器，在驾驶里选潜 BEV，在机器人里选 3D 高斯，换个场景照样成立。

五、生成一拉长就崩：长视频为什么必然越滚越崩？

叙事到这里要切个场。前三篇都在表示学习器一侧，服务策略学习；后三篇换到另一侧，场景生成器，在观测空间里生成未来，服务训练数据生成与闭环仿真。这个切换有坐标系依据：综述观察到视频生成与环境模拟之间的界限正在被打破，编入"场景生成器"这一功能角色的工作越来越多。

先看一个对比锚。同样叫"想象"，潜空间世界模型里是这样的：

图注：潜空间里的想象式规划：从当前潜状态 Z_t 出发，用学到的动力学模型在潜空间里模拟未来，多个候选动作经 reward predictor 与 value function 打分后选中执行，然后循环。它服务的对象是策略。WM2026

而 LIVE 这一排做的是像素空间里的"生成"，服务对象是数据。两者都是先排演，区别在排演的空间和观众。场景生成器一拉长，立刻撞上一个硬问题：为什么长视频必然越滚越崩？

根因是 exposure bias（暴露偏差）。训练时模型的上下文条件是真值帧，推理时条件却换成了模型自己生成的有偏帧，误差沿自回归环单调累积，像传话游戏一样越传越离谱。反常的地方在于：问题不在模型能力，而在训练与推理的身份错位，训练得越顺，错位埋得越深。

这里有一个控制论里的对应。训练是开环的，输入条件永远是干净的；推理是闭环的，模型自己的输出又回到输入端。开环训练出来的模型，对闭环里绕环累积的误差没有免疫力，这是所有自回归生成的通病。

既有方案为什么都不够？看这张四列对比：

图注：四种自回归训练范式：Teacher Forcing 用真值上下文，训练推理失配；Diffusion Forcing 加噪逼近 rollout，但加噪真值仍不等于真实 rollout；Self-Forcing 做序列级蒸馏，误差累积没有界；LIVE 先正向 rollout 再反向恢复，用循环一致性把误差关进有界范围。LIVE

LIVE 的关键洞察是：别直接监督 rollout。正向 rollout 与真值本是两种都合法的未来，硬对齐没有意义；改而要求 rollout 可被反向还原，也就是"误差必须能被还原回去"。训练拆成三段：

图注：LIVE 训练管线：左半是冻结的正向 rollout（在因果注意力下并行生成未来帧），右半把 rollout 反转加噪后做可训练的反向恢复，两半由箭头连成闭合循环，最终以帧级扩散损失监督还原出的 prompt 帧。LIVE

第一步，正向 rollout，用冻结的模型在因果掩码下并行生成窗口内的未来帧；第二步，把 rollout 时间反转并逐帧独立加噪，防止模型只盯最清晰的那帧走捷径；第三步，用反向注意力让模型从加噪的 rollout 里还原最初的 prompt 帧，逐帧算扩散损失。这套目标可以用一个参数统一所有自回归训练范式：p，窗口里真值帧的占比。p 等于窗口长度就是 Teacher Forcing；p 等于窗口长度再加噪就是 Diffusion Forcing；p 小于窗口长度就是 LIVE。训练时从全真值起步，再逐步减小 p，让模型在越来越长的 rollout 上下文里学会还原，误差容忍度随之反向提升。论文报告在 RealEstate10K 的 256 帧以上长段，PSNR 从 NFD-DF 的 11.51 提到 LIVE 的 13.89。LIVE

误差被关进了可控边界，但"不崩"不等于"不忘"。长视频滚了几百帧，模型还记得百余帧前走过哪条路、看过什么吗？这是下一节的问题。LIVE 的训练推理错位与循环一致性细节，交给《长视频为何越滚越崩：LIVE 与循环一致性训练》。

六、不崩了，但会忘：重访旧地时，世界为什么"变样"了？

LIVE 把误差关住了，接下来是持久性：场景生成器得记住走过的地方。MemoryForcing 把"记忆"拆成两种需求：探索新路时靠时间连续性向前推演，重访旧地时靠空间记忆恢复曾见过的结构。麻烦在于，两种需求没法用一条记忆通路同时满足。看两类模型的失败模式：

图注：上排的空间记忆模型（如 WorldMem）重访旧地时保持一致，但一离开已观测区域生成质量就崩；下排的纯时间记忆模型（如 Oasis）在新场景自然，重访旧地时几何却对不上。一个顾了重访，一个顾了探索，各丢一半。Memory Forcing

MemoryForcing 用三件套来解这个 trade-off。第一件，Hybrid Training：在固定 L 帧的窗口里，前 L/2 帧固定作时间上下文，后 L/2 帧视场景在空间记忆与更早时间步之间二选一，探索区走时间、重访区走空间。第二件，Chained Forward Training（CFT）：训练时用模型自身输出替换真值帧，人为放大位姿漂移的级联，逼模型学会在长 roll-out 里调用空间记忆。第三件，几何索引的空间记忆：用 VGGT 对关键帧做增量 3D 重建，维护一个全局点云；生成时把当前帧的可见点反向追溯到源帧，投票选出 top-8 历史帧，代入记忆交叉注意力。Memory Forcing

图注：Memory Forcing 整体流程：左中侧沿相机轨迹做流式 3D 重建维护全局点云；生成时当前帧把可见点投影回去做点到帧检索，取 top-8 历史帧与时间记忆一起，经带 Plücker 编码的记忆交叉注意力注入 DiT 主干；最右是链式前向训练，用预测帧替换真值制造漂移级联。Memory Forcing

第三件组件里藏着检索方式的选择，这里有一个图书馆的对应：按外观找历史帧，等于对着封面凭记忆对比，必须线性扫过全帧库；按几何位置找，等于按索书号定位，先算出当前帧在全局点云里的可见点，直接索引到相关历史帧。检索代价从随帧数线性增长变成每帧 O(1)。论文报告在 Minecraft 长时基准上，几何检索比 WorldMem 的外观检索快 7.3 倍、省 98.2% 存储，长时记忆 FVD 从 122.2 压到 84.9（均为论文自报）。Memory Forcing

关键不是无限缓存，而是在有限窗口里按场景分配上下文。VGGT 怎么流式重建、CFT 的窗口怎么级联，《新路靠短期记忆，故地靠空间地图：MemoryForcing》一篇展开。这里记住结论：稳定之外还要持久，而"记住"可以几乎免费。

七、稳定、持久之后，能不能让这台模拟器"听指挥"？——以及六篇拼起来的样子

稳定有了，持久有了，下一个自然的需求是可控：能不能让用户对这台模拟器发号施令，而不只是看着它自己演。SymphoMotion 要同时控制两样东西：相机怎么动，物体怎么动。

难点在于纠缠。相机一动，图像平面上的视差（parallax）就让"物体在动"与"相机在动"看起来一模一样。2D 轨迹监督分不清这两者：两种完全不同的 3D 运动可能投影到几乎相同的 2D 轨迹，监督信号本身就是歧义的。所以要引入 3D 线索，把相机运动与物体运动从根上解开。SymphoMotion 在 Wan-I2V 主干上加两条并行分支：

图注：SymphoMotion 主方法概览：底座是 Wan-I2V 视频扩散主干，左分支 CTC 经视点控制模块接入相机位姿序列与点云渲染帧，右分支 ODC 经物体运动模块接入 3D 物体轨迹与实体描述，两条分支汇入同一个 transformer 主干。SymphoMotion

CTC（相机轨迹控制）用 VCM 把显式相机路径（以 Plücker 坐标编码）与渲染点云帧提供的 3D 几何先验融在一起，约束全局视角；ODC（物体动力学控制）用 OMM 把 3D 物体轨迹投影成 2D 锚点，再叠加 3D 轨迹嵌入，经 cross-attention 注入每个 transformer 块。各管各的，最后在同一个扩散主干上合成。SymphoMotion

为什么非要自建数据集？因为不存在现成的、同时标注相机与物体的真实视频。RealCOD-25K 就是这么来的：从 1M 段爬取视频，自动化过滤到约 35K，再经 5 位研究者 120 个小时人工复审，留下 25K 段高质量片段，配成对的相机位姿与物体 3D 轨迹。数据工程细节留给《镜头在动，物体也在动：SymphoMotion 的三维联合控制》。SymphoMotion

六篇讲完，把它们拼回去。这台内部模拟器一共有六处系统缺口，六篇工作各补一处：

图注：六处系统缺口，一台内部模拟器。表示、动作耦合、几何预测、长时稳定、持久记忆、可控生成，六个部件最终汇入同一台先排演再行动的模拟器。

沿这条线，建议的深读顺序是 DriveX → DriveWAM → GeoPredict → LIVE → MemoryForcing → SymphoMotion：先看未来表示怎么选，再看世界与动作怎么耦合，最后看长时推演里的误差、记忆与控制怎么逐个补上。

最后把版图摊开。我们的六篇属于"视频或潜空间生成式 + 端到端策略"这一条热门子路线，但世界模型不止这一条。DreamerV3 是另一条路：在潜空间里用 RSSM 学环境动力学，actor 与 critic 完全在想象 roll-out 出的潜轨迹上训练，固定超参通吃 8 个领域 150 多个任务。注意图里 Dreamer 的 reconstruction 是用来塑形潜变量的，不是给用户看的视频生成：DreamerV3

图注：Dreamer 训练分两半：左半世界模型把感官输入编码成潜变量，由带循环状态的序列模型预测下一时刻，并重建输入来塑形表示；右半 actor 与 critic 在世界模型想象的潜轨迹上学习，两半共享同一个隐状态。DreamerV3

V-JEPA 2 更激进，连潜空间里的重建都不要：用约 1M 小时互联网视频预训练视频编码器，自监督目标是预测被遮蔽 patch 在嵌入空间的表征，不重建像素；冻结编码器后接一个动作条件预测器 V-JEPA 2-AC，配 MPC 就能零样本驱动两间实验室的 Franka 机械臂完成抓取与放置。V-JEPA 2

图注：V-JEPA 2 总览：左侧互联网视频与图像经自监督预训练得到编码器；中间分支把编码器对齐到 LLM，服务动作分类、视频问答等理解任务；右侧冻结编码器、训练动作条件预测器 V-JEPA 2-AC，驱动机器人规划。V-JEPA 2

Dreamer 在潜空间里想象，V-JEPA 2 在嵌入空间里预测，本组六篇在 BEV、像素或 3D 高斯里生成。它们对"未来世界状态该是什么形态"给出不同答案，也各自服务不同的下游。再回头看开篇那张综述全景图，本专题只是其中一条子路线；世界模型评测仍碎片化，RL 用 task reward，视频用 FID 与 FVD，跨域没法直接比较，这也是整个领域还没补齐的一处缺口。

六篇合起来看：一台能在潜 BEV、像素或 3D 几何里预演未来的模拟器，配上动作耦合、几何监督、误差闭环、持久记忆与双轨控制，从"只会预测"走向"可行动、可生成、可记住、可指挥"。这六个部件，就是 2025 到 2026 年世界模型主线交出的答案，也是把"模拟舱"从比喻变成工程的那六步。

参考文献

本专题引用的核心资料如下，建议深入学习时阅读原文：

1. DriveX: Omni Scene Modeling for Learning Generalizable World Knowledge in Autonomous Driving — arXiv:2505.19239
2. DriveWAM: Video Generative Priors Enable Scalable World-Action Modeling for Autonomous Driving — arXiv:2605.28544
3. GeoPredict: Leveraging Predictive Kinematics and 3D Gaussian Geometry for Precise VLA Manipulation — arXiv:2512.16811
4. LIVE: Long-horizon Interactive Video World Modeling — arXiv:2602.03747
5. Memory Forcing: Spatio-Temporal Memory for Consistent Scene Generation on Minecraft — arXiv:2510.03198
6. SymphoMotion: Joint Control of Camera Motion and Object Dynamics for Coherent Video Generation — arXiv:2604.03723
7. World Models: A Comprehensive Survey of Architectures, Methodologies, Reasoning Paradigms, and Applications — arXiv:2606.00133
8. DreamerV3: Mastering Diverse Domains through World Models in a Fixed-Hyperparameter Configuration — arXiv:2301.04104
9. DriveDreamer: Towards Real-world-drive World Model for Autonomous Driving — arXiv:2309.09777
10. V-JEPA 2: Self-Supervised Video Models Enable Understanding, Prediction and Planning — arXiv:2506.09985