世界模型凭什么把自动驾驶、机器人和视频生成串成一条线？

2018 年，Ha 与 Schmidhuber 的 World Models 论文让一个 RNN 在梦里跑马里奥：模型自己做梦、自己在梦里训练策略，醒来照样会开车。2026 年，各大厂把「世界模型」当招牌，说视频扩散底座能预演整条街的未来。同一个词横跨八年，从几十兆参数的小循环网络一路用到百亿参数的视频底座。世界模型到底是一个具体的模型，还是一整类做法的总称？自动驾驶、机器人操作、长视频生成，三个看起来毫不相干的领域，怎么都被这个词罩住了？

这篇专题想给你一张地图，而不是某个工作的解读。2026 年 9 月，蒋理（Li Jiang，香港中文大学深圳 / 深圳圆周率研究院）在一场研究 talk《World Models for Spatial Intelligence: From Policy Learning to Data Generation》里，用一张两分框架把整个方向组织了一遍，并沿两条分支安放了六个代表工作：DriveX、DriveWAM、GeoPredict、LIVE、MemoryForcing、SymphoMotion。我们把 talk 的坐标系讲清楚，把这六个工作放回各自的格子里，最后你会看到两条分支在「合成数据回灌策略」处汇成一个闭环，这正是 talk 标题里「从策略学习到数据生成」那句箭头真正想说的东西。Li Jiang Talk

第一章 世界模型是一个模型，还是一整个研究方向？

内部模拟器：维护世界状态，预测它怎么演化

先给一个最朴素的定义。世界模型（world model）是机器内部对「世界如何演化」的模拟：机器维护的不只是当前这一张画面，而是一串随时间演化的世界状态（world states），并且要预测这串状态接下来怎么变。这里的关键不是「预测得准」，而是「机器手里有一串状态、而不是一张图」。这个「状态序列 + 时间箭头」的意象，是理解后面所有工作的地基，因为之后六个工作的差别，全部可以归结为「在哪个空间里维护和预测这串状态」。Li Jiang Talk

这个结构，游戏玩家会觉得眼熟。游戏引擎每一帧都持有世界状态，比如玩家的位置和速度，然后按写死的物理规则把它推进到下一帧。世界模型做的事一模一样：持有状态、推进状态。差别只在推进方式：引擎的推进是程序员写死的规则，世界模型的推进是训练学出来的预测，预测错了，未来就偏了。所以世界模型的本质是一台预演未来的内部模拟器，形态千差万别，但都在做同一件事。

在隐空间预测，还是把未来画成像素？

经典出处把这个定义钉得很结实。Ha 与 Schmidhuber 2018 年那篇 World Models 把它写成一句话：以无监督方式训练出一个「压缩的时空表征」，再把这个表征喂给一个紧凑策略，模型甚至可以在自己幻觉出来的梦里完成整个训练。两个锚点概念都在：世界状态被压缩成表征，以及预测表征如何演化，供 agent 规划行动，这正是「内部模拟器」直觉的出处。V-JEPA 2

LeCun 在 2022 年的 JEPA 框架里补上了关键一刀：与其预测像素，不如预测表征。理由很实际：一片叶子在颤、一丛草在晃，这些可预测但无关紧要的细节，对决策都是噪声。在隐空间里预测未来，是比重建像素更有用的归纳偏置。JEPA 家族因此把「预演未来」从像素空间搬进了表征空间。

2025 年 6 月，Meta FAIR 发布的 V-JEPA 2 是这条路线今天的旗舰实例。它在超过一百万小时的互联网视频上用掩码去噪目标预训练：视频帧被切成 patch、随机遮掉一部分，编码器和 predictor 在表征空间回归被遮 patch 的表示，完全不生成像素。之后冻结编码器，只用 62 小时未标注的机器人轨迹数据，后训练出一个动作条件预测器 V-JEPA 2-AC，零样本部署到两个实验室的 Franka 机械臂上做抓取和拣放规划。V-JEPA 2

图注：V-JEPA 2 的两阶段结构。左面板是掩码去噪预训练：视频切成 patch token、遮掉一部分，编码器与 predictor 在表征空间回归被遮 patch，用 EMA 目标编码器算 L1 损失，全程不生成像素。右面板是冻结编码器后加一个吃动作条件（过去帧、动作、末端执行器状态）的 block-causal predictor，桥接规划。这就是「在隐空间预测未来、不生成像素」的长相。V-JEPA 2

到这里第一块拼图就位了。世界模型不是一个具体网络，而是一类研究范式：任何「维护世界状态 + 预测其演化」的模型，都可以挂这个名字。问题是，这套范式宽到几乎什么都装得下：DriveX 在鸟瞰网格里预演未来，SymphoMotion 在像素里画视频，内部结构八竿子打不着，凭什么共享同一个名字？这正是下一章要解决的事。

第二章 六个差别巨大的方向，凭什么共享同一个名字？

第一条轴：在哪预演未来

talk 给出的第一条分界线，是「在哪里预演未来」。一边是隐空间表征学习器（representation learner）：把观测压缩成 latent 表征，再在表征空间内部预测未来，不生成像素，DriveX 是这一极的代表。另一边是观测空间场景生成器（scene generator）：直接把未来画成像素或视频帧，剩下五个工作全在这一极。这条轴翻译成人话就是：你预演未来的时候，手里拿的是一份「压缩的摘要」，还是一台「能出画面的放映机」。

你多半已经在 diffusion 模型里见过同一道分界。latent diffusion 在压缩的 latent 空间里做去噪，而不是在原始像素上做，这就是「隐空间 vs 观测空间」的同一道墙。把这道墙套到世界模型上，全场的六个工作一次摆开：

这张表是 talk 框架的本体，值得记住：六个工作不是六个孤立的系统，而是这条轴上的六个坐标点。五个工作挤在观测空间这一极，恰恰说明「把未来画出来」是当前主流，只有 DriveX 逆流走了隐空间路线。Li Jiang Talk

两端各放一个锚点

光靠 talk 一家之言还不够，我们在轴的两端各放一个外部锚点，让它落地。

隐空间这一极，上一章已经见过：V-JEPA 2 就是今天隐空间世界模型的旗舰，在表征里预测未来、不碰像素。观测空间这一极，放自动驾驶域的第一个工业标志工作：Wayve 2023 年发布的 GAIA-1。它把视频、文本、动作三种模态 tokenize 后，喂给一个自回归 Transformer 世界模型预测下一组图像 token，最后用 3D U-Net 视频扩散解码器把 token 像素化回视频，世界模型本体 6.5B 参数，用了 4700 小时英国驾驶数据。GAIA-1 的意义不在参数，而在于它定义了「像素路线」的存在：之后的场景生成器，无论叫 DriveWAM 还是 LIVE，都从这条路起步。GAIA-1

图注：GAIA-1 的三段式架构：左侧 video / text / action 三种输入各自 tokenize，中间是预测下一图像 token 的自回归 Transformer 世界模型，右侧 3D U-Net 视频扩散解码器把 token 还原成像素，时间分辨率从 6.25Hz 上采样回 25Hz。这条「画像素」的流水线，就是观测空间场景生成器的标准长相。GAIA-1

到这儿，轴的两端各有了一面旗：左边 V-JEPA 2，右边 GAIA-1，中间是 talk 的六个坐标点。

这不是 talk 一家之言

还担心这条轴是 talk 自说自话？2026 年 5 月，Zidan 等 26 位作者发布了一篇世界模型全景综述，同样以「世界模型是学习环境结构与动力学的内部模拟器」为锚，用架构、方法论家族、推理策略、应用域四条轴把整片文献重新组织了一遍，历史时间线从 1974 年一路铺到 PlaNet、Dreamer、MuZero、Sora、Cosmos、Genie。外部综述也在用类似的方式切同一片文献，说明这条坐标系不是某一个人的偏好。Zidan et al.

图注：综述的总览图把世界模型文献切成三段并排展示：左侧是「隐式表征 × 未来预测」的概念分类，中部是 1974 到 2024 的里程碑时间线，右侧是机器人、社会仿真、自动驾驶等应用域部署。组织方式与 talk 不同，但切的都是同一片地。

不过有一件事要讲清楚：这篇综述提交于 2026 年 5 月末，只覆盖到那时的文献：DriveWAM 与之几乎同期、覆盖不完整；而 UNIVERSE、OmniDreams 发布于综述之后，物理上不在它视野里。所以它只能当坐标系的外部旁证，不能当最近进展的清单。看完这章你会问：就算隐空间和观测空间分得开，观测空间这一极里挤着五个工作，从驾驶到机器人到视频生成，凭什么也归成一类？答案在下一章：它们不是按长相归类的，是按「预演给谁用」归类的。

第三章 同一台「生成未来」的机器，为什么会有两种用途？

第二条轴：预演给谁用

talk 在场景生成器这一极上又切了一刀，这一刀切的是用途：预演出的未来，给谁用？一类是喂给感知与策略学习（perception、planning）：生成器产出的未来画面，被下游的规划器或动作模型直接消费，DriveWAM 和 GeoPredict 在这一侧。另一类是用于数据生成：生成器的输出就是训练数据本身，或者接进闭环仿真器去训练和评估策略，LIVE、MemoryForcing、SymphoMotion 在这一侧。翻译成人话：同一台能画未来的机器，一种是给决策当「彩排」，一种是给模型当「教材」。Li Jiang Talk

把两条轴叠起来，就得到整场的 2×2 坐标系：

六个工作全部落位，没有一个悬空。这张 2×2 表是整篇最该带走的东西：往后读到任何一个「世界模型」的新工作，先问两句话，它在哪个空间预演未来、它预演给谁用，基本就能把它放进坐标系。隐空间 × 数据生成至今是空的，这个空白本身也值得留意。

策略学习一侧的最小常识：VLA 是什么

要给策略学习分支铺路，得先交代 VLA 这个绕不开的术语。VLA 是视觉-语言-动作模型（Vision-Language-Action）：处理视觉和语言输入、输出机器人动作的模型，名字由 RT-2 那篇论文提出。它站在视觉语言模型（VLM）底座上，代表工作有 RT-2、OpenVLA、Octo、π0。VLA 的优势来自底座预训练的知识：语义推理、指令跟随、零样本泛化都很强；短板同样明显：对稠密空间布局和时间因果（未来会怎么演化）的建模偏弱。VLA Survey

图注：VLA 综述的开场复合图。左侧是具身 AI 概念集合的 Venn 图，标出 VLA 与 LLM、VLM 的包含关系；右侧是从单模态 CV / NLP / RL 演进到 RT-2 / OpenVLA / Octo / π0 时代的时间线。记住一句话即可：VLA 是长于语义、短于空间与时间的策略模型。VLA Survey

VLA「强语义、弱空间时间」这个短板不是随便提的，它是下一章路线之争的引信。而有了这一侧的常识，问题立刻冒出来：策略学习分支内部，是怎么一步步从打地基的 DriveX 走到今天的 DriveWAM 的？中间又为什么吵起来？

第四章 从 DriveX 到 DriveWAM，策略世界模型为什么要换底座？

三步演进：自己学 → 吃基础模型 → 让未来和动作一起演化

策略学习分支的演进，可以串成一根三步的链。

第一步是 DriveX。它是 talk 里隐空间路线的代表：从大规模驾驶视频里自监督学习，在 BEV（鸟瞰视角网格）隐空间里学出可泛化的世界知识与动力学。问题在 talk 里摆得很直白：DriveX 是从驾驶数据本身训练的，没有吃到大规模基础模型的通用知识。于是第二步来了，路线之争。

吵的是「策略模型下面垫哪个基础模型」。一边是 VLA 路线，垫 VLM 底座，强语义、弱空间和时间的因果；一边是 WAM 路线，全称 World Action Model，垫大规模视频生成模型，而视频生成底座天生自带时间动态先验，预演未来几乎不用额外学。第三步，DriveWAM 把 WAM 路线落地到自动驾驶：让「未来观测」和「动作」共同演化。它的场景演化驾驶引导、选择性 KV 记忆这些机制细节，在《自动驾驶世界模型第二代：DriveWAM 与 VLA/WAM 路线之争》一篇里展开。GeoPredict 又把同样的思想搬到机器人侧：在 VLA 上长出未来眼，预测未来关键点轨迹和 3D 高斯几何，训练完推理时不增加负担。这只「未来眼」怎么长出来的，见《机器人操作的世界模型：GeoPredict 让 VLA 长出「未来眼」》。Li Jiang Talk

近 12 个月：WAM 不是孤例

DriveWAM 不是一个人在战斗。近 12 个月里，同一 WAM 方向出现了两种实现路径，正好可以拿来对照。

DriveLaW（CVPR 2026，华中科技大学 + 小米汽车）走的是级联路线：一个强大的视频生成 DiT 先学出隐世界表征，再把这份 latent 直接喂给一个轻量的 Action DiT 去预测未来轨迹，两个模块共享同一隐空间。DriveLaW

图注：DriveLaW 的级联结构。左侧 DriveLaW-Video 把历史帧经时空 VAE 和 Video DiT 栈产出隐世界表征，右侧轻量 Action DiT 以这份隐表征为条件预测未来轨迹，底部用真实轨迹监督。两个模块共享同一隐空间，这是「级联」路线的代表长相。DriveLaW

UNIVERSE（2026 年 7 月，Twente / 小米汽车 / Cambridge / Bath）走的是另一条路：不拆模块，用单一 DiT 同时去噪未来视频 latent 和自车轨迹 token，中间用一块可见性 mask 阻断未来视频与未来轨迹互相偷看，但保留共享的历史上下文。级联 vs 联合，两种实现路径正好说明 WAM 是一个正在快速展开的方向，而不是 DriveWAM 一个孤例。UNIVERSE

图注：UNIVERSE 的联合结构。历史观测、自车速度与语言指令编码成条件 token 流，中间一个统一 DiT 同时去噪未来视频与轨迹两路，中部 mask 让未来视频与未来轨迹互不可见，右侧可输出仅轨迹 / 仅视频 / 联合三种 rollout。与 DriveLaW 的级联形成「同一方向、两种接法」的对照。UNIVERSE

到这儿，策略学习分支走完了：从「自己学」到「吃基础模型」再到「让未来和动作一起演化」，DriveWAM 是今天的落点，机器人侧还长出了 GeoPredict 这样的变体。策略学会学了，下一个问题就轮到它的粮草：训练策略的数据从哪来？让机器自己滚视频、滚出能用的数据，最难的地方又在哪里？这就是数据生成分支的战场。

第五章 让机器自己滚视频，最难的是哪两个问题？

误差累积：为什么是公认难题

数据生成分支要解决的头号问题，是误差累积（error accumulation）。自回归生成长视频时，训练阶段每一步都喂真实的历史帧作上下文，推理时却只能拿模型自己上一轮滚出来的帧当上下文。训练分布的输入和推理分布的输入不是一回事，误差就顺着时间轴越滚越大。

如果你熟悉语言模型，这个现象几乎是同一个：LLM 训练时喂真实前文，生成时吃自己上一轮的输出，一旦生成错了一个词，后面全在错误上继续搭。视频生成只是把这种错位放到连续信号上，逐帧放大得更凶。研究者们绕着这个问题转了十几年，三个历史方案轮番上阵：Diffusion Forcing

第一，Teacher Forcing：训练时每一步都喂真值上下文，等于假设推理时也有真值可看，推理时这个假设立刻不成立。第二，Full-Sequence Diffusion：用非因果架构给整段视频加同样的噪声、整段同时去噪，但早期帧的一点点不确定性，本该在后期帧上放大的信息被平均化掉了。第三，Diffusion Forcing：把假设弱化到每个 token 独立采样噪声等级，把时间轴和噪声轴拼进同一张图里，把前两者收成边界特例。三者输在同一个地方：训练时的输入分布，不等于推理 rollout 时的输入分布，误差没被真正对齐。

图注：三种历史方案长什么样，横排方块代表一段 token 序列。(a) Teacher Forcing：过去 token 清晰、当前 token 是预测目标；(b) Full-Sequence Diffusion：所有 token 被同一噪声等级覆盖；(c) Diffusion Forcing：过去 token 低噪、未来 token 高噪，从左到右形成模糊梯度，图右下把前两者标成自己的两个边界特例。Diffusion Forcing

LIVE 对这个难题的回答是反转方向：不再想办法把「训练时的输入」修得更像 rollout，而是让训练时直接吃自己 rollout 出来的真实帧，再通过施加反向动作重建起始帧，用这圈循环一致性把前向误差压住。这套「倒放」怎么推导的，见《长视频生成的宿命难题：LIVE 用「倒放」驯服误差累积》。Li Jiang Talk

与误差累积无关的另一层：一致性和可控性

误差累积之外，生成的数据要能用，还有两个独立维度要补。漏掉任何一个，数据喂给策略只会教坏它。

场景重访要一致。MemoryForcing 给视频世界模型装上空间和时间两种记忆，并教会它何时信谁：探索新场景时靠时间记忆顺播，重访旧区域时靠空间记忆回看原貌，否则换个视角再看同一个地方，场景就融化了。相机和物体运动要可控。SymphoMotion 联合控制相机运动与物体动力学，保证复杂视角变化加物体运动下画面依然几何一致。两者的机制分别在《生成的数据要能用：MemoryForcing 的时空记忆与 SymphoMotion 的运动控制》一篇里展开。Li Jiang Talk

这两个问题不是学术洁癖。量产级的闭环仿真同样要同时面对它们：长 rollout 要靠流式 KV cache 和长上下文蒸馏撑住一致性，场景内容要靠文本 prompt 和抽象场景图控制。工业界已经在为这两个问题买单。OmniDreams

那问题来了：LIVE、MemoryForcing、SymphoMotion 造出来的这些合成数据，最终流到哪里去？它们不是造出来给人类看的，下一章就是这两条分支的汇合点。

第六章 数据生成分支的终点，为什么是回到策略训练？

两条分支在闭环处合流

这篇专题走到这里，前面铺的两条分支终于要接上了。数据生成分支造出的合成数据，流入闭环仿真器：仿真器用这些数据训练或评估驾驶策略，而策略学好后，又反过来需要更多合成数据喂给训练。场景生成器既给策略喂训练数据，又给它当评估环境。这就是 talk 标题里「从策略学习到数据生成」的箭头，而且箭头是双向的：Li Jiang Talk

注意这圈闭环里有一个角落在被悄悄替换。传统闭环仿真用重建式渲染器（NeRF、3D Gaussian Splatting 一类，NVIDIA 的 NuRec 是代表）重现采集过的真实场景，画面很真，却被最初采集的数据绑死，很难扩展到采集走廊之外。生成式世界模型学过「世界如何视觉演化」的先验，能合成传统仿真器抓不到的长尾现象：暴雨、暴雪、车顶上的床垫、行人突然改变的运动。渲染后端正在从「重建真实场景」换成「生成新场景」。

工业标杆：OmniDreams 把闭环跑起来了

这条闭环不是纸面设计。2026 年 6 月，NVIDIA 发布的 OmniDreams 把它完整部署了：从 Cosmos 扩散模型后训练而来，2B 参数，21k 小时驾驶数据，单视角在 1 张 GB300 上以 720p 跑出 68 FPS，实时渲染成了现实。它接入 AlpaSim 闭环仿真运行时，替代原来的 NuRec 渲染器，策略 Alpamayo 1 在环内开车。更妙的是，同一个生成骨干后训练后还能直接当策略用：约 2B 参数的 WAM 后训练模型，在闭环碰撞率上比约 10B 的 VLA 策略更低。论文自己把这部分标为 preliminary，所以这里只说「更低」，不说具体百分比。OmniDreams

图注：OmniDreams 的闭环工作流：策略模型（Alpamayo 1）或用户向 AlpaSim 仿真运行时发出动作，AlpaSim 更新仿真状态并把上下文转发给 OmniDreams，OmniDreams 合成下一批相机帧并回传给策略，闭环闭合。这是全篇唯一一张把「策略 / 仿真器 / 生成器」三个角色画在同一张图里的真实工业系统图。OmniDreams

到这里，整张坐标系的形状就出来了：策略学习分支（DriveX → DriveWAM → GeoPredict）和数据生成分支（LIVE → MemoryForcing → SymphoMotion）不是两条平行线，它们在闭环仿真处汇合，合成数据回灌给策略学习，而策略学习又不断给数据生成提出新要求。世界模型这个宽到几乎失去意义的名字，用「在哪预演未来 × 预演给谁用」两条轴一框，立刻有了秩序。六个工作的机制细节，分别在《自动驾驶世界模型第一代：DriveX 在 BEV 隐空间里预演未来》《自动驾驶世界模型第二代：DriveWAM 与 VLA/WAM 路线之争》《机器人操作的世界模型：GeoPredict 让 VLA 长出「未来眼」》《长视频生成的宿命难题：LIVE 用「倒放」驯服误差累积》《生成的数据要能用：MemoryForcing 的时空记忆与 SymphoMotion 的运动控制》五篇里展开。这篇给你的是入口地图：先把六张牌放进坐标系，再逐张深入，你不会迷路。

参考文献

本专题引用的核心资料如下，建议深入学习时阅读原文：

1. World Models for Spatial Intelligence: From Policy Learning to Data Generation（Li Jiang 研究 talk 幻灯片，2026-09-02；底层工作 DriveX 论文） ，arXiv:2505.19239
2. V-JEPA 2: Self-Supervised Video Models Enable Understanding, Prediction and Planning ，arXiv:2506.09985
3. World Models: A Comprehensive Survey of Architectures, Methodologies, Reasoning Paradigms, and Applications ，arXiv:2606.00133
4. GAIA-1: A Generative World Model for Autonomous Driving ，arXiv:2309.17080
5. A Survey on Vision-Language-Action Models for Embodied AI ，arXiv:2405.14093
6. Diffusion Forcing: Next-token Prediction Meets Full-Sequence Diffusion ，arXiv:2407.01392
7. DriveLaW: Unifying Planning and Video Generation in a Latent Driving World ，arXiv:2512.23421
8. UNIVERSE: Unified Video Action Models for Autonomous Driving with Flexible Mask-Modulated Modality Generation ，arXiv:2607.05133
9. NVIDIA OmniDreams: Real-Time Generative World Model for Closed-Loop Autonomous Vehicle Simulation ，arXiv:2606.03159