同样叫“世界模型”,为什么有的输出视频、有的不输出画面?
如果你在过去两年关注自动驾驶、机器人操作或视频生成,大概率被“世界模型”这个词刷过屏。可真去点开那些论文,你会发现它们的长相差别极大:有的只吐出一张看不见的 BEV 潜特征,有的直接生成一段未来视频,还有的在训练时悄悄预演三维几何,推理时却什么都不多干。凭什么它们共享同一个名字?
这篇文章想把这件事一次讲清楚。我们会先用司机预判和棋手推演建立直觉,再发一把“四问尺子”,用这把尺子把 2025–2026 年的六项前沿工作(DriveX、DriveWAM、GeoPredict、LIVE、MemoryForcing、SymphoMotion)摆进同一张地图。读完你带走的不是“谁比谁强”的结论,而是一套能自己给任何新论文定位的方法。 LIVE SymphoMotion
“世界模型”听着很高深,它到底在预测什么?
老司机和棋手都有的一种能力
先离开论文,想一个日常场景。你开车经过路口,余光扫到一位行人,心里立刻预判他会不会加速冲过来,并提前松开油门。你没有真的把车开出去试一遍,靠的是脑子里那个“世界接下来会怎么变”的模型:它接收你看到的和你想做的,输出几秒后的局面。下棋也一样,棋手在脑子里推演后续好几个回合,棋盘上的棋子根本没有动。
这就是世界模型(world model)的第一层直觉:预演。不改变世界,先在内部把未来过一遍。换成学术语言就是一句话:给定当前(及历史)的状态和动作(或其他条件),预测未来的状态。强化学习把这一步叫状态转移动力学,世界模型建模的正是它。请注意,这个定义里没有出现任何网络结构的字样,所以世界模型不是一种能指着说的网络,而是一种把状态、动作与未来连接起来的预测能力。UWP Survey
状态可以有好几种长相
“状态”和“动作”在论文里远比日常抽象。状态可以是一帧图像、一片点云、一张占据栅格,也可以是被编码器压成的潜空间(latent space)表示;动作可以是方向盘转角、机械臂夹爪的位置,甚至可以是一句自然语言指令。所以“做世界模型”的第一步往往不是选网络结构,而是决定把世界写成什么样子、把未来预测在哪种表示里。
这一步选择,正是整片研究林分岔的起点。清华大学团队 2024 年的一篇综述把这片林地画成了全景图,我们先借它看看地形:

图注:综述总览结构。顶部以 World Model 为根分出两根大枝:对世界的“隐式表示”(含决策与世界知识)和对物理世界的“未来预测”(含视频生成与具身环境);中部是 1943 到 2025 年的代表性时间轴;底部是游戏、具身、城市、社会四类应用域。这些只是综述选择的代表性节点,不是完整历史。UWP Survey
上面那两根大枝,是后面几章反复用到的坐标。左边“隐式表示”把世界压成中间变量来理解,大致对应潜空间路线;右边“未来预测”把未来铺成看得见的视频,大致对应观测空间路线。底部四个应用域里,本文关心的自动驾驶和机器人操作分属城市智能与具身智能。
2018 年的那个三段式模板
进入现代方法之前,先用三句话锚定这个词的来路。现代“世界模型”范式公认的起点,是 Ha 与 Schmidhuber 2018 年(NeurIPS)的工作:把 VAE 压缩、潜空间动力学与控制器打包成一套完整系统。它今天看起来很朴素,骨架却一直没被推翻:

图注:这是 2018 年的历史模板,不是现代架构。Vision(V)用 VAE 把每一帧图像压成潜变量 z;Memory(M)用带记忆的循环网络学习 z 的动力学,输出下一时刻潜状态的分布;Controller(C)拿到潜状态与记忆,输出动作回到环境。三个模块分开训练。Ha & Schmidhuber 2018
注意这个分工:先把帧压进潜空间,在潜空间里学“下一步会变成什么”,再用小控制器基于潜状态行动。后来的 Dreamer 系列、GAIA 系列直到 2024 年之后的视频扩散世界模型,普遍被看作沿用这把三格椅子:V 从普通 VAE 换成了更大的视频 tokenizer,M 从循环网络换成了 Transformer 或扩散模型,而 C 那个独立的小控制器则被吸收进了骨干里。
这一章的结论一句话就能收住:世界模型不是某个固定网络,而是“状态 + 动作 → 未来”的预测能力,唯一不变的东西是预测本身。可光是说“预测未来”远远不够,未来写在哪种表示里,后面的做法就完全不同。要从这片林子里走出去,得先回答一个更实际的问题:拿到任何一篇自称世界模型的论文,该从哪问起?
拿到任何一篇“世界模型”论文,先问它哪四个问题?
一张能带走的问题清单
世界模型论文的术语密度很高,BEV、潜扩散、占据预测、flow matching,各有各的行话。行话可以后补,四个问题必须先问:
- 状态是什么:世界被表示成图像帧、BEV 潜空间、3D 高斯,还是语言 token?
- 动作怎样进入:动作是离散控制量、自然语言指令,还是相机轨迹这类控制信号?
- 未来怎样表示:预测的是下一个潜状态、下一段视频,还是下一段 3D 结构?
- 预测如何被验证:强化学习里看累积回报,生成任务里看 FID/FVD,驾驶里看规划指标?
需要坦白一句:这四问不是某篇论文自带的分类标题,而是我们从综述里反复出现的 state / action / future / verification 四元结构中抽出来的教学脚手架。好处是你不必背任何术语就能给新论文定位:把它的状态、动作入口、未来表示和验证方式各填一格,它站在地图哪里就清楚了。UWP Survey
未来用什么表示,是最锋利的一问
四问里有一问特别锋利:未来用什么表示。它把论文劈成两条主线,正是开篇地形图里那两根大枝的差别。
潜空间路线把世界压成下游任务友好的中间表示,预测发生在看不见的潜空间里,这类模型我们叫世界表征器,主要服务感知、规划与策略学习,下游任务直接读它预测出的紧凑特征。观测空间路线把未来铺成像素和视频,这类模型叫世界生成器,主要服务训练数据合成与端到端闭环仿真,要的是画面真实可控,因为观众可能是人,也可能是等着被仿真训练的下一个模型。
上图是我们配发的教学坐标,不是任何论文的原图。也请记住一条边界:这两条线是教学坐标,不是学界唯一标准,没有谁高谁低。而且生成器不等于世界模型。2025 年的 3D/4D 世界模型综述给过一个干脆的断言:只合成像素或体素的生成器本身不是世界模型,在观测空间里重构未来是充分条件,但不是必要条件。3D/4D Survey
这句话替潜空间路线正了名:未来不画成画面,一样可以算数。那么预演发生在看不见的潜空间里,到底能派上什么用场?下一章拿自动驾驶的 DriveX 当例子。
不把未来画成画面,潜空间里的预演还能派上用场吗?
自动驾驶里,世界模型本来有三种接法
DriveX(ICCV 2025)是潜空间路线在自动驾驶里最干净的代表。它先做的一件事是盘点:既有的驾驶世界模型到底是怎么接进系统的?答案是三种接法,各有各的代价:

图注:(a) 世界模型只当预训练任务或辅助监督,学到的知识最终被任务专用参数覆盖;(b) 在视频空间预测未来,再把视频线索做 2D 到 3D 转换交给下游,拿不到稳定的三维结构;(c) DriveX 的选择:直接在潜 3D 空间解码未来,得到任务无关、空间有结构的特征,供下游直接使用。DriveX
注意 (a)(b)(c) 是三种并列路线,不是 DriveX 的三个子模块。看清这张图就明白,DriveX 不画画面不是偷懒省略,而是第三种刻意选择:辅助监督的知识会被任务覆盖,视频生成又拿不到稳定的几何,那就干脆让预测直接发生在空间有结构的潜空间里。
在 BEV 潜空间里预演
选定了潜空间,还要回答“什么样的潜空间”。DriveX 分两步走:先把世界表示学稳,再在它上面做未来预测。
第一步叫全景场景建模(Omni Scene Modeling,OSM)。它同时用点云预测、2D 语义预测和图像重建三类自监督信号,把多摄像头输入压成一张带空间结构的 BEV(Bird's Eye View,鸟瞰视角)世界表示。2D 语义标签由分割基础模型自动生成,整个流程不需要人工标注。第二步才轮到“预演”:冻结世界编码器,训练一个未来解码器,把 t 时刻的 BEV 特征推进到 t+k 时刻。两步解耦是有原因的:运动信号在 BEV 网格里极其稀疏,若同时优化重建和动力学,运动信号会被静态背景淹没。先学稳世界长什么样,再学世界怎么变。

图注:上半部分是 DriveX 整体框架:多视角图像与自车动作进入世界编码器,经 OSM 多模态监督学稳 BEV 世界表示后,由基于光流的未来解码器在潜空间里预测未来 BEV 特征,供占据预测、检测、规划等下游任务使用;下半部分示意下游任务通过空间注意力从预测出的未来特征中采样信息。DriveX
光会预测还不够,关键是下游怎么读。DriveX 为此设计了未来空间注意力(Future Spatial Attention,FSA):感知、占用、规划各带自己的 query,通过同一个采样接口从预测出的未来 BEV 特征里取信息,不同任务只差采样偏移。论文给了一个很有说服力的证据:冻结世界模型之后下游几乎不掉点,NAVSIM 规划分数只从 83.7 掉到 83.6;而走辅助监督路线的 ViDAR 掉了 6.6,DriveWorld 掉了 1.5。这直接说明潜表示里存的是通用世界知识,而不是某个任务的专用参数。DriveX
潜表示不是“压缩”,是“给谁读”
一听到潜空间,很多人先想到压缩和省算力,但 DriveX 这条路的重点不在这里。潜表示更准确的定位,是给下游任务准备的中间表示:预测结果要被规划器、感知模块这类机器读者消费,它们要的是紧凑、有空间结构、能被 query 直接采样的特征,而不是一段好看的视频。表示选成什么样,取决于谁在读预测结果。
这一章记住一个结论:预演不一定要发生在看得见的像素里,只要潜表示有空间结构、下游能直接读,潜空间里的未来照样有用。可反过来说,有些任务的消费者需要的是看得见、还能跟动作绑在一起的未来画面。这样的预演该在哪发生?下一章看观测空间路线的代表 DriveWAM。
当任务既要“看得见的未来”又要动作,预演该在哪发生?
一个骨干,同时当预测器和策略
自动驾驶里另一大类工作走观测空间路线,把未来直接生成成视频。DriveWAM(2026 年 5 月的 arXiv 预印本)很有代表性:它把预训练的视频扩散 Transformer 直接拿来当骨干,视频和动作两个流进同一个模型。
历史视频和动作被编码成统一的 token 序列,模型先“想象”下一段未来视频,再从想象出的未来上读出可执行的自车动作。两个分支共用同一个联合目标:损失把“未来视频像不像”和“动作对不对”绑在一起,于是“世界会怎么演化”和“我该怎么开”不再由两个脱节的输出头各管各的,而是由同一个骨干协同产生。换句话说,一个模型同时是预测器和策略。

图注:DriveWAM 把预训练视频生成骨干改造成统一的视频—动作策略:视频与动作经编码后进入同一个视频扩散 Transformer,按 chunk 组织历史并自回归地预测下一段未来视频潜码与动作潜码,右侧还有逐 chunk 演化的高层语义引导注入路径。DriveWAM
未来不是一镜到底,而是按 chunk 一段段滚出来的:生成第 k+1 段的视频与动作,把它接进历史,再滚第 k+2 段。为了让语义跟得上场景变化,DriveWAM 还用一个冻结的视觉语言模型在每个 chunk 边界根据最新观测和路线命令重写一段高层驾驶意图(直行、让行、停车),避免一条命令管到底。
谁在“读”预测结果,谁就决定了表示
把 DriveX 和 DriveWAM 并排放回四问,最有意思的对照在这里:两篇工作问的是同一个问题(自动驾驶里的世界模型怎么做),答案却分道扬镳,分歧点正是“未来用什么表示”。选择哪条线,不取决于哪个更高级,而取决于谁在消费预测结果:下游决策要读紧凑的潜特征,就选潜空间;任务或人需要看得见的未来、动作又要和画面一起出来,就选观测空间。
观测空间路线因此撞出了自己的新瓶颈:未来按 chunk 越滚越长,历史存什么、忘什么马上成为问题,训练时吃真帧、推理时吃自己生成的内容也会让误差悄悄累积。先把这个难题挂起,下一章我们把这套逻辑从方向盘搬到机械臂,看看换一个领域之后,哪些变了、哪些没变。
把预演从方向盘换到机械臂抓取,这套逻辑还成立吗?
反应式 VLA 的问题:动手之前不“想”
机器人操作的主流方案是 VLA(Vision-Language-Action,视觉语言动作)模型:给一句指令和当前观测,直接输出一段动作。这类模型擅长模仿人类示范,泛化也很强,但从世界模型的视角看,它们基本是反应式的:动作直接从“现在的画面”里出来,并不显式预测“我的手接下来会到哪、物体接下来会变成什么样”。可抓取、放置这类任务偏偏要求机器人动手之前先想清楚后果。
GeoPredict(CVPR 2026 接收)给 VLA 加的就是这层“预演”。它选 π₀ 这类现成 VLA 做基座,在主干上加了两层未来预测,整体装配长这样:

图注:指令文本、多视角观测、历史轨迹与 3D 空间查询汇入中央 LLM Transformer。上方支路输出未来关键点轨迹,并经体素解码器产出未来工作空间的 3D 高斯,再渲染成未来深度序列;下方支路由 Action Expert 迭代去噪输出最终动作。GeoPredict
第一层是运动学预测:从机械臂关键点(关节和末端执行器)的过去 3D 轨迹出发,用可学习的未来查询读出未来多步的关键点 3D 坐标。第二层是几何预测:把机械臂的工作空间划分成体素网格,用 3D 空间查询经体素解码器预测未来的 3D 高斯表示,再把高斯渲染成未来深度图。注意这个渲染出的深度不是给用户看的,它的角色是训练监督:拿它和真实深度对比,逼中间表征对“未来几何”敏感。
关键设计:预演只在训练时发生
这张图上看不出的关键设计,需要文字点破:两条预测支路只在训练时被监督,推理时整套三维解码全部跳过,主干照常直接输出动作。预测在这里不是给部署加负担的额外模块,而是内部监督,作用类似一种隐式正则,它不增加推理图,却逼 Transformer 的中间表征携带未来运动学与几何信息。
把四问套上来,GeoPredict 的答卷是:状态是多视角图像加历史轨迹,动作以任务指令和夹爪动作的形式进入,未来表示为关键点轨迹加 3D 高斯(既不是像素也不是 BEV),验证则发生在训练期,用渲染的未来深度做监督。论文自报在真实机械臂上,未见位置、未见物体尺寸、新背景三类泛化的成功率分别从基线的 60、50、35 提到 85、95、90。GeoPredict
换的是表示,没换的是问题
和驾驶对比一下:动作从方向盘转角变成了夹爪的多步 3D 轨迹,未来表示从 BEV 潜特征或视频变成了关键点和三维几何,状态从多摄 BEV 变成了多视角图像。变的是表示,不变的是那个结构问题:预测什么样的未来表示,最能帮行动做出正确决定。这正是世界模型能跨领域迁移的原因,骨架没换,填进格子的内容换了。
但注意,GeoPredict 预演的只是一小段操作。如果让预演一直滚下去,几十步、几百步地“想”,会怎么样?我们撞上了所有预演方法的共同难关:一致性。
预演得越长就越容易离谱,这真的是宿命吗?
为什么越想越偏:训练和推理的错位
自回归生成有个臭名昭著的毛病:误差累积。一步差一点,下一步在差的基础上再差一点,滚得越长,画面离真实世界越远。更麻烦的是训练与推理的错位:世界模型在训练时吃的是真实帧,推理时却只能吃自己生成的内容,两者分布根本不一样。LIVE(2026 年 2 月的 arXiv 预印本)先把既有的三种训练范式摆在一起看:

图注:Teacher Forcing 训练时用真值上下文,推理时却要条件化在自己的生成上,形成训练—推理错位;Diffusion Forcing 给真值注入噪声,但仍不等于真实 rollout;Self Forcing 用序列级蒸馏,误差累积没有上界;LIVE 的做法是前向 rollout 后接反向恢复,用循环一致性把误差框住。LIVE
三者的共同盲点,是都没能给前向 rollout 一个有效的监督信号。开放式未来的内容本来就语义多样,你不能拿某一帧真值去强行对齐模型自己滚出来的画面。那怎么办?LIVE 换了个思路:不要求滚出来的东西和真值逐帧一样,只要求它能被“滚回去”。
LIVE:把“误差必须可恢复”写进训练目标

图注:左栏(冻结):给定 p 个 prompt 帧和完整动作条件,模型用与推理相同的因果掩码前向滚出剩余帧;右栏(可训练):把 rollout 时序反转并注入噪声,用它作上下文反向生成,要求还原最初的 prompt 帧,在还原出的帧上施加帧级扩散损失。LIVE
具体流程是:先让模型用自己的 rollout 当上下文一路向前生成,然后把这段未来倒带、注入噪声,再反向要求它还原出最初那几帧。如果模型滚得太离谱,它就还原不回去,损失会很大。于是梯度下降被逼到一个均衡:前向误差必须维持在“模型有能力恢复”的范围之内。这把“误差可恢复”直接写进了训练目标,相当于给误差装了一个隐式的上界。LIVE 论文在房产视频、游戏引擎和互动环境里展示的定性结论是:随 rollout 拉长,基线出现明显伪影和结构退化,LIVE 的画面则保持稳定,增益随长度放大。
换一个角度:窗口里该记住什么
训练目标只是问题的一面。有些任务里真正的敌人不是单次误差,而是历史窗口装不下整个世界。MemoryForcing(2025 年 10 月的 arXiv 预印本)在 Minecraft 式的交互场景生成里遇到了这个困境:模型既要能探索新地方,也要在回到旧地方时恢复原貌。这两种需求对记忆的要求是冲突的:

图注:两种记忆范式各自的失败案例:只用长时空间记忆,重访旧地点时一致,但探索新场景时会崩塌;只用近期时间记忆,新场景里很自然,重访旧地点时却丢失空间一致性。MemoryForcing
只看近期帧的时间记忆,重访旧地点时早就把那个地方忘光了;总去历史深处取帧的空间记忆,探索新场景时又会被无关的旧信息污染。问题被形式化成一句大白话:固定的 context window 里,到底该放哪些帧?
用 3D 可见性去历史里“查档案”
MemoryForcing 的答案分两半。训练上,它把两类数据混在一起:偏探索的数据走“扩展时间记忆”分支,频繁回访旧地点的数据走“空间加时间记忆”分支,让模型自己学会按场景选记忆源。同时用链式前向训练把模型自己的预测接进后续训练,让它在训练时就尝到推理时的误差与视角漂移。
记忆本身的组织则用上了 3D。它随相机运动增量重建一个全局 3D 点云,每个点都记着它来自哪一帧。需要历史时,把点云投影到当前视角,找出“当前看得见点最多”的若干历史帧取回来,喂给生成器。这个检索依据的是几何可见性,而不是外观相似度,所以对视角和光照变化不敏感,复杂度也只看可见空间、不随序列长度涨。

图注:MemoryForcing 的整体流程:关键帧经增量三维重建形成几何索引的点云记忆,Point-to-Frame Retrieval 把当前可见点回溯到源帧、取回相关的空间记忆,与近期时间记忆一起经记忆交叉注意力注入扩散 Transformer 骨干。MemoryForcing
把这一章的三种解法摆在一起,长时一致性其实有三个不同层级的切入:LIVE 改训练目标,让误差落在可恢复范围内;MemoryForcing 改记忆选择,让窗口里装对东西;而第四章的 DriveWAM 还有第三招,推理时按相关性和冗余度给历史 KV 缓存打分压缩,在注意力缓存层做取舍,且无需重新训练。DriveWAM 能一直预演对,比能预演得远更根本,这三招分别从目标、记忆、缓存三个方向逼近同一件事。
但直到这里,我们说的都是“猜未来会怎样”。如果人类想直接指定未来怎么发生呢?这正是最后一章的话题。
如果未来不是“猜”出来的,而是被“指定”出来的呢?
相机在动、物体在动,到底是谁动了?
可控视频生成把“预测未来”翻转成了“按指定未来生成”:给定一张参考图、一句文本和轨迹,让镜头沿相机轨迹运动,同时让某个物体沿 3D 轨迹运动。这个任务比看起来难,难在相机运动和物体运动在画面里纠缠:镜头平移会把物体的位移混进视差里,物体真动又会反过来干扰镜头控制的判断。若把两种运动塞进同一个 2D 运动场,模型根本分不清谁动了。
SymphoMotion(CVPR 2026 接收)的拆法是解耦注入、共享生成:两条控制通路各管各的,但生成发生在同一个三维世界里。

图注:SymphoMotion 建在冻结的视频扩散主干 Wan-I2V 上。左侧 CTC 通路管相机:3D 几何先验(点云渲染加 Plücker 嵌入)送入 ControlNet 形态的旁路注入主干;右侧 ODC 通路管物体:把 3D 轨迹投影成 2D 锚点画在点云渲染帧上,与 3D 轨迹嵌入一起经交叉注意力注入。两类控制信号分开进,生成却共享同一个骨干。SymphoMotion
注意两条通路注入的位置不同:相机控制走 ControlNet 形态的旁路,物体控制改写 Transformer 的交叉注意力。位置不同是有讲究的,相机运动改变的是整个画面的观察方式,适合用带几何先验的旁路整体调节;物体运动改变的是画面里某个实体的位置,适合用锚点加轨迹在注意力层面精确指引。两条通路共享同一个冻结的视频扩散主干,保证生成结果处在同一个三维世界里。
把六项工作放回同一张地图
至此六项工作都见过了。把它们并排放进四问,你会发现那把尺子把三条支线穿了起来:
| 工作 | 状态用什么表示 | 动作/条件怎么进入 | 未来用什么表示 | 预测如何被验证 |
|---|---|---|---|---|
| DriveX | 多摄输入压成 BEV 潜特征 | 自车运动进入未来解码器 | BEV 潜空间的未来状态(不画像素) | 冻结世界模型后下游不掉点 |
| DriveWAM | 历史视频与动作 token | 自车动作与视频同序列联合生成 | 未来视频(观测空间)加动作 | 从生成的未来上读出动作并评测规划 |
| GeoPredict | 多视角图像加历史轨迹 | 任务指令加夹爪动作输出 | 未来关键点轨迹加 3D 高斯 | 训练期用渲染的未来深度做监督 |
| LIVE | prompt 帧加动作条件 | 相机与动作条件序列 | 长时 rollout 的未来视频 | 反向恢复 prompt 帧的循环一致性 |
| MemoryForcing | 当前帧加检索到的历史帧 | 交互动作条件 | 交互式未来视频生成 | 重访一致性与生成质量指标 |
| SymphoMotion | 参考图加点云几何 | 相机轨迹与物体 3D 轨迹作控制信号 | 按指定轨迹生成的未来视频 | 生成视频与指定轨迹的几何一致 |
回看开篇那张地形图:DriveX 站在“隐式表示”那一枝,DriveWAM、LIVE、MemoryForcing、SymphoMotion 站在“未来预测”那一枝,GeoPredict 则在两者之间,用训练期预演给策略注入空间预见力。潜空间表示学习、世界—动作联合预测、观测空间生成,加上“预测什么表示最能帮行动”这个跨越领域的结构问题,全被同一把尺子贯通了。区别只在于回答四个问题时填进格子里的内容不同。
带走一把尺子
所以读到这里,你要带走的不是“哪个方法更强”的排名,而是一把四问尺子。今后任何一篇自称世界模型的论文出现在你面前,都先问:状态是什么、动作怎样进入、未来怎样表示、预测如何被验证。四个格子一填,它站在这片地图的哪里、和谁是一路的、瓶颈大概会出在哪个环节,都会清楚不少。
想看得更远,可以先翻 2025 年的 3D/4D 世界模型综述,它把三维与四维世界模型的术语边界和分类法整理成了大坐标系(覆盖视野到 2025 年 9 月前后)。3D/4D Survey 另外提醒一句,这片林子里还有一支以语言为通用表示的世界模型旁支(如 WorldGPT 一类的讨论),四问框架同样能套在它们身上,只是“状态”那一格填的是语言 token。
按你关心的问题挑延伸阅读的顺序,大概是这样:先把概念骨架补扎实,读《世界模型到底是什么:从预测未来到选择表示》;想追策略应用,依次看《DriveX:不必画出未来,也能学会驾驶世界的规律》《DriveWAM:以世界模型为动态先验的视觉-语言-动作联合生成》《GeoPredict:让机器人在动手之前先预演三维后果》;想深入长时生成与可控数据合成,就看《LIVE:如何让世界模型连续想象几百步而不越想越错》《MemoryForcing:探索新世界与认出老地方,记忆该怎么分工》和《SymphoMotion:镜头在动、物体也在动,怎样仍保持同一个三维世界》。每一篇都是对本文某一格的深挖,读完本文的你已经有足够的地图去定位它们了。
参考文献
本专题引用的核心资料如下,建议深入学习时阅读原文:
- 3D and 4D World Modeling: A Survey — arXiv:2509.07996
- Understanding World or Predicting Future? A Comprehensive Survey of World Models — arXiv:2411.14499
- World Models(Recurrent World Models Facilitate Policy Evolution) — arXiv:1803.10122
- DriveX: Omni Scene Modeling for Learning Generalizable World Knowledge in Autonomous Driving — arXiv:2505.19239
- DriveWAM: Video Generative Priors Enable Scalable World-Action Modeling for Autonomous Driving — arXiv:2605.28544
- LIVE: Long-horizon Interactive Video World Modeling — arXiv:2602.03747
- Memory Forcing: Spatio-Temporal Memory for Consistent Scene Generation on Minecraft — arXiv:2510.03198
- GeoPredict: Leveraging Predictive Kinematics and 3D Gaussian Geometry for Precise VLA Manipulation — arXiv:2512.16811
- SymphoMotion: Joint Control of Camera Motion and Object Dynamics for Coherent Video Generation — arXiv:2604.03723