世界模型为何缺乏持久状态——深度解读 WRBench

一句话说清这篇论文在讲什么:当前所有视频生成世界模型都有一个根本性缺陷——当摄像头移开后,它们的内部世界状态就停止演进了;等摄像头转回来,它们恢复的是"被抛弃时的状态",而不是"事件在不可见期间继续推进后的状态"。 这篇 2026 年 6 月提交的论文系统诊断了这一问题,并设计了一个专门评估"持久状态"能力的基准 WRBench,23 个模型在 9600 个视频上集体失败,揭示了仅靠提升画质、改进控制或扩大参数量都无法解决这个根本性架构问题。

1. 世界模型的核心要求:持久状态为何缺失

什么是世界模型? 简单说,就是能够对物理世界进行"内部建模"的 AI 系统——它不仅被动观察视频帧序列,而是在记忆中存在时主动生成逼真帧。打个比方:你闭眼时,月亮依然绕轨道运行,物理事件不因无人注视而停止;真正意义的世界模型也应当如此——摄像头移开时,内部世界状态依然持续演进。

但当前模型的实际行为与此相差甚远。一篇 2026 年 1 月发表的机制性分析论文将视频生成模型的状态表示分为两大范式 A Mechanistic View on Video Generation as World Models:隐式状态通过外部记忆机制管理历史上下文,状态本身等价于"被压缩托管的历史",而非独立变量;显式状态则通过内部化压缩将世界状态蒸馏为全局更新的潜在变量。根据架构关系,显式状态又分为耦合型(状态转换融合在生成主干中)和解耦型(状态与视觉生成主干结构分离)A Mechanistic View on Video Generation as World Models。

图注:隐式状态通过三种功能基元管理历史上下文——压缩(Compression)将原始观测历史压缩为紧凑表示,检索(Retrieval)选择性访问特定历史片段,整合(Consolidation)动态更新记忆缓冲区、集成新观测并淘汰过时信息。三者协同工作,而非线性流程。 A Mechanistic View on Video Generation as World Models

具体来说,隐式状态的代表工作包括 VidToMe、WorldMem、Corgi、FreeLong 等,它们通过 token 合并或汇总向量将历史压缩为紧凑表示,再通过稀疏注意力或键值查找选择性访问历史片段,最后在生成新内容后动态更新记忆缓冲区。显式状态的代表工作则是将世界状态蒸馏为全局更新的潜在变量,状态从瞬态激活向量、参量权重到显式 3D 几何不等。

问题在于:无论哪种范式,当前模型都将观察到的世界视为"跟踪镜头"——一旦目标离开视野,就放弃了状态的持续推进。当摄像头返回,它们恢复的是"被抛弃时的状态",而非"事件在不可见期间继续推进后的状态"。这不是某个模型的 bug,而是整个视频生成范式的系统性缺陷。

论文将这一现象称为状态抛弃(State Abandonment)——与真正的**状态推进(State Advancement)**相对。后者要求:即使目标消失在视野外,世界模型仍需内部推进事件的发展进程,等到摄像头转回来时,目标的呈现必须与暗中发生的事件结果一致 Current World Models Lack a Persistent State Core。

图注:左侧展示 Natural-25 数据集的 25 种真实场景覆盖范围,涵盖厨房、客厅、办公室等多种日常环境;右侧展示不同视角条件下的最佳诊断值,将"可观测性"与"状态正确性"分离评估——区分了"能否重新看到目标"和"重新看到的目标状态是否正确"两个独立问题。 Current World Models Lack a Persistent State Core

这一"分离评估"的设计非常关键——它避免了一个常见的评估误区:将"能否重新看到目标"与"重新看到的目标状态是否正确"混为一谈。模型可能在两者之一上表现良好,但在另一个上完全失败。WRBench 的设计让研究者能够独立诊断每个维度。

2. WRBench:摄像头作为"可观测性干预"的诊断基准

如何系统诊断"持久状态缺失"这个问题?论文的核心方法论贡献是 WRBench——首个将摄像头运动本身视为"可观测性操控"而非简单控制信号的评估基准 Current World Models Lack a Persistent State Core。

传统视频生成评估关注"视频质量好不好"、"运动流不流畅"、"控制信号有没有遵循",但这些都无法捕捉状态持久性问题。WRBench 的核心洞察是:摄像头运动本质上是对世界可观测性的人为干预。当摄像头移开,世界模型需要继续内部推进世界状态;摄像头返回时,系统必须能够呈现与暗中发生事件结果一致的状态。

具体而言,WRBench 提出了三个链式评估问题,每个问题检验一个递进的能力维度:

第一问:摄像头是否执行了指定交互?(Control Execution)模型是否按照提示执行了指定的摄像头运动?这一问是基础——如果摄像头运动本身都没执行到位,后续诊断就无从谈起。

第二问:场景是否保持连续可辨识?(Visible Continuity)当摄像头可见时,场景内容是否保持时间连续性和空间可辨识性?目标的外观、位置、状态是否在时序上连贯?

第三问:返回目标是否与暗中发生的事件结果一致?(Re-observed State Consistency)这是最关键的一问。当目标重新出现时,其状态是否与事件推进后的预期结果相符?模型能否在不可见期间正确推进事件状态,而不是简单地将目标"恢复"到被抛弃时的状态?Current World Models Lack a Persistent State Core

图注:WRBench 完整流程分为四个阶段——Natural-25 事件-视角记录数据集提供场景、事件和视角干预条件;WRBenchLib 将每条记录转化为各模型的生成视频及溯源记录;评估套件从控制执行到重观测状态一致性等六个诊断维度打分;最后由人类偏好标注独立校准每个维度。 Current World Models Lack a Persistent State Core

这一设计的精妙之处在于:将摄像头运动操作化为一种"干预",从而把"持久状态"这一抽象概念转化为可测量的问题链。 前两问检验基础执行能力,第三问直接指向状态推进的核心——模型能否在不可见时继续演进事件结果,而非仅仅让目标"合理地重新出现" Current World Models Lack a Persistent State Core。

实验涵盖 23 个模型、9600 个视频、4 种控制范式,场景覆盖 Natural-25 数据集中的 25 种真实日常场景。这使得诊断结论具有广泛的代表性和可信度。Natural-25 的场景设计特别关注日常环境中的物理交互——厨房、客厅、办公室等,这些场景中的物体状态变化(碗摔碎、门开关、物体移动)都是普通人能够直观理解的事件,便于评估员判断模型是否正确推进了状态。

3. 23 个模型的共同失败:状态恢复而非状态推进

实验结果揭示了一个深刻结论:所有模型在状态推进能力上集体失败,失败模式跨控制范式、跨模型家族、跨尺度增量普遍存在 Current World Models Lack a Persistent State Core。

最核心的发现是状态恢复(State Restoration) 与状态推进(State Advancement) 的根本区别。当目标消失后重新出现,当前模型做的是"恢复"——将目标恢复到被抛弃时的状态,而不是"推进"——让目标呈现出事件在不可见期间继续推进后的状态。

举个具体例子:假设一个场景中,机器人将桌上的碗推落到地上并摔碎。如果摄像头在碗摔碎后移开,等摄像头返回时,正确的结果应该是碗保持碎裂状态(因为摔碎事件已在不可见期间发生);但当前模型的典型行为是——碗"神奇地"恢复了完整的初始状态,因为模型并未真正推进"碗坠落并摔碎"这一物理事件,仅仅是"记住了"碗被推走前的画面。这个例子生动说明了状态抛弃的本质:模型存储的是"最后一帧的画面",而不是"导致那一帧的世界状态以及世界状态在不可见期间如何演进"。

论文将这一顽固瓶颈称为 Endpoint Binding——端点绑定。即使模型能够成功创建"让目标重新出现"的事件(即通过运动控制让摄像头重新捕捉到目标),保持事件端点(目标最终状态)的正确性仍然是一个巨大挑战。模型擅长"让东西回来",但不擅长"让回来的东西处于正确的状态" Current World Models Lack a Persistent State Core。

图注:对 Wan 系列模型的诊断显示,在规模/版本、架构和训练信号三个维度上,访问改进(access,即"让目标重新出现"的能力)始终比端点持久性(endpoint persistence,即"保持正确最终状态"的能力)更容易提升。这说明即使模型学会了"让目标重新出现",依然无法保证"目标状态与事件推进后的预期结果一致"——状态推进能力是架构层面的根本性问题。 Current World Models Lack a Persistent State Core

更值得警惕的是,论文明确指出:这一根本性缺陷不能通过以下方式解决——更清晰的图像质量、更紧密的控制信号、更丰富的几何先验,或纯粹的参数量增长。 这些改进能让模型更好地"生成好看的视频"和"遵循控制指令",但无法让模型真正理解"世界在不可见时如何展开"。状态推进能力缺失不是工程优化问题,而是架构层面的根本性缺陷 Current World Models Lack a Persistent State Core。

论文因此提出:世界模型的设计应当将状态核稳定性(stability of the physical state kernel) 和视角干预下的世界线一致性(consistency of worldlines under viewpoint intervention) 作为首要目标。世界模型应当捕获"世界将如何展开"而非"下一帧如何呈现"。

为什么这篇论文值得关注

这篇论文之所以重要,在于它重新定义了什么才是真正的世界模型能力 Current World Models Lack a Persistent State Core。过去的评估基准关注视觉质量、运动流畅度、指令遵循性,但这些都是"生成能力",而非"建模能力"。一个真正意义的世界模型,其核心价值在于:对物理世界进行内部建模,能够在记忆中推进事件的因果发展——即使当前没有观测到。

论文揭示了一个被长期忽视却根本性的问题:当前模型将视频生成当作"下一帧预测"或"控制信号执行"来处理,而不是"世界状态演进"。这种范式下,即使模型生成的视频再逼真、再连贯,也只是"看起来合理"——因为当摄像头移开再返回时,它无法保持世界状态的持续演进,而是在不断"重置"和"恢复" A Mechanistic View on Video Generation as World Models。

这也解释了为什么该领域近年来的评估范式正在发生深刻转型:从视觉保真度(Visual Fidelity)评估转向功能性基准(Functional Benchmark),测试物理持久性(Physical Persistence)和因果推理(Causal Reasoning)能力 A Mechanistic View on Video Generation as World Models。多份同期工作——包括 WorldOlympiad(物理/几何/交互三维评估)、MBench(长期记忆三层能力分解)、WorldReasonBench(世界状态推理四维度)——都从不同角度呼应了同样的核心诉求:世界模型评估应当从"视频好不好看"走向"模型是否真正理解世界如何运转"。

当然,这篇论文也有局限性。23 个模型虽然覆盖面广,但视频生成领域发展迅速,新模型层出不穷;WRBench 专注于持久状态问题,对因果推理等世界模型的其他重要能力维度覆盖有限;此外,评估主要基于诊断性实验,在实际应用场景中的适用性还需进一步验证。

但无论如何,这篇论文为世界模型研究指明了一个关键方向:状态核稳定性与视角干预下的世界线一致性,应当成为下一代世界模型设计的核心目标。这不是靠更大、更好看的模型能解决的,而是需要从架构层面重新思考如何让模型真正"理解"世界在时间维度上的持续演进。


参考文献

世界模型为何缺乏持久状态——深度解读 WRBench 论文