LDR 凭什么外推？把运动学写死在架构里，网络只学残差

两年多来，视频生成模型把"未来长什么样"画得越来越真。可"画得真"与"预测了世界"之间的距离，比多数人以为的大得多。这篇专题想回答一个问题：什么样的视频世界模型才算真的学到了世界？我们会先用一个反直觉的实验拆掉"高观感 = 世界模型"的直觉，再把"外推"重定义成可检验的判据，随后解剖一个把运动学写进架构的具体解法 LDR，最后给你一把用来判断"该信哪部分"的评测尺子。

1 画得越真，离世界模型就越近吗？

给定开头几帧，扩散模型能把后续画面续写得足够自然，肉眼几乎分不清真伪。于是"视频生成正在逼近世界模型"的论断流行起来。这个论断里藏着一个需要被拆开的等价关系：画面逼真，等于预测了世界吗？前者只要求像素好看，后者要求模型真的理解"接下来会发生什么、为什么"。

要在受控条件下回答这个问题，Kang 等人（ICML 2025）把测试床做成了极简的白盒。三个场景，每个只含一条运动定律，纯色背景、无任何纹理：匀速直线运动对应惯性定律，两球的一维弹性碰撞对应动量与能量守恒，抛体运动对应牛顿第二定律。物理上简单到这个程度，连解析解都能直接写出来。

图注：PhyWorld 测试床的任务示例：三行降采样视频帧分别是球的匀速直线运动、两球弹性碰撞和抛体运动，箭头指示时间方向。场景简单到只剩一条运动定律，如果连这都外推不了，问题就出在方法而非数据复杂度。PhyWorld

就在这么简单的场景上，作者把泛化切成三档：分布内（ID，潜在参数在训练范围内）、分布外（OOD，参数超出训练范围）、组合（每个对象都见过，但没见过它们的组合）。然后做了一件最朴素的事：沿两条轴同时放大模型。模型从 DiT-S 的 22.5M 参数一路放到 DiT-XL 的 456M，训练数据从 30K 条涨到 3M 条。结果形成一个教科书式的分裂：分布内误差一路下降，匀速任务的 ID 速度误差从 0.022 压到 0.012，已经逼近从生成帧里解析速度的解析下限 0.010；分布外误差却钉死在 0.427，比 ID 高出一个数量级。DiT-B 的表现更极端：0.433、0.328、0.358，三个数据规模下的 OOD 误差几乎是随机游走，数据喂得越多毫不改善。PhyWorld

图注：三任务 × 三数据规模的误差网格，每格把 DiT 各尺寸模型的分布内误差段与分布外误差段叠在同一根柱上：分布内段随数据规模明显下降，分布外段基本持平甚至随机。注意不要凭柱高读具体数值，正文数字以论文文字为准。PhyWorld

这里值得停一下。scaling 是这个领域最被信任的通用法则，"更大模型 + 更多数据"在分布内几乎从不让人失望，但它买得到"分布内更准"，买不到"分布外还成立"。组合泛化那条路反而有救：在 PHYRE 测试床上，训练模板从 6 个加到 60 个，模板外视频的异常率从 67% 掉到 10%。也就是说，组合泛化要靠拓宽组合空间，而不是靠堆数据量。

更值得警惕的是模型失败的方式。作者训了两个模型：Set-1 只见过从左向右的匀速球，Set-2 在训练里混入了水平翻转的样本。在 OOD 低速区，Set-2 偶尔生成反向运动的视频，而这些视频不是物理上合理的预测，是按最近像素距离抄出来的训练样本。作者把这种泛化称为 case-based generalization（基于样例的泛化）。对偶实验进一步暴露了属性优先级：color > size > velocity > shape。颜色翻转改变大量像素，在 VAE 潜空间里信号最大，所以模型优先保住颜色；形状只动边缘，最不受待见。模型没有在学物理，它只是在抄视觉上最近的邻居。

第一个结论因此很硬：观感与分布内指标的高分，不能证明模型学了世界。把预测误差压在像素上，网络只会学会延续表象。这也正是下一章要回答的问题的起点：那到底什么才算外推？

2 多续几秒，算外推吗？

"外推"这个词在视频生成的语境里被用得很随意。很多人把"多续几秒"当作外推的证据：模型生成了更长的视频，看起来在往前走。但从第 1 章的实验看，续写可以纯粹来自短期时序相关性，不需要任何对世界的理解。

LDR 论文给外推下了一个可操作的定义：同一运动定律、不同初始条件。训练时模型见过速度 v 落在某个区间、半径 r 落在某个区间内的场景；外推要求把这些参数推到区间之外，模型仍然能由当前状态推出后续状态。这里变的是初始条件，不变的是定律与评测协议。五个白盒任务（匀速、抛体、碰撞、弹跳、逼近）各自的分布内外范围被写得明明白白：

于是"是否外推"变成一个可检验的判据：ID-OOD gap = max(0, OOD − ID)，其中 ID、OOD 分别是从预测帧里解析出的位置与半径误差。ID 误差小说明模型内插得好；OOD 误差小说明分布外也成立。小 gap 只说明分布变化没有额外放大误差，必须同时查看 ID 和 OOD 的绝对误差，尤其当 OOD 误差足够低时，才能把它读作外推证据。这个式子把"外推"从形容词变成了实验设计：你可以直接拿它去和任何模型对质，不用靠肉眼评判生成视频。LDR

顺着这个判据往回看第 1 章的失败，会得到一个方向性的判断：在像素上续写这条路，天花板写在神经网络的性质里；要跨分布，动力学必须作用在一个足够低维、承载着物理量的东西上。LDR 给出的就是这条"第三条路线"的完整形态：

图注：LDR 三阶段总览。给定三帧条件帧 I₀, I₁, I₂，(A) 把每帧编码成结构化潜变量；(B) 测量低阶时间导数、用 f_θ 回归高阶残差，再数值积分得到下一时刻潜变量 ŝ_t；(C) 用 warp flow 把条件帧渲染成预测帧 Î_t。全程单次前向，没有迭代扩散采样。LDR

图里最值得记住的是"潜状态"这个中间层：外推判据落到架构上，就是让演化发生在这一层，而不是像素层。这条路线内部是否真的可靠，正是下一章追问的中心。

3 LDR 凭什么把 ID-OOD gap 缩小 24 倍？

如果没有机制支撑，缩小 gap 可能只是评测的偶然。所以要看架构。LDR 的推理是单次前向，分三个阶段。

第一阶段是构造 structured latent（结构化潜变量）。每一帧经过 CNN backbone 得到特征图，marginal soft-argmax（一种可微的定位操作，把离散的"取最大位置"换成加权平均，从而能反向传播）把每个通道转成空间分布，再取质心 μ 与尺度 σ。每帧由此被压成一个几何坐标 s_i = (μ_i, σ_i)。这个表示的要点在于它丢掉了外观和语义包袱：描述一个运动的球只需要圆心和半径，不需要它的纹理，s 就是那个"只需要"的版本。

第二阶段是显式运动学积分。前三帧的差分直接给出 0/1/2 阶导数：ṡ₀ = (s₁−s₀)/Δt、ṡ₁ = (s₂−s₁)/Δt、s̈₀ = (ṡ₁−ṡ₀)/Δt，取 Δt = 1。随后滚动推进：对 t = 3 … T，网络 f_θ(ṡ_{t−3}, ŝ_{t−3}) = tanh(MLP(·)) 只回归三阶以上的残差，再用数值积分依次更新 s̈、ṡ、ŝ。关键是这个分工：低阶动力学是被测量出来的，不是被学出来的；需要训练的只有 f_θ，一个宽 256 的三层 MLP。

第三阶段是 warp 解码。转换模块 T_ψ 从 s₂ 预测到 ŝ_t 的稠密 warp flow（把像素从一帧搬到另一帧的位移场），渲染器 R_ψ 把条件帧 I₂ 沿流场搬动，得到预测帧 Î_t。没有迭代扩散采样，没有 test-time optimization，一帧就是一次前向。

图注：LDR 官方架构图。A 段：输入帧经 CNN 得到卷积潜变量，Marginal Soft-Argmax 取边缘分布，用质心与尺度压缩成 s = (μ, σ)；B 段：前三帧差分初始化 0/1/2 阶导数，红框内的 f_θ 只回归三阶以上残差，其余阶数靠数值积分推进；C 段：Transform 预测 warp flow，与条件帧 I₂ 合成预测帧。LDR Project

这个"低阶测量、高阶残差"的分工是整篇论文最核心的设计抉择，直接兑现了那句口号：把归纳偏置写进架构，而不是写进数据。LDR

效果数字在五个任务上非常整齐。256² 单任务训练下，LDR 的 ID-OOD gap 是 0.013，DiT-S baseline 是 0.300，缩小 23.9 倍；联合五任务训练下是 0.018 对 0.506，缩小 27.7 倍。参数上 LDR 4.1M 对 DiT-S 106.1M，小 25.9 倍；在 A100-80G 上生成一段 32 帧的 clip，LDR 用 0.0363 秒，DiT-S 用 5.2069 秒（50 步 DDIM），快 143 倍。这两个优势来自同一个设计：不只外推更稳，负担也更轻。LDR Project

图注：单任务 256² 的官方数值表。每列一种方法（DiT-S baseline、去掉动力学推理、去掉结构化潜变量、完整 LDR），各分 ID / OOD / Gap 三列，Gap = max(0, OOD − ID)；非 LDR 方法的平均 Gap 后括号标出与 LDR 的倍数差距（如 23.9×）。注意表内数值是模型内部坐标，不是像素距离或物理单位。LDR Project

有一个数字值得单独拿出来：分辨率从 128 升到 256，DiT-S baseline 的联合训练 OOD 位置误差从 0.222 涨到 0.592，误差随算力投入变大；LDR 反而从 0.114 降到 0.068。这违背"算力更多一定更好"的直觉。这组结果与"高分辨率有利于 LDR 从帧里提取更精确的状态测量，却没有让这个 DiT 基线的 OOD 表现跟着变好"的解释一致，反过来说明基线那部分误差翻倍并非来自分辨率不足。但单凭这一组对比并不能确定原因：误差的变化是分辨率、模型容量与训练机制共同作用的结果，这里观察到的只是该实验设置下的现象。论文把它的解读写进了口号：explicit dynamics reasoning makes OOD error track ID error，显式动力学推理让 OOD 误差跟随 ID 误差。

当然要回答那个怀疑：它会不会只是另一种压缩过的视觉捷径？两组 ablation 把架构拆开。去掉动力学推理，退化成直接回归 s_{t+1} − s_t，单任务 gap 从 0.013 回到 0.168；联合训练下它甚至在 ID 上就失败（0.494 对 LDR 的 0.050），因为它无法区分五个运动机制，比如给匀速任务也施加了向下的拉力。去掉结构化潜变量，换回 DiT-S 的冻结 VAE，动力学推理原样保留，gap 回到 0.133，联合训练下 0.133 对 baseline 的 0.506，依然比 LDR 的 0.018 差一大截。两个组件缺一不可：外推能力由架构分工产生，而不是由某个单一组件白送。

图注：单任务训练下的 OOD 定性对比。每行一个物理任务，每列一种方法（GT、DiT-S、去掉动力学推理、去掉结构化潜变量、完整 LDR），每格是预测帧加误差图，误差图越暗越好。LDR 列贴近 GT，其余三列明显漂移。LDR

这张图有个值得保留的注脚：逼近（looming）任务里，去掉动力学推理的变体 gap 反而最小，这不是因为它外推好，而是它在 ID 上就已经失败（论文脚注）。读任何 ablation 结果都要先问：它是在哪一档上失败的。

图注：严重 OOD 偏移下的压力测试。模型只在"红球"上训练，测试换成训练时完全没见过的对象与方向（Pikachu、足球纹理、蓝方块反向运动），LDR 仍预测出正确运动，其余方法明显偏离。注意实验范围仅限该仿真球的纹理与外观偏移，不要引申到自然图像。LDR

到这里必须诚实地划一条线。LDR 的全部漂亮结果都来自 PhyWorld 的白盒小球仿真：简单几何对象、单一运动定律、无纹理背景。论文自己声明，扩展到更丰富乃至真实世界场景是 future work。小球的几何坐标可以轻易剥离外观，自然视频里的运动对象远没有那么干净。所以正确的读法是：LDR 证明了"把运动学写进架构"这个原则在小球仿真上成立，而且反直觉地稳定；它没有证明这条原则在自然视频上自动成立。带着这个边界，我们再往上游追一层：为什么把动力学作用在潜状态上，才是外推的正路？

4 为什么把动力学作用在潜状态上，是小球外推的有利归纳偏置？

控制论早就回答了"外推从哪来"这个问题的一半。观察一个系统时，我们总面对两个层次：观测是高维的、含噪的像素流；足以预测未来的信息，却凝聚在一个低维的状态里。经典的状态空间模型（state-space model）用两条方程描述这个结构：状态方程说明潜状态如何随时间演化，观测方程说明潜状态如何生成我们看到的像素。动力学作用在低维状态上，像素只是状态的投影。

图注:动力学作用于低维潜状态，高维像素只是它的投影

这条观念从 Kalman 滤波一路传到深度学习时代。deep SSM 综述把它讲得很清楚：观测可以高维且含噪，但动力学应作用于一个足以预测未来的低维潜状态过程；VAE 的 decoder 就是观测方程的化身。Deep SSM Review

在这个框架里，学习任务被切成两半，这条边界对 LDR 的论证至关重要。系统辨识（system identification）估计的是模型的参数 θ 和潜过程 z 两者；状态估计（state estimation）则在 f、g 已知时只估计当前的潜状态 z。已知的东西越多，要学的东西越少，约束越强。可以这样想：工程师拿到一台机器，如果内部结构与参数都已知，他只需要估计机器现在处于什么内部状态；如果这是一台黑箱，他必须连结构带状态一起猜。LDR 的巧妙之处就在这里：它把已知的运动学（0/1/2 阶导数关系、数值积分的更新规则）直接写进 f，等于声明"机器的结构已知"，网络只需要学残余的部分（三阶以上）和对状态的估计。一个问题被从最难的系统辨识一侧，推到了更接近状态估计的一侧，这正是它 ID/OOD 一致的合法性来源。

再看神经网络这一侧的答案。Xu 等人（ICLR 2021 Oral）给出了直接回归器在分布外失败的机制：在 NTK 机制下，两层 ReLU MLP 沿偏离训练分布的方向，预测会以 O(1/t) 的速率收敛成一个线性函数。非线性目标在分布外被快速压扁，外推自然瓦解。同篇论文给出的出路是一个假说，linear algorithmic alignment（线性算法对齐）：把对预测有用的非线性写进架构或输入表示，让 MLP 子模块只需要学近似线性的步骤，外推才可能成立。ExtrapolateNN

图注：linear algorithmic alignment 假说的示意。左面板：sum 聚合让 MLP 必须学非线性步骤（红叉），min 聚合把非线性写进架构、MLP 只学线性步骤（绿勾），对应 Bellman-Ford 算法里的 min 操作；右面板：把输入先变换成合适表示再回归（绿勾）优于直接回归（红叉）。这幅图说明的是"架构内置非线性帮助外推"这一机制，不是说 GNN 在任意任务上都外推良好。ExtrapolateNN

LDR 的"0/1/2 阶数值积分 + 三阶以上残差回归"就是这个假说在刚体运动上的物理实例：对预测有用的非线性（运动学）被从数据里挪进了架构，f_θ 只学剩下的近似线性步骤。这也解释了为什么它能外推而 DiT 不能：不是模型更大，而是非线性待在它该待的地方。

把视野拉开，会发现"把动力学作用在潜状态上"不是 LDR 的发明，而是世界模型领域一条成熟的路。RL 派最成熟的实例是 DreamerV3：它的 RSSM（循环状态空间模型）同时维护确定性的循环状态 h_t 和随机潜变量 z_t，actor、critic、reward 全部从 (h_t, z_t) 读特征，并用 latent imagination（潜空间想象）在潜空间里 rollout 整条轨迹，同一组超参跑通 150+ 任务。DreamerV3

图注：DreamerV3 训练流程。左半是 World Model Learning：encoder 把图像观测编码成潜变量 z_t，循环状态 h_t 在动作条件下演化，dynamics predictor 从 h_t 预测下一时刻的 ẑ_t，decoder 重建观测；右半是 Actor Critic Learning：actor 与 critic 在潜空间想象的 (h_t, z_t) 轨迹上学习。DreamerV3

潜空间预测派的另一个代表 V-JEPA 2 走了一条对照的路：在超过 100 万小时的互联网视频上用 mask-denoising（掩码去噪）做特征预测，让模型隐式学到场景中可预测的部分，配套的 V-JEPA 2-AC 用不到 62 小时的机器人数据就能零样本控制机械臂。但它没有把任何运动学方程写进架构，动力学完全靠自监督隐式带出。V-JEPA 2

LDR 比它多走的一步，就是把动力学显式化。但这条对照能说明的只有一点：V-JEPA 2 的动力学由数据隐式学到，没有借助任何运动学先验。能不能由此断言它只拥有"潜空间统计"、算不上"学到动力学"，单凭本文的白盒小球任务无法判定；把显式与隐式当成能力分界，是把特定测试床上的结果拔高成了普适结论。三线合起来是一条谱系：DreamerV3 用 RL 信号训练潜动力学，V-JEPA 2 用自监督让动力学隐式涌现，LDR 把运动学直接写进架构，并用 ID-OOD gap 这种反事实评测去检验它。就本文的小球外推任务而言，显式运动学是被 LDR 证据支持的有利归纳偏置；它是否也是自然视频上的普遍正路，仍留在第 3 章划出的边界之外。

5 FVD 低分能证明模型懂了世界吗？

现在假设你不需要自己训练世界模型，只需要判断别人的宣称靠不靠谱。最常见的证据是 FVD（Fréchet Video Distance，视频分布距离）。注意 FVD 是距离指标，数值越低越好，代表生成视频分布与真实视频分布越接近。FVD 低分能证明模型懂了世界吗？Ge 等人（CVPR 2024）给出了一个干净的反例。FVD 用 I3D 特征，而 I3D 是在 Kinetics-400 上训练的动作识别分类器，它的训练目标只关心"视频里是什么动作"，不关心"动作的演化是否合理"。

作者设计了对照实验：对六个数据集各做两种失真，纯空间失真保持时序一致，时空失真额外引入时序错乱，并保证两组的单帧画质相近。单帧画质用 FID 验证，两组几乎一致。但 FVD 的反应弱得不成比例。

图注：六个数据集上纯空间失真与时空失真的对照。两组失真的单帧画质（FID）几乎一致，变化在 ±1% 以内；FVD 的反应却随数据集天差地别，FaceForensics 只有 +3.6%，Sky Time-lapse 是 +35.7%。注意 +3.6% 不是"找到了平衡"，而是"几乎不感知时序失真"。FVD Bias

更狠的一刀在下一张表。把生成视频冻成完全没有运动的静态帧，再重采样去最小化加权 FVD，FVD 可以被拉低 34.4% 到 49.9%。

图注：冻结运动后的重采样实验。对 DIGAN、TATS、StyleGAN-V、PVDM 在 UCF-101、Sky Time-lapse、Taichi-HD、FaceForensics 上的结果：在 I3D 特征下，"无运动静态帧 + 重采样"能把 FVD 拉低 34.4% 到 49.9%；换成自监督 VideoMAE-v2 特征后降幅收缩到 9.7% 到 11.1%。这张表的用意不是给模型排序，而是证明"没有运动也能刷低 FVD"。FVD Bias

这两个结果组合起来打穿了"FVD 越低 = 越懂世界"的隐含假设：第一组说明 FVD 对时序失真迟钝，第二组说明它连"有没有运动"都不在乎。一个可以被静止帧刷低的指标，当然不能用来证明动力学被学会了。论文进一步指出根源在训练目标：把特征换成自监督的 VideoMAE 后灵敏性大幅恢复，说明偏置来自 I3D 的监督信号，而不是网络结构本身。FVD Bias

这不是 FVD 独有的毛病，而是一种普遍的结构性错位，方法学文献称之为 objective mismatch（目标错位）：训练动力学模型用的目标（单步预测似然、重建误差）与真正重要的目标（下游决策性能）常常不相关。把 FVD、FID、PSNR 这类感知指标当作世界模型的主指标，正是这种错位在生成式世界模型里的重演。

方法学的出口是一把证据阶梯。L0–L7 按"对决策用途的回答强度"排序，视觉保真只占第一级，真正的分水岭在第四级。

图注：L0–L7 证据阶梯表。每一层回答一个关于世界模型有用性的更强问题：L0 视觉保真（FID/FVD）、L1 未来帧预测、L2 语义对齐、L3 物理合理性、L4 动作可控性与干预保真度、L5 奖励价值保真、L6 策略评估与排序、L7 策略优化与规划效用。L4 是把"未来视频先验"与"决策世界模型"分开的第一道门槛。L0-L7 Ladder

这把阶梯教我们正确地读证据。L0 到 L3 是诊断层，评估的是生成出来的东西长什么样；L4 开始问干预问题：模型对动作或初始条件的改变是否做出正确反应。L4 是把"未来视频先验"与"决策世界模型"分开的第一道门槛，也是必要条件而非充分条件。把前几章的实验放回阶梯：LDR 的 ID-OOD gap 正是 L4 反事实证据的范例（它的测试床没有 action 接口，相当于把初始条件当成干预变量的 L4 弱版本），PhyWorld 的 case-based 翻向实验则是跨分布证据。上一章那些数字的分量，不来自画面质量，而来自它们站在 L4 的位置上。L0-L7 Ladder

更近的方法学综述则把评测切成了三轴：Quality（画质与短时动态）、Persistence（长时一致性与记忆容量）、Causality（时间推理与干预响应），并把"状态怎么造"分为 implicit（隐式记忆管理）与 explicit（显式紧凑潜变量）两范式。它给的是一个坐标系：任何世界模型的宣称，都可以放进某个格子里，然后问一句"它证明到哪一格了"。MechView

回到主线，把五章的证据收拢成一把尺子：看到任何"视频世界模型"的宣称，先不要看生成样例，先问三件事。有没有干预式的反事实实验：改变初始条件或动作后，预测是否随之正确变化？跨分布误差有多大，而不是只报分布内指标？长期误差是否累积，以及误差累积在画质上还是动力学上？漂亮视频不能证明世界模型能力，能证明的是潜状态在分布变化下仍然成立的动力学。

总结

LDR 在这个意义上是一个完整的示范：它定义外推，把运动学写进架构，用反事实评测给出证据，再用两组 ablation 提供证据，表明在该白盒设置中结构化潜变量与显式动力学分工都不可少。更重要的，它把"世界模型"从宣传词还原成了可检验的实验。自然视频能不能复制这套打法，是它留给后续问题的边界，也是你可以带着这把尺子自己去判断的事：下次看到任何"世界模拟器"的宣称，先找 L4 以上的证据，再谈观感。

参考文献

本专题引用的核心资料如下，建议深入学习时阅读原文：

1. Learning How the World Evolves: Extrapolative Video World Models via Latent Dynamics Reasoning — arXiv:2608.09926
2. How Far Is Video Generation from World Model: A Physical Law Perspective — arXiv:2411.02385
3. How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks — arXiv:2009.11848
4. Mastering Diverse Domains through World Models — arXiv:2301.04104
5. V-JEPA 2: Self-Supervised Video Models Enable Understanding, Prediction and Planning — arXiv:2506.09985
6. On the Content Bias in Fréchet Video Distance — arXiv:2404.12391
7. A Mechanistic View on Video Generation as World Models: State and Dynamics — arXiv:2601.17067
8. Deep Learning-based Approaches for State Space Models: A Selective Review — arXiv:2412.11211
9. How Should World Models Be Evaluated for Embodied Decision-Making? A Decision-Making-Centric Position — arXiv:2606.15032
10. LDR Project Page — https://lat-dyn-reason.github.io/