FCP:只改训练目标,视频模型的物理合理性就涨了,推理期却用不上它
自回归视频生成已经把画面做得足够像,但在长时外推上撑不住。2026 年 10 月的锚点论文 Looking Ahead 给出一组受控实验,指认塌方的第一层原因不在工程实现,而在训练目标本身:teacher forcing 加上视频的时间冗余,让「去噪当前片段」变成一道近乎免费的捷径。它提出的 Future Chunk Prediction(FCP)只做了一件事,把被要求预测的片段从紧邻的下一块推远一点,物理合理性指标就升了,而推理流程一个字都没改。这个收益同时被两条边界框住:它只发生在训练期,也只在一个评测维度上被验证。
一、视频生成早就骗得过眼睛,但「画面接得上」和「世界对得上」几乎是两件事
视频生成模型在「画得像」上早已过关,「世界是否对得上」是另一件事,而现有按帧质量打分的指标根本测不到后者。这一点在 WorldModelBench 的报告里有现成数据:14 个前沿模型里,人类总分最高的是 KLING 8.82/10,但它只有 61% 的视频完整完成了指定任务,12% 的视频违反质量守恒,11% 出现物体互相穿透。同一批 350 条 prompt 上,帧级质量胜率与 VBench 的相关性是 0.69,物理遵循胜率与 VBench 总分的相关性只有 0.28。

图注:WorldModelBench 把「把视频模型当世界模型来打分」拆成三个维度:指令遵循、常识、物理遵循,并在七个应用领域上各放一条指令示例。图下半部分是它的评测工作流:条件帧与文本经过视频生成器得到视频,由判官给出三维分数,还有一条标注为 reward gradients 的虚线从判官回指生成器,说明评测结果可以反过来当训练信号。这张图不含任何模型的分数或排名。WorldModelBench
把这句话变成可判定的术语,要借 2026-10-22 上线的一篇世界模型综述。它把「画面顺」拆成 temporal coherence(相邻帧局部一致)和 world consistency(存在至少一条可容许的世界轨迹能解释这些帧),并明确写「Neither property implies the other」。一个物体离开画面后换了身份、房间两次访问之间改了布局,都可以做到局部平滑却没有任何世界轨迹能解释;反过来,一次硬切破坏了局部平滑,却仍然世界一致。综述的原话更适合当标题:「Temporal coherence is a property of the trace; world consistency is a property of the world the trace implies.」

图注:这张 2×3 分类图把「世界模型」按两轴划格。行是预测空间:观测空间(帧、视频 token、解码成视频的 latent)还是潜状态(视频派生特征,不必解码)。列是转移接口:不接动作、预测前固定一整套控制、还是预测过程中接受新控制。本专题关心的「用观测预测未来观测」整行落在第一行,而它缺的正是第二行那种状态转移。框内标注的代表模型只表示归类位置,不表示性能。WorldModelSurvey
所以「视频撑不过几十秒」不是参数量不够,而是评测目标与建模重心的错位:我们一直在优化一个测不到「世界对不对」的量。
二、下一帧预测的捷径不在工程实现里,而是写在训练目标里
塌方的第一层原因写在训练目标里,不是调参能补的工程 bug。要讲清这一点,先得把 teacher forcing 的定义立住。自回归视频扩散的训练范式有三条:teacher forcing 用干净真值上下文去噪当前帧;diffusion forcing 对每帧独立采噪声级、用带噪上下文去噪;self-rollout 训练时就让模型用自己刚生成的帧当上下文。Self Forcing 论文的三范式总图里,题眼是两条不等号,前两者的输出都不属于模型推理时会产生的分布,只有 self-rollout 让训练分布等于推理分布。

图注:三种训练范式的对照。前两格公式里的上下文取自真实数据(红字),末尾是红色不等号,表示训练时喂进去的和推理时会遇到的是两套分布;第三格上下文换成模型自己生成的帧(绿字),等号变绿,训练与推理对齐。红绿只表示分布是否对齐,不表示生成质量高低。Self Forcing
teacher forcing 的分布错配只是问题的一半。Looking Ahead 把矛头推得更早:在 teacher forcing 下,当前 chunk 的去噪有一个近乎免费的答案,就是相邻 chunk 的时间冗余。论文的原话是,由于视频里有强时间冗余,相邻 chunk 常常有高度相似的 appearance 和 motion 模式,于是模型可以「rely heavily on local visual continuity to recover the current chunk, creating a shortcut that provides limited pressure to capture the underlying dynamics of scene evolution」。监督信号因此几乎不逼模型去理解场景如何演化。FCP
第二层原因是误差沿 rollout 累积,而「多加历史」并不总是有用。Error Analyses 这篇工作把「AR 视频生成撑不过几十秒」拆成两个可计算量:history forgetting 刻画输出与历史帧之间被遗忘的关联,temporal degradation 刻画噪声初始化、score 估计、离散化三类误差的逐步累积。它还给了一个反直觉的补充:与输出条件独立的历史信息是冗余的,加了也没用,这解释了为什么记忆必须压缩而不是无限拉长。需要标注的是,它的下界定理在有限字母表上证明,实验只在 DMLab 与 Minecraft 两个闭合环境里做,不能直接当作视频扩散模型上的定量保证。ErrorAnalyses

图注:Meta-ARVDM 元算法的两阶段结构:左侧初始化阶段先把输入去噪成干净帧,再加噪送入右侧的自回归生成阶段。图上标出实现时需要满足的三条约束(单调性、循环性、0–T 边界),用来说明误差是在流程的哪一步被引入的。图中不包含三类误差的分解,也读不出任何 FVD 数值。ErrorAnalyses
那「物理合理性」在视觉上具体长什么样,可以先看一组个案对照。

图注:左侧一组是同一场景的三帧序列,上排 teacher forcing 的最后一帧中央出现异常塌陷,下排 FCP 的最后一帧沿预期方向倒塌;右侧一组是玻璃杯中冰块融化,teacher forcing 的水位线在最后一帧没变,FCP 的水位随融化上升并标出高度差。这是两个个案,只能当引子,不能当统计证据。FCP
三、判别的钥匙:建模重心落在「下一帧长什么样」,还是「世界状态怎么转移」
判断一个方法站在轴的哪一端,看它把「状态」放在被管理的观测历史里,还是放在紧凑潜变量里;而「预测得更远」不等于「学到了动力学」。2026-01 的一篇立场型综述给出了一套可带走的判别语言。它把状态构造分成两支:Implicit State 用记忆机制管理历史观测(压缩、检索、巩固),Explicit State 把历史蒸馏成紧凑潜变量。论文还写出一个把当代视频模型钉在原地的恒等式:$S_t \equiv O_{1:t}$,「状态」就是整段观测历史本身,于是动力学退化成在观测空间里自回归地追加下一个观测。

图注:状态构造的分类树。左边一支是隐式状态,把状态功能等价于一段被管理的观测历史上下文,框里是压缩、检索、巩固三类记忆机制;右边一支是显式状态,把历史蒸馏成持续更新的紧凑潜变量,再按转移函数是否融进生成主干分为耦合与解耦两类。叶子旁的 e.g. 方法名只是示例,不是该分类下的全部方法。这张图只存在于论文源包,不是论文正式编号插图。StateView
把 Implicit 读成「表象延续端」、Explicit 读成「动力学变量端」是本专题的推断,论文本身称两支是 trade-off 而非对立。StateView
这条轴上还需要一根数学硬骨头,否则「学动力学」会退化成一句口号。2026-09 的一篇立场短文从根上卡住了一步预测:在平方损失下,一步 next-latent 回归识别的只是条件均值,以及残差协方差的迹,「Any noise law with the same conditional mean leaves R_1 unchanged」,也就是说残差分布本身识别不出来。而世界模型需要的不是「一个点的预测器」,是可以自己迭代下去、每个想象步都重新注入新噪声的转移核。
它给出一份可复述的账单:在线性高斯马尔可夫过程 $z_{t+1}=Az_t+\varepsilon_{t+1}$ 下,一步拟合的误差是 $R_1=\operatorname{tr}\Sigma$,而开环跑 K 步的误差是
$$R_K(f)=\operatorname{tr}\sum_{j=0}^{K-1}A^j\Sigma (A^j)^{\mathsf T}$$
于是 $R_{K+1}-R_K=\operatorname{tr}(A^K\Sigma(A^K)^{\mathsf T})\ge 0$。一个标量例子:$x_{t+1}=0.9x_t+\varepsilon$ 时,一步拟合的误差是 0.998,往前滚十六步是 5.10,「A planner that rolls the conditional mean forward for sixteen steps pays about 5.10, not 0.998」。更关键的是 Proposition 1:teacher forcing 下训练损失对 horizon 不变。所以「要报开环误差,不要报训练损失」这条检验口径可以直接拿走。适用范围必须随结论一起给出:正面结论只覆盖线性高斯马尔可夫类,实验是合成过程,不是对视频生成模型的普遍否定。OneLatent
四、2025–2026 的修法集中在三处:记忆 / 上下文、梯度连通、预测位置
三条修法各有分工:主流修的是「模型看到、记住什么」,少数修「训练信号够不够」,最窄的一条直接改「它被要求预测什么」。先说最广的一条。截至 2026-09 的一篇记忆综述把长视频修补工作整理成记忆分类法,用 Forms × Functions 两轴把代表方法摊开,再用 Write → Read → Update → Manage → Integrate 的生命周期串起工程流程。它给出一句把这条线的天花板讲清的话:有效记忆的关键不在容量,而在被保留的状态必须准确、可访问、对后续生成有因果影响。要注意两点:这篇综述自述只覆盖到 2026-09;它同时提醒,类似的长时失效症状并不唯一由缺记忆造成,不能用它论证「长视频崩坏就是因为没记忆」。MemSurvey

图注:记忆机制的总景观图。上半部分是两轴:承载形式(视觉、隐式状态、显式状态、自适应参数)与保存职责(身份、空间、动态、语义、因果);下半部分是写入到整合的操作生命周期,以及记忆学习的三个维度。图里没有评测视角,方法名只表示该综述把它放在该分支,不代表它只做这一件事。MemSurvey
第二条路改的是训练信号够不够。Self Forcing 为了可训练性,把前序帧的梯度从当前帧 detach 掉,代价是历史 chunk 在前向上决定了后续预测,在反向上却拿不到「我对后面有多大影响」的监督。Connected Self Forcing 把这个缺口命名为 cross-chunk gradient gap,并用 shortcut gradient replay 把梯度经历史 KV 状态、再穿过 KV 写入器送回更早的生成计算。它唯一的直接对比对象是 Self Forcing 与并行的 SGF,而且它的评测只落在 VBench-Long 的质量与一致性维度上,没有物理合理性维度。CSF

图注:左右两个流程面板对照。左侧是 Self Forcing,反馈在历史上下文处被截断;右侧是 Connected Self Forcing,紫色虚线表示梯度重放,把后续 chunk 的反馈经历史 KV 状态与 KV 写入器送回更早的生成计算。图里不含任何分数、时长或模型名称。CSF
第三条路最窄,也最直接:改预测的目标位置。Prospective Forcing 不改写主生成器的条件分解,而是外挂一组并行未来预测头,用跨 chunk 自蒸馏把长程预测信号注入共享历史表征;在推理期,被验证器接受的未来 chunk 可以直接跳过完整的采样调用。它与 Connected Self Forcing 同属「改训练信号」这一支,但切面不同:一个改预测的位置,一个改梯度的连通性,两者的评测协议也不同,分数不可通约。ProForcing

图注:左侧是窗口内联合去噪加并行未来预测头:主干先把窗口内若干 chunk 一起去噪得到特征,再由多个头并行预测更远的 chunk 特征。右侧是候选生成与验证:为下一个 chunk 生成若干候选,由学习式验证器选一个或全部拒绝,全部被拒时退回标准滚动推理。图注与正文对候选数量的记载不一致,不要据图断言具体配置。ProForcing
五、FCP 把预测推远了一步:改的是训练目标,推理流程一个字没动
FCP 的全部收益发生在训练期:它不改推理流程、不减推理开销,只把「被要求预测的片段」推远了一步。这正是它受控对比可信的原因,也是它局限的来源。它的目标函数改写非常小。标准 teacher forcing 建模的是 $p(x_{k+1}\mid x_{\le k},c)$,FCP 改成
$$p_{\mathrm{FCP}}(x_{k+\Delta}\mid x_{\le k},c),\quad \Delta>1,\ k+\Delta\le K$$
关键约束是中间那些 chunk 被排除在条件之外。工程上它用更紧凑的写法 $p_{\mathrm{FCP}}(x_{k+\Delta}\mid h_k)$,只条件于 backbone 在该 chunk 处的中间表征,并刻意省略显式文本条件,逼辅助预测器从表征而不是文本里取信息。辅助损失会反传回 backbone,这一点很关键:如果孤立训练预测器,主生成器完全不受影响,FCP 就没有意义。FCP

图注:FCP 的数据流:左侧是自回归 backbone 的 Transformer 堆叠,输入是 clean 与 noisy 两类 latent,输出中间表征,最后一块被引出;右侧是三个参数不共享的辅助块,各自从一个噪声起点去噪,输出更远的未来 chunk。图里没标出偏移集合取值、损失权重,也没标出推理期丢弃哪些模块。FCP
为什么并行头不共享 hidden state,原因藏在 chained 与 parallel 两种监督变体的对照里。chained 在预测器之间传递 hidden states,由于中间未来块本身是带噪的,中间块的信息会沿红色路径泄漏给后面的预测器,削弱对源表征的施压;parallel 让每个偏移直接条件于同一个源表征,偏移之间零信息流,还可以跨 GPU 并发、按偏移启停。实测也印证了这一点:1.3B 模型上 parallel 比 chained 高 0.8 IQ;5B 模型上,chained 只剩边际的 I2V 收益,V2V 甚至没有改善。

图注:两种监督变体的信息流对照。前半(chained)从同一块表征出发依次穿过更远的预测块,红色箭头标出中间未来块的带噪信息会泄漏给后面的预测器;后半(parallel)让每个偏移直接条件于源表征,偏移之间没有横向连接,各块可独立启停。这是设计示意图,不是生成结果。FCP
隔离干净之后,收益可以归因。训练时它同时正则化两条通路:承载历史上下文的 clean 表征,和被逐步去噪的 noisy 表征。消融显示 clean 分支加 1.2 IQ、noisy 分支加 2.3 IQ,两者一起加 3.3 IQ。5B 模型、同数据同设置下,Physics-IQ Verified 上 I2V 的 IQ 从 30.4 升到 33.8,V2V 从 40.6 升到 44.4。要如实指出两点:这些数字是论文自测(198 个样本、固定 prompt 口径、多种子取均值、5 秒续写),跨论文不可直接比;而且并非所有分项都单调变好,3 个偏移那一行的 SP 与 WS 反而低于基线。更重要的是,训练期加的模块在推理期被整块丢弃,推理侧与基线逐字节相同,所以提升只能归因于训练期监督,而不是额外算力。FCP
把 FCP 与同期独立出现的 Prospective Forcing 并排看,能看清「把预测推远」这条轴上实现可以差多远:FCP 改写目标分布并屏蔽中间 chunk,Prospective Forcing 不改写主干条件分解、靠并行特征头注入长程信号,而且推理期会把被接受的候选直接提交。两文互不引用已核实,但是否同团队无法判定;两者评测协议不同,分数不可通约。ProForcing
六、三把尺子量的是这一次续写对不对,不是动力学有没有被学到
物理合理性评测量的是「这一次续写对不对」,三把尺子各有盲区且互不通约。第一把是参照系型。Physics-IQ Verified 用真实物理实验录像当 ground truth:同一个实验拍两遍得到 GT1 与 GT2,GT1 做参照续段,两次拍摄的差异用来估计 trial-to-trial 的物理波动并当作性能上限。Verified 相对原版修了三处:prompt 质量、ground-truth 里的伪激活清理、以及改成样本级等权打分。它最该被记住的证据不是分数,而是排序变化:同一批视频只换 prompt 与打分口径,六个 I2V 模型的 Spearman ρ 是 0.65、Kendall τ 是 0.46,论文自己称之为「moderate but meaningful changes」。这说明跨论文的 Physics-IQ 分数不能直接横向比。PhysicsIQ

图注:上半部分是参照系型评测的管线:条件图像与 prompt 生成续段,与同一实验的两次真实录像 GT1、GT2 分别进入四个指标,GT1 做参照,两者之差给出 physical variation 当性能上限,最后聚合成一个数据集级分数。下半部分三列对照表标出 Verified 相对原版修的三处:prompt 质量、伪激活清理、聚合口径。图里不含任何模型分数。PhysicsIQ
第二把是诊断型。PhyGround 把整体物理分拆成 3 个领域 13 条定律,每条定律再拆成 2 到 3 个二元子问题,配上 459 名标注者的大规模标注和开源的 PhyJudge-9B 判官,走的是「量得更细、更可复现」这条改进方向。第三把是人类偏好对齐型。WorldModelBench 的三维打分与判官奖励对齐已经在前面出现过,这里只补一句它的边界:它的物理遵循胜率与 VBench 总分的相关性只有 0.28,和帧级质量与 VBench 的 0.69 形成对照。三张尺子并列时,读到的不是名次,而是「各自在量什么」。PhyGround WorldModelBench

图注:另一把尺子走的是逐律诊断。左侧把整体物理分拆成逐条定律的打分,并把每条定律再拆成关键子问题(例如阴影为什么失败,可以逐条检查光照方向是否一致、阴影是否附着在物体上);中间展示人评的规模与质控;右侧放出一个开源判官,用相对偏差与闭源判官对照。图上的逐律分数是示意示例,不是模型成绩;相对偏差是聚合口径,不是准确率。PhyGround
三把尺子互不通约这件事,2026-10 的综述给了坐标系级的理由:世界模型的评测现在覆盖控制、记忆、物理有效性与决策效用,但「the resulting numbers are rarely comparable」,因为各套件在 prompt、控制空间、horizon、判官上都不同。它给的协议匹配原则可以直接当选型纪律:「A reporting standard should first match the protocol to the model's prediction space and transition interface」。也就是说,选型时先把自己的预测空间与业务需求对齐,而不是看榜单分数。WorldModelSurvey
收口要把边界说清。FCP 的作者自述了三条局限:辅助预测头的输出保真度不足,还不能直接替代主生成器;推理期如何利用这些头明确写为未验证;实验只覆盖物理合理性这一个维度。而按前面那篇立场短文的判据,FCP 的辅助分支本身就是一种一步 next-latent 预测,训练损失对 horizon 不变,所以「物理合理性涨了」不能被读成「模型学会了世界如何演化」。FCP OneLatent
把建模重心从「下一帧长什么样」挪到「未来怎么演化」,方向是对的,但 FCP 只挪了一步。它证明的是训练目标可以成为支点,不是动力学已经被学到。
参考文献
本专题引用的核心资料如下,建议深入学习时阅读原文:
- Looking Ahead: Modeling Future Evolution in Autoregressive Video Generation — arXiv:2610.29989
- Self Forcing: Bridging the Train-Test Gap in Autoregressive Video Diffusion — arXiv:2506.08009
- Error Analyses of Auto-Regressive Video Diffusion Models: A Unified Framework — arXiv:2503.10704
- A Mechanistic View on Video Generation as World Models: State and Dynamics — arXiv:2601.17067
- One-Step Next-Latent Prediction Is Not a World Model — arXiv:2609.36227
- The Past Frames the Future: Memory for Autoregressive Video Generation — A Survey — arXiv:2609.28466
- Reading, Writing, Sharing, and Interacting with the World through Video: A Survey Toward Unified Video World Models — arXiv:2610.31668
- Prospective Forcing: Learning to Look Ahead for Autoregressive Long Video Diffusion — arXiv:2610.14654
- Connected Self Forcing: Beyond Local Learning in Video Autoregression — arXiv:2610.12156
- Physics-IQ Verified — arXiv:2606.18943
- PhyGround: Benchmarking Physical Reasoning in Generative World Models — arXiv:2605.10806
- WorldModelBench: Judging Video Generation Models As World Models — arXiv:2502.20694