SolarWM：视频世界模型全栈开源，验证却只剩一帧帧连贯的画面

可交互的世界模型，为什么卡在“不可复现”？

SolarWM 用来训练的短片，短则只有 5 秒；它要交付的能力，却是握着一条相机轨迹，把镜头每转一个角度后“会看到什么”逐帧演算出来。给它一张街景照片和一条镜头指令，向前推、左转、绕到咖啡馆后面，它替你预演一段从未亲历过的未来，10 秒、1 分钟、1 小时，建筑、行人和光影始终从正确的位置生长出来。这不是剪辑软件在拼接素材，而是一个只见过几秒钟连贯世界的模型，在一帧一帧地推演从未见过的画面。“短训练、长推演”这类主张，恰是这个领域里最难被验证的那一种：想确认它不是幻觉，就得把整套实验原样重跑一遍，而这个领域偏偏做不到。

这类模型叫视频世界模型（video world model），本质是一个环境模拟器：给它一段观测和一条相机轨迹，它替你在脑海里预演“如果镜头这样走，世界会变成什么样”。要说单点能力，这个领域并不缺先行者：DIAMOND 早在 2024 年就把扩散世界模型训练成了能玩 Atari 的游戏引擎，26 个游戏上拿到 1.46 的 mean human-normalized score DIAMOND；Diffusion Forcing 则用“以噪声为掩码”的思路，把自回归与全序列扩散统一成能因果长程推演的模型，训练 72 帧就能稳定 rollout 到 2000 帧以上 Diffusion Forcing。做到这种水平的不止一家，可这个领域还是卡着不动。卡住它的不是能力，而是另一件事。

SolarWM（arXiv 2609.02886）给出的诊断很直接：问题出在“异构数据 × 异构基座”一旦耦合，一切就不可复现 SolarWM。数据这边，10 个视频数据集在时长、画质、运动分布、caption 风格、镜头约定上各说各话；基座那边，每个视频生成模型的 latent 表示、注意力结构、条件机制都不同。现实中的研究工作通常是“自家私有数据 + 自家私有基座 + 自家私有配方”三件套，结果就是两家论文之间没法比较，也没法接力。想在别人的成果上继续，等于把他整个系统重建一遍。对“5 秒训练、长程推演”这类主张来说，这尤其致命：行为本身没法被独立复现，主张就没法被验证。

这个判断的分量，要放在当下的时间点才看得清。世界模型是具身智能、游戏、影视预演的下游地基，而这三条路全都依赖“别人能接着我的成果继续”；接力的前提，是数据怎么来、模型怎么改、训练怎么跑，每一层都可复现。SolarWM 的应对是逐层解耦：数据层、模型层、训练层，每一层都拆开，并且每一层都开放。这篇论文的叙事，就是沿着这三层一层层往下钻；而“5 秒训练、一小时推演”那个反常能不能立住，也要等三层都落定才有答案。

先从最底下的一层开始：十个各说各话的数据集，凭什么能被当成一个整体来训练？

十个各说各话的数据集，怎么拧成一条“帧对齐”的流水线？

数据层的答案是先统一“原材料”。SolarWM 的数据引擎从 ABOT-World、DL3DV、MiraData、SpatialVID、Sekai-Game、Sekai-Walking 等 10 个公开数据集中，整理出 1.43M 条规范片段，分属 14 个数据 owner，物理存储约 25.85 TB SolarWM。

每一条片段都被压进一个帧对齐的七元组契约：视频、度量尺度的相机到世界变换、逐帧相机内参、稠密 caption、来源与媒体元数据、完整质量指标记录、来源谱系。“帧对齐”意味着每一帧画面都对应一个确定的相机姿态和焦距，模型训练时知道镜头此刻在哪儿、往哪儿看，而不是只拿到一堆“看起来不错”的画面。度量尺度（metric-scale）的相机标注是这一切的地基，SolarWM 沿用的是 SANA-WM 率先发表的链路：Pi3X 给出时间一致但尺度模糊的场景结构，MoGe-2 提供逐帧度量深度锚点，融合后交给 VIPE SLAM 后端做 bundle adjustment SANA-WM。这条链在 SANA-WM 手里已经用 213K 片段、64 张 H100 训 15 天的预算验证过，SolarWM 不是从零发明它，而是在其上用 GeoCalib 初始化焦距，把它放大到 1.43M 片段的规模。

数据引擎的全貌，论文用一张流程图讲完。

图注：Solar 数据引擎总览：源端加工（相机标注、caption、质量指标、LTX Clean Plate、过滤）与训练配方构造（tier、切分、重复因子、模型视图）分成两段，最后接训练读取。 SolarWM

这条流水线的关键，是加工与配比被拆成两段。把它想成中央厨房：源端加工是一次性的“洗菜、切菜、称重”，把每个源处理成带完整标注的半成品；训练配方构造则是“今天每道菜上多少份”，决定 tier、切分、重复因子和模型视图。换菜单不需要重新备菜。想改过滤标准、换采样比例、重新切分，只动配方，不用重跑昂贵的标注管线 SolarWM。这也是数据层对“可复现”的回答：同一批半成品，别人可以搭自己的菜谱。

为了把“半成品”做得够干净，流水线里有一道叫 LTX Clean Plate 的子处理，下面这组对比帧能看出它对付的是什么。

图注：LTX Clean Plate 处理前后的代表帧。动态的行人和车辆被移除，静态场景布局与源相机轨迹保留，为相机控制的世界模型训练提供更干净的监督。 SolarWM

干净有代价，也有好处：原本 543k 条 Clean Plate 衍生片段（来自 SpatialVID、MiraData、Sekai-Walking 三个源）作为独立的 recipe owner 加入语料，而不是悄悄替换原数据。原始数据和处理后数据各成一家，可以被单独使用和消融。

除此之外，每条片段还带着多轴质量元数据：相机完整性（FoV、焦距一致性、尺度稳定性）、视觉质量（饱和度、DOVER 评分）、运动量（VMAF Motion、稠密光流）、时间一致性（切镜次数）、语义适合度（实体密度、场景类型）。全部 1.43M 条片段由同一条 Kimi-K2.6 管线生成 caption，只描述持久的场景内容，明确排除动态实体、动作和镜头术语，防止文本条件泄露相机轨迹信息。

质量元数据在过滤时派上用场：每个源有自己的过滤策略，输出三个互斥标签 xhigh、high、rejected。最终语料 876k 条保留，其中 471k 条 high、405k 条 xhigh，另有 549k 条被拒。反常但重要的细节是：被拒的样本也一并保留在发布里，带着同样的标注和明确的拒绝原因。谁想研究“什么数据不能用来训世界模型”，直接拿这批样本做消融 SolarWM。

片段长度本身也参与过滤：按长度看，85.8 万条规范片段落在 153 到 956 帧的区间；全部 7.8 万条短于 81 帧的片段都进了 rejected；957 帧以上的长尾里保留了 8.2 万条。也就是说，连“多长的片段才算合格的训练样本”这种决定，也被显式记进选择决策里，供后人复核。

配比的灵活性可以用论文给的工作例感受一下：81 帧短配方横跨 10 个 owner，共 600,320 条物理训练行；对 ABOT、MiraData、Sekai-Game 三个源乘以 6 倍重复因子后，每轮出现 870,210 个虚拟样例。物理语料、逻辑配方、模型视图三个命名空间彼此分开，同一个语料能导出任意多的训练配方。

数据这一层统一了。可下一个问题立刻冒出来：数据是同一套了，模型还各说各话。四个各不相同的基座，凭什么共用同一个相机接口？

四个各说各话的基座，凭什么共用同一个相机接口？

先看基座之间的差距有多大。SolarWM 的模型族是“一个框架、四个实例”：基于 Wan2.2 的 5B 与 14B 两个，基于 LTX-2.5 的 22B 一个，基于 MiniMax H3 的 33B 一个 SolarWM。三个基座，三种原生脾气。

LTX-2.5 天生是双流模型：视频和音频两个 stream 并行，靠双向 cross-attention 交换信息（下图）。MiniMax H3 走了完全相反的路线：不区分模态流，把文本、视觉、音频全部编码进同一条 packed sequence，再喂给一个 33B 的 dense single-stream Transformer（下下图）。Wan2.2 的 14B 又是第三种：MoE 结构，按噪声高低分成 high-noise 和 low-noise 两个专家，合计 27B 参数，每步只激活其中一个 Wan2.2。

图注：LTX-2 架构图。视频流与音频流上下并行，每个 block 依次做自注意力、文本 cross-attention、音视频 cross-attention 与前馈网络；下方是 cross-attention 细节，用 Temporal 1D RoPE 对齐位置、cross-modality AdaLN 做时间步条件。 LTX-2

图注：MiniMax H3-Base 架构：文本经 Qwen3-VL-32B 编码、视觉经 VisualVAE f16t4d24 编码、音频经 AudioVAE 从 32 kHz 压到 40 Hz，打包进同上下文序列，交给 33B dense single-stream H3 Omni Transformer，解码输出同步视频与立体声。 MiniMax H3

面对这种差异，SolarWM 的做法克制得反常：它不统一任何一家的表示，只统一一个“相机条件”接口，也就是 Fused-PRoPE。机制是这样的：基座先按自己的习惯给视频 token 施加原生视频 RoPE，然后相机位姿和焦距换算出一组投影旋转，直接作用在现有 self-attention 的 Q、K、V 张量上，一次注意力计算完成，之后再做一次对应的输出变换。没有额外的控制分支，没有多一次 attention pass SolarWM。相机条件值得单独做一个统一接口，是因为推演时场景描述是固定的，相机轨迹是模型唯一随时间变化的外部控制信号，这套接口的质量直接决定交互手感。

可以把 Fused-PRoPE 想成音响上的一个旋钮。四个基座是四台内部电路完全不同的功放，SolarWM 没有拆开任何一台，只是给每台都装上了同一个旋钮。拧的角度由相机姿态和焦距决定，旋钮的效果是让注意力朝镜头看的方向偏转。对应关系是严格的：不重训基座表示，对应着不拆电路；统一的条件接口，对应着同一个旋钮；旋转 Q/K/V，就是旋钮对信号做的唯一动作。顺带一提，Fused-PRoPE 这个设计本身来自 MosaicMem（Yu et al., 2026），SolarWM 把它作为统一的相机条件通路接进四个基座。

“只统一旋钮”是原则，落到每个基座上要做的动作完全不同。论文的 Table 4 把四个实例“保留了什么、改了什么”逐条交代清楚：

四个实例的共有语义是“主干原生适应”（backbone-native adaptation）：保留的是各基座的核心表示与原生训练范式，latent 表征、注意力布局、优化目标一概不动，Fused-PRoPE 只负责把相机条件插进这个主干。但这不意味着只改了相机接口，Table 4 里还有一批针对性裁剪：Wan2.2-14B 丢弃双专家路由，LTX-2.5 剥掉 3.7B 音频流与音视频 cross-attention，MiniMax H3 关掉音频 loss。裁的是与相机推演无关的模态与分支，留的是主干本身，哪些算核心、哪些可裁，边界在表格里逐条画清。这样训练出来的四个模型是同一框架下的四个实例，共享数据契约和推理协议，而不是四个孤立模型 SolarWM。

接口统一了，可还有最后一个矛盾没解决：基座生来是“双向”的。生成视频时，它能同时看到整段视频的过去和未来再决定每一帧；而世界模型要“边看边推演”，每一帧只能依赖过去。只见过 5 秒短片的双向模型，怎么学会推演长达一小时的世界？这是训练层的问题。

只会想 5 秒的模型，怎么学会边看边推演一小时？

答案是一套三阶段配方。论文的主图把 SolarWM-5B 的整个流程画了出来。

图注：SolarWM-5B 训练管道总览与小时级推演结果：左中为双向适应、教师强制 AnyFlow 自回归初始化、DMD 因果训练三阶段；右侧是小时级（60 分钟端点）推演的稀疏帧条带。 SolarWM

第一阶段叫双向适应（bidirectional adaptation）。模型在完整训练窗口上做双向 attention，学习预测基座原生的 flow / velocity 目标，相机条件经 Fused-PRoPE 插进 self-attention。这一阶段不产出最终模型，而是产出两样东西：给第三阶段用的冻结“双向老师”，以及给第二阶段用的初始化。

第二阶段的关键词是教师强制（teacher forcing）。把 latent 序列切成有序块，预测当前块时，模型只能看到当前噪声态和干净的历史块，未来块一律遮住。训练目标变成在任意两个噪声水平之间监督 flow map，这样学出来的模型天然能在很少的采样步数下自回归生成。论文管这一步叫 AnyFlow 初始化，并明确表态：不需要 Causal Forcing 那套因果 ODE 蒸馏，也不需要 Causal Forcing++ 那套因果一致性蒸馏 Causal Forcing++。因果 ODE 这条路线在 Causal Forcing 的 8 万视频规模上报过约 11,600 A800-GPU 小时、外加近 2 TB 轨迹存储的代价；一致性蒸馏能压到约四分之一。SolarWM 的选择是直接换一个更省的监督方式，绕开整个成本结构。

第三阶段是分布匹配蒸馏（DMD）。第一阶段冻结的双向老师在这里扮演 s_real，也就是真实分布的评分函数；学生模型配一个在线训练的 fake-distribution 模型扮演 s_fake。两者对同一个带噪样本的评分之差，就是“往更真、更不假的方向走”的梯度信号，反传给学生。这套“双向老师 + 因果学生”的非对称蒸馏框架最早由 CausVid 在视频上落地，用 4 步因果学生做到了单卡 H100 上 9.4 FPS 的流式推演 CausVid；DMD 损失本身则出自 Yin 等人的 CVPR 2024 图像蒸馏工作（s_real 冻结、s_fake 在线训练）DMD。SolarWM 在其上加了一个关键工程细节：detached rollout-and-replay，让因果学生在自己生成的历史上继续训练，同时让 KV Cache 的梯度也能回传 SolarWM。

三个阶段的角色分工可以一句话记住：第一阶段驯服表示，第二阶段教会因果，第三阶段对齐推理时的分布。这正是“只训练过 5 秒序列却能推演到小时级”能成立的条件。要点在第三阶段：推演会漂移，是因为自回归时模型面对的输入分布和训练时不一样；DMD 把学生的训练分布对齐到它真实推演时会遇到的分布上，其设计目标是缓解这类分布偏移与漂移。小时级推演是否真的稳住，明确留给下一章的定性证据评估来回答。论文给出的配方理由与此一致：大部分优化发生在双向阶段，AR 适应阶段收敛很快，DMD 阶段只需要更少的优化步数。这套配方还顺带宣称不需要 attention sink 之类的长序列技巧。

一个必要的澄清：“5 秒训练序列”指的是训练序列的长度短，不是训练算力少。四个 5B 到 33B 的基座各跑三阶段，是一笔相当大的预算。

机制讲完了，接下来是最难的一关：这个“5 秒到一小时”的主张，证据到底有多硬？

推演到一小时，证据却全是“肉眼可见”的画面，这算数吗？

先说采样配置，因为所有结论都建立在它上面：16 fps、4 个采样步、不使用 attention sink，每段视频从一张图初始化，条件是一条固定场景描述加一条帧对齐的相机轨迹。论文 §7 的实验分三层往上叠 SolarWM。

第一层是域内推演。从训练数据的同源分布里抽验证样本，模型输出 10 秒推演，再连续推到分钟级，覆盖真实、合成、游戏三类场景，镜头轨迹包括平移、旋转和六自由度混合。第二层是 OOD 首帧压力测试：用 GPT Image 2 或 Krea 生成风格化插画、超现实几何、戏剧性光照等陌生风格的首帧，每个首帧再配好几条不同的相机轨迹。这一层测的是“模型是不是只会背训练集”。第三层是长视频：分钟级不间断推演之外，真正的小时级推演从验证池的真实首帧出发，一路不重启、不注入参考帧、不拼接短片，稀疏采样帧一直排到 60 分钟端点。论文对端点的描述是：仍可辨认、视觉连贯。还记得第四章那幅复合主图最右侧的条带吗？那就是这组证据的样子。

现在要说这篇论文最反常的一点：上面这些证据，全部是定性画面。论文 §7 没有任何 FVD、VBench 或人类评分的数字，一个都没有。这不是疏忽，而是需要读者学会读的一种证据形态。

怎么读？把“存在性展示”和“统计证明”分开。有数字，是统计证明：模型平均而言优于某基线，优势可以量化。只有画面，是存在性展示：它证明“存在这样一个系统，能一口气推演 60 分钟不崩”。对现在的视频世界模型来说，这种展示的稀缺程度可能被低估了。长程推演的天敌是误差累积，帧与帧的微小错误滚雪球，几秒后画面就崩成噪点，这是常态。能连续 60 分钟保持可辨认，正是论文想通过小时级推演组图展示的核心能力。另一条可作参照的经验：DIAMOND 当年发现 EDM 配方在极少数去噪步下长程自回归依然稳定，SolarWM 的 4 步采样走的是同一个被验证过的方向。但这只是呼应，不是背书 DIAMOND。

结论是：推演一小时是真的，证据是肉眼可见的连贯性，而不是 benchmark 分数。知道这个差别，你就能自己判断这条主张的分量。差的那一半，论文自己也认账。

全栈开源之后，SolarWM 留下了什么、还欠着什么？

把“开放”单拎出来讲，是因为在 SolarWM 里它不只是附属承诺，而是方法论本身。论文列了一张 release matrix，用八个维度衡量一个世界模型系统开放得多彻底：权重、推理、训练、数据、全程记录、管线、精确配方、多基座。SolarWM 是八个维度全部打勾的条目；论文对比表里的 SANA-WM、WorldPlay、Hunyuan HY-World 1.5、Yume、Matrix-Game 等系统都只覆盖其中一部分 SolarWM。比如 SANA-WM 开源了权重和代码，但许可是 CC BY-NC-SA 4.0 非商用 SANA-WM。“全程记录”这一项尤其少见：从原始视频到最终训练样本之间的中间产物、质量评估、选择决策、来源谱系全部公开，训练配方里的每一条样本都能追查到它从哪个源、经哪道工序而来。这不是“顺便开源”，是把可复现当成和性能同级的评审标准。

但标题里的取舍，论文自己摆得很清楚，三个局限必须上台面。第一，没有定量 benchmark，§7 全部是定性可视化。第二，“5 秒训练到 60 分钟推演”只有稀疏帧可视化背书，没有可复现的评测协议。第三，发布是分阶段的：八个勾是论文声明的发布承诺（Table 1 核验日期 2026-08-18），不等于今天全部落地。截至论文公开时，只有 Wan2.2-5B 走完了 Stage0.5、Stage1、Stage2 三个阶段并公开权重；另外三个基座目前只公开 Stage0.5，Stage1 和 Stage2 标注 Coming soon SolarWM 项目页。衍生权重还受上游许可证约束：LTX-2.5 派生模型受 LTX-2.x Community License 约束，MiniMax H3 的社区许可含地域限制。

想亲手接棒，入口都在项目页上：数据在 HuggingFace 数据集仓库，权重在 HF collection，代码在 GitHub，另有 ModelScope 镜像 SolarWM 项目页。

视频世界模型这条赛道，眼下最缺的不是又一个刷榜的数字，而是一套别人能接着用的地基。SolarWM 把数据、管线、配方、权重一层层解耦、一层层摆上桌，同时诚实地说出自己验证上的短板。它值得关注的理由不在某个指标，而在于它把“可复现”做成了体系。下一步，无论是谁往这套体系上接新的基座、补上定量评测，都是从它停下的地方继续走。

想深入可以读原文：SolarWM: Open Data and Scalable Training for Long-Horizon Video World Models — arXiv:2609.02886

参考文献

1. ref-001 SolarWM 论文：SolarWM: Open Data and Scalable Training for Long-Horizon Video World Models
2. ref-002 DIAMOND：DIAMOND: Diffusion for World Modeling — Visual Details Matter in Atari
3. ref-003 Wan2.2：Wan: Open and Advanced Large-Scale Video Generative Models
4. ref-004 LTX-2：LTX-2: Efficient Joint Audio-Visual Foundation Model
5. ref-005 MiniMax H3：MiniMax H3 官方模型卡
6. ref-006 Causal Forcing++：Causal Forcing++: Scalable Few-Step Autoregressive Diffusion Distillation for Real-Time Interactive Video Generation
7. ref-007 Diffusion Forcing：Diffusion Forcing: Next-token Prediction Meets Full-Sequence Diffusion
8. ref-008 SANA-WM：SANA-WM: Efficient Minute-Scale World Modeling with Hybrid Linear Diffusion Transformer
9. ref-009 CausVid：From Slow Bidirectional to Fast Autoregressive Video Diffusion Models
10. ref-010 DMD：One-step Diffusion with Distribution Matching Distillation
11. ref-011 SolarWM 项目页：SolarWM Official Project Page