WALL-WM 精读：以语义事件为原子单元重做动作学习

为什么固定长度动作块 (chunk) 是短视的——三尺度时间错配的形式化

要做 WAM（World Action Model，世界动作模型），就得先回答一件事：到底用什么做"动作学习的最小监督单元"。过去两年这条路几乎所有代表——π0/π0.5 这类 VLA（Vision-Language-Action，视觉-语言-动作）端到端模型——都默认选固定长度动作块 (action chunk)：在当前观测与语言指令条件下回归长度为 H 的动作序列。π0 的标准做法是 H=50，闭环 50 Hz，配合 flow matching head 做 blockwise 推理。这个选择在工程上省事，因为它把"动作学习"压缩成一个回归问题。

但 WALL-WM (arXiv:2606.01955) 认为这个"省事"是要付代价的。语言描述的是目标与事件（语义层级），视觉帧是连续的场景动力学（中等时间粒度），动作是底层控制（控制级时间粒度，对接触与扰动敏感）。三种模态的天然时间尺度本来就不同，而固定长度预测窗口只能选一个长度，因此必然把另两种尺度硬塞进来。当这三类信号一起回归时，损失函数会优先拟合容易拟合的那一类——也就是短时相关性 WALL-WM.

下面这张概念图直观地把这件事挑明了。左侧的模态景观把语言、视觉、动作放在语义抽象 × 时空精度两个维度上，三者并不重合；语言偏粗语义、视觉偏中等时空分辨率、动作偏接触敏感的高精度。把这三者强行折进同一个窗口，相当于要求模型在同一个预测步里同时回答"下一步该干什么"和"下一步该往哪发扭矩指令"。右侧与底部是 WALL-WM 自己的真实机器人评估——这些任务稍后会展开，但开篇这张图先让读者看到"三种模态在不同时间尺度上各管一段"这一直观事实。 WALL-WM

图注：左侧的语义抽象 × 时空精度景观，直观呈现语言、视觉、动作三种模态在不同尺度上各管一段；右侧与底部是 WALL-WM 在真实机器人四类评估上的整体表现以及任务 snapshot。

为了把"chunk 是省事的选择"这件事具象化，WALL-WM 论文 §1 给出 chunk-centric 的三种失败模式。

第一种失败：把一个完整的语义行为切开。一个完整的"把杯子放到架子上"不是 50 个连续控制指令的均匀拼贴，而是由接近、抓取、提升、移动、对齐、放下组成的离散结构。如果 chunk 长度刚好卡在中间，一个 chunk 里会同时塞进"抓"和"举"两段不同的子行为，模型就不知道这个 chunk 到底该被"抓"还是被"举"来解释。

第二种失败：把多个行为压成一个目标。某些 chunk 长度跨过多个自然子目标。举例来说，如果一个 chunk 刚好跨过两个相邻子目标的边界，整段只挂一个高层 caption（如 "pick and place" 这种 task-level 描述），损失函数就把这两段当成同一个目标做平均，模型学到的是"模糊的平均动作"，而不是两者之一。

第三种失败：要历史才能解释本 chunk。在流式执行里，chunk 边界落在哪取决于上一次的动作决策，而 chunk 本身又要被当前的 caption 解释。如果两者没有共享的语义锚点，模型必须把上一段历史拉进来才能决定这段 chunk 是"该结束了"还是"该继续"。这是 stream-inconsistent 现象的根源。

要理解 WALL-WM 走了哪条不同时的路，最好先把 WAM 的整个谱系摆出来。WAM 综述 (arXiv:2606.20781) §3 把 WAM 按"未来表征在推理路径上的哪一步被丢掉"切成三类哲学：Render-and-Decode（视频生成 backbone 跑到像素输出再解动作）、Latent-Only（保留视频 backbone 但绕过像素解码器）、Video-Generation-Free（不靠视频 backbone）。这张分类图把整个谱系一次摆开。

图注：WAM 谱系三哲学穷举分类——Render-and-Decode（视频生成 → 像素 → action）、Latent-Only（视频生成 → 中间 latent → action）、Video-Generation-Free（无视频生成 backbone 直接 action）。每列下方挂代表性方法。

WALL-WM 落在中间一列（Latent-Only × pixel-decodable latent × mixture-of-experts hybrid × joint generation × chunked closed-loop event-tied），而 π0 / π0.5 这类 VLA 不在这张图里——它们只建模 p(a|o,l)，不进入 WAM 范畴 WAM Survey. DreamZero (arXiv:2602.15922) 在左侧 Render-and-Decode 那列，保留 chunk 但靠 video 充当 visual planner DreamZero. 这是 WALL-WM 的另一极。

把 chunk-VLA 的视觉外观拉过来对照一下，能看清"chunk 范式"在工程上到底长什么样。π0 用 PaliGemma VLM（≈3B 参数）接收图像与语言 token，用一个 300M 的 action expert 接收 robot state 与 noisy action chunk，flow matching head 输出 H=50 的 action chunk，闭环 50 Hz 执行 π0.

图注：π0 端到端 chunk-VLA 范式的视觉外观——PaliGemma VLM 处理图像与语言、300M action expert 处理 state 与 noisy action chunk、flow matching head 输出固定长度动作序列。

WALL-WM 的改动不是在这一块加东西，而是在保留 world action 联合预测这一前提下，把"动作学习的最小监督单元"从 chunk 换成语义事件。事件边界跟着行为变化走，不跟着时钟走；长度由任务决定，不由时钟决定。这件事不是"把 H 从 50 改成别的常数"，而是把监督窗口的边界条件整个换了。

事件作为原子单元：从「按时钟切」到「按行为切」

上一章把"chunk 范式为什么短视"这件事建立起来，这一章给 WALL-WM 给出的替代方案——动作事件 / 语义事件——一个完整的形式化定义。

论文 §1 给出 action-grounded semantic event 的三条件定义。一段动作序列要被认作一个事件，必须同时满足：语言可命名、视觉可观测、动作可执行。三条同时满足才是一个事件，缺一条都不是。三条全无歧义地命中一个完整的语义行为——比如"接近并抓取杯子"可以命名（"grasp the cup"）、可见（手臂向杯子移动并合上夹爪）、可执行（夹爪闭合指令序列）——这才是一个完整的事件 WALL-WM.

把这一段与上章的三种失败模式对照：chunk 范式的失败不是"分错了"，而是"边界错了"——边界跟着时钟走，于是把完整行为切碎或把多个行为压平。事件粒度下边界跟着行为走，于是三种失败都被结构性地规避。同一个 1.6 秒可能跨两个事件（"抓" + "放"），但每个事件都有自己的 caption；同一个"抓起"事件可能跨 4 秒（慢动作演示），但它就只对应一个 caption。这两个反直觉例子是 event-driven 设计的标志：长度由任务决定，不由时钟决定。

开篇那张模态景观图在事件粒度下有了新的读法。事件不是一个只属于某一模态的概念，它同时跨三模态对齐：语言层是一个命名、视觉层是一段可观测的视频段、动作层是一段可执行的轨迹。事件作为原子单元，就是把这三模态在同一个监督窗口里重新对齐。

图注：事件粒度下，三模态在同一监督窗口里被按行为变化对齐，而非按时钟对齐；底部真实机器人任务 snapshot 帮助读者把"事件"概念锚定到具体物理任务上。

监督目标的形式化也同步改了。chunk 范式写的是 p(a_{t:t+H} | o, l)——给定当前观测与语言，回归未来固定长度动作序列。WALL-WM 写的是 p_θ(V_e, a_e | V_0, s, c_e)——给定当前多视图观测 V_0、proprioceptive state s 与 per-event caption c_e，联合去噪 event-aligned multi-view video V_e 与 end-effector trajectory a_e。这里边界条件从时钟（隐含在 H 与 t）换成了事件 c_e，监督对象从"下一段动作"换成"下一段事件对应的视频 + 动作"。

把这件事说到底，事件不是"更短的 chunk"，也不是"更长的 chunk"，而是另一种原子：监督窗口的边界由行为变化决定、长度由任务决定。chunk 范式的失败模式在事件粒度下被结构性地规避，但这件事本身不能白嫖——把监督单元从 chunk 换成 event，意味着模型怎么搭、数据怎么标、推理怎么暴露都得一起重设计。这些是后面三章要做的事。

事件级 VLA 预训练：layer-coupled video-action denoiser 是怎么搭的

把监督单元从 chunk 换成事件之后，第一件需要重设计的是模型架构。WALL-WM 给出的方案叫 layer-coupled video-action denoiser，意思是把视频流与动作流在 Transformer 的每一层都接起来，但耦合方向是单向的——动作流读视频流，视频流不读动作流。

看完整架构图：

图注：WALL-WM 整体架构。左侧 (a) text conditioner 路由——event mode 走 T5 embeds、unified mode 走 Staircase decoder 输出 CoT latents；中间 (b) event-centric world model——Multi-View Video DiT 去噪 video latents、Action Transformer 去噪 actions，Execute / Rollout 闭环在上面；右侧 (c) spatial-temporal fusion 四步——view folding 保留 within-view self-attention、cross-view mixing、ViewConcat、one-way block-wise video→action coupling。

这一张图分三块：(a) 是 text conditioner 的路由——event mode 把 next-event 语言直接送进 T5 embeds、unified mode 把语言走一遍 Staircase decoder 输出连续 CoT latents 再送进 denoiser；(b) 是事件中心的世界模型——Multi-View Video DiT 去噪视频、Action Transformer 去噪动作，Execute 与 Rollout 在上面闭环；(c) 是空间-时间融合的四步——view folding（保留单视图 self-attention 与 3D RoPE）→ cross-view mixing（在每个 DiT block 末尾做跨视图混合）→ ViewConcat（把三个视图的 token 在 token 轴上拼起来）→ one-way block-wise video→action coupling（每个 block 把 fused video K/V 灌进动作塔）。

one-way coupling 的方向选择是有意为之。一个比喻：Transformer 里每一层都让动作流问视频流一句"你看到什么"，但视频流从不回头问动作流。这个不对称有两层原因。第一，视频流继承的是 Wan text-to-video DiT 的大规模预训练先验，这个先验需要被保留，不能被动作梯度污染。第二，动作流在监督上是跟着事件 caption 走的，与视频流之间没有循环依赖；让视频流反向读动作流只会把动作的误差反向传播进视频主干，得不偿失。

要理解"继承 Wan 视频先验"具体是继承什么，看下面这张 Wan 的内部结构图就清楚了。

图注：Wan 系列 text-to-video DiT backbone 的内部结构——左 Wan-VAE encoder 把视频从像素空间压到 16 通道 latent、中间堆叠 Diffusion Transformer blocks（1.3B 30 层、14B 40 层）、右 Wan-VAE decoder 把 latent 解回像素视频；time embeddings + umT5 text embeddings 驱动 full spatio-temporal attention + cross-attention + shared-MLP modulation。

WALL-WM 取这张图里"中间堆叠 Diffusion Transformer blocks"那一截冻结起来作为 video tower，video tower 一旦训练好就保持 frozen（论文 §4 training 表）Wan. action DiT 是另一组随机初始化的 Transformer blocks，与 video tower 一一对应地在每一层做 one-way block-wise cross-attention。WALL-WM §6 exp 里 video tower 初始化具体用 Wan2.2-5B（不是 14B，也不是 I2V-14B），这一点在写作时要严格区分——DreamZero 用的是 Wan2.1-I2V-14B。

不是所有 joint video-action 预测都走 layer-coupled 这一条线。WAM 谱系里另外两条主流路线值得放在一起对照。

第一条是 DreamZero 的 autoregressive 路线。它用 AR DiT 做 chunk-wise 联合去噪，推理时执行完一个 chunk 后用真实观测替换 KV cache 里的预测视频帧。这套 trick 让 chunk 范式在 WAM 框架下也能 work，但代价是 chunk 边界仍然由时钟决定。

图注：DreamZero 主架构。三路输入（VAE / text encoder / state encoder）进 autoregressive DiT backbone，flow matching 联合去噪 video 与 action latent；推理时 ground-truth 观测反馈回 KV cache。

第二条是 LingBot-VA 的 MoT 路线。它用 Mixture-of-Transformers 把 video stream 与 action stream 拆成两条 transformer 块体，在 token 序列上 interleave，靠 cross-modal attention 桥连 LingBot-VA. 它也是 autoregressive diffusion，但 token 排布方式与 DreamZero 不同。

图注：LingBot-VA 横向框架示意。中央 video stream（Wan2.2-5B 视频塔）与 action stream（宽度更窄）两条 transformer 块体并行；token 序列上 video 与 action 交替；含 Wan2.2-5B / MoT / Video / Action / Flow Matching / Inverse Dynamics 等标签。

把三条路对照看：DreamZero 是 chunk + AR + KV cache observation replacement；LingBot-VA 是 chunk + AR + MoT 双流；WALL-WM 是 event + joint denoising + one-way block-wise coupling。区别不在"用不用 video diffusion"，而在"用什么做监督原子"以及"动作流怎么与视频流耦合"。WALL-WM 选 layer-coupled 不是因为它工程最省，而是因为它跟事件级监督配合最自然——每个事件的 caption 直接驱动 T5 embeds 进 denoiser，不需要 AR 串行依赖也不需要 MoT 双流切换。

回到架构本身。多视图扩展是 WALL-WM 在标准 DiT 之外加的工程：cross-view self-attention 在每个 DiT block 末尾追加，输出 projector 零初始化；Camera RoPE 给每个 view 分配可学习的旋转身份，runtime 不需要相机标定；sight-cone mask 训练时配对——模拟两个摄像头的物理视锥交叉，只允许在视锥内彼此可见的 token 之间做注意力；tube patch mask 强制跨视图注意力作为复原路径。这套几何感知的多视图耦合把 WALL-WM 从"单视图 video diffusion"扩展到"多视图 event-driven WAM"，是它在真实桌面双臂实验台上能稳定工作的工程前提。

一句话收尾：layer-coupled video-action denoiser 不是"一个视频生成器加一个动作头"，而是"在每一层把动作流接进视频流、但只读不改"的耦合方式；选 frozen Wan 是为了继承视频先验，而不是重建一套视频动力学。

数据生态：四象限数据源 + 四层 hierarchical captioning + 聚类平衡采样

把监督单元从 chunk 换成 event，听起来像是只改一个损失函数的事。但配套的数据生态必须协同重设计——这是第四章要解决的问题。

事件监督需要事件级别的 caption。WALL-WM §4 data-caption 给出四层 hierarchical captioning：Task (L3) / Subtask (L2) / Action (L1) / Segment (L0)。四层 caption 就是事件的"下游实现"——segmentation 走 action boundaries 而不是均匀时间窗。换句话说，事件分段不是按"每隔 50 帧切一段"做的，而是按"接近→抓取→提起→移动→放下"这种行为节点切。这一步把第二章的抽象定义和第四章的数据标注正式连接起来：定义上是"按行为切"，工程上是"四层 captioning + action-boundary segmentation"。

数据底盘也不是单一来源。WALL-WM §4 给出一个四象限 data-source map：general internet video（OpenVID 1.2M-clip 提供基础视频先验）、egocentric video（Ego4D / EPIC-KITCHENS 提供第一人称演示视角）、non-embodiment data（XRZero-G0 在没有真机器人的 rig 上录的数据，提供无机器人情况下的物理动力学先验）、heterogeneous teleoperation + self-collected + failure-recovery 数据（覆盖真实机器人平台）。

这张底盘的核心不是"量大"，而是"四种互补"。Web 视频量大但没有动作标签，第一人称视频有动作意图但视角不在机器人视角，无机器人 rig 数据能补物理动力学但缺 embodiment-grounded 接触信息，只有真实机器人数据同时具备 embodiment ground truth 与 contact signal。四象限互补是 WALL-WM 能在不同 embodiment 与不同任务间迁移的底盘。

长尾问题在真实机器人数据里特别尖锐。教一个机器人抓杯子，成功演示相对集中，但失败方式天然长尾——重新抓取、滑落、夹爪没对准、路径被遮挡——每一种都对应一种 recovery 子行为。如果用均匀采样，模型只会学"成功抓取"那种主流模式，遇到 failure mode 就抓瞎。

WALL-WM §4.4 给出 cluster-balanced sampling 的设计：offline 做两套聚类——VL 空间（multimodal encoder embedding → topic cluster）与 action 空间（trajectory cluster，专门 catch recoveries / re-grasps / retries）。Dataloader 在两套聚类上同时 balance；cluster assignment 是离线预算好的，不增加 optimizer state。这套双空间聚类的"为何需要"由机器人数据天然的长尾驱动——"怎么实现"则由 §4.4 完整给出（cluster-balanced sampling 在长尾多任务机器人数据上的方法学语境在概念上不新，证据全部派生自 WALL-WM §4.4）。

failure-recovery 这一块 WALL-WM 把它做成显式的数据扩展：p̃_train = (1-α)·p_nominal + α·𝔼_e[p(q|e)]。对每个 contact event 周围采一个 geodesic ball，在 nominal 演示附近扩展接触空间的局部覆盖。这不是简单的"数据增强"，而是用几何上接近真实演示但局部接触姿态变化的样本来扩充 failure recovery 的覆盖密度。

把这一章与前面章节连起来看：事件粒度的可扩展学习不是单一环节能撑住的，它需要事件级别的 caption（四层 hierarchical captioning）+ 多源互补的数据底盘（四象限）+ 长尾友好的采样（双空间聚类 balance）+ failure-mode 友好的扩展（contact-rich init）。任何一环缺了，事件粒度在数据上就站不住。

这张图复用开篇的 teaser，但只取底部真实机器人任务 snapshot——读者看到"四象限数据落到具体物理任务上长什么样"，把抽象的数据生态概念锚定到具体画面。

图注：底部真实机器人任务 snapshot 帮助读者把四象限数据源、四层 captioning、双空间聚类这些抽象概念锚定到具体的物理任务画面上。

两种推理模式：事件模式 vs 统一模式 (Staircase Decoding)

训练完一份 event-pretrained backbone 后，部署侧并不只有一种下游使用方式。WALL-WM §3 method-deployment 把同一份 backbone 暴露成两个完全不同的推理接口：事件模式 (event mode) 与统一模式 (unified mode)。两者共享同一份 backbone，只是 text conditioner 的路由不同。

事件模式把 next-event caption 直接送进 T5 embeds，进入 denoiser 后做变长 rollout。执行流由一个 VLM / 人 / agent 提议下个事件是什么，进入 event-centric 窗口后做联合视频 + 动作去噪。这种模式追求远视性——一次预测跨整个事件，不被固定窗口长度打断。

统一模式则保留固定长度窗口，配 Staircase Decoding 驱动 chunk，保留梯度连续的 VLA 路径。这种模式追求与流式控制的兼容性——在某些场景（特别是低延迟或资源受限的部署）下需要 chunked closed-loop 的兼容性。

两者的取舍不是"哪个更好"，而是"哪种部署场景需要哪种接口"。事件模式适合长 horizon 推理（一次决策跨整段行为），统一模式适合流式高频率控制（论文 §5 给出 10 Hz 闭环控制部署频率，即每 0.1 秒更新一次动作）。

核心架构图里 (a) 子图就是这个路由——event mode 走 T5、unified mode 走 Staircase decoder 输出 CoT latents，两条路径在 denoiser 入口合流。

把 Staircase Decoding 这件事单独拎出来看。它既不是传统 AR CoT 也不是 latent CoT，而是第三种 schedule。看下面这张三联对比图：

图注：CoT 三联 schedule 对比。(a) 传统 AR CoT 串行 emit 离散词表 token；(b) Latent CoT 换成连续 latent vector 但仍保留串行依赖；(c) Staircase 在 Transformer 中间 relay depth N_r 切开——下层共享 visual-language grounding、上层并行生成 K_c 个 latent 推理位置，一次 forward 并行输出连续 CoT latents。

三种 schedule 的关键区别在于"信息如何在层与层之间流动"。

传统 AR CoT (a) 是字面意义的 autoregressive：每一时刻 emit 一个离散词表 token，下一时刻把它拼回去再 emit 下一个。串行依赖最强、latency 最高、推理步数与 CoT 长度线性相关。

Latent CoT (b) 把离散 token 换成连续 latent vector，但仍然保留串行依赖——每一步 latent 仍要等上一步算完再算。latency 略低于 AR 但仍是串行。

Staircase (c) 不一样。它把 Transformer 切成两段：在 relay depth N_r 处切开，下层（视觉-语言 grounding 层）共享给所有并行推理位置，上层则并行特化出 K_c 个 latent 推理位置。一次 forward 并行输出 K_c 个连续 CoT latents，推理步数与 CoT 长度的串行依赖被打破。

这套设计的关键洞察是：CoT 的"思考过程"不一定要在时间维度串行展开——它可以在 Transformer 的空间维度并行展开。下层 shared grounding 是所有并行位置共享的视觉-语言理解，上层并行特化是各自的推理分支。一次 forward 出 K_c 个 latent，比 AR 串行出 K_c 个 token 快得多，又比 latent-CoT 串行依赖低得多。

但这套并行 latent 不是无监督的内部表示。WALL-WM §3.2 给出显式的监督路径：latent states → prefix projector → 软前缀 → frozen Qwen3.5-0.8B 重建文本 CoT。并行 latent 必须能解出可读的文本 CoT，否则训练没有显式锚点。

回到推理接口。同一份 backbone 暴露两种接口后，还有一个工程上的便利：unified mode 的 text context 是热切换的。三种 context——gradient-continuous source / atomic-instruction source / VLM-CoT source——可以在推理时切换而无需重训 denoiser。因为来源只替换 cross-attention 的文本输入，denoiser 状态不变。这意味着部署侧可以根据具体任务需求随时切"我要直接拿 VLM-CoT source"或"我要纯 atomic instruction"，不需要为每种 context 重新训练一份模型。

把这一章收尾：事件模式与统一模式不是两个不同模型，而是同一份 event-pretrained backbone 暴露的两个推理接口——事件模式追求变长 rollout 的远视性，统一模式 (Staircase) 追求梯度连续的流式控制兼容性；Staircase 的核心创新是"共享下层 grounding + 并行上层 latent"，而不是 AR 串行或 latent-CoT 串行。

实验与评估：真实世界四类 suite 的 Task Progress 与 event-and-view ablation

前五章建立了 WALL-WM 在动机、事件原子、架构、数据、推理接口上的设计选择。这一章用真实机器人评估把前面五章的联合效应验证一遍。

WALL-WM 的真实机器人评估用了四种 suite，每种针对一类能力：

• Diverse Manipulation：7 个任务，覆盖基本抓放（Arrange Cup Inverted Triangle / Put Spoon to Bowl / Put Glasses on Woodshelf 等）。
• Reasoning Manipulation：5 个任务，需要推理（Sort Headphone / Classify Items as Shape / Press Button in Order 等）。
• Dexterous Manipulation：2 个任务，narrow-tolerance insertion（Put Stationery in Case / Insert Wireline）。
• Generalization：4 个任务，多指令随机切换、共享场景（Place Plates into Storage Slots / Cover Pot with Lid 等）。

指标用的是 Task Progress——0 到 100 的 dense 分，按 task-specific rubric 算，而不是 binary success。binary success 对 grounding / contact / 中间状态判别太粗，一个任务完成 70% 算不算"成功"是个质变问题，dense 分能保留这条信息。

下面是四类 suite × 五个模型（其中 WALL-WM-U-Scratch 是 §6 的 from-scratch 统一基线：在同一套真实机器人任务监督下从头训练固定长度指令到动作策略，去掉事件预训练与事件推理路径——它并不是 WALL-WM 拿掉 Wan video tower 的 ablation）的对照表，全部来自 WALL-WM §6 sec:exp-real-robot WALL-WM:

表里几个事实值得点出来。

第一，Generalization 是 WALL-WM headline 赢面最大的地方：53.75 vs π0.5 24.00（gap ≈29.8）、vs DreamZero 28.50（gap ≈25.25）。而 WALL-WM-U-Scratch（去掉事件预训练与事件推理路径的 from-scratch 统一基线）在 Generalization 只有 18.50——这说明跨场景泛化的收益主要来自 event-grounded pretraining + 视频先验的联合，而不是单独来自事件粒度。

第二，Diverse 和 Reasoning 上 WALL-WM 也明显领先（75.86 / 71.60 vs 第二名 63.00 / 59.50），但差距没有 Generalization 那么夸张。Diverse 上的差距说明事件粒度对"基本抓放"也有帮助，但去掉事件预训练后（U-Scratch 也有 63）能拿到大部分增益。

第三，Dexterous 仍是 open problem：WALL-WM event mode 32.00、U-Scratch 31.25，两者几乎打平，说明 fine contact（narrow-tolerance insertion）对当前这套设计仍是 hard。论文没有在这个 suite 上跑 chunk WAM baseline（DreamZero / LingBot-VA / π0.5 的 Dexterous 数据缺失），可能是因为这些模型在这个 narrow-tolerance 任务上本身就极弱，跑出来没参考意义。

event-and-view ablation 是 §6 表里另一个关键数据。pretrained baseline 同时去掉两件东西——View-Interaction Self-Attention (VI-SA) 与变长 event execution——之后与 event-mode WALL-WM 比：Reasoning 平均从 32.6 → 71.6（+39.0），Generalization 平均从 22.0 → 53.75（+31.75）。这是 combined ablation，不能拆开单归因到 VI-SA 或 event execution。读者不能把 39.0 拆成"VI-SA 贡献 X、event execution 贡献 Y"——因为 Base 同时缺这两件，它与 event-mode 的差距是联合设计带来的整体增益。

最后 §6.1 还有一个 Embodied Video Generation benchmark：在 200 in-distribution + 50 OOD tasks 上，Wan2.2-5B-init WALL-WM 在 Motion Quality / Semantic Consistency / Physical Plausibility 三个维度上系统优于纯 Wan baseline。这是一条"事件级预训练不仅改善动作，还改善未来视频生成"的反向证据——不过需要看清因果方向：WALL-WM 训练时 video 塔与 action 塔是 one-way block-wise coupling（§3 / §4 明确：action 梯度不更新 video 塔，video tower 在第二步就 frozen），WALL-WM 在 embodied video gen 上的优势更可能来源于 video pretrain 阶段已经吸收了事件级 caption supervision，而非 inference-time 的反向 grounding。

把这一章收尾：WALL-WM 的 headline gain 在跨场景泛化（Generalization）而非单一场景；event-mode + VI-SA 的联合设计带来 +30 量级的 Task Progress 提升，但这是 combined ablation，不能拆开单归因到单一设计。

训练基础设施：Muon / DMuon 与 10 Hz 部署栈

把前面六章的设计落地，需要一套能顶住大规模视频+动作联合训练的训练基础设施。WALL-WM §5 Infrastructure 给出的选型是：Muon / Distributed Muon (DMuon) 作为优化器，配合 DMD + FP8 + CUDA Graph 把推理压到 10 Hz 闭环。

为什么 AdamW 不够？AdamW 的 element-wise Max-of-Max norm 适配 embedding / LM head 这类向量参数，但对矩阵形状的 DiT block 权重不是最自然的约束。Muon 走另一条路：把梯度动量隐式正交化。具体做法是给定动量 M_t = μ·M_{t-1} + ∇L_t(W_{t-1})，更新方向 O_t = NewtonSchulz(M_t) 是 (M_t·M_t^T)^{-1/2}·M_t 的近似——也就是 M_t SVD 分解里的正交因子 U·V^T。

Newton-Schulz 这套迭代用 N=5 步、系数 a=3.4445 / b=-4.7750 / c=2.0315（继承 Keller Jordan 的原始 Muon），把多项式 f(x)=a·x + b·x³ + c·x⁵ 推到不动点附近。Muon 团队把这套更新解读为 Schatten-p / spectral norm 约束下的最速下降——这个 induced operator norm 对矩阵形状的权重比 AdamW 的元素级 norm 更自然。

Muon 团队（Moonlight, arXiv:2502.16982）做了三件事把 Muon 从玩具优化器推到 LLM 级：weight decay 让参数幅度不无限增长、consistent update RMS（乘 0.2·√max(A,B)）让每个矩阵的更新幅度落到 AdamW 同款区间、N=5 / μ=0.95 的超参与 AdamW 直接兼容。这些补丁让 Muon 的学习率与 weight decay 可以从 AdamW 调参直接复用——不是"全部重新调参"。

Muon 在 8K context 上拟合出的 scaling-law 方程：L_Muon(C) = 2.506·C^{−0.052} vs L_AdamW(C) = 2.608·C^{−0.054}。两个常数之间的差距说明 Muon 达到相同 loss 只需要约 AdamW 52% 的训练 FLOPs Moonlight. 这是 WALL-WM 选 DMuon 而不是 AdamW 的实证基础。

下面这张 scaling-law 曲线是 Muon vs AdamW 的核心证据锚图：

图注：Muon vs AdamW 在 8K context 上的 fitted scaling-law 曲线。Muon 曲线低于 AdamW 曲线，表明 Muon 用更少 FLOPs 达到相同 validation LM loss。

但 Muon 走出 LLM 小规模到 hybrid-parallel cluster 还需要分布式实现。Muon 需要完整矩阵做 Newton-Schulz，但 vanilla ZeRO-1 把所有东西（包括 momentum）切到 DP group 各 rank 上——单独一个 partition 算不了 Newton-Schulz。

DMuon（Distributed Muon）的解法：把 optimizer state 仍然按 ZeRO-1 切，但额外加两个通信操作——DP Gather 把本地 partition 的 momentum 聚成完整矩阵 → 在完整矩阵上跑 Newton-Schulz → 丢掉非本地切片只用本地 partition 更新参数。理论上 Muon 比 AdamW 多一次 DP gather + Newton-Schulz 计算，但 5 步 bf16 Newton-Schulz 在 optimizer 总耗时里只占 1–3%，实测无明显延迟。

Moonlight 还有一个 SFT 阶段的消融结论值得点出：Muon→Muon 跨阶段才能保住收益。如果只在 SFT 阶段把 AdamW 换成 Muon（Qwen2.5-7B AdamW pretrain → Muon SFT），MMLU 70.8 vs 71.4，几乎没增益；反过来 Muon pretrain → Muon SFT 能保住领先。这意味着：如果想用 DMuon，必须从头 pretrain 阶段就用它，中途切换优化器几乎丢失全部增益。

回到 WALL-WM 自己的工程上下文。WALL-WM 在 hybrid-parallel cluster 上跑 layer-coupled video-action denoiser 训练，video tower 是 frozen Wan2.2-5B、action DiT 是随机初始化矩阵参数。DMuon 的 owner-rank 映射正好匹配这种"矩阵参数是热点"的结构——矩阵参数用 DMuon，向量参数（RMSNorm / embedding / LM head）用 AdamW，二者协同。

推理侧的栈是另一条线。DMD (Distribution-Matching Distillation) 做联合蒸馏——既保留 video generation 的 fidelity，又保留 action-prediction loss；post-training FP8 quantization with per-block scaling 做 weights 离线量化 + activations on-the-fly 量化；CUDA Graph 把推理图固化，减少 kernel launch overhead。这三套叠加把端到端 rollout 拉到 10 Hz 闭环控制延迟预算。

把这一章收尾：WALL-WM 不只是改了监督单元，它在训练基础设施层用 DMuon 顶住规模训练、用 DMD + FP8 + CUDA Graph 把推理压到 10 Hz 闭环——这套基础设施选型本身就是"事件级 WAM 训练可行"的工程前提。Moonlight scaling-law 给出 DMuon 比 AdamW 省约一半 FLOPs 的实证，但 Muon 不是万能替代——如果中途切换优化器，收益几乎全丢。

参考文献

本专题引用的核心资料如下，建议深入学习时阅读原文：

1. WALL-WM: Carving World Action Modeling at the Event Joints — arXiv:2606.01955
2. DreamZero: World Action Models are Zero-shot Policies — arXiv:2602.15922
3. World Action Models: A Survey — arXiv:2606.20781
4. LingBot-VA: Causal World Modeling for Robot Control — arXiv:2601.21998
5. Muon is Scalable for LLM Training (Moonlight) — arXiv:2502.16982
6. π0: A Vision-Language-Action Flow Model for General Robot Control — arXiv:2410.24164
7. Wan: Open and Advanced Large-Scale Video Generative Models — arXiv:2503.20314