BloomBloom
发起研究

L3G-World：实时世界模型，记忆只随场景变大，不随视频变长

速览

实时无限世界卡在两堵墙：记忆越跑越贵，或省了却慢到不能交互

L3G-World 把交互式世界生成的总吞吐做到了论文表 1 的 9.02 FPS：400 帧、480×832、单张 H100、峰值显存 7.4 GiB。它真正换掉的东西比这个数字更重要。记忆不再是一段越跑越长的上下文，而是一份只随已探索场景范围变大的 3D 高斯表示，并且这份表示被直接渲染进扩散模型的潜空间。三个要求在这里互相拉扯。给定相机指令后模型要能一直往前生成，这是动作条件化；走回旧地方要认得出，这是长时程空间一致性；每一步还要落在交互帧率内，这是实时。实时要求每一步只算便宜的东西，一致性要求每一步都照顾到整张已探索的地图。把历史帧塞进上下文，一致性满足得越好，实时就越难满足。

第一条路线把记忆放在 token 序列里，检索历史帧或保留注意力 KV 缓存，开销随生成流长度与分辨率线性增长，规模律是 O(TR)。WorldKV 给出的量级很直观，一分钟 rollout 累积超过 200GB，帧率从 8.87 掉到 3.61 WorldKV。在论文表 1 里，WorldKV 这一行直接 OOM。第二条路线把记忆放进显式 3D 表示。前馈式重建快，但稠密基元会在同一区域反复堆积，旧基元又不会被自适应修订，表 1 里 Spatia 与 NeoVerse 仍按 O(TR) 增长、峰值显存 32.6/36.8 GiB；优化式方法表示紧凑、规模随场景范围 O(S) 增长，代价是逐场景迭代，ArtiFixer 在表 1 里是 0.10 FPS、11.7 GiB ArtiFixer。这条路线通常还要把记忆渲染成 RGB，再经 VAE 编码才能喂给生成器。

两条路线的失败点不同，根源相同。记忆的存放位置决定了它跟什么一起增长。只要记忆跟着视频长度走，实时和长时程一致就无法同时成立；只要读取记忆必须经过一次 RGB 渲染和重编码，再快的几何也追不上交互帧率。时序上下文路线并非没人做到实时，Matrix-Game 3.0 用固定记忆槽加相机感知检索，自报 5B 模型 720p 最高 40 FPS，但未写 GPU，不能与 9.02 FPS 并列 Matrix-Game 3.0。它的存在说明瓶颈不在工程能力，而在记忆形态，上下文长度可以被固定住，被固定的却只是槽位，不是几何。

Matrix-Game 3.0 的三栏系统架构

图注：Matrix-Game 3.0 的三栏系统图，左中右分别是数据引擎、模型训练与部署。它展示时序上下文路线已经工程化到数据、模型、部署三段协同的形态。它的规格与 L3G-World 的数字口径不同，只作背景。Matrix-Game 3.0

L3G-World 的选择是同时换掉存放位置和读取方式。几何仍住在显式 3D 里，外观特征直接以 VAE 潜特征的形式挂在每个高斯上；记忆不再经过 RGB 与编码器，而是按目标相机直接 splat 成潜特征图。

L3G 记忆：几何仍是 3D 高斯，外观特征挂在每个高斯上

L3G-World 的记忆不是压缩过的视频，而是一份可以被反复渲染、也可以被局部改写的 3D 场景表示。这个区别决定了后面所有的速度与规模好处。系统由两个模块组成。L3G-Gen 是记忆条件化的视频 DiT，负责往前生成一个 chunk；L3G-Mem 是前馈式记忆更新器，负责把这个 chunk 写回场景记忆。两者按 chunk 交替，生成一块、更新一次记忆、再用新记忆生成下一块。

L3G-World 端到端闭环

图注：L3G-World 的端到端闭环。上排记忆状态从 M_{k-1} 递推到 M_{k+1}，中部 L3G-Gen 向下输出视频、L3G-Mem 向上回写记忆，下排是随之展开的生成帧。箭头是首尾相接的循环，表示按 chunk 交替而非并行。L3G-World

图里最容易被误读的是循环箭头，生成向下、记忆更新向上，是串行交替，不是并行，也不是逐帧。名字里的 Latent 也容易被读错。它不是说把高斯参数压进一个潜向量，而是几何与外观两份载荷并行挂在同一个 memory token 上。每个 token 经一个 MLP 高斯头解出 32 个 3D 高斯，包含中心、尺度、四元数、不透明度和颜色；同一个 token 另带一份 16 维 VAE latent 特征。几何仍在 3D，外观则活在生成器的潜空间里。一个 3D 高斯就是一个带位置、朝向、大小、不透明度和颜色的椭球，投影后按深度做 alpha 合成。2023 年的 3DGS 作者自述在单张 A6000 上以 1080p 达到 30 FPS 以上，但那是渲染已有表示的吞吐，不是构造和更新它的代价 3DGS。

两份载荷并行挂载带来一个直接好处，更新时可以分开改。几何用一套门控改位置与形状，外观用另一套门控改 VAE 特征。记忆里的一个条目因此同时是几何图元和外观特征，而不是两种表示之间的索引。后文能直接把记忆渲染成生成器的条件，也是因为外观本来就以生成器能读的形式存在。

记忆只在新看见的地方长点，老区域原地微调，规模才只随场景变大

O(S) 不是一句口号，而是由一条实现规则撑起来的：没有被选中的记忆条目保持不动。每次更新只做两件事，在没看过的地方长出新高斯，在看过的地方把旧高斯往观测上修一点。镜头推进到一个房间时，正前方墙面已经有不透明的高斯，渲染颜色也吻合，不会被选中；镜头背后从未出现的墙，渲染时 alpha 很低或颜色差得远，就会进入更新。

L3G-Mem 的双流结构与 spawn mask

图注：L3G-Mem 的双流结构。(a) 中上一记忆渲染后决定哪些几何特征进 K-means、哪些可见高斯被检索，两串 token 进同一个 transformer，分别出 Spawn Head 与 Refine Head。(b) 的五联图从输入视频、记忆 RGB、记忆 Alpha、spawn mask 到更新后记忆，显示只在新区域长点后仍能重建观测场景。L3G-World

具体流程是先把上一份记忆按当前相机渲染出 RGB 与不透明度，再和输入 chunk 比对。某个 14×14 patch 的平均 alpha 低于 0.25，或者逐像素 RGB 误差超过 0.05，就把这块标进 spawn mask。只在 mask 内，对 Depth Anything 3 输出的 1536 维特征做 K-means，得到数量随 mask 占比在 1,024 到 10,240 之间变化的 spawn query。与此同时，把当前窗口里可见的高斯对应的 memory token 检索出来，作为 refinement token。两串 token 沿 token 维拼进同一个 transformer，输出分别走 Spawn Head 和 Refine Head。Spawn Head 追加新高斯，Refine Head 预测残差，几何与 VAE latent 分别用两个门控更新。图 2 的 (b) 那排五联图就是这条判定的可视化，从输入视频、记忆渲出的 RGB 与 Alpha，到黑白二值的 spawn mask，再到更新后能重建观测场景的记忆。

讲解：记忆怎么只在新区域长点

和显式 3D 记忆的既有做法比，差别在于更新方式。SPMem 把静态点图、最近帧和历史关键帧分开存，沿目标轨迹把点云渲染成条件视频，再经 condition DiT 注入生成器，几何更新仍是一个独立的融合与重建过程 SPMem。L3G-World 的更新是一次前向，只在新区域长点，老条目原地改，所以不需要逐场景优化。

当镜头原路返回，走过的地方已经有不透明的高斯，mask 基本为空，更新只做残差精修。记忆的大小因此跟着相机走过的区域增长，而不是跟着视频时长增长。代价是精修只能在已有高斯上改，一开始位置就错了，后面改不回来。

实时靠的是把记忆直接渲进 VAE 潜空间，省掉渲染 RGB 再编码那一整段

实时来自两处独立的节省，记忆不再渲成 RGB 再编码，采样也不再走几十步。前者是表征侧，后者是采样侧。论文把两者都装进系统，但没有拆分少步蒸馏单独贡献了多少帧率。L3G-Gen 的输入分三组。历史 latent 单独拼接，保持干净；持久记忆里的 VAE latent 和 alpha 按目标相机 splat 成两张与目标视角对齐的特征图，与当前 chunk 的噪声 latent 沿通道维拼成 z^seq，再送进 DiT。

L3G-Gen 的通道维拼接

图注：L3G-Gen 的条件注入方式。(a) 中历史 latent 作为单独条件，记忆渲出的 VAE 特征图与 Alpha 图、噪声 latent 沿通道维拼成 z^seq 送入自回归 DiT。(b) 三行分别是对齐的生成画面、伪彩 VAE 记忆与 Alpha mask，说明条件在空间上对齐，伪彩图本身不能当作几何精度的证据。L3G-World

省掉 RGB 这一环值多少，消融给了一个直接答案。把直接潜空间渲染换成先渲 RGB 再用 VAE 编码，VAE MSE 从 0.177 升到 0.570，VAE 渲染吞吐从 943.6 FPS 掉到 2.97 FPS。同一条记忆，多经过一次解码和编码，速度差了两个数量级以上。这也是为什么渲染吞吐和维护代价必须分开看。943.6 FPS 说的是渲一份已有表示的潜特征，不是整条生成回路；而表 1 的 9.02 FPS 才是 400 帧生成的总吞吐。

讲解：省掉 RGB 重编码这一步

采样侧，教师是 Cosmos-Predict2.5-2B，推理时一次 81 帧、35 步去噪、开 CFG；学生改成 chunk-causal 自回归 DiT，先用 AnyFlow 做 flow-map 蒸馏，再做 on-policy 分布匹配，推理时每步 3 个潜帧、4 步去噪、不用 CFG。flow map 学的是任意时间对之间的转移，不是一致性蒸馏那种端点固定点映射，这也是它能和少步推理兼容的原因 AnyFlow。再往外挤余量的空间不大。CtrlCache 这类推理期缓存在步数已压到 3 到 4 步时最多跳过 1 个内部步，报告 1.21 到 1.41 倍去噪加速 CtrlCache。L3G-World 已压到 4 步，重叠收益未知。

把 9.02 FPS 放回口径：这是表 1 的 Total FPS，400 帧生成、单张 H100、480×832、峰值 7.4 GiB。论文没有给生成、记忆更新、渲染各自耗时的拆分，所以不能把它读成某个模块的速度 L3G-World。同一张表里的对照如下。

方法记忆形态Total FPS峰值显存
WorldKVKV 缓存OOMOOM
Yume 1.5帧压缩1.4266.7 GiB
NeoVerse3D 高斯1.9936.8 GiB
Spatia点云0.2432.6 GiB
ArtiFixer优化式 3D0.1011.7 GiB
L3G-World潜空间 3D 高斯9.027.4 GiB

这些行并非同一分辨率，Yume 1.5 是 704×1280，L3G-World 是 480×832，所以倍数只能当量级参考，不能当受控对比。表 2 是另一套口径，单张 A100。DL3DV 上 L3G-World 用 33K 个图元，Lyra 2.0 是 1,273K，差 38.6 倍；对 NeoVerse 的 VAE 渲染吞吐高 349 到 359 倍 L3G-World Lyra 2.0。这些数字说的是表示本身有多省，不能和表 1 的 9.02 FPS 换算。

实时确实做到了，但它只在静态场景里成立，数字也还复现不了

这篇论文的贡献成立，但它撑起的结论有明确边界。交互式、实时、长时程一致，目前只在静态场景、低分辨率、一次往返回环的条件下被验证，而且所有数字都是作者自报。一致性评测用 481 帧的 loop-closure 轨迹，从初始机位出发，向前探索离开初始视角，再原路反向回到同一机位，然后比较对应机位帧对的 PSNR、SSIM、LPIPS。这个协议把记不记得住变成了可测的误差，如果记忆漂了，回到原点的画面就会和第一次经过时对不上。

指标里要特别区分 MEt3R。它测的是生成帧之间的几何自洽，不是记忆召回率。一个模型可以每帧都几何自洽，却在回到旧区域时换了一堵墙。论文报告完整模型的 MEt3R 是 0.081，去掉记忆精修后升到 0.091。在往返协议下，完整模型的对应机位 PSNR 是 15.11，相机平移误差 0.278；去掉记忆精修后变成 14.82 和 0.314。精修这条流确实在把回访画面往观测上拉。两条消融进一步支撑了机制主张。去掉自适应 spawn，高斯数从 41K 涨到 75K，约 1.8 倍，新视角质量变差；去掉 refinement，VAE MSE 从 0.177 升到 0.213，PSNR 从 16.52 降到 15.52 L3G-World。前者说明 mask 让 spawn 花在真正缺几何的地方，后者说明旧条目需要被修，而不是只增不减。另有一处与论文表述不一致的结果。表 4 里去掉 VAE lifting 的变体，PSNR 是 15.41，高于完整模型的 15.11；MEt3R 是 0.075，也优于 0.081。这与论文正文中提升生成质量的表述并不完全一致，说明这条设计的主要收益在速度与表示对齐，质量上的净收益还没有被干净地分离出来。

论文自己点出的失效链很直接：记忆精修修不了 3D 记忆里的几何误差，误差会以记忆渲染伪影的形式回到画面，视频发糊。精修只能在已有高斯上做残差，如果一开始位置就错了，残差改不回来。附录 E 给了三条自述局限。L3G-Mem 主要为静态场景设计，不显式建模独立运动物体；极大尺度探索下记忆仍会增长，需要剪枝或层次化；长时程自回归引入的错误仍可能传播进后续的记忆更新。第一条最硬，它意味着画面里走动的人、开过的车没有独立的表示与生命周期，动态内容与静态几何没有被解耦。

复现状态也要交代清楚。截至 2026-10-31，项目页和仓库已上线，但仓库根目录只有 README、LICENSE、NOTICE 和 assets，Release Plan 四项均未勾选，权重未放出；论文是 arXiv 预印本，ICLR 2027 在审。第三方无法复核表 1 和表 2 的任何数字。据此判断，它给出了一种结构上说得通的记忆形态，几何在高斯、外观在潜空间、更新只在新区域发生，并用直接潜空间渲染把这条路线的实时性推到了可以演示的程度。但它还不是动态世界已经解决的证据，也不是 9 FPS 已经可复现的证据。要用它，先接受静态场景与 480×832 这两个前提；要跟进，先等权重。

想深入可以读原文：L3G-World: Real-Time Infinite World Generation with Latent 3D Gaussian Memory，arXiv:2610.40614。

参考文献

L3G-World：实时世界模型，记忆只随场景变大，不随视频变长