Code World Model:把世界演化写进代码,把画面渲染交给视频模型
为什么把世界演化和画面渲染拆开:端到端视频模型的两难
我们从一个朴素观察出发。视频里能看到的只是结果,不是规则。一段 GTA V 的街景画面,背后是数千行引擎代码在按物理规则推进;一段现实世界的驾驶影像,背后是行人动力学、光照、遮挡关系在共同演化。视频帧本身只是一连串渲染后的像素快照,可执行的那份规则在渲染完成那一刻就被丢掉了。
端到端视频世界模型试图用同一个神经网络同时学两件事:物理规则和像素细节。但这两个目标天然互斥。让模型记住动力学,它就在像素细节上妥协;让它复原纹理,它就把因果结构学得稀碎。论文 Code World Model: Coding Agent as World Brain 给出的诊断非常直接:视频只记录结果,看不到执行逻辑;屏幕外发生的状态变化没有任何视觉记录;大量有意义的后果展开的时间跨度,比当前视频模型的训练上下文窗口(一分钟以内)长得多。这三条都指向同一个结论——让一个神经网络同时承担物理一致性和视觉呈现,等于让它两头都拿不稳Code World Model.
解法是物理上把责任拆开。论文标题里四个名词其实是一条从属链。"世界模型"是最宽的泛称,凡是能在内部表示环境动力学、能据此想象未来状态的系统都算。"视频世界模型"是其中一支:让模型从视频中直接学 latent dynamics、然后在 latent 里 rollout,DreamerV2 是这一支 2021 年的经典基线。"Code World Model"这个英文短语在 2024 年已经被 Dainese 等人在 NeurIPS 2024 用过,意思是让 LLM 写一段 Python transition function 拿去给 RL planner 做规划Dainese et al. 2024. 本文的标题沿用了这个词,但实质走的是完全不同的另一条线:coding agent 维护可执行的世界状态、proxy 编译出分镜级的代理视频、外部视频模型照分镜画像素。这种用法有一个新的副标题——Coding Agent as World Brain——把这个用法跟 2024 年的 RL planning 范式明确区分开。
来看一张三栏图,把这种"职责分离"钉在直觉上:

图注:三栏横向总览,从左到右依次是 coding agent 维护 World State、轻量编译器把状态渲染成粗粒度 proxy video、视频模型根据 proxy 和文本生成高保真 RGB 观测帧。三栏对应的是大脑、编译器、画师三种职责,不是 pipeline 的前后顺序。
这张图最重要的一点不是流程顺序,而是它把三件不同性质的事放进了三个物理上分离的模块。左边是符号世界,右边是像素世界,中间是翻译层。读者如果熟悉 AI agent 的决策闭环——观察、思考、动作、回写——会觉得左边那段很眼熟:coding agent 扮演的就是大脑角色,决定哪些事件触发、如何改写规则、怎样维护持久状态。
再看另一张图,给"Code World Model"这个词的另一个出处做个锚点:

图注:Dainese 等人在 2024 年提出的 Code World Models 框架——LLM 由 GIF-MCTS 引导,迭代生成和修正候选 Python CWM;候选用真实环境轨迹做评分,分数回流到 LLM 形成闭环;最终最佳 CWM 用于 model-based planning。这是 RL planning 范式的 Code World Model,跟本文的"coding agent + 视频渲染器"用法同名异义。
把这两张图放在一起读,可以看到"Code World Model"这个英文短语在两年内其实指了两件不同的事。Dainese 等人的版本把代码当作 planner 直接消费的对象;本文的版本把代码当作渲染条件生成的中介。下游消费对象不同,整个闭环结构就完全不一样。这一点会贯穿全篇。
解耦长什么样:三组件骨架 + 代理表示
把整个方案的高层骨架画出来:

图注:Code World Model 完整 pipeline。左侧意图/动作进入 coding agent,agent 写代码更新 World State(持续、可执行、可修改、可查询);中间 World State 经 Proxy Compiler 编译为 Proxy Video 与结构化文本提示;右侧视频模型以 proxy + 文本为条件生成 RGB 观测;观测与新事件反馈回下一轮,形成持续演化闭环。
这张图钉住了三件事。第一,三组件的职责是物理拆开——不是把一个大网络切成三个 head,而是三个独立的模块。第二,从 World State 到 Proxy Video 中间有一道编译——不是直接把代码状态喂给视频模型。第三,反馈环是真实的——生成出来的画面和新事件会回到 coding agent 当下一轮决策依据。
代理表示(proxy representation)是这套设计的关键中间产物。它的设计目标非常克制:只给视频模型看 coarse 时空状态,不给任何 appearance。论文明确写出,proxy 只编码当前观测必须遵守的"粗时空状态"——相机运动、实体位置/朝向/轨迹、空间关系、交互关键态——刻意排除纹理、材质、精细光照Code World Model. 实测的 proxy schema 由五类信息组成:相机态、实体位置与朝向、近似尺度、场景布局、交互关键态;它用一组可复用 primitive 来表达——行人用 capsule skeleton、车辆用 wireframe 盒、植被用 low-poly、大建筑用粗 3D extentCode World Model.
proxy 还承担一个具体的带宽预算:空间分辨率是目标视频的 1/4(1344×768 → 336×192),加上 token 维度上的 4× 累计压缩,proxy 给视频模型带来的额外视觉 token 只占目标视频的 1/16;论文把它描述为 negligible 的额外推理负担Code World Model. 这意味着 proxy 不是另一段高分辨率视频,它本质上是一份低分辨率、抽象、给画师看的分镜稿。
更重要的是,proxy 是 agent 可调节的视觉 prompt,不是固定条件。论文明确写道:当文字足够时 agent 可以关闭 proxy;当观测需要严格遵循位置/轨迹/空间拓扑时,agent 可以激活相关通道;agent 还能选择保留哪些实体和通道、调整时空粒度和条件帧率Code World Model. 这把 proxy 设计问题变成一个显式的取舍:可构建性 vs. grounding 强度——只保留当前观测必须遵守的最小充分状态。
来看 proxy 的真实样例:

图注:两路 proxy-观测对的真实样例。左半是 GTA V 街景 RGB 与紧邻 proxy:彩色 capsule / 盒状 primitive 表示行人车辆、深度编码背景;右半是 KITTI-360 驾驶 RGB 与更简化的 proxy,行人是胶囊骨架、车辆是线框盒。一眼可看到 proxy 只画骨架和位置、不画纹理。
这张图把抽象的 schema 直接实例化给读者看。GTA V 一侧的 proxy 已经非常稀疏——行人就是几个胶囊,车辆就是盒状线框,连低多边形的植被都用最简几何代替。KITTI-360 一侧因为是真道路场景,primitive 还更稀。读者第一眼会感到一种"这不就是漫画草稿吗"的错觉——这正是设计意图:proxy 是给画师看的分镜,不是给渲染器算的素材。
这种设计还有一个隐含的好处:coding agent 自己也写得出这些 primitive。每个 primitive 只需几行 Python 就能复现,因此 coding agent 在推理时可以本地重新生成一份 proxy,不需要从黑盒渲染器反向工程。这一点跟后面将提到的端到端 latent 路线形成鲜明对比——在那里,agent 即使能看到某种"状态表示",也几乎不可能修改生成规则。
把视角拉到同期另一条工作上做个对照。VisualPatchWorld(VPW)也是 2026 年 7 月的同期工作,共享"代码作为世界模型"这条主线思想,但把代码产物的下游用途放在基于 model-predictive control 的规划任务上VisualPatchWorld. 它的 scene graph 是文本 schema——物体位姿 + 关系属性——在 replan time 喂给诱导出的 Python transition program 用,最后用 CEM-MPC 做 receding-horizon 规划。同一个"代码世界模型"思想,VPW 的产物给规划器用,本文给画面用,这是同形异用的两个物化方向。
coding agent 怎么当世界大脑:写代码维护可执行状态
把上一章 pipeline 图的左半放大来看。
coding agent 扮演的是大脑角色,输入是意图/动作/已有 World State,输出是新的代码与新的状态变量。这条回路是事件驱动的(event-driven)——绝大多数状态更新不调 agent;只有当新情况无法用现有机制处理时,agent 才被唤起去本地修改世界程序Code World Model. 日常执行交给代码,agent 只在决策节点上出现。这跟读者熟悉的 agent 自我反馈循环很像——agent 在关键决策点介入、把日常执行委托给更高效的机制、然后根据执行结果调整下一轮决策。
代码化状态 vs. latent 状态是这个设计的差异化核心。论文给了代码化状态的几项 native 优势——Fig. 2 在 World State 块旁标注了 persistent / executable / modifiable 三项(persistent:状态在内存中持续存在,不像 latent 在每次 forward 后消失;executable:状态可以被代码实际执行和测试;modifiable:状态可以被运行时修改,agent 不必从头重新生成);§3.2 又用 constructible / inspectable / addressable / locally editable 描述 proxy 端同类的可维护性质Code World Model. 这些属性合起来意味着,长时一致性问题可以从"神经网络忘掉过去"转移到"代码明确记住过去"。前者很难修,后者天然成立。(注:"queryable"作为对代码可查询性的概括,是本教程的解读,论文原文未把 queryable 列进上述任一组属性。)
形式上论文给出了一个干净的状态分解Code World Model:
$$ S_t = (S_t^{\text{exe}}, S_t^{\text{vis}}) $$
$$ S_{t+1}^{\text{exe}} = \mathcal{T}_{\text{AC}}(S_t^{\text{exe}}, A_t) $$
$$ S_{t+1}^{\text{vis}} \sim G_\theta(S_t^{\text{vis}}, S_{t+1}^{\text{exe}}) $$
三个式子讲的是:状态拆成可执行分量 $S^{\text{exe}}$ 和视觉分量 $S^{\text{vis}}$;前者由一个 transition operator $\mathcal{T}{\text{AC}}$(agent 和 code 共同实现)按动作 $A_t$ 推进;后者由生成器 $G\theta$(即视频模型)根据当前视觉状态和新到的可执行分量采样生成。注意这个分解里"把 $S^{\text{exe}}$ 当作 $G_\theta$ 的输入"只是一种抽象条件依赖——真正的输入是 proxy 编译后的视频片段,不是裸代码。
原型使用的具体 coding agent 是 GPT-5.6 Sol(论文 paper-asserted)。它从已有的 AAA 游戏引擎代码开始,combine / extend / rewrite 出目标世界Code World Model. 这意味着 agent 不是从零写起,而是站在已有代码资产之上做改造——更接近软件工程师在已有 codebase 上加 feature,而不是造一个新世界。
来看 WorldCoder 的对比图,把"代码世界模型"在另一条闭环上的形态看清楚:

图注:WorldCoder 三段式架构——LLM 通过 REx refinement 合成 Python transition function 与 reward function,Planner(depth-limited value iteration 或 MCTS)在代码上 tree search 输出动作,环境反馈回 replay buffer 形成闭环。这是 RL planning 范式下的早期代码世界模型,跟本文的"coding agent + 视频渲染器"用途不同。
两图并排一比较,"代码被谁消费"这一关键差异立刻显形:WorldCoder 的代码被 planner 直接消费——tree search 在代码实现的 transition 上跑,输出 action;本文的代码被视频渲染器消费——编译成 proxy 喂给 H3 出像素。同一动作(LLM 写 Python),两条不同的闭环(planner 闭环 vs. 渲染闭环),下游用途截然不同。
这就把 WorldCoder 的 $\phi_1 \wedge \phi_2$ 学习目标和本文的 agent 回路放到同一张地图上。WorldCoder 把世界建模形式化为程序合成问题,要求代码同时 fit data($\phi_1$)和存在一条乐观路径拿到正奖励($\phi_2$)WorldCoder. 本文没有把"让代码同时拟合 + 乐观"这一对约束写进学习目标,因为本文不需要它产生动作——本文需要它产生像素。所以本文的 agent 回路更轻:读现有状态、决定要不要改代码、改完让代码执行、再把执行结果回写状态。没有 tree search、没有 reward shaping、没有价值函数估计。
画师照分镜作画:MiniMax-H3 怎么接收 proxy
渲染器这一头需要单独拆开讲,因为 MiniMax-H3 不是论文作者训练的模型,而是被选为下游工具的第三方系统。

图注:复用 pipeline 图右半段。World State 经 Proxy Compiler 编译为 Proxy Video 与结构化文本提示,两者共同喂给 Video Model,模型生成 RGB 观测帧。
MiniMax-H3 的身份需要先理清。它是中国 AI 公司 MiniMax(License 实体 Nanonoble Pte. Ltd.,产品线 Hailuo AI)发布的第三代视频生成模型,2026-07-30 创建 GitHub 仓库,2026-08-03 全面开源,License 名为 MiniMax H3 Community License Agreement(2026-08-02 生效),Excluded Territories 包含欧盟、英国、韩国、美国MiniMax H3. 三模块系统结构如官方总览图:

图注:MiniMax H3 三模块系统总览——H3-Context-IR 把原始多模态输入转换为结构化 Context Intermediate Representation;H3-Base 生成 768p 视频 + 音频;H3-Regenerate-2K 利用原始 context 再生到 2K 分辨率。Context Guidance 旁路箭头跨过 H3-Base 直接连到 Regenerate 阶段,意味着原始 context 被 2K 阶段复用。
H3 是 pipeline 而非单一模型。H3-Context-IR 与 H3-Regenerate-2K 只以 API 形式提供,没有可开源权重;H3-Base 的 768p checkpoint 已经开源,其中 33B 参数 dense single-stream Transformer 联合去噪视频与音频 latentMiniMax H3. 三种输入模式覆盖了 proxy 注入的两种物理路径:T2VA(纯文本)、FL2VA(首末帧条件,0/1/2 张参考图)、Ref2VA(≤9 图 + ≤3 视频 + ≤3 音频的混合参考,CFG-distilled 无 guidance scale)MiniMax H3.
论文的原型用 H3 Ref2VA checkpoint 加 LoRA 微调。具体的训练配置很硬:rank-128 LoRA 跨 50 个 transformer block,约 5.96 亿可训练参数;AdamW、global batch 8、weight decay 0.01、gradient-norm clipping 1.0、BF16 mixed precision、FlashAttention-3、gradient checkpointing、关闭音频损失;3 个 epoch、3534 个 optimizer step、100 步 warmup、cosine LR decay 从 $2 \times 10^{-5}$ 到 $1 \times 10^{-6}$;训练硬件是 8×H800Code World Model. 训练数据来自 157 段 GTA V gameplay,约 5.6 小时,按 2 秒步长采样成 9420 个 5 秒 clip,每个 clip 是 124 帧 @ 1344×768 @ 24 FPS 的视频;proxy 与之对齐,也是 124 帧 @ 336×192Code World Model.
proxy 怎么送进 H3?通过两条物理路径。第一,多模态编码器接收 system instruction、clip-specific text description,以及从 124 帧中每隔 12 帧采样的 11 帧 proxy 帧(offsets 0, 12, 24, …, 120),让 H3 把 proxy 当作多帧参考条件输入。第二,首帧外观锚由 GPT Image~2 根据首个 proxy 帧和 agent 写的文本 prompt 生成 1536×864 锚图,resize 到 1344×768 后同时送入多模态编码器与 Ref2VA appearance-reference branch——这把"这一段视频长什么样"这个外观问题从 proxy 端抽出来,由独立的图像模型决定Code World Model.
长视频推理靠滑动窗口拼接。每个窗口 124 帧,相邻窗口之间保留 34 帧重叠,每推进一个新窗口生成 90 帧。第一个窗口用 GPT Image~2 锚作为全局身份;后续窗口复用同一锚、同时把前一窗口末尾 34 帧 RGB 作为局部连续性条件。stitching 时第一个窗口全保留,之后每个新窗口丢弃那 34 帧重叠、留下 90 帧拼接——这样首尾在像素层面自然过渡Code World Model.
把视角拉到同月的另一端,给"把动力学交给代码"做一个镜像对照。MiniWorld 是 2026 年 8 月的端到端视频世界模型代表,把一切塞进一个 block-causal Video DiT:

图注:MiniWorld 整体架构——Video VAE 把 RGB 编码为 latent volume,actions/camera poses 转成 latent-frame-aligned 条件信号;latent 序列按时间切 chunks,block-causal Video DiT 配 chunk-wise non-decreasing noise schedule;streaming 推理靠 rolling KV cache + bounded active window 撑长 horizon。这是"动力学留在 latent 里"的端到端正方代表。
镜像对照一眼可见。本文把 World State 从神经网络抽出来交给代码、把视觉交给外部条件渲染器;MiniWorld 把这一切塞进一个 Video DiT、用 chunk-wise non-decreasing noise schedule 和 rolling KV cache 撑长时一致性。两者对"端到端模型学不好物理"这同一诊断的修法相反:一个抽出、一个加重。
怎么把代码状态和像素对齐:代理-观测对数据管线
proxy-observation pair 数据管线讲的是:怎么把游戏或真实视频里录到的 RGB,跟同时录到的、能完整重建 proxy 的结构化状态,一对一对齐起来供训练。
两条数据源共享同一套 primitive 词汇。游戏一路用 GTA V runtime 同步记录——目标视频与构造 proxy 所需的 runtime state 在同一执行里被同步录下,proxy 保留相机态、实体位置与朝向、近似尺度、场景布局、交互关键态,自动产出 pixel-wise instance map 与跨帧绑定Code World Model. 它明确排除骨骼姿态、详细 3D 模型——这两种信息 coding agent 难以在推理时复现。
真实视频一路用 KITTI-360 做 offline 3D 重建——calibrated camera poses、累积 3D 重建、3D object annotations 仅在 offline 构造阶段使用,视频模型推理时完全不接触这些几何Code World Model. 同一个 primitive 词汇在这里继续生效:capsule skeleton 给行人、wireframe 给车辆、low-poly 给植被、粗 3D extent 给大建筑。整个 proxy 投影到共享 depth buffer 后渲染,保留相机运动、空间对齐、遮挡关系。这种构造的一个隐含收益:KITTI-360 端不需要 action labels 或显式相机位姿标注——两者被 bake-in 进了 proxy 帧本身。
论文里有一句话值得反复读:"因为抽取和编译是基于代码的,coding agent 可以通过小范围局部程序改动轻松新增或调整保留的标注通道"Code World Model. 这一句把"code as world model"的设计哲学直接打通到数据管线:proxy 提取工具就是同一份代码,agent 能改、就能加新通道。这是 latent 路线没有的能力——在那里,数据 schema 改一次等于整个 latent 表征重训。
来看同期同方向对照——另一种代码 + 视频模型双引擎的物化方式:

图注:VideoCoCo 双引擎框架。Stage 1(Executable Simulation Engine):用户 prompt 经 coding agent 写成自包含 Blender 程序,沙箱内执行得到低分辨率白模时空草稿。Stage 2(Generative Video Engine):同一 prompt + Stage 1 草稿经 instruction agent 生成 editing instruction,与草稿共同喂给视频编辑模型,得到 photorealistic 视频。executable draft 供过程级动力学,编辑模型供 photoreal 外观。
这张图揭示了"代码 + 视频模型"双引擎结构的另一种物化方式。VideoCoCo 的 coding agent 写 Blender Python 程序,sandbox 执行后渲染出白模时空草稿;instruction agent 读同一 prompt + 草稿,生成描述外观/材质/光照的 editing instruction;视频编辑模型把草稿 restyle 成 photoreal 视频。结构上跟本文的双组件一致,但有一个关键差异:VideoCoCo 是 per-prompt 单次程序,不维护跨样本的 persistent world stateVideoCoCo.
差异的物理后果很直接。本文让 coding agent 维护的状态是持久的、可在多轮交互中被回写查询;VideoCoCo 的 Blender 程序跑完即弃,下一次 prompt 再写一份新的。前者关心的是"长时一致性如何随演化保住",后者关心的是"这一次生成的物理一致性如何提上去"。两个不同目标,两种不同物化。
对照、局限与脉络:本文在世界模型谱系里的位置
论文 §4 的实验结果只是定性的。Fig. 4 给出 5 个案例,每个案例 6 帧 proxy + 6 帧 RGB 对齐:Sailor Moon 在巫师学院庭院里跳棒舞、James Bond 在雨夜 bazaar 与船夫搏斗、celestial manta-skiff、dandelion-seed 信使、brass-bell 香客。每个案例背后是一份 coding-agent 写的完整文本 promptCode World Model. 论文没有给出 benchmark 数字、没有对比基线表、没有 FVD 或 per-task 分数。下游写作如果想引用"达到 SOTA"或"优于 X"——都不成立。
作者明确声明两项局限Code World Model:
- 训练规模小——5.6 小时 GTA V、9420 clip、3 epochs、8×H800;论文自陈"生成质量仍然受限","未实现 autoregressive real-time generation"。这意味着这套原型不打算替代游戏引擎或实时仿真器,只是一个 proof-of-concept。
- 当前 coding agent 仍不能从零构建复杂游戏机制——原型演示的"自主构造完整开放世界游戏或仿真器"还没有做到。agent 站在已有 AAA 引擎代码之上做 combine/extend/rewrite 是可行的,从零开始造一个 GTA V 等价的世界目前还做不到。
这两条局限直接影响适用边界。本文方案适合作为"代码 + 视频模型"架构的概念验证,而不是"现在就能用的开放世界生成器"。
同期同方向对照
把视角拉到 2026 年七、八月同方向的其他工作,定位本文的位置。
代码 + 视频模型这条线有 VisualPatchWorld、VideoCoCo、本文三家。VisualPatchWorld 把代码用作 image-derived scene graphs 喂给可执行 transition program,下游是 receding-horizon CEM-MPC 规划;VideoCoCo 把代码用作 Blender 程序喂给视频编辑模型,下游是物理一致性提升;本文把代码状态编译成 proxy 喂给外部条件视频模型,下游是长时开放世界演化。三家共享"代码作为世界模型"主线,但产物下游用途完全不同。
端到端 + 显式动力学这条线有 LDR。LDR 也是 2026 年 8 月的同月工作,诊断与本文相同(端到端视频模型学不好物理),修法相反——不在 latent 里把动力学抽走,而是在 latent 里把动力学显式搭出来,用 kinematic integration + 高阶残差回归的方式在 latent space rollout:

图注:LDR pipeline——给定三帧条件 I₀,I₁,I₂,编码器把每帧编为结构化潜空间(SL);测量 SL 的低阶时间导数,rollout 时只让网络 f_θ 回归 third-及更高阶残差,由公式 ṡ_{t-1} ← ṡ_{t-2} + s̈_{t-2}·Δt、ŝ_t ← ŝ_{t-1} + ṡ_{t-1}·Δt 数值积分得到下一 latent;最后由 decoder 把每个预测 latent 还原为 RGB 帧。整个数值积分链路固定,只有 f_θ 学习。
LDR 的关键主张是"真实学到动力学的视频世界模型应能在 OOD 下外推",并在 PhyWorld 五任务(uniform motion、parabola、collision、bouncing、looming)上给出定量支撑——ID/OOD error gap 比基线缩小 20×、参数少 26×、速度快 143×LDR. 这三个数字必须带三个限定:PhyWorld 五任务、256² 分辨率、DiT-S 基线,缺一不可。LDR 把动力学留在网络内但显式搭出来,本文把动力学整个抽走交给代码——两种修法都声称自己抓住了物理,但 LDR 的可量化证据更强,因为它把同样的诊断落到具体 benchmark 上做了对比。
Code World Model 谱系的历史脉络
把视野放到 2020 到 2026 这条更长的脉络上,看清本文出现在哪个节点。
最早一站是 DreamerV2(Hafner 等,ICLR 2021)——端到端 latent dynamics 路线的经典基线。它的世界模型由 image encoder、Recurrent State-Space Model(RSSM)、image/reward/discount 三个预测头组成;动力学全部塞进 RSSM 的 latent 空间,通过预测误差学出来;policy 在 latent imagination 里学DreamerV2:

图注:DreamerV2 RSSM recurrent flow——CNN encoder 提取图像特征,RSSM 维护 deterministic recurrent state h_t、posterior z_t(整合当前 x_t)与 prior ẑ_t(只用 h_t 预测);图像/reward/discount 三 predictor 从 compact model state (h_t, z_t) 重建与预测;KL loss 同时训练 prior 与 regularize posterior;上方小循环代表使用 prior 做 imagination rollout。这是把动力学放在 latent 里的端到端路线代表。
2024 年是关键转折点。WorldCoder(Tang、Key、Ellis,Cornell,NeurIPS 2024)把"代码作为世界模型"推到 RL planning 范式:LLM 写 Python transition function 与 reward function,planner 在代码上做 tree search 输出 action,环境反馈回 replay buffer 形成闭环WorldCoder. 同年 Dainese 等人用 GIF-MCTS(Generate/Improve/Fix + Monte Carlo Tree Search)让 LLM 迭代合成 RL 环境 transition 程序,并提出 Code World Models Benchmark(CWMB,18 个 RL 环境)做评测Dainese et al. 2024. 这两条工作的"Code World Model"指的是 RL planning 范式——Python 程序喂给 planner,输出 action。
然后是 2026 年的合并。本文把"程序化世界模型"那条线(WorldCoder / Dainese CWM 都在这条线上)与"视频世界模型"那条线(DreamerV2、MiniWorld、LDR 都在这条线上)合到一起——coding agent 写 Python 维护持久世界状态,proxy 编译把这份状态喂给外部条件视频模型,模型生像素;下一轮观察和新事件回到 coding agent 闭环。同期 VisualPatchWorld 和 VideoCoCo 也走了类似合并路线,但下游用途不同:VisualPatchWorld 给规划,VideoCoCo 给物理一致性,本文给长时开放世界演化。
这条脉络可以用一句话收口:本文是把 2024 之后分化出的"程序化世界模型"与"视频世界模型"两条线合到一起的尝试。它的赌注是"动力学脱离像素 + 渲染交给外部条件生成"这套分工能在开放世界长时任务里打开一条路,但训练规模小、agent 能力受限这两个限制还有待后续工作解决。
参考文献
本专题引用的核心资料如下,建议深入学习时阅读原文:
- Code World Model: Coding Agent as World Brain — arXiv:2608.25927
- VisualPatchWorld: Code World Models as Latent Structured Representations for Planning — arXiv:2607.25236
- VideoCoCo: Code-as-CoT for Physically-Consistent Video Generation via an Agentic Dual-Engine System — arXiv:2607.27380
- MiniMax H3: An Open Model for Unified Multimodal Video-Audio Generation — https://github.com/MiniMax-AI/MiniMax-H3
- MiniWorld: Democratizing the Training of Video World Models from Scratch — arXiv:2608.01127
- Learning How the World Evolves: Extrapolative Video World Models via Latent Dynamics Reasoning — arXiv:2608.09926
- WorldCoder, a Model-Based LLM Agent: Building World Models by Writing Code and Interacting with the Environment — arXiv:2402.12275
- Generating Code World Models with Large Language Models Guided by Monte Carlo Tree Search — arXiv:2405.15383
- Mastering Atari with Discrete World Models (DreamerV2) — arXiv:2010.02193