MindJourney：测试时扩展 + 世界模型，给 VLM 一个可探索的 3D 想象空间

1. VLM 在 3D 空间推理上为何集体掉线？

问一个简单的问题："如果你面前的相机向左转 9° 再前进 0.25 米，原来画面右侧的红球会移动到画面的什么位置？"对人类来说，这几乎不需要思考——你脑中会自动"模拟"出移动后的画面，然后给出答案。但对当前最强的视觉语言模型来说，这道题却是一个难以逾越的关卡。

来看一个直观的对比：

图注：给定一个空间推理查询，基线 VLM（顶部）直接答错；MindJourney（底部）通过世界模型生成多视角观测路径，在证据缓冲池中积累有用信息后，最终给出正确答案。MindJourney (NeurIPS 2025)

为什么 VLM 会在这类问题上系统性地失败？SAT 基准给出了系统性的答案。SAT 受认知科学的空间能力测试启发，定义了五类动态空间推理子任务：

图注：左侧为现有基准的静态空间关系（左右、前后、靠近/远离），右侧为 SAT 新增的五类动态子任务——自我运动（EgoM）、物体运动（ObjM）、行动后果（EgoAct）、目标瞄准（GoalAim）和异位视角（Pers）。SAT (CoLM 2025)

SAT 的基线评测结果令人震惊：GPT-4o 在 SAT-Real（150 题真实场景标注）上平均仅 49.4%，接近随机水平（50%）；人类表现则是 92.8%。即使是最新的闭源模型 Gemini-1.5-pro 也仅 49.9%。SAT (CoLM 2025)

更深层的问题在于，这些模型并非不理解"红色"或"左边"这些概念——它们在静态空间关系上表现良好，但一涉及"如果移动 X 之后 Y 会怎样"这类需要心智模拟的动态问题，就集体掉线。VLM 的"世界观"是一个个 2D 静态快照的集合，缺乏一个能在脑中模拟 3D 运动因果的内部模型。

这引出了一个核心判断：VLM 在 3D 空间推理上系统性失败的根因，是它们缺少一个可交互的 3D 世界模型。补上这个缺口，就是 MindJourney 要做的——但在此之前，我们需要先了解两把关键的救场钥匙。

2. 能救场的两把钥匙：测试时扩展与世界模型

MindJourney 的方案不是凭空出现的。它站在两条技术演进线的交叉点上：测试时扩展（Test-Time Scaling, TTS）和世界模型（World Model）。

2.1 测试时扩展：从"更大的模型"到"更多的思考"

传统上，提升模型能力的方法是训练更大的模型、喂更多的数据。TTS 的思路相反——保持模型不变，在推理时分配更多计算。2025 年的大推理模型（OpenAI o1/o3、DeepSeek-R1）证明了这一范式的潜力：通过 RL 训练让模型在回答前"多想一会儿"，数学与编码能力大幅跃升。TTS Survey (arXiv 2503.24235)

TTS 全景分类树可以帮助我们看清 MindJourney 的位置：

图注：TTS 的四维分类框架——What to Scale（扩展什么）、How to Scale（如何扩展）、Where to Scale（在哪些任务上扩展）、How Well to Scale（扩展效果如何）。注意这是一个坐标系而非分组法：每个维度取一个值，四个取值合起来才完整刻画一种 TTS 方法，就像用"性别、年龄、国籍"描述一个人，而不是把方法分成互斥的四类。Hybrid Scaling（混合扩展）只是 What 维度展开后的四个子分支（并行/顺序/混合/内部）之一；图上只画了四个主维度名、未展开子节点，所以看不到它——完整分类树见 TTS Survey 原文（arXiv 2503.24235）。TTS Survey (arXiv 2503.24235)

顺着"坐标系"的思路，MindJourney 在四个维度上各有一个答案：

• What（扩展什么）：扩展"搜索式的探索"——每轮并行展开多条 3D 轨迹、再让 VLM 评分剪枝，即 What 维度下的 Hybrid Scaling（混合扩展/树搜索）。它的搜索空间从 token 序列换成了 3D 物理轨迹，所以与 ToT、Beam Search 同属一个谱系，但搜索对象不同。
• How（如何扩展）：推理时扩展（test-time）——模型冻结、无需微调、即插即用；这与 o1/R1 用 RL 把长链推理"训练进"模型（Internal Scaling）的路径互补而非互斥。
• Where（在哪些任务上）：需要心智模拟的动态空间推理任务，即 SAT 的自我运动、物体运动等子类。
• How Well（效果如何）：SAT-Real 上让 o1 从 74.6% 提到 84.7%（+10.1%，SOTA）；但增益受世界模型生成质量制约、长轨迹会衰减，always-on 搜索的算力代价也很大。

2.2 世界模型：从"控制导向"到"生成导向"

世界模型的概念同样不是新的。DreamerV3（DeepMind, 2023）展示了经典的世界模型范式——RSSM（循环状态空间模型）在潜在空间中模拟环境动态，本质上是控制导向的：它的表征只要能支持决策就行，不需要像素级保真。DreamerV3 (DeepMind, 2023)

图注：DreamerV3 的训练架构。左侧世界模型将感官输入编码为离散表征 z_t，由序列模型预测时序演变；右侧 Actor-Critic 在想象的潜在轨迹上学习。核心设计是确定性循环状态 + 随机表征的组合。DreamerV3 (DeepMind, 2023)

DreamerV3 的 RSSM 在设计目标上与 MindJourney 所需的世界模型有着本质差异。用一个 3D 渲染的类比来理解：RSSM 就像深度缓冲（depth buffer）——只记录每个像素离相机的距离，信息量极低但计算极其高效，足够用来判断"哪里能走、哪里不能走"；而 MindJourney 需要的扩散式世界模型则像全分辨率光线追踪——保留完整的颜色、纹理、光照，计算昂贵但提供了丰富的视觉上下文。

这个对比解释了 MindJourney 为什么选择扩散模型而不是 RSSM：空间推理的 VLM 需要"看到"生成的画面才能回答"物体移到了什么位置"，而不是仅仅在潜在空间中预测一个奖励值。MindJourney 的世界模型是视觉生成导向的，不是控制导向的。

有了 TTS 的分类坐标和世界模型的两种范式，现在我们可以正式进入 MindJourney 的核心框架了。

3. MindJourney：给 VLM 装一个可探索的 3D 想象引擎

3.1 Imagine→Select→Answer 三阶段循环

MindJourney 的核心理念可以一句话概括：不给 VLM 更大的模型，给它一个可探索的 3D 想象空间。 具体来说，框架通过一个三阶段循环来运作：

图注：MindJourney 流水线。输入图像和问题后，Spatial Beam Search 执行 n 步搜索：世界模型交互式生成新观测，VLM 构建证据缓冲池并引导搜索方向，最终基于原始图像 + 缓冲中的多视角观测回答问题。MindJourney (NeurIPS 2025)

三阶段的职责清晰分离：

• Imagine（想象）：世界模型根据当前束节点的图像和候选动作，生成新的多视角观测；
• Select（选择）：VLM 评估每条候选路径的"探索价值"和"问答帮助价值"，决定哪些路径值得继续探索、哪些观测值得保留；
• Answer（回答）：将原始图像与证据缓冲池中积累的"有帮助"观测一起输入问答 VLM，输出最终答案。

这个框架的一个关键设计选择是无需微调——VLM 和世界模型都是预训练好的，通过测试时的搜索和证据积累来提升空间推理能力，属于真正的即插即用。

3.2 Spatial Beam Search：在物理空间中搜索

想象一位台球选手在出杆前，脑中会模拟多条击球线路——不同角度、不同力道的组合，然后选择最有可能把球打到理想落位的方案。Spatial Beam Search 的工作方式与此高度一致。

图注：Trajectory Expansion 示意图。参数 k=3（最多重复动作 3 次）、d=0.25 米、θ=10°。给定一个束节点，世界模型生成 3 种原始动作（前进、左转、右转）各最多连续重复 3 次，共 9 条候选观测。MindJourney (NeurIPS 2025)

搜索算法交替执行两个步骤：

① 问题无关扩展： 对当前束路径，探索 3 种原始动作（前进 0.25m、左转 10°、右转 10°）中每种最多连续重复 3 次，生成最多 9 条候选路径。世界模型为每条候选路径渲染对应的下一帧。这个阶段不依赖问题——即世界模型不知道具体在问什么，只是全方位地探索可能的新视角。

② 问题感知剪枝： 将候选路径描述 + 渲染帧 + 问题一起输入 VLM。VLM 返回两个分数：

• s_exp（探索分数）：继续沿这条路径探索的价值；
• s_help（帮助分数）：当前观测对回答问题的帮助程度。

低于阈值（γ=8）的路径被丢弃。按 s_exp 保留前 B=2 条作为下一层束，按 s_help 保留前 H 条存入证据缓冲池。搜索深度 n=3。

算法中的关键洞察是"问题无关扩展 + 问题感知剪枝"的分离——世界模型不需要理解问题，它只负责生成；VLM 是裁判，负责评价。这种分工使得世界模型可以保持通用性，而 VLM 的任务特异性判断引导搜索方向。

3.3 世界模型的两种选择

MindJourney 提供了两种世界模型实现，各有侧重：

SVC（Stable Virtual Camera） 是通用的新视角合成模型，支持"多输入→多输出"的扩散架构。它的 M-in-N-out 设计可以接受任意数量的输入视角和目标相机参数，生成对应新视角。Seva/SVC (ICCV 2025)

图注：Seva 架构。左侧为三路输入（CLIP 嵌入、VAE 潜码、相机位姿），中间为 U-Net 去噪网络（含 3D 自注意力和可选的时序通路），右侧输出新视角。下方展示了两阶段过程式采样策略。Seva/SVC (ICCV 2025)

SWM（Search World Model） 则基于 Wan2.2-TI2V 微调，专为搜索任务优化。它通过一个小型可学习相机编码器将外参矩阵注入扩散 Transformer，训练数据混合 HM3D 模拟导航片段（50K）、RealEstate10K 室内视频（10K）和 DL3DV-10K 户外视频（10K）。

两种模型还支持两种采样模式——Set NVS 生成无序视角集合，适合大范围空间探索；Trajectory NVS 生成沿平滑轨迹的视频序列，适合局部精细观测。

图注：Set NVS（上）与 Trajectory NVS（下）的对比。Set NVS 产生的目标视图无序、跨越较大空间范围；Trajectory NVS 输出的视图沿平滑相机轨迹有序排列，形成连贯视频。Seva/SVC (ICCV 2025)

4. 加装想象引擎后，VLM 的空间推理进步了多少？

理论说得再好，最终要看实验。MindJourney 在 SAT 基准上的结果清晰地展示了"想象力"的价值。

结果中两个反直觉的发现值得特别注意。第一，世界模型与 RL 推理缩放正交互补。 GPT-4.1 + MindJourney（80.6%）已超越纯 o1（74.6%），而 o1 上叠加 MindJourney 进一步提升到 84.7%。这说明世界模型提供的物理探索信息与 RL 学到的思维链归纳偏差大体上是正交的——它们从不同维度提升空间推理能力，叠加效果接近相加。

第二，搜索深度受世界模型质量制约。 在 SAT-Synthesized（更接近 SWM 训练分布）上，性能持续提升到 step 3；但在 SAT-Real 上，step 2 即到达峰值，step 3 反而轻微下降。原因在于真实场景中长轨迹渲染质量逐渐衰减，噪声证据开始稀释信号。MindJourney (NeurIPS 2025)

为了理解 SAT 数据集的构造方式，来看它的数据生成流水线：

图注：SAT 动态数据的程序化生成流水线。在 ProcTHOR 3D 模拟器中执行动作（移动相机、移动物体），查询更新后的 3D 位置，再通过模板生成 QA 对。共产出 175K QA 对（127K 静态 + 48K 动态）。SAT (CoLM 2025)

但 MindJourney 的增益并不是无限的。当进入需要更精细推理的场景时，想象力开始碰到天花板。MMSI-Bench 提供了另一面镜子——在这个多图像空间推理基准上，最强模型（GPT-5）仅达约 41%，而人类超过 97%，揭示了当前 VLM 在多图像空间推理上的系统性局限。MMSI-Bench (ICLR 2026)

图注：MMSI-Bench 的 11 类多图像空间推理任务示例。涵盖位置关系（Camera-Camera、Camera-Object 等六种）、属性（Measurement/Appearance）、运动（Camera/Object）和多步推理。人类 97% vs 最强模型 ~41%。MMSI-Bench (ICLR 2026)

在多图像精细化关系推理场景中，世界模型生成的想象视图质量不足以支撑所需的精细度——这是第五章即将展开的核心问题。

5. 想象引擎的三道裂缝：效率、验证器与另一条路

MindJourney 证明了"给 VLM 配世界模型"这一方向的可行性，但沿着这个方案深入下去，三道裂缝逐渐浮现。

5.1 裂缝一：always-on 的低效（AVIC）

MindJourney 对每个问题都执行完整的 Spatial Beam Search——无论是否需要。AVIC 论文对这种方式做了精确的"成本效益分析"：在 SAT-Real 上，always-on 想象策略的每次调用中，仅 14% 真正有帮助，32% 反而误导（因想象视图引入噪声导致答错），54% 完全不必要（即使不调用世界模型也能答对）。AVIC (NeurIPS 2026)

这意味着 MindJourney 以约 30 倍的推理时间换取仅 4.6 个百分点的提升（62.0% → 66.6%），而选择性想象的理想上界可达 75.3%。

AVIC 的自适应门控策略用一个策略模型在测试时决定"要不要想象"和"想象多少"：

图注：(a) 直接 QA；(b) Always-on beam search；(c) AVIC：策略模型决定是否调用世界模型（skip/call_wm），需要时生成动作计划，经轨迹验证器筛选后送入 VLM；(d) RL 训练循环（GRPO）。AVIC (NeurIPS 2026)

效果是显著的：AVIC 用约 5% 的 token（7.6K vs 162.6K）和约 1/6 的推理时间，达到了持平甚至更高的准确率（79.3% vs 77.3%）。AVIC (NeurIPS 2026)

效率—准确率的权衡关系在下面的散点图中更加直观：

图注：自适应想象 vs. always-on 的准确率/效率对比。左图：WM 调用率 vs. 准确率；右图：每题想象视图数 vs. 准确率。AVIC-R 以最少想象视图（3.60 vs 8.90）达到最高准确率（77.3%）。AVIC (NeurIPS 2026)

5.2 裂缝二：验证器不靠谱（ViSA）

即使调用了世界模型，如何判断生成的观测"对回答问题有帮助"？MindJourney 让 VLM 直接对候选帧打分，但 ViSA 的深入分析揭示了这个验证机制的系统性缺陷。

ViSA 将想象视图的评估拆解为两个可解释步骤：先由 VLM 针对每帧生成以问题为条件的微断言（如"红球移到了蓝球后面"），再由独立的验证器对这些断言输出裁决（蕴含/矛盾/证据不足），最终综合为 Evidence Quality（EQ）分数。

图注：MJ（上）与 ViSA（下）验证流程对比。MJ 让 VLM 对所有想象视图一次性联合评分；ViSA 先逐帧生成微断言，再由独立验证器评估，最后计算 EQ 分数作为测试时奖励。ViSA (ICLR 2026)

通过熵分析对比不同 top-k 下的答案选择置信度，ViSA 发现 MindJourney 的验证器的校准能力甚至不如随机选择——

图注：对 50 个随机采样的 SAT-Real 问题，按 (a) 全部、(b) 正确回答、(c) 错误回答分组，展示不同验证器（基线/随机/MJ）在不同 top-k 下的熵变化。MJ 验证器的置信度校准不优于随机。ViSA (ICLR 2026)

更深层的问题是一个系统性的左转偏置：在所有 top-k 下，MindJourney 的搜索动作中有 46–53% 是左转，过度依赖高幅度转弯。ViSA 通过将评估分解为 claim 生成 → claim 验证 → EQ 分数三步骤，纠正了这一偏置，在 SAT-Real 上将准确率从 67.3% 提升到 72.7%。ViSA (ICLR 2026)

5.3 另一条路：符号化 3D 抽象（SandboxVLM）

前两条裂缝都是在"用世界模型生成视图"这个范式内做改进。SandboxVLM 则走了一条完全不同的路：不生成画面，而是直接从 2D 图像重建出抽象的 3D 场景结构。

图注：SandboxVLM 端到端管线。2D 输入图像和文本查询流经：视频扩散生成多视图 → 深度估计 + VLM 物体识别 + 分割 → 代理抬升 → 多视图投票聚类 → 抽象 3D 包围框 → 渲染信息视图 → VLM 推理。SandboxVLM (CVPR 2026)

管线核心包含两步：

图注：3D Sandbox 核心模块。(a) Proxy Elevation：VLM 提议物体 → SAM2 分割 → 形态学腐蚀 → 最远点采样 → 深度抬升为 3D 代理点。(b) Multi-View Voting：跨视图一致性检查 → DBSCAN 聚类 → PCA 拟合有向包围框。SandboxVLM (CVPR 2026)

Proxy Elevation（代理抬升）：VLM 识别相关物体 → SAM2 生成掩码 → 形态学腐蚀 + 最远点采样选内部代理点 → 深度反投影到 3D。Multi-View Voting（多视图投票）：通过跨视图一致性检查过滤噪声点 → DBSCAN 聚类分离实例 → PCA 拟合有向 3D 包围框。

最终，VLM 看到的是从两个信息视点（全景俯视图 + 鸟瞰图）渲染的抽象 3D 框，而不是生成式 2D 画面。SandboxVLM (CVPR 2026)

结果非常有说服力：SandboxVLM 在所有测试骨干上都超越 MindJourney——在 GPT-4o 上 +8.3%（77.7% vs 69.4%），在 GPT-5-mini 上 +5.4%（84.1% vs 78.7%），更关键的是在 GPT-5 上 MindJourney 出现 7.3% 倒退而 SandboxVLM 持续提升（84.3% vs 72.8%）。SandboxVLM (CVPR 2026)

SandboxVLM 的一个反直觉发现是：VLM 本质上是语言中心的。消融实验显示，3D 坐标文本提示（80.8%）优于渲染代理点（77.0%），直接渲染点云甚至会降低性能（73.7%）。这表明当前 VLM 对稠密视觉信息的利用能力有限，符号化的空间抽象更适配其推理模式。

6. 瓶颈在哪，下一步往哪走？

6.1 三条共识性瓶颈

综合 MindJourney 及其后续工作的分析，当前将世界模型用作推理引擎面临三条瓶颈：

瓶颈一：长轨迹生成质量衰减。 扩散式世界模型在多步自回归生成中会出现 fidelity 下降——每个新视角都会累积前一步的误差，导致 SAT-Real 上 step 2 后性能不再提升。ViSA 在 MMSI-Bench 上的实验进一步量化了这一现象：所有验证器（随机、MJ、ViSA）在该基准上的准确率均停滞在 27–36% 之间，而 LAION aesthetic 评分显示 MMSI 生成帧的感知质量（4.53）远低于 SAT（5.12），说明生成质量是当前最关键的上限约束。ViSA (ICLR 2026)

瓶颈二：精细化关系推理增益有限。 当问题需要毫米级或像素级的位置判断时（如"物体 B 是在物体 A 的左边还是右边偏 10°"），世界模型生成的朦胧画面无法提供所需精度。抽象 3D 框路线（SandboxVLM）恰好弥补了这个缺口——但代价是丢弃了外观纹理信息。

瓶颈三：验证器设计仍不成熟。 无论是 MJ 的启发式评分还是 ViSA 的基于断言的验证，在复杂场景中都无法可靠地区分"有帮助"和"误导性"的想象视图。AVIC 的门控策略（gating recall 仅 43.9%、precision 27.1%）也表明，模型在判断"何时真正需要世界模型"上仍有很大改进空间。AVIC (NeurIPS 2026)

6.2 三条改进路线

flowchart LR
    MJ["MindJourney<br/>生成式 WM + TTS"] -->|"效率瓶颈<br/>always-on 浪费"| A["AVIC<br/>自适应门控策略"]
    MJ -->|"验证瓶颈<br/>校准 + 偏置"| V["ViSA<br/>结构化断言验证"]
    MJ -->|"生成瓶颈<br/>长轨迹 fidelity 衰减"| S["SandboxVLM<br/>符号化 3D 抽象"]
    A -->|"token 降 ~20×<br/>准确率持平"| G1["效率优先场景"]
    V -->|"SAT-Real +5.4%<br/>纠正偏置"| G2["验证优先场景"]
    S -->|"GPT-5 +11.5%<br/>对强骨干更鲁棒"| G3["精度优先场景"]

这三条路线不互斥，实际应用时应根据场景特点选择：

• 需要丰富视觉上下文（如判断物体颜色、纹理变化）→ 生成式 WM 路线（MindJourney + AVIC 式门控）
• 需要精确几何判断（如位置关系、遮挡推理）→ 符号化 3D 路线（SandboxVLM）
• 计算资源受限 → 自适应门控（AVIC）优先于 always-on 搜索

6.3 未来方向

从当前瓶颈出发，未来最有价值的几个方向是：

1. 更鲁棒的世界模型： 突破生成保真度天花板是解锁更深搜索的关键。这可能来自更大规模、更多样的训练数据，或者架构层面的改进（如 3D 原生表征而非 2D 扩散）。
2. 自适应想象策略的深化： AVIC 已经证明了"何时想象"的重要性，但它的策略模型 recall 仍有很大提升空间。更精细的门控信号和端到端训练是自然方向。
3. 混合符号-生成式方法： SandboxVLM 的抽象框和 MJ 的生成式视图不是非此即彼。一个系统可以先用符号化 3D 管线处理精确几何问题，再在需要视觉上下文时 fallback 到生成式 WM——两种范式互补。

最后，一个实操层面的建议：选择路径时不要只看准确率，要关注"对骨干的鲁棒性"。 SandboxVLM 在 GPT-5 上持续提升而 MJ 倒退的现象说明，随着 VLM 骨干的增强，符号化 3D 路线的优势可能会进一步放大——因为更强的 VLM 能更好地利用符号化输入，而生成式视图受限于世界模型本身的瓶颈。

参考文献

本专题引用的核心资料如下，建议深入学习时阅读原文：

1. MindJourney: Test-Time Scaling with World Models for Spatial Reasoning (NeurIPS 2025) — https://arxiv.org/abs/2507.12508
2. SAT: Dynamic Spatial Aptitude Training for Multimodal Language Models (CoLM 2025) — https://arxiv.org/abs/2412.07755
3. Stable Virtual Camera: Generative View Synthesis with Diffusion Models (ICCV 2025) — https://arxiv.org/abs/2503.14489
4. When and How Much to Imagine: Adaptive Test-Time Scaling with World Models for Visual Spatial Reasoning (NeurIPS 2026, submitted) — https://arxiv.org/abs/2602.08236
5. Probing the Effectiveness of World Models for Spatial Reasoning through Test-time Scaling (ICLR 2026) — https://arxiv.org/abs/2512.05809
6. Abstract 3D Perception for Spatial Intelligence in Vision-Language Models (CVPR 2026) — https://arxiv.org/abs/2511.10946
7. A Survey on Test-Time Scaling in Large Language Models: What, How, Where, and How Well? — https://arxiv.org/abs/2503.24235
8. Mastering Diverse Domains through World Models (DreamerV3, DeepMind) — https://arxiv.org/abs/2301.04104
9. MMSI-Bench: A Benchmark for Multi-Image Spatial Intelligence (ICLR 2026) — https://arxiv.org/abs/2505.23764
10. MindJourney Official Code Repository — https://github.com/UMass-Embodied-AGI/MindJourney