BloomBloom
发起研究

空间智能：AI 缺的「闭着眼也知道杯子在桌上」

你有没有过这种经历：闭着眼也能伸手够到桌上的杯子，把手机翻个面再放回原位不会撞到键盘，转头时能预判门在哪里。这不是「识别」——大脑里没有一张桌子的高清图。它是一种不假思索的三维直觉。Fei-Fei Li 把这种能力叫做 spatial intelligence（空间智能），并把它立为「AI 的下一个大模型时刻」的命题From Words to Worlds。当前的多模态大模型（MLLM）虽然在 2D 图像识别上已经很流畅，但在「这个房间有多大」「从门到床该往哪边转」这类问题上被人类远远甩开Thinking in Space。本篇要讲的不是怎么识别物体，而是 AI 为什么还缺这种三维直觉，以及学界和产业界已经在用哪几条路径把它补回来。

图注：Fei-Fei Li 在 NeurIPS 2024 keynote 前后接受 IEEE Spectrum 访谈时的一张肖像照。作为本篇的「旗手人物锚点」，把空间智能这条线与一位具体的研究者关联起来——她在访谈中直接说出「The world is 3D. We don't live in a flat world」。

闭着眼也能摸到杯子，这件事映射到 AI 系统上对应的是一整套能力——距离、方向、尺度估计、空间关系推理、自我-世界视角转换。自动驾驶误判距离、机器人抓空、AR 眼镜错位，这些看似零散的翻车场景背后其实缺的是同一种能力。这部分的具体案例留到《空间感是什么：AI 最缺的那种「不假思索」》一篇去展开，主干只负责把张力立起来：识别做得越来越准，并不等于空间感在变好。

从 2D 视频里诱导 3D：反直觉机制是怎么成立的

补齐空间感的最朴素想法是「标注更多 3D 数据去教 AI」。但 2022 年以来一条被验证过的主线恰恰反着走：不需要 3D 真值，海量 2D 图像和视频本身就藏着 3D 答案，模型可以被「诱导」出三维理解。这就是 Inducing 而不是 Teaching。种子机制来自 CroCo（NeurIPS 2022）：把同一场景的两张不同视角的图摆在一起，把第一张遮掉 90%，让模型用第二张（未遮罩的）参考图辅助重建被遮区域CroCo。这一步「必须借助另一张图才能填回 mask」的压力，把训练目标结构性地推到了「理解两视角空间关系」上，而不是「凭语义猜测被挡的内容」。

图注：CroCo 的双分支架构。第一张图的 patch 被高比例遮罩后送进一个 Siamese ViT encoder；第二张图作为参考全图经过同一个 encoder；两路 token 汇入带 cross-attention 的 decoder，输出重建图。注意右半边的 decoder 显式依赖第二张图的 token——这正是「必须借助另一路才能完成主任务」这种接口约束。软件系统里「双流输入 + 强制跨流对齐」的设计也是同样思路：单流跑不起来，必须双流对齐才出结果。

图注：auto-completion（左）与 cross-view completion（右）的对比。左半边只用单张遮罩图自身去脑补，被 mask 的内容只能靠高层语义去填；右半边多了同一场景的另一视角，被遮区域的几何细节可以被精准还原。这就是为什么 cross-view 比 auto-completion 更能「诱导」出 3D 几何。

这条血脉 4 年里一路走到现在的形态：VGGT（CVPR 2025）把 DUSt3R 的 pairwise pointmap 路线推进到了 feed-forward 单次前向——输入 1 张、几张、几百张图，一次跑完就输出 camera intrinsics/extrinsics、depth map、point map、3D point track 这些「全部 3D 属性」，耗时约 0.2 秒VGGT。关键设计是 Alternating-Attention（AA）transformer——frame-wise self-attention 与 global self-attention 交替堆叠 24 层，完全不用 cross-attention。这让 CroCo → DUSt3R → VGGT 形成一条被后人回溯出来的「inducing 血脉」，VGGT 也因此常被看作 2025 年「3D foundation model」这一说法的代表作。

图注：VGGT 的架构概览。输入图被 DINO patchify 成 token 后接 camera token 与 register token，送入交替堆叠的 frame-wise / global self-attention 层（24 层 AA）；右侧顶部是 camera head 输出内外参，右侧底部是 DPT head + 3×3 conv 输出 depth / point map / tracking feature。一次前向出全部 3D 属性，与 DUSt3R 必须靠测试期全局对齐（>10 秒）形成鲜明对比。

图注：VGGT 与 DUSt3R 在 in-the-wild 图像上的定性点云对比。中间行展示「两张图完全无重叠」场景：DUSt3R 在这种情形下失败，VGGT 仍能恢复出合理的 3D 结构；最底行是重复纹理挑战。这是「继承 pairwise pointmap、但去掉了后处理优化」的最直观证据。

Inducing 范式不只对静态图成立，动态视频同样能跑通。MonST3R（ICLR 2025）把 DUSt3R 的 pointmap 表示沿时间轴独立化——每张图得到一张与单一时间点绑定的 pointmap，动态物体会按时间在不同位置出现，背景则在多帧内保持一致MonST3R。这说明运动线索本身不增加监督成本，per-timestep pointmap 就能把动态场景编码下来——「视频诱导 3D」这条线不只停留在概念上。

Inducing 范式有一条显式对照路线：3D Gaussian Splatting（SIGGRAPH 2023）从「依赖 MLP 和体素网格的神经场」跳出，用一组各向异性的 3D 高斯粒子云（每条椭圆由位置、协方差、不透明度、球谐系数定义）+ tile-based 高速渲染器，做到 1080p ≥ 30 fps 的实时新视角合成，训练时间从 Mip-NeRF360 的 48 小时降到 41 分钟3D Gaussian Splatting。它的核心创新是 clone / split 机制：每 100 次迭代做一次自适应密度控制——under-reconstruction 时沿位置梯度方向 clone Gaussian 补足细结构，over-reconstruction 时 split 一个大 splat 为两个。这与 NeRF 的「在连续场里查询」完全不同。

图注：3D Gaussian Splatting 的三段式结构。左侧是一组优化后的 3D 高斯椭球（彩色、各向异性）；中间是「Optimize & adaptively control density」与「Fast tile-based rasterizer」两个模块；右侧是训练后实时浏览新视角的效果（motorcycle、train、playroom 等场景）。这是「显式粒子路线」从稀疏点云起步，跳出 NeRF 范式的最清晰图示。

Inducing 神经场路线与显式粒子路线目前已经汇流——前者擅长「从 2D 推 3D」，后者擅长「把 3D 实时渲染出来」。两条线的具体方法画像留给《AI 的「空间记忆」长什么样》一篇展开，主干只负责把范式的张力立住：AI 不靠手把手教 3D，而是被海量 2D 数据「诱导」出 3D 理解。

那么问题来了：能不能在 MLLM 时代用语言化修补（比如 Chain-of-Thought / Tree-of-Thought）替代这条 inducing 路径？VSI-Bench 给出的答案是「不行」——Zero-Shot CoT 和 ToT 在 VSI-Bench 上平均降约 4%，room/object size 任务降 8%–21%；同一个 Gemini-1.5 Pro 同一套 CoT 在通用视频基准 VideoMME 上反而提升 1.6%Thinking in Space。这不是「多想几步」能补的缺口——语言化 prompting 在空间推理上不是不可靠，而是彻头彻尾有害。这意味着补齐空间感的路径只能从表征侧想办法。

评估这条支线：为什么「视频看懂」不等于「空间感」

怎么定量证明 AI 有没有空间感？VSI-Bench（arXiv 2024-12 v1 / 2025-07 v2）是这条线唯一的标杆节点：5,000+ QA、288 段真实室内 egocentric（第一人称）视频、8 个任务分 3 类——configurational（构型）/ measurement estimation（度量估计）/ spatiotemporal（时空）Thinking in Space。评测了 15 个支持视频的 MLLM，覆盖闭源与开源。第一个反直觉发现是：人类平均 79%（在 400 题的人类对照子集上），领先最强 MLLM 约 33 个百分点。

图注：视觉空间智能的能力分类图。VSI-Bench 把所需能力拆成 4 个领域：visual perception、linguistic intelligence、temporal processing、spatial reasoning；其中 spatial reasoning 又细分为 relational reasoning 与 egocentric-allocentric transformation。这一拆解是「71% 错误归因于空间推理」这一结论的本体依据——视觉、语言、时序维度都不缺，瓶颈在空间推理本身。

第二个反直觉发现更关键：在表现最好的 MLLM 上做误差归因，约 71% 的错误落在空间推理（relational reasoning + egocentric-allocentric transformation 两类之和），不在视觉感知、不在语言、不在时序Thinking in Space。换句话说，瓶颈不是模型「看不清画面」，而是缺乏空间推理能力。

第三个反直觉发现是显式认知地图的价值。论文让 Gemini-1.5 Pro 在 10×10 网格上预测物体位置（生成一张 cognitive map），relative distance 任务准确率立刻提升 10%；如果直接喂给它 ground-truth 认知地图，提升达到 20%–32%Thinking in Space。这一信号暗示：空间感需要的是空间形式的表征，而不是更多语言链条。

图注：VSI-Bench 8 个任务的示例演示（论文注明为清晰起见做了轻微简化）。读者扫一眼就明白这些题考的是什么——「这个房间里有多少把椅子」「从门到床该往哪边转」「这个房间有多大」——这些都不是识别题，是空间推理题。构型类（configurational）问物体之间的关系，度量估计类（measurement）问量化数值，时空类（spatiotemporal）问视频里看到的空间记忆。

把三条发现合起来，能立住一句话判断：「视频看懂」和「有空间感」是两种能力，MLLM 在前者上接近人类水平，在后者上仍有巨大差距，且这条差距不能用语言化 prompting 来补。出题思路的具体细节（新视角、新光照、遮挡等）留到《怎么考 AI 的空间能力》一篇展开。

规模这条支线：把 3D foundation model 当 LLM 的另一只眼

VSI-Bench 把瓶颈定位到空间推理上，那么怎么补？一条直觉是：给 MLLM 加一只「结构之眼」。Spatial-MLLM（NeurIPS 2025 Spotlight）走的正是这条路：dual-encoder 设计——2D encoder（Qwen2.5-VL 的 CLIP 系视觉编码器，擅长 high-level 语义）+ 3D spatial encoder（用 VGGT 的 feature backbone 初始化，擅长 fine-grained 结构），经过 connector 把两条特征融合成 unified visual tokens 喂给 LLM（Spatial-MLLM 用 Qwen2.5-VL-3B 初始化）Spatial-MLLM。

图注：Spatial-MLLM 的双 encoder 总览。左侧输入视频帧序列被 2D encoder 提取 patch 级语义特征；中间是 VGGT feature backbone 提取的 3D 结构特征（含 register tokens）；右侧 connector 把两条特征融合成 visual tokens 喂给 LLM。这相当于给现有 LLM 接一只「结构之眼」的插件式扩展——LLM 主干不动，新增通路补结构，正像给现有系统挂接新的外部模块。

关键洞察是：CLIP 视觉编码器擅长语义、缺结构；VGGT 视觉几何模型擅长结构、补 2D encoder 的不足。这两条路各管一摊，合起来正好覆盖空间推理所需的全部信号。规模效应在 benchmark 上得到回报——VSI-Bench micro-avg 48.4，所有模型里排第一，超过 GPT-4o（34.0）、Gemini-1.5 Pro（45.4，且 Gemini 用 1 FPS 平均 85 帧/视频）、Qwen2.5-VL-72B（37.0）等基线。只用 16 帧就超过用 85 帧的 Gemini-1.5 Pro——这是 2025-2026 年视觉空间智能 SOTA 的最强证据之一Spatial-MLLM。

这条因果链的顺序很清楚：CroCo（inducing 范式种子）→ DUSt3R → VGGT（inducing 血脉的当下形态）→ Spatial-MLLM（把 VGGT 当 spatial encoder 喂给 LLM）。inducing 范式不仅在 2025 年的 3D foundation model 上跑通，还被直接当作 MLLM 的额外 encoder 复用进 LLM 时代——「范式仍然管用」不只是论文层面的判断，是被规模化复用的事实。

Spatial-MLLM 还有一处工程细节值得一提——space-aware frame sampling。VSI-Bench 每段视频通常超过 2000 帧，而 MLLM 显存只够塞 8–32 帧。传统 uniform sampling 对通用视频理解够用，但对空间推理不够——它会忽略短暂出现的 transient region，又会在相机静止时挑到一堆冗余视角。解法是先均匀下采样到 128 帧，用 VGGT 的 camera head + depth head 解出每帧覆盖的 voxels，再用贪心算法挑 N_k 帧（论文默认 16 帧）使覆盖体积最大——同帧数下 always beats uniform，帧数越少收益越明显。这条工程思路的细节留给《空间智能的「大模型时刻」》一篇展开，主干只负责把「双 encoder 把范式规模化」这一点立住。

产品化这条支线：从研究到 API 的四级台阶

第三条支线是产品化——空间智能范式已经走出论文，进入商业产品和 API 阶段。世界实验室（World Labs）的 Marble 是这条线最清晰的实物证据World Labs / Marble。Marble 支持 text、image、multi-image、video、3D layout 等多种输入，可以生成 3D Gaussian Splats、triangle meshes、视频多种输出格式，还支持 Edit（世界编辑）、Chisel（coarse 3D layout + 文本 prompt 双轨输入）、Expansion（世界扩展）、Composition（多世界合成）等完整工作流。

图注：Marble 的端到端系统图。左侧 5 类输入（Text / Single Image / Multiple Images / Video / 3D Scene）汇入中央的 Marble World Model；后者指向 3D World 节点；3D World 上下各有 Edit 反馈箭头指回 Marble World Model；右侧导出 4 类输出（Image / Video / Gaussian Splats / Mesh）。这是「研究 → 实时 preview → 商业产品 → 平台 API」四级台阶里最直观的产品级证据。

把 3DGS（显式粒子路线）与 Marble（产品）串起来看：3DGS 在 SIGGRAPH 2023 把显式可微粒子推到 1080p ≥ 30 fps 的实时渲染，World Labs 直接把 3DGS 当作首选导出格式（highest-fidelity representation）——显式粒子路线已经从论文走进了产品形态。世界实验室的官方定义把空间智能拆成四个能力维度：perceive、generate、reason、interactWorld Labs About，与 Li 在 Substack 宣言里给的「three essential capabilities: Generative / Multimodal / Interactive」一对照就能看出产品定义比论文宣言多一个 perceive 维度From Words to Worlds。两者口径并存，引用时不要混。

时间线看产品化走过的四级台阶。Marble 的前身（2025-09-16「Bigger and Better Worlds」博客）以 limited beta preview 形式公开；RTFM（Real-Time Frame Model）于 2025-10-16 作为 research preview 发布；Marble GA 于 2025-11-12 上线；World API 于 2026-01-21 公开——四级台阶完整跑通World Labs Marble Blog。每上一级台阶，「空间智能能力」就被多一层封装——研究阶段是论文与开源代码，实时 preview 阶段是有限用户的 demo，GA 阶段是开放注册的商业产品，API 阶段是可被任意应用通过 HTTP 调用调用的基础设施层。

这条产品化支线与前面的规模支线形成强对照：规模支线是「学术 SOTA 怎么把范式推到 SOTA 分数」，产品化支线是「这套范式已经能让用户在浏览器里生成 3D 世界」。前者服务研究者，后者服务产品经理和终端用户。

从全景到判断：空间智能算不算 AI 的下一个大模型时刻

读完前五条支线（问题 → 反直觉机制 → 三条支线地图），最后要问的是「这到底算不算 AI 的下一个大模型时刻」。Fei-Fei Li 在 Substack 宣言里的副标题已经把答案写在明面上：「Spatial Intelligence is AI's Next Frontier」From Words to Worlds。这是 Li 本人对自家技术方向的命名判断，不是第三方给出。要把这条判断真正立住，需要看三个信号同时到位：

第一个信号：问题确实存在。按 VSI-Bench 论文发表时（2025-07 v2）的口径，MLLM 与人类在该基准 tiny 子集上仍有约 33 个百分点的差距，71% 错误落在空间推理，语言化 prompting 反而有害——这不是「再多训练一点就能解决」的问题，是范式层面的缺口；2025–2026 新模型是否已显著缩小该差距，以实时榜单为准。

第二个信号：机制确实成立。Inducing 范式从 CroCo 走到 VGGT 已经走通，VGGT 又被 Spatial-MLLM 直接当作 LLM 的额外 encoder 复用，feed-forward 单次前向 0.2 秒出全部 3D 属性。inducing 不只是研究范式，已经在产品模型里被规模化复用。

第三个信号：产品已经跑出来。Marble 从研究 → 实时 preview → 商业产品 → API 平台四级台阶完整跑通，把 3DGS 当作首选导出格式——空间智能范式不只是论文里的承诺，已经能在浏览器里点几下生成可探索的 3D 世界。

把这三个信号合成一句判断：当一个问题有清晰定义、有反直觉的机制、有可量化的评估、有 SOTA 的学术节点、有规模化复用的产品形态，它就已经具备「下一个大模型时刻」的基本特征。 至于「下一个大模型时刻」是否会真的发生、什么时候发生、最终形态长什么样——这是开放问题。

图注：世界模型综述的 3 轴 taxonomy（Functionality × Temporal Modeling × Spatial Representation）。第 3 行 Spatial Representation 轴把当前研究拆为 4 类策略：Global Latent Vector、Token Feature Sequence、Spatial Latent Grid、Decomposed Rendering Representation（DRR，即 3DGS / NeRF 这类可微渲染原语）。这条轴正是「inducing 范式产出的 3D 表征在 field-level 上落在哪」的视觉锚点。把上面讨论过的方法放进这张坐标系：VGGT / DUSt3R 落在 General-Purpose + Global + DRR-adjacent，Spatial-MLLM 是 General-Purpose + Global + DRR/TFS 混合（VGGT 当 spatial encoder，LLM 当 TFS 出口），Marble 落在 General-Purpose + DRR（3DGS 是 canonical primitive）。注：这是按综述框架的解读映射，综述本身并未直接 cite 这三个方法。

最后留三个可以带回你业务里聊的钩子。第一个：机器人抓空场景在你那边是哪个模块出的问题——是感知（看不出物体在三维里占多大）还是控制（知道位置但抓取姿态不准）？第二个：AR 错位的核心是感知还是渲染——是空间表征不准（VR 重投影漂移）还是渲染管线延迟（registration 不够快）？第三个：世界模型产品化在你的业务里 3 个月 vs 12 个月的可行路径分别是什么——是用现有模型 API（Marble、RTFM、World API）做集成，还是基于 inducing 范式自建一套？这三个钩子不替读者决定答案，但能给同事一次具体对话的起点。

整组专题的入口与主干到此结束。读者读完这一篇，对「为什么是 spatial intelligence、为什么是现在、inducing 范式怎么成立、评估/规模/产品化三条支线走到哪里」已经有了主干骨架。剩下的五个子专题按需选讲：三幕翻车场景的逐一拆解在《空间感是什么：AI 最缺的那种「不假思索」》；诱导范式机制细节（运动、光影、遮挡如何暴露三维结构）在《诱导而不是教授：从 2D 世界里「榨出」3D 理解》；NeRF / 3DGS / DUSt3R / VGGT 的方法画像在《AI 的「空间记忆」长什么样》；新视角、新光照、遮挡等出难思路在《怎么考 AI 的空间能力》；LLM 式扩展性、统一表征赌注与 2026 前沿在《空间智能的「大模型时刻」》。

参考文献

本专题引用的核心资料如下，建议深入学习时阅读原文：

  1. From Words to Worlds: Spatial Intelligence is AI's Next Frontier — Substack
  2. CroCo: Self-Supervised Pre-training for 3D Vision Tasks by Cross-View Completion — arXiv:2210.10716
  3. VGGT: Visual Geometry Grounded Transformer — arXiv:2503.11651
  4. Thinking in Space: How Multimodal Large Language Models See, Remember, and Recall Spaces — arXiv:2412.14171
  5. AI Godmother Fei-Fei Li Has a Vision for Computer Vision — IEEE Spectrum
  6. Spatial-MLLM: Boosting MLLM Capabilities in Visual-based Spatial Intelligence — arXiv:2505.23747
  7. MonST3R: A Simple Approach for Estimating Geometry in the Presence of Motion — arXiv:2410.03825
  8. 3D Gaussian Splatting for Real-Time Radiance Field Rendering — arXiv:2308.04079
  9. World Labs / Marble: Generating Bigger and Better Worlds — World Labs Blog
  10. A Comprehensive Survey on World Models for Embodied AI — arXiv:2510.16732
空间智能：AI 缺的「闭着眼也知道杯子在桌上」