SpatialScout：VLM 主动建 3D 地图基准，最强只到粗布局

速览

一、空间问答答对，证明不了模型能建出三维地图

SpatialScout 用一组实验说明，模型在空间问答上答得好，并不能证明它会主动探索、并建出一张可靠的三维地图。空间问答只约束最后那个答案，不约束模型怎么获取证据，也不约束它是否真的形成了一致的度量表示。有限选项允许模型靠猜测或排除法答对，答案分布里的语言先验也能让它在完全不看空间结构时蒙对。

这一批评针对的不是假想靶子。2024 年底的 VSI-Bench 就是那个时代最有影响的空间评测形态，它把真实室内场景录成视频，让十多个支持视频的模型零样本回答八类空间问题，输出字母或数字，模型不能换视角，也拿不到环境反馈 VSI-Bench。到 2026 年，主动交互开始进入基准：E3VS-Bench 用 99 个 3DGS 重建场景考察「看哪个角度能拿到证据」E3VS-Bench，ESI-Bench 用 10 类 29 子类任务考察「能不能用感知、移动、操作三种能力把问题问完」ESI-Bench。这两条线都让模型动起来了，但交付物仍然是答案文本。

论文用一张四维度对照表把这条谱系一次排开，SpatialScout 是其中唯一四列全打勾的一行。

这张表里有两处分界值得看。Theory of Space 与 IR3D-Bench 都已经要求显式空间构造，但前者交的是离散符号信念，后者交的是单视角下的三维场景参数，都不在共享坐标系里直接给物体坐标打分 Theory of Space IR3D-Bench。也就是说，「显式构造」与「主动建图加坐标打分」是两个正交维度。SpatialScout 的推进不是换了一道题来问，而是把评测物从答案换成了共享坐标系里的一组物体中心坐标。

图注：网格状任务总览图，可见 10 个彩色标题栏（Physical Structure、Specular Reflection、Enumerative Perception 等），每个标题栏下挂若干子类别名，每个子类别配一张三维模拟场景渲染图与一条自然语言问题，如 Which container has larger volume?。图中不含三维坐标标注、包围盒或 IoU ESI-Bench

这张图可以看清对照点：这条线上的基准把「动起来」做成了任务条件，但每题最终要交的仍然是一句话。

二、把「主动建图」钉成可判定任务

SpatialScout 本身不是一个模型，而是一套可判定的协议。给定一份物体清单、RGB 观测、相机标定与相机位姿，智能体控制相机探索场景，在有限预算与同一套工具下，把每个目标写成共享坐标系里的一个三维坐标。任务定义由四个要素钉死：80 个室内场景、3,140 个目标物体、10 个不暴露真值与分数的共享工具，以及原点固定在初始相机的统一坐标系。

坐标系与几何目标的定义决定了分数的含义。任务坐标系是右手系，原点在初始相机，+x 为初始光轴前向，+y 为左方，+z 为上方，所有绝对位置都以米为单位。每个目标中心被定义为它渲染几何的紧致世界轴对齐包围盒中点；对于铰接体，包围盒取所有渲染连杆几何的并集 SpatialScout。这里有一个容易忽略但很关键的区别：三角化工具得到的是物体表面的特征点，而评分要的是包围盒中心，两者一般不是同一个点。即便模型把某个像素标得极准，它也未必落在评分点上。

预算同样是协议的一部分。每条轨迹有 B = 100 次模型调用和 V = 100 张图像（含初始图），一次模型调用可以请求多个工具，工具顺序执行且不额外计费。终止有三种：调用 finish_mapping、给出不含工具调用的响应、耗尽 B。10 个工具里包括 list_entities、move_camera、capture_image、triangulate_observations、submit_positions 与 finish_mapping，其中 list_entities 只给 ID 与类别不给位置，评分在 episode 结束后才计算且从不回传给智能体 SpatialScout。

图注：三段式流程图。左段 Scene & Object Inputs 列出 RGB 视图、物体 ID 与类别、相机位姿与内参；中段 Active Tool Interaction 是 Move camera、Observe、Triangulate 的循环，标注 Up to 100 steps；右段 3D Object Mapping 给出 Object ID 到 (x, y, z) 的列表，并标注坐标在初始相机系下 SpatialScout

这套协议有一处值得单独提醒：论文正文里的场景与目标数存在口径冲突。正文写来源为 32 个 iTHOR、12 个 RoboTHOR、10 个 ArchitecTHOR、6 个 ReplicaCAD 与 30 个 ProcTHOR，相加为 90，与声明的 80 个场景矛盾；目标总数在摘要与附录 B 写 3,140，在正文写 3,410，而 12 乘 35 加 68 乘 40 恰好是 3,140。往回核对时，官方项目页给出的来源构成是 30、24、12、8、6，相加正好 80；官方代码仓库的 prepared_80 批次由 additional_50 与 procthor_30 组成，也只有 80 个场景 SpatialScout 项目页 SpatialScout 代码仓库。论文没有解释差异成因，所以正文只能并列两处数值，不能替作者判定是笔误。

三、闭环里四件事互相牵制

SpatialScout 的难度不在某个单点算法，而在于四件能力被闭进一个长程循环：视角选择、跨视角关联、几何估计、地图修订。当前的地图估计决定下一个看哪里，新视角带回的证据又改写已有估计。任何一环出错，都会被下一轮的观察放大或者掩盖，而最终只看最终地图的质量。

这条闭环范式不是 SpatialScout 独有的。Theory of Space 把它拆成三个操作：Construct 用主动探索逼近真实后验，Revise 在环境变化后用新观测把信念拉回来，Exploit 用信念做下游任务并借此度量其价值 Theory of Space。差别在度量空间：Theory of Space 的信念是 N×M 网格上的整数 2D 坐标，SpatialScout 要求的是连续三维空间中的米制坐标。

图注：三栏总览图。左栏 Environment Topdown 是俯视多房间场景与智能体轨迹；中栏 Active Exploration 是五步动作与观察循环，动作气泡如 Turn 90 配 Observe，并给出 front-right、mid distance 这类离散观察短语；右栏 Spatial Belief 把信念外化成 N×M 网格示意，并用下游问句做评测。图中坐标是离散 2D 网格，不是三维度量 Theory of Space

几何估计这一环最能说明为什么「看起来对」不等于「真的对」。三角化工具的最小化目标是让各条视线到估计点的垂距平方和最小，拒绝条件包括至少两个观测、相机最大间距不小于 5 厘米、法方程条件数不超过 10 的 6 次方、以及每条射线要通过前向检查。工具还会返回残差均方根与最大成对射线夹角作为诊断量。论文自己强调了那个反直觉之处：低残差既不证明模型标到的是同一个物体特征，也不证明估计点落在物体中心 SpatialScout。

跨视角关联是另一条独立难题。2023 年的 ConceptGraphs 给出的做法是：先把候选限制在与新点云有几何重叠的地图物体上，再用几何重叠比例与 CLIP 语义相似度双打分，综合分数超过阈值才认作同一物体，否则新建节点 ConceptGraphs。这条谱系说明，跨视角关联在 2023 年就需要专门的匹配机制，而 SpatialScout 要求模型在一个有预算的闭环里自己完成它。

方法侧也有两条现成路线可以对照。View-to-World 把 VLM 从被动看固定视角改造成在显式三维世界里自己取证，做法是先重建三维世界，再通过视觉与语言双接口让模型多轮函数调用去探索 View-to-World。AREA3D 走的是专用系统路线，自带前馈几何模型、相机位姿已知、还需要预先体素化工作空间 AREA3D。两篇的数字都不能与 SpatialScout 的分数并列，但条件差异本身很有信息量：SpatialScout 只给 RGB、标定和一个三角化辅助工具。

四、会摆粗布局，定不准精确坐标

SpatialScout 的分数同时押住两件事：定位准不准，以及目标找齐没有。它把参考包围盒平移到预测中心再算三维 IoU，而不是直接比较两个盒子；全目标口径下，漏报的目标一律计零；阈值 0、0.5、0.9 都按严格大于比较；另外还有一套只统计已提交目标的口径。漏报计零这一步就是把覆盖率变成了独立被惩罚的维度，模型不能靠只提交几个最有把握的目标来刷高平均分。官方评分口径还区分两种聚合方式：结果表用 task-average（macro），即逐任务指标等权平均；成本图用 object-weighted（micro），即按物体加权的 IoU SpatialScout 官方数据。

讲解：漏报计零与阈值怎样改写分数

这个口径差别会直接改变你读到的数字。以最强配置 Claude Opus 5.5 为例，论文 Table 3 与官方快照的两位小数都是 41.71%，纯属巧合；在其它配置上，两套小数会系统性相差 0.01 到 0.32 个百分点。所以引用任何一个数字，都必须带上它出自哪套口径、哪个来源。

结果本身可以一句话概括：最强的 Claude Opus 5.5 全目标 mean IoU 为 41.71%，超过 IoU 0.5 的目标占 47.23%，但超过 0.9 的只有 3.25%。这个分布的含义很明确，模型能大致摆出物体布局，却几乎建不出精确的度量地图。在 40 条轨迹的失败归因里，覆盖不全出现 26 例，是主因，多于完全定位失败；这 40 条中只有 6 条同时满足覆盖率不低于 90% 且匹配目标平均中心误差不超过 0.2 米 SpatialScout。

图注：三行六列对比矩阵，列标题为 GT 与 Recon 在 0°、−55°、+55° 三种视角下的对照。行 A 为 Accurate，标 Claude Opus 5.5、Center error 0.073 m；行 B 为 Incomplete，标 GPT-6 Astra、0.141 m，用红箭头标出缺失物体；行 C 为 Mislocalized，标 DeepSeek V4.1 Flash、1.000 m，物体整体偏移。场景为低多边形体素风格仿真渲染 SpatialScout

几何接地对照能把这种差距落到具体数字上。GPT-6 Astra 与 DeepSeek V4.1 Flash 在同样 80 个任务上，已提交目标里有过成功三角化支撑的比例是 99.33% 对 63.48%，带几何告警的三角化比例是 2.69% 对 38.65%，中位中心误差是 7.08 厘米对 68.17 厘米。值得注意的是，后者的每任务平均采集图像数反而更多，32.41 对 39.63 SpatialScout。采得多不等于看得准，这正好呼应了三角化的残差诊断：图像数量堆不出几何一致性。

讲解：残差很小，坐标为何还是偏

成本是另一个必须和覆盖数一起读的维度。官方用 2026-10-19 的 OpenRouter 定价快照估算每任务成本，这是美元估算而非账单，且只对 token 记录完整的有效任务求平均。Claude Opus 5.5 约为 27.9 美元每任务，样本只覆盖 27 个任务；DeepSeek V4.1 Flash 约为 0.027 美元每任务 SpatialScout 官方数据。

图注：白底散点图，标题 Reconstruction IoU VS Cost per Task。横轴为对数刻度的每任务成本，刻度 $0.1、$1、$10，纵轴为重建 IoU，刻度 0% 到 40%。8 个模型点位带标签，虚线标出 Pareto Frontier，依次经过 DS V4.1 Flash、GPT-6 Sol、GPT-6 Astra 两档与 Claude Opus 5.5。纵轴是物体加权 micro IoU，且图不含成本样本覆盖信息 SpatialScout 项目页

这张图把成本与精度的数量级差距摆在一起，也说明为什么读这些点位时必须同时看它的成本样本覆盖。

五、这个基准给的是仿真里的可比较证据，引用前先看清它的边界

SpatialScout 该被当成一份在仿真里、通用工具与预算下的可比较证据，而不是三维建图的能力排行榜。论文自己的局限一节写得很直白：目前的场景全部由物理仿真引擎生成，虽然结果支持其结论，但仿真环境未必能反映真实场景的复杂性与变化；作者计划在「下个月」发布一套真实场景采集的数据集 SpatialScout。截至本文写作，这一承诺尚未被验证是否已经兑现，所以只能写成承诺。

读这些分数前还要看清覆盖不均。Kimi K3 只有 14 条有效轨迹，即 80 个场景里只有 14 条以 finish_mapping 成功结束，它的分数只在极小子集上成立；Qwen3.8-Max 77 条、GPT-6 Sol 71 条也都不足 80 SpatialScout 官方数据。成本样本覆盖同样不均，Opus 5.5 只有 27 个任务有成本记录。复现也有门槛：官方的评测链路依赖 CPU 软渲染、SAPIEN 的二进制补丁，只分发场景资源与固定标注，不发布任何模型预测与轨迹 SpatialScout 代码仓库。所以这些数字该在「仿真环境、通用工具与预算、覆盖不齐」这三个前提下被引用。

放回评测谱系里，SpatialScout 的位置可以一句话说清：它把评测物从答案推进到离散信念与显式三维参数，再推进到连续三维坐标下的度量地图，并让覆盖率独立计分。它的独特点是连续三维坐标、覆盖率单独计分、统一工具与预算这三者的组合，而不是第一个做主动感知的基准。真正立得住的结论只有一个：当前前沿 VLM 能把物体摆个大概，但还建不出精确、完整、可修订的度量地图。接下来最可能被验证的方向，是更强的跨视角对应、给智能体外挂前馈几何模型，以及显式的空间记忆与停机策略。

想深入可以读原文：SpatialScout: Can VLM Agents Actively Explore and Map 3D Scenes? — arXiv:2610.26659

参考文献

• SpatialScout: Can VLM Agents Actively Explore and Map 3D Scenes?：https://arxiv.org/abs/2610.26659
• SpatialScout 官方项目页：https://spatialscout.osslab-pku.org/
• SpatialScout 官方结果数据快照 results.json：https://spatialscout.osslab-pku.org/data/results.json
• SpatialScout 官方代码仓库 JesseZZZZZ/SpatialScout：https://github.com/JesseZZZZZ/SpatialScout
• Theory of Space: Can Foundation Models Construct Spatial Beliefs through Active Exploration?：https://arxiv.org/abs/2602.07055
• From Views to Worlds: Active Exploration over 3D Worlds for Vision-Language Models：https://arxiv.org/abs/2610.24676
• ESI-Bench: Towards Embodied Spatial Intelligence that Closes the Perception-Action Loop：https://arxiv.org/abs/2605.18746
• IR3D-Bench: Evaluating VLM Scene Understanding as Agentic Inverse Rendering：https://arxiv.org/abs/2506.23329
• AREA3D: Active Reconstruction Agent with Unified Feed-Forward 3D Perception and Vision-Language Guidance：https://arxiv.org/abs/2512.05131
• Thinking in Space: How Multimodal Large Language Models See, Remember, and Recall Spaces (VSI-Bench)：https://arxiv.org/abs/2412.14171
• E3VS-Bench: A Benchmark for Viewpoint-Dependent Active Perception in 3D Gaussian Splatting Scenes：https://arxiv.org/abs/2604.17969
• ConceptGraphs: Open-Vocabulary 3D Scene Graphs for Perception and Planning：https://arxiv.org/abs/2309.16650