BloomBloom
发起研究

GroundingPI：为视觉定位单独重训 4B 基座，机器人操作跟着涨

机器人抓错东西，是手没学好还是眼没看清？

一个双臂机器人站在厨房台面前，指令是"把装着鸡腿的容器放到第二高的冷冻架上"。它伸出手，却把鸡腿本身当成了要操作的目标，没认出那个盛放鸡腿的容器才是该被搬上架子的目标。抓空了之后它也没有停下来重新确认，而是径直推进到放置阶段。这是 ZimaBlue 这篇世界动作模型论文里记录的一段失败演示 ZimaBlue。多数人看到这段画面，第一反应是策略没学好。GroundingPI 的判断正相反：这次失误发生在手之前，模型一开始就没看清哪个物体才是目标。这篇 2026 年 9 月的论文整篇只做一件事，就是把这个"眼没看清"的解释变成一个能被检验的命题，今天最好的机器人大脑在杂乱场景和微小目标上指错东西，根子是感知没做够，而不是动作没学好 GroundingPI。

GroundingPI 检验这个解释的第一步，是去查今天最好的机器人大脑到底有没有专门练过"看清哪个是目标"。它从最主流的 VLA 查起。VLA，也就是 vision-language-action 模型，做法是把一个互联网规模预训练好的视觉语言模型直接微调成动作生成器。以 OpenVLA 为例，整条链路就三件东西：一个把 DINOv2 和 SigLIP 拼起来的视觉编码器，一个把视觉特征搬进语言空间的 projector，再加一个 Llama 2 7B 主干，最后输出 7 维机器人动作 OpenVLA。把这三件东西摊开看，结论很清楚：没有任何一个部件是专门为"在杂物堆里指出目标物体"训练的，视觉能力全部继承自那个通用 VLM 主干。这是诊断的第一份证据，模型在杂乱台面上指错东西时，用的那只眼睛从来没被要求练过这项本事。

图注：OpenVLA 的标准 VLA 架构。图像观察与语言指令进入左侧的视觉编码器，编码器把 DINOv2 与 SigLIP 的特征拼接起来，经 projector 映射到语言嵌入空间，再由 Llama 2 7B 主干输出 7 维机器人控制动作。这张图里最能说明问题的一点是，三个组件中没有一个是专门为视觉定位训练的。OpenVLA

第二份证据来自另一条路线。WAM，world-action model，世界动作模型，它干脆换掉语言主干，改用视频生成模型作为底座。ZimaBlue 就是这条路线的代表：以 Wan2.2-TI2V-5B 这个视频生成模型为初始 backbone，用最多 12 万小时的自我中心视频做具身视频预训练，再经过多 embodiment 动作中训、目标机器人后训三个阶段 ZimaBlue。它的数据是一座三段金字塔，塔底是海量视频，塔中是多种机器人的动作轨迹，塔尖才是目标机器人。这份证据同样落在"看清"这件事上：WAM 的感知也不是自己练出来的，而是从视频生成先验里接管的，精确认物一样不在它的训练目标里。

两份证据合起来，指向同一个隐含假设：视觉能力可以从别的地方借来。GroundingPI 要检验的正是这个假设。检验它为什么值得认真对待，看时间点就清楚。在 2026 年，两条路线的参数和数据都在往上堆，可被堆起来的从来不是"精确指认目标"这项能力，它一直是从别处借来的。而机器人真正要干活的地方，恰恰是杂乱台面和微小物体，恰恰是"把某个东西放进某个容器"这种要求精确指代的场景。规模越大，最容易暴露的反而是那部分从没被专门训练过的能力。既然失败模式是"指错物体"，那真正该做厚的不是动作头，而是眼睛。GroundingPI 要造的不是又一个 VLA，而是一个专门为"看清楚"训练的感知基座，再让下游的 VLA、WAM 去复用这个基座。

要把「看清」拆到最小，视觉基元长什么样？

要把"看清"做成一个可训练的任务，第一步是定义模型到底输出什么。GroundingPI 的答案朴素得有点出人意料：点，和框。

论文把这个最小单位叫视觉基元（visual primitive）。一个点回答"在哪里"，一个框回答"哪个物体、占多大范围"，一个语义标签回答"是什么"。三者组合起来，就能表达绝大多数定位需求。杂乱场景里找出那一个目标，用框；密集小目标里数一数有几个，用点。目标类别不存在时，直接输出 None。最后这条设计值得停一下：模型被明确允许说"这个东西不在图里"，而不是硬凑一个位置出来。

真正关键的第二步，是怎么让模型把这些空间量"说出来"。GroundingPI 的做法是把连续坐标切成一格一格，量化成 0 到 999 的整数，再把这一千个整数值塞进模型原本就读得懂的那张词表里。

这有点像在棋盘上记账：与其画一个箭头指向某格，不如直接写下"e4"。模型本来就会读词，你只要教会它把坐标也当成词来读。这个类比在结构上是真对得上的，连续的空间被换成离散符号，而这个符号和文字进的是同一张词表、用的是同一个"下一个词是什么"的预测目标，所以空间和语言在模型内部走的是同一条通道。

这里还藏着一个工程上的取舍。点比框更稳：框有四个边界要同时对好，任何一个边界偏一点，交并比就会掉；点只有一个位置，容错高得多。所以那些本来只要求"指出目标"的任务，模型完全可以只报一个点。而把坐标放进与语言共享的词表，价值也不只在数值精度上。它让定位从"一个专门的检测头"变成了"模型本来就会做的下一 token 预测"，于是新的感知任务只要能写成点或框，就能直接接进来，不必再改一次架构。

具体到数字，GroundingPI 在 151,669 的词表基础上扩了 1,000 个坐标 token，ID 从 151669 到 152668，再加一个类别分隔符，总共 152,670 项。语言 token、坐标 token、语义标签、协议标记全部混在同一张表里，共享同一个交叉熵目标。于是密集检测、零目标、点坐标、框坐标、文字，全部由同一个自回归接口统一生产。

图注：一张典型的视觉语言模型架构图。MoonViT-V2 视觉编码器与两层 GELU MLP projector 把聚合后的 2×2 视觉特征送进 Qwen3-4B 解码器，全部 36 层用全注意力；输出端把语义标签、协议标记与 1,000 个量化坐标 token 收进同一张词表，按自回归方式逐 token 生成。图中示例还画出了某个类别缺失时输出 None 的情形。GroundingPI

这条路不是 GroundingPI 首创。2021 年的 Pix2Seq 就把每个物体写成一串 token，形式是 [y_min, x_min, y_max, x_max, c] 五元组，坐标和类别共用一张词表，量化到 500 个 bin 就已足够 Pix2Seq。更近的同行是 Rex-Omni，它直接把 Qwen2.5-VL-3B 词表最后 1,000 个 token 改造成坐标专用 token，用四个特殊 token 表示一个框 Rex-Omni。GroundingPI 与它们的差别有两点，一是同时输出点与框而不是二选一，二是把量化坐标 token 的监督放进了 VLM 预训练阶段，而不只是在任务适配层补一下。

还有一个值得知道的对照。同一团队同一天提交的姊妹论文 GroundAnything，用的是完全相同的 4B backbone 和同一套坐标词表，却把输出解码器换成了块状掩码扩散的并行解码 GroundAnything。也就是说，选自回归只是工程取舍，不是唯一解。

一个 4B 模型，靠什么把定位练准？

有了"点加框等于坐标 token"这个输出接口，接下来的问题是：怎么把这个 4B 模型练得准。GroundingPI 的答案是三段式训练，每一段解决一个不同性质的问题。

第一段是打底。先冻结两个分支，用图像描述把 projector 对齐到语言空间，再做联合多模态预训练，最后用 VQA 和图像描述继续通用视觉理解。这一段消耗了 500.41B token，教的是"看得懂图、读得懂语言"。第二段是学格式。模型在一批空间监督数据上做下一 token 交叉熵，学的是"用点、框、标签、坐标 token 这套格式把看到的东西写出来"，这一段是 221.17B token。走到这里，模型已经会写这套格式了，但它写得准不准，交叉熵管不着。

第三段才是这篇论文在训练上最容易被跳过、也最有意思的部分：SFT 之后又接了一段强化学习，用的是 GRPO。

为什么要多这一步？因为坐标 token 化的 SFT 有个共通的盲点。交叉熵对"坐标差了 1 格"和"差了 500 格"给出的惩罚几乎一样，但这两者在像素意义上差了十万八千里；而且 teacher forcing 之下，模型从没经历过"自己决定该输出几个框"的情形，推理时要么漏检要么重复。Rex-Omni 的论文把这两个问题分别叫几何离散化问题和行为调控缺失 Rex-Omni。强化学习正好能补这两块，因为奖励函数直接看几何结果，不关心 token 差了几格。

GRPO 来自 DeepSeekMath，不是本文发明的 DeepSeekMath。它相对 PPO 的改动可以压成一句话：把"策略、价值、参考、奖励"四件套里的价值网络整个删掉，改用同一道题采样出的一组回答之间的相对分数来估基线。具体做法是，对每个样本让模型生成 G 条响应，用组内均值和标准差把每条奖励归一化成优势值，KL 约束则从奖励里挪出来、直接加进损失 DeepSeekMath。省掉一个和策略同量级的价值网络，训练资源大约减半。

图注：GroundingPI 的两段式后训练流程。左侧 SFT 在八组空间监督数据上做下一 token 交叉熵，学出结构化的定位输出；右侧 GRPO 以冻结的 SFT 模型为参考，每条样本采 8 条响应，把 set 完整性与严格定位两类奖励按 0.7 与 0.3 合成优势值，OCR 任务另走单奖励，图中同时标出截断系数 0.2 与 KL 系数 0.02。GroundingPI

为什么定位任务天然适合这套方法？因为它的奖励可以被程序判定。DeepSeekMath 当年能跑通 GRPO，靠的是数学题有标准答案，对错可以写程序判，几乎不需要训练一个奖励模型。定位也一样：预测的框和真值框之间的 IoU、预测点落在掩码内还是外、类别对不对，都是能直接算出来的几何量。GroundingPI 把奖励拆成两块，一块看"该找的都找到了没有"，一块看"位置够不够紧"，按 0.7 和 0.3 合成；OCR 因为还涉及文字与几何的一致性，单独走一条奖励。整套流程每条样本采 8 条响应，参考模型冻结，截断系数 0.2，KL 系数 0.02。

这条路也不是它独走的。Rex-Omni 更早就把 Box IoU、Point-in-Mask、Point-in-Box 三种几何奖励接进了 GRPO，验证了"几何可验证奖励"在定位任务上可行 Rex-Omni。GroundingPI 走的是同一条方法学路，只是把它固化成了训练流程里的固定一段。

11 项感知能力里，哪一项才是硬核？

监督从哪里来？它有两个来源：公开数据集，以及论文自建的数据引擎。这个引擎的核心是字段级的多教师融合加任务级校验：让互补的几个标注模型分别去打标签，再用局部观察去解开那些不确定的样本，反复迭代，就能批量生产出 grounding、referring、pointing、OCR、GUI、版面、视觉提示这几类监督。Rex-Omni 那边也用了类似思路，专门搭了三套数据引擎分别做 grounding、referring 和 pointing Rex-Omni。

但真正值得记的不是引擎本身，而是一个反直觉的发现：感知监督不是越多越好，各项监督的迁移价值差别极大。

这里要先拆开两个很容易被混为一谈的维度。论文说的"11 项感知能力"，是评测维度，指的是评测时把 11 个独立指标的分数平均起来，得到那个 headline 数字。训练数据混合的拆解则是另一个维度，论文把它分成六大组：基础定位、密集定位、指代表达、指向、辅助 OCR、版面与 GUI。前者是考卷怎么打分，后者是教材怎么配比，不是同一张清单。

为了弄清哪一组教材真正有用，论文做了 leave-one-out 实验，也就是每次拿掉一组数据重训一遍，看下游掉多少。

图注：六大组训练数据混合的 leave-one-out 结果表与热图。图中把训练数据拆成基础定位、密集定位、指代表达、指向、辅助 OCR、版面与 GUI 六组，并给出 RoboCasa-GR1 的分布内与分布外成功率、以及 nuScenes 的 L2 平均误差在每次拿掉一组之后的相对变化，可以直接读出拿掉哪一组、下游掉多少。GroundingPI

结果里有两件事。第一件，密集定位是硬核。把它拿掉，机器人操作的成功率在分布内和分布外分别掉 4.67 和 3.47 个百分点，nuScenes 的 L2 误差恶化 0.015 米。也就是说，最容易迁移到下游的，恰恰是那种"在一张图里把一堆小目标一个个框出来"的密集监督。

第二件更意外：含 OCR 的那一组，单独拿去做迁移效果很差，可一旦和其他组一起拿掉，操作性能的损失反而是最大的，达到 5.33 和 3.63 个百分点。论文的解读是，OCR 可能扮演的是催化剂角色。文字有锐利的字符边界，逼着视觉特征在局部上更精确；把文字转写出来这个动作，又把一片视觉区域绑定到了一个语义上，等于一个局部的图像描述代理任务。这两件事都能强化细粒度视觉特征，从而放大密集空间监督的收益。论文自己很克制，明确说这只是假设，需要配对干预实验才能证实。

最后一条结论很干脆：六组全配才同时在操作和驾驶上最强，没有任何削减过的混合配方能打过完整配方。

把它接成机器人的视觉主干，下游真的会变好吗？

前面讲的都是"模型自己考得怎么样"。对这篇论文的主张来说，真正要命的证据是另一个问题：如果把机器人原本用的视觉主干换成 GroundingPI，下游动作会不会变好？

回答这个问题需要一份很干净的对照协议。论文的做法是：下游用一个固定的 Action DiT，16 个 block，其中第 0、2 一直到 14 层做 cross-attention，第 1、3 一直到 15 层做 self-attention，这种逐层连接方式沿用了 π0 的 conditioning 协议 π0.5。同一套 Action DiT、同一份机器人数据、同一个优化预算、同一套推理流程，全部锁死，唯一变动的就是塞进去的那个预训练视觉主干。这就像测两款发动机，车架、轮胎、赛道全一样，只换发动机，跑出来的差距才敢归因。参与对照的主干分四类。

主干类别参与对照的模型
通用 VLMQwen3-VL-4B、PaliGemma-3B
视频生成主干Wan2.2-TI2V-5B、Cosmos-Predict2.5-2B
定位专家LocateAnything-3B、Rex-Omni-3B
具身基础模型RynnBrain-2B、RynnBrain1.1-2B

有了这份协议，数字才有意义。先看感知本身：在 44 个基线、34 个 benchmark、11 项感知能力上，GroundingPI 平均拿到 73.68%，高于体量更大的 GPT-6 Astra 的 71.54% GroundingPI。

再看下游。在 RoboTwin 2.0 上，它的完整设置成功率是 66.20%；更关键的是四个分布外设置全部第一，相对最强主干的最大相对增益达到 24.8%。在 RoboCasa-GR1 上，分布内的 37.75% 排第二，略低于 RynnBrain 的 39.00%，但在 Type、Appearance、Container 三个分布外设置上都是第一。数据效率这一项更能说明问题：它只用 50% 的演示数据，操作成功率就有 28.75%，超过每一个基线用 75% 数据时的最好成绩。驾驶侧，把 GroundingPI 当视觉主干时，nuScenes 的平均开环 L2 误差是 0.296 米，低于 Qwen3-VL-4B 的 0.301 米和 RynnBrain 的 0.308 米。同一个定位主干，在操作和驾驶两个完全不同的任务上同步变好，这是"感知先行值得"最直接的证据 GroundingPI

那这些分布外数字到底在随机化什么？RoboTwin 2.0 把仿真到真实的差距拆成五条轴：场景里随机插入与任务无关的干扰物、随机换背景纹理、随机改光照条件、随机变桌面高度、用大模型自动生成多样化的语言指令 RoboTwin 2.0。训练只用干净的 50 条演示，测试时五条轴同时打开，这就是 GroundingPI 所说的 Clean2Random，也就是 RoboTwin 2.0 原文里的 Easy 到 Hard 迁移。需要说清楚的是，Clean2Random 是 GroundingPI 自己起的简称，不是 RoboTwin 2.0 的官方术语。

图注：RoboTwin 2.0 的数据生成流程。自然语言指令经大模型代码生成与仿真中的观察反馈形成闭环，落到对象库、技能接口与域随机化上，最终产出专家任务程序与带随机化的轨迹。图中列出的随机化维度包括杂物堆、纹理、光照、桌面与语言。RoboTwin 2.0

这些数字里最值得琢磨的是数据效率那一项。用一半数据打赢别人用四分之三数据，意味着这个定位主干提供的不只是榜单上几个百分点，而是让下游动作学得更省数据。如果这个性质在真实机器人上也能保持，它的实际价值会远大于名次本身。反过来说，分布外设置上的领先目前还只是仿真结果，能不能兑现成真实环境里的稳定表现，是另一个问题。

论文还把 grounding 预训练从 88.4B 扩到 221B token 跑了一组缩放曲线，发现感知分数和下游操作成功率同步上升，也就是说把感知练得更强这件事本身是有回报的，且回报能沿着链路传下去。另外，把 GRPO 那一段去掉，平均分会从 73.68 掉到 72.86，量化坐标换成纯文本坐标也会从 73.68 掉到 71.21，这两个消融分别说明后训练那一段和坐标 token 化都不是可有可无的装饰。

这条路走到哪算数？

把"从感知重做主干"和另一条路并排看，张力就出来了。2026 年 2 月的 ST4VLA 走的是相反的路：它保留通用 VLM 作为规划器主干，只在训练阶段外挂一段空间接地预训练，再做一次空间提示，让主干在动作后训练时把空间先验激活出来 ST4VLA。效果也不差，SimplerEnv 上 Google Robot 的成功率从 66.1% 提到 84.6%，WidowX 从 54.7% 提到 73.2%。两条路线并没有在统一协议下正面对比过，读者不该把它们想成同榜竞技。

GroundingPI 主张主干必须从感知重做，ST4VLA 主张外挂一块补丁就够。π0.5 则代表第三种可能：把定位当辅助任务，和动作一起共训练，97.6% 的训练样本来自非移动操作来源 π0.5。这三条路线目前各有各的证据，谁也没把谁证伪。

论文自己列出的边界也很老实。最要紧的一条是闭环没做。nuScenes 上的 0.296 米是开环误差，它衡量的是预测轨迹与录制轨迹的一致程度，不能等同于闭环控制表现。操作侧也只在仿真里做，没有真实机器人或车辆的部署。RoboCasa-GR1 的实验只用了头部相机，没涉及腕部视角。OCR 的催化作用仍然只是假设。跨模型的比较也无法把提升纯粹归因到"定位专门化"，因为几个主干在规模、架构、监督来源上本来就不同。物理提示与 System 1、System 2 协同，更只是论文提出的设计设想，还没有作为集成系统验证过。

所以这篇论文真正钉住的，是一件比"又一个 SOTA"更小也更硬的事：当同一条视觉主干在操作和驾驶上都让下游变好，而且其余变量都被锁死时，"先看清，再动手"就不再只是一句口号，而是一个可以被实验单独拎出来检验的变量。

想深入可以读原文：GroundingPI: A Grounding Foundation Model towards Physical Intelligence with Visual Primitives，见 arXiv:2609.39601。

参考文献

GroundingPI：为视觉定位单独重训 4B 基座，机器人操作跟着涨