ROMA：机器人看不清时，会自己伸手摸一摸、摇一摇
一、杯子是塑料还是陶瓷：为什么只看一眼答不出来
桌上放着一只没有标签的马克杯。假设你只有它的一张照片，现在要回答两个问题：它是塑料还是陶瓷？里面有没有装着东西？
第一个问题看照片还有一点线索，材质反光的方式多少能透露信息。第二个问题几乎没戏，不透明的杯壁把内部挡得严严实实，把图片放大十倍也看不出来。人遇到这种情况不会继续盯着照片，而是把杯子拿起来掂一掂，用指节敲一敲听声音，再捏一捏判断软硬。三个动作做完，答案就浮出来了。
ROMA 要回答的正是这件事：当视觉证据不足以判断物体的物理属性时，模型怎么主动决定该补哪一条证据、用什么方式补、补到什么程度算够。它的答案是让一个 LLM 驱动的机器人自己去拿这三个决定的主动权。给定场景和任务，模型先判断为了回答问题还缺什么，再输出一个三元组，也就是摸哪个物体、做哪种交互、读哪条模态；机器人执行完，把视觉、音频、触觉、力四路反馈原路送回，模型据此更新判断，再决定是继续还是作答。论文摘要里有一句对比写得很直白：人类理解物理世界本来就是一个主动的过程，感官证据不足时人会自然地与环境互动；而现有的大多数多感官机器人系统在做另一件事，把送上门的感官信号整合起来，并不会主动去把缺失的证据取回来。ROMA
这里说的「主动」和经典机器人文献里的用法不是一回事。在那套文献里，active perception 通常指智能体为了获得更好的观测而改变自己的视角或位置，vSLAM 和 next-best-view 这一脉做的都是这件事；ROMA 把它往下压了一层，行动不再是「把相机挪到哪里」，而是「把抓手伸向哪个物体、做哪一种物理交互、读哪一条模态、什么时候停」。同一篇论文里，「主动」指向的是物理交互，而不是相机位姿。
要让「摸哪个物体」这个决定落得下去，场景就不能被笼统地描述成「画面里有一张桌子」。ROMA 因此按物体为单位拆解场景，让每一步推理都停在某个具体的物体上：关于它，我现在掌握的证据够不够？
同领域更新一些的工作仍然停在被动一侧。像 Tactile-VLM 这类系统会把物体图像和触觉图像一起送进多模态模型，推断硬度、弹性、粗糙度这些属性，相关性分数也做得不错，但它做的是给眼前的物体打一个属性分，不会自己决定要不要再摸一次、要不要换个位置再摸。Tactile-VLM ROMA 想拿走的正是这个决定权。
图注：ROMA 概览图：左侧是真实的桌面场景，中央是 ROMA-7B 决策模块，右侧是机器人臂带着装有传感器的夹爪抓取物体执行某一种交互；眼、耳、手、重量四个图标对应视觉、音频、触觉、力四条反馈通道，整条流程构成 reasoning-interaction-feedback 闭环。ROMA
这张图把 ROMA 的形态交代得相当完整，左边是真实桌面上的若干日常物体，中间是决策模块，右边是装着传感器的手，四条反馈通道环绕在流程上。整篇论文要讲的故事都装在里面。
二、此前为什么不够：仿真里能闭环，但尚未跨到真实世界
「主动获取真实世界的多感官证据」这件事，在 ROMA 之前已经被试过一半。
2024 年初的 MultiPLY 是这条线上最直接的前作。它第一次把多感官交互数据和 LLM 放进同一个闭环：智能体发出 action token，比如选择、观察、触摸、敲击、抓起；环境回传 state token，比如物体特征、撞击声、触觉读数、温度；LLM 再据此决定下一步。整套设计由 50 万条仿真交互样本撑着，模态也齐，视觉、音频、触觉加温度。MultiPLY 但它的传感器读数全部由模拟器生成，机器人执行动作靠的是预定义策略，论文结论里也承认了这一点。闭环跑通了，只是跑在仿真里，真实的接触动力学、真实的传感器噪声、真实的物体分布，一样都没进来。
于是问题变得很尖锐：真实世界的四模态同步数据，从哪来？
2025 年的 X-Capture 给出了工程答案。它是一台手持式的多感官采集装置，把 RGBD、麦克风、触觉传感、撞击锤塞进一个紧凑机身，物料成本压到 1000 美元量级，能采到 500 个日常物体、接近 3000 个探针点，模态之间做到点级对齐。X-Capture 但它终究是一台被动采集工具，人拿着它去采，它不会自己决定下一步该测什么；而且在这个装置里，力只是触觉图像的标定元数据，并没有作为独立的一条反馈流。
图注：X-Capture 装置的爆炸视图：3D 打印手柄外壳，以及拆分开的传感器组件，可见 RGBD 相机、撞击锤、麦克风、触觉传感器、加速度计与电路板等部件被刚性固定在紧凑机身的不同位置，未画出导线与电路连接。X-Capture
真实的多感官采集，工程上就得先过硬件这一关。而 ROMA 的回应是把采集场景整体换掉，同时把「获取证据」做成一整套可调用的动作。
它先搭了 ROMI-2K，一套真实世界的多感官物体交互数据集，覆盖近 2000 个日常物体，四种反馈同步记录。数据来自两个平台。一个是被改造过的手持采集设备，用 Agilex Pika Sense 配内置鱼眼相机做腕部视角，加一台第三人称的 RealSense D455f、两个 GelSight Mini 触觉传感器和一支 USB 麦克风，每个物体从三个不同的抓握位置各做一遍交互，物体内部有没有装东西也被当成一个变量，最后得到 1657 个「物体加内容」组合。另一个是桌面场景采集：xArm 6 机械臂配 Robotiq 2F-140 夹爪，腕部一台 RealSense D435，固定的第三人称 D435i，30 Hz 的六轴力矩传感器，两个 GelSight Mini，外加麦克风；每个场景随机放 1 到 5 个物体，逐个抓取并执行全部六种交互，一共 500 个场景，其中 400 个进训练集，100 个进测试集，测试集里还包含 56 个训练时没见过的物体。ROMA
然后它把「动手」拆成了六种原子交互。这个拆法值得停一下，因为论文真正的设计工作量在这里：它要保证每一种动作都指向一类明确的物理证据。
| 原子交互 | 机器人做的事 | 拿到的关键证据 |
|---|---|---|
| lift | 抓起物体上提并短暂保持 | 与重量相关的力 |
| press | 把物体压向桌面 | 硬度 |
| collide | 反复让物体与桌面碰撞 | 触觉、视觉、声学响应 |
| shake | 保持抓握反复摇晃 | 内部是否装东西、内部结构 |
| rotate | 绕抓握轴转 90 度再转回 | 摇晃声微弱时的补充线索 |
| squeeze | 夹爪进一步闭合挤压 | 粗糙度、硬度，以及软包装内是否有物 |
这六种动作对应的事实取自论文附录。ROMA
读完这张表应该能看出，论文的贡献不在某一种交互本身，而在于把「什么交互能产出什么证据」系统化。这也解释了为什么把多感官搬进真实世界，不是换一批传感器就能解决的事。
三、LLM 当大脑、机械臂当手：主动找证据的那条闭环
ROMA 的完整形态是一张双向回路的图。
图注：ROMA 系统总览：初始场景与任务指令进入中央的 Multi-Sensory LLM，模型输出目标物体、交互方式与模态；右侧物理接口由 grasp interface 与 6 种预定义交互组成，把决策翻译成机器人动作并采集视觉、音频、触觉、力反馈，反馈再回流到 LLM，直到证据充分才作答。ROMA
这条回路每一步的信息流都能写清楚。
给定一个初始场景和一条任务指令，Multi-Sensory LLM 先识别场景里的物体，判断为了回答任务还缺什么证据，然后输出三样东西：目标物体、交互方式、要读的模态。物理接口接住这个三元组，把它翻译成可执行的动作，采集四条反馈，再原路送回 LLM。LLM 拿到反馈后做两件事，一是更新对物体的判断，二是判断证据够了没有；不够就进入下一步，够了就给出答案。
物理接口内部有两块。一块是抓取接口，建立在无需额外训练的 AnyGrasp 之上：给定点云，先做一步基于对称性的点云补全，把透明或反光物体缺失的几何补回来，再按物体高度、工作空间可达性和抓取朝向筛掉不合理的候选，最后针对夹爪非平行的指端运动做修正。另一块就是上一章那六种原子交互。
这套结构其实很像医生触诊。影像片子上拿不准腹腔哪里有问题时，医生会决定按哪个位置（对应 target）、用哪种手法，是按压还是叩击（对应 interaction）、注意什么反馈，是病人的疼痛反应还是叩击的闷响（对应 modalities），按完再根据反应决定要不要换个地方再来一次，直到有把握下诊断才停手。ROMA 把「看片子」换成了视觉，「按肚子」换成了六种物理交互，「判够了没有」换成了模型内部一个显式的证据充分性判断。对应关系是一一对齐的：LLM 是医生的判断，物理接口是医生的手，四模态反馈是每次触诊拿到的信息，终止条件是证据足以支撑结论。差别只在于医生的手感练了十几年，ROMA 的手感来自 ROMI-2K。
整条回路里最不显眼、却最关键的一环，就是那个证据充分性判断。它是闭环的终止条件，决定了系统会不会在该继续的时候停下，或者本来可以停却一直摸下去。后面第五章会看到，当前最强的闭源模型恰恰是在这里栽跟头。
同样是 MLLM 时代的主动感知，还有一条更保守的路线可以对照。ACTIVE-o3 的做法是在一张静态 2D 图上、在固定感知预算下并联选出几个 zoom-in 子区域，最多三个，一步决策，再用强化学习训练这个「看哪里」的策略。ACTIVE-o3 它回答的是「决定看画里的哪里」，ROMA 回答的是「决定在三维世界里摸哪里、怎么摸」。行动空间的差别，就是两种主动的分界线。
那么，这个会判断「证据够不够」的大脑，是怎么练出来的？
四、会自己找证据的大脑，是怎么练出来的
ROMA-7B 的底座是 Qwen2.5-Omni-7B，看中的是它已经有一个把视觉、音频、语言放进同一套 token 空间的架构。ROMA 在这个空间里加了两类 token。第一类是动作 token：六种原子交互各一个，再加一对 <grasp_start> 和 <grasp_end>，用来把目标物体和它的边界框圈出来。第二类是给触觉和力准备的模态位置 token。ROMA
初始化方式值得一提。每个新 token 的向量不是随机取的，而是把它在自然语言里对应单词的输入 embedding 和输出 embedding 取平均，再加一点高斯噪声。比如 <shake> 的起点就落在英文单词 shake 的语义附近。这样模型一开始就大致知道这个符号和「摇晃」有关，而不用从一片噪声里硬学。
训练分两段，一张图可以讲完。
图注：ROMA 的两阶段训练示意：左侧面板以触觉与视觉、文本的对齐为例展示 Stage 1 的对齐过程，图中区分了冻结与可训练的模块；右侧面板展示基于 Beta 分布的动态场景采样，让训练从交互级监督平滑过渡到真实场景，参数 α 大于 1。ROMA
第一段是多感官对齐，目标是让音频和触觉这两个单独看很含糊的模态，先学会视觉和语言的共同语言。为什么说含糊？同一个按压力度，可能来自一块硬塑料，也可能来自一个包着布的硬纸盒，孤立地看这串力信号，它本身分不出这两种情况，必须先把它锚进视觉和文本的语义空间才变得可解释。音频这条路的可行性早有先例：接触麦克风这类高频信号可以先在互联网规模的音频数据上做自监督预训练，再迁移到机器人操作任务，Hearing Touch 已经验证过，它用的接触麦克风采样率在 32 到 48 kHz 之间，远高于传统触觉传感器的 30 到 400 Hz。Hearing Touch
ROMA 的做法是把对齐拆成音频对齐和触觉对齐两个子阶段，期间 LLM 和其余分支全部冻结，只训练相关的编码器与适配器，触觉侧用的是 AnyTouch 2 编码器。ROMA
第二段叫 Active Perception SFT。这次放开 LLM、冻结各个感知分支，让模型学会四件事：分析初始场景，判断现有证据够不够，不够的时候输出下一步的目标物体、交互和模态，以及在拿到反馈之后继续推理。ROMA
训练顺序上还有一个巧思，论文叫基于 Beta 分布的动态场景采样。训练数据有三种来源：手持物体的单次交互、把手持物体合成进虚拟场景的伪场景、以及完整的真实场景。前两种样本的采样位置取自 Beta(1, α)，真实场景取自 Beta(α, 1)，论文项目页给出 α 取 2.5。按这个位置排序之后，训练会自动从「交互级监督」过渡到「真实场景」，早期模型看到的多是单个物体、单次交互这种干净信号，越往后越多整场景的复杂任务。这个安排还有个副作用，力反馈数据主要来自真实场景，所以力模态是到训练后期才登场的。有点像练球先练单项技术，再上整场比赛。
顺带做一个方法学对照。早期把触觉接进语言模型，常见做法是 late fusion：用 CLIP 视觉编码器处理触觉画面，再通过两层线性投影把特征翻译成 LLM 读得懂的向量拼进输入，Octopi 就是这条路的代表。Octopi ROMA 没有再建一条单独的翻译通道，而是在底座已有的统一 token 空间里直接给触觉和力分配位置。这个差别看起来只是工程选择，实际上决定了模型能不能把新模态和视觉、语言放进同一个注意力机制里一起推理。
五、上桌检验：三类任务与一个「停得太早」的失败模式
现在该上桌检验了。先把评测对象形式化：ROMA 把主动感知的产物叫 perception chain，一条链就是一个序列，每一步是一对观察和动作，动作是三元组，包含对哪个物体、做什么交互、读哪条模态。链的长度就是交互步数。
这个形式和 ECoT 那条著名的推理链很像，目的却不同。ECoT 在机器人输出动作之前先写出五个推理步骤，从 TASK、PLAN、SUBTASK 到 MOVE、GRIPPER 与 OBJECTS，绿色部分是语言层面的规划，紫色部分需要落到场景里的像素和物体上；它在 WidowX 机械臂上的成功率是 66%（同视角）和 64%（新视角），明显高于不带思维链的 OpenVLA 的 44% 和 30%。ECoT
图注：ECoT 的具身思维链示意：从 TASK、PLAN、SUBTASK 到 MOVE、GRIPPER 与 OBJECTS 的五个推理步骤插在输入映射到机器人动作的过程之间，绿色为语言层面的推理步骤，紫色为需要落到场景与机器人状态的具身推理步骤。ECoT
但 ECoT 决定的是「下一步怎么动」，ROMA 的 perception chain 决定的是「下一步怎么感知」。Tactile-VLA 是同一类思路的另一个代表，它把思维链用在动作修正上，判断任务是否失败、要不要换一个力的大小。Tactile-VLA
评测集叫 ROMA Bench，从桌面场景的测试集构建，共 2100 个场景级任务，覆盖六种属性（硬度、粗糙度、纹理、内部内容物、材质、重量）和三种题面（单选、判断、排序）。
| 任务类型 | 要求模型做什么 |
|---|---|
| Single-Chain | 只问一个属性，走一条证据链 |
| Multi-Chain | 一次问多个属性，不同链之间可以共享交互或模态，模型要复用已拿到的反馈、避免重复动手 |
| Intent-Driven | 题面只给隐式意图，模型要自己反推该测哪些属性 |
ROMA 的成绩分三组看。
第一组是离线指标。总成功率里，ROMA-7B 是 72.9，最强基线 Gemini 3.5 Flash 是 53.0，GPT-5.4 是 43.5，两个没有专门训练过的同底座模型 Qwen2.5-Omni 和 Qwen3-Omni 分别只有 22.0 和 19.7。ROMA
第二组是真实执行。在随机选出的 8 个场景、共 132 个任务上，用自由文本作答再人工核验，ROMA-7B 拿到 61.4，Gemini 3.5 Flash 是 41.7，GPT-5.4 是 40.2，两个 Qwen 基线都是 23.5。这两组数字放在一起说明一件事：提升不是离线刷出来的，真实机器人上也保住了同一个量级的差距。
第三组最关键。这张表把定位问题排除掉，直接给模型 oracle 边界框，只看它怎么用交互。ROMA 每个物体平均交互 1.97 次，完成的任务上正确率 76.0%；GPT-5.4 每个物体只交互 1.09 次，正确率 63.3%。作为上限参照，穷举是每个物体 6.0 次交互，但四条模态乘六种动作的组合会超出模型的训练上下文，穷举连准确率都报不出来。论文对这段差距给出一个解释：GPT-5.4 停得太早，在证据还不够的时候就给出了答案。ROMA
这个结果值得多想一层，但结论要收在证据能支撑的范围里。在这项 oracle 边界框对照中，GPT-5.4 更少交互且正确率更低，论文将此归因为过早停止，也就是证据还不够时就给出了答案。这条解释只限定了这一次对照里 GPT-5.4 的行为关联，还不足以被当成已经证实的机制。「看不够就以为自己懂了」是不是当前最强闭源大模型在物理属性任务上的主要瓶颈，论文只是提出了一个待进一步验证的解释，要坐实它还需要更多任务、更多模型。反常的地方依然成立：交互次数更多通常意味着效率更低，ROMA 却用将近两倍的交互次数换来了更准的答案。多摸的那一次如果确实把决定性证据取了回来，它就不是浪费。
最后补一个缺模态消融，用来确认四条通道都不是摆设：完整系统 72.9，去掉音频降到 64.1，去掉触觉降到 62.7，去掉力降到 62.2。ROMA
六、ROMA 站在哪里，还差什么
把前作排成一行，ROMA 的位置就很清楚了。
| 工作 | 做到了什么 | 卡在哪 |
|---|---|---|
| MultiPLY | 多感官 LLM 加 action/state token 闭环在仿真里跑通 | 传感全仿真，动作靠预定义策略 |
| X-Capture | 千美元级手持装置采集真实四模态，点级对齐 | 只是采集工具，不会自主决策，力不是独立模态 |
| Tactile-VLM | 视觉加触觉联合推断物理属性 | 被动打分，不会补测 |
| ACTIVE-o3 | MLLM 学会在 2D 图上选 zoom-in 区域 | 行动空间止于「看哪里」 |
| ROMA | LLM 驱动的真实机器人把物理互动当成获取证据的手段 | 见下 |
增量可以收敛成一句判断：ROMA 第一次让 LLM 驱动的机器人把物理互动当成获取证据的手段。ROMA-7B 在该基准中比文中最强基线 Gemini 3.5 Flash 高约 20 点。论文作者据此主张「主动决定摸哪里」优于「被动融合看什么」，这是作者对自家结果的定位，基准数字本身并不直接给出这条因果结论。
局限也如实交代，其中两条最要紧。
第一条在动作空间。六种原子交互是一个固定的动作集，遇到需要更丰富操作技能的任务，这个工具箱就不够用了；论文把它写成开放方向，并提出可以用 ROMI-2K 的交互轨迹去训练可组合的技能。第二条在力模态。系统目前只把每次交互的平均重力分量以文本形式给到 LLM，完整的六轴力矩信号里还藏着接触动力学、摩擦、柔顺性等大量信息，这些都留给了未来工作。ROMA
除此之外，论文自己列的开放方向还包括主动感知与操作策略的统一、多轮对话中复用已获得的证据、跨场景的持久物体记忆、多感官上下文的信息压缩，以及扩展到双臂与灵巧手平台。数据规模也是老问题，约 2000 个日常物体离真实长尾还很远。
还有一件事需要如实告诉读者：截至写作时，ROMI-2K 数据集与 ROMA-7B 的完整训练流程并未全部开放，代码仓库只放出了 demo 与适配器，数据集与评测代码仍标注为即将发布。ROMA
所以 ROMA 的价值更在范式而不在分数。它把「证据不足就动手」这件事第一次做成了真实机器人上可训练、可评测的闭环。另一个反直觉之处在规模：训练后的 ROMA-7B 在所报告的物理属性任务中超过了所列的闭源基线，而这些基线的体量大得多。它教给这个领域的是两句话，缺证据的时候要动手，动手之后还要知道什么时候收手。
想深入可以读原文：ROMA: LLM System for Real-World Object-Centric Multi-Sensory Active Perception — arXiv:2610.06955
参考文献
- ROMA: LLM System for Real-World Object-Centric Multi-Sensory Active Perception — https://arxiv.org/abs/2610.06955
- MultiPLY: A Multisensory Object-Centric Embodied Large Language Model in 3D World — https://arxiv.org/abs/2401.08577
- X-Capture: An Open-Source Portable Device for Multi-Sensory Learning — https://arxiv.org/abs/2504.02318
- Hearing Touch: Audio-Visual Pretraining for Contact-Rich Manipulation — https://arxiv.org/abs/2405.08576
- Tactile-VLA: Unlocking VLM's Physical Knowledge for Tactile Generalization — https://arxiv.org/abs/2507.09160
- Robotic Control via Embodied Chain-of-Thought Reasoning (ECoT) — https://arxiv.org/abs/2407.08693
- Octopi: Object Property Reasoning with Large Tactile-Language Models — https://arxiv.org/abs/2405.02794
- Composing Pre-Trained Object-Centric Representations for Robotics From "What" and "Where" Foundation Models (POCR) — https://arxiv.org/abs/2404.13474
- Robotic Perception with a Large Tactile-Vision-Language Model for Physical Property Inference (Tactile-VLM) — https://arxiv.org/abs/2506.19303
- ACTIVE-o3: Empowering MLLMs with Active Perception via Pure Reinforcement Learning — https://arxiv.org/abs/2505.21457