Show-Harness：只靠九个动作词，VLM 就能操控机器人吗？
满腹世界知识的 VLM，为什么一到机器人跟前就失灵？
把一个顶配的 VLM 接到机械臂上，对它说"把香蕉放进盘子里"。它认得香蕉，知道盘子就在桌上，甚至能把任务拆成"靠近、抓取、搬运、放下"几个步骤。可一旦要求它直接输出关节轨迹，它几乎必然翻车。知识全在，动作全错。这显然不是一个"模型不够聪明"的问题，因为同样的模型前一天还在帮你写代码、解数学题。
问题出在哪？VLM 的知识是语义层的，电机的指令是物理层的，两层之间没有通道。可以这样想：一位读遍菜谱却从未进过厨房的人，能完美规划一桌菜，却拿不稳刀。知识在大脑，动作在肢体，缺的是把"意图"翻译成"肌肉指令"的那段神经。对机器人来说，这段神经就是接口。新加坡国立大学 Show Lab 的 Show-Harness 论文，开篇就把结论钉在这里：瓶颈不在模型，在接口 Show-Harness。
这个鸿沟还有一个统计上的根源。VLM 的训练语料里有无数关于动作的句子，比如"把香蕉放进盘子里""轻轻握住杯柄"，却没有一行真正的电机指令。它读过关于做饭的一切文字，唯独没见过"这个关节此刻该转多少度、以多快的速度"。控制一台机械臂意味着逐时刻输出末端执行器的六自由度位姿，甚至关节角度的连续序列，这类数据从来不在互联网上免费出现。所以问题不是 VLM 不知道"该做什么"，而是它压根没有学会"怎么做"的输出格式。
此前的两条路都想补上这段神经，但各有各的代价。第一条是 VLA（视觉-语言-动作模型）路线，RT-2 是它的起点：把机械臂动作编码成文本 token，和互联网规模的图文数据一起端到端共训，相当于让大脑直接学会"用肌肉说话"。它用的正是 PaLI-X、PaLM-E 这类现成的大 VLM，训练时每个 batch 里混着 VQA 问答、图文描述和机器人轨迹，这种 co-fine-tune 配方要求训练方一直持有并持续采样原来的 web 规模数据。代价是贵且不透明。最大的 55B 参数版本要部署在云端多台 TPU 上，闭环控制频率只有 1 到 3 Hz，动作在模型内部变成不透明的"像素到动作"映射，换个机器人就得重新适配 RT-2。
第二条是 agentic 路线，Code-as-Policies（CaP）是代表：让 LLM 直接生成 Python 代码，调用现成的感知与控制 API 来开机器人。它甚至能递归地补全自己还没见过的函数（比如"检测碗是不是空的"），把高层指令一步步展开成可执行的程序。但把控制链路移出模型，代价是粒度粗：LLM 写得出"循环抓取直到成功"，却难以下达"这个力度、这个角度"级别的细粒度决策，每换一个环境，写好的代码往往要重写 CaP。
为什么偏偏是现在？大模型的智能正在变得近乎免费，前沿 VLM 每隔几个月就在语义理解上往前跳一大步，而机器人这边，每一次能力提升仍然要付出一轮昂贵的本体专属预训练。一边是越来越强的"大脑"，一边是反复重做的"接线工程"。Show-Harness 想证明的是：也许该换的不是大脑，也不是身体，而是那根连接线本身。
Show-Harness 想走第三条路：接口既不学动作，也不写代码，而是给 VLM 一小套它能自然推理的语义动作词汇，再配一个不带学习参数的确定性解释器，把词翻译成电机指令。等于把 VLA 家族拼命端到端学习的东西拆成两半：语义层交给 VLM 现成的语言能力，物理层交给写死的映射，两边都不再需要"再学一遍"。
这就是论文想造的东西：中央的 VLM 被一个叫 Embodied Harness 的容器包起来，容器负责把机器人的眼睛（多视角相机）和本体感知接进来，下方多套机器人本体共享同一个语义动作接口。
图注：Show-Harness 总览图：中央 foundation VLM 圆角框被 Embodied Harness 容器包裹，容器两侧接入多视角观察与本体感知插件，下方引出 Franka、AgileX 与仿真器多套本体，共享同一个 semantic action interface，上下分别标注零样本与轻量适配两条路线 Show-Harness。
后来的实验证明，这个判断不只是叙事漂亮。下面看这套接口到底长什么样。
九个动作词，凭什么顶替"再学一种动作语言"？
Embodied Harness 的核心词表小得惊人，而且能一笔数完：六个平移单元 MV_FWD / MV_BACK / MV_LEFT / MV_RIGHT / MV_UP / MV_DOWN，方向都相对可观察的参考视角定义；两个夹爪动作 GRASP 抓取、RELEASE 松开；一个终止符 DONE。六加二加一，正好九个，这就是论文所称的九个核心语义动作单元，模型卡上那句 output vocabulary is only nine tokens 指的就是它们，没有任何特殊 token。词表里还挂着一对轴向旋转辅助单元 ROTATE_CW / ROTATE_CCW：任务需要把夹爪转到某个朝向时，VLM 一样可以直接输出它们，解释器负责把词落成绕轴的小步增量旋转。那这对旋转为什么不计入九？因为九个核心单元是 pick-and-place 这类操控任务的最小动作闭合，六个平移加夹爪开合加终止恰好闭环；旋转属于另一个动作轴，论文把它定位成挂在核心词表旁的辅助补充。这个选择也不是随意的：再多加词就成了任务专属动作，反而失去通用性。
三个设计属性保证了这个小词表真能闭环收敛。第一是增量：每一步只引发 2 厘米的局部物理变化，VLM 不需要一次算准目标位姿，靠连续修正就能逼近精度。第二是本体无关：动作是符号而不是数值，词表跨机械臂完全不变，换机器人不用换词。第三是视觉接地：前后左右依据可观察的视角定义，模型"看"得到自己在往哪挪 Show-Harness。
词这么少，够用吗？答案藏在"增量"里：控制精度从来不是靠词表精度，而是靠闭环修正的频率。论文的 Adaptive Step 插件就是干这个的，手腕视角看得到目标时走 2 厘米精细步，看不到时就切 4 厘米大步，靠近了再换回来。VLM 本来就会语言推理，给它一套人类也在用的动作词，它不需要再学一种新的"动作语言"，这正是整篇设计最省力的地方。
这套设计的关键证据来自论文自己的消融：把九个词换成任意符号再配约定，成功率从默认的 20/20 掉到 19/20，还算能用；但只给任意符号、不给任何语义命名，直接掉到 1/20，其中方向映射只推断对 23.3%，而随机水平是 16.7%。VLM 是靠词义干活的，词必须是它已经会的那种语言 Show-Harness。
动作语言的世界里方案多得很，九个词算什么？2025 年的一份 VLA 综述把动作 token 分成了八类：语言描述、代码、affordance、轨迹、目标状态、潜变量、原始动作、推理 VLA 综述。这份综述还把动作 token 定义为 LLM 语言 token 的广义对应物：任何由 VLA 迭代产生、最终导向执行的描述性指导，都算动作 token。Show-Harness 的九个词正好卡在两类之间的缝隙里，词像语言，落点像动作。
图注：同一任务下，不同 VLA 模型把相同的观察与指令编码成形态各异的动作 token，覆盖语言描述、代码、affordance、轨迹、目标状态、潜变量、原始动作、推理八个类别。该图来自 2025 年 7 月的综述，早于 Show-Harness 约 14 个月，仅用于谱系定位 VLA 综述。
Show-Harness 的九个词不是新发明的一个类别，而是落在"语言描述 × 原始动作"的混合带：词本身是 VLM 天生就懂的自然语言，落点又是确定可执行的动作。在这个坐标系里，语言描述还分两个子类：高层的语言计划（"先拿杯子，再倒水"）和低层的语言动作（"手臂向前、合拢夹爪"）。Show-Harness 的九个词属于后者，却通过解释器直接落成原始动作，一张口就是可执行的最小单元。把"预测动作"换成"选一个动作词"，不是偷懒，而是把整个动作生成网络从模型里压了出去。模型不学动作，动作由接口承担 VLA 综述。
词有了，谁来把它变成机械臂的实际位移？这是下一章的事。
动作词怎么变成机械臂的位移？一个不带学习参数的"解释器"
答案是本体专属的确定性解释器，论文里写作 g_E。它不是训练出来的，而是一段写死的映射。可以把 VLM 想象成大脑，把解释器想象成小脑加一本动作词典：大脑负责说"向前两步、抓紧"，小脑负责把这句话翻译成这台机器特有的肌肉动作。同一个"向前"，在 Franka 上是 Cartesian 目标位姿加阻抗控制，在 AgileX 上是逆运动学加流式的关节目标，在仿真器里则执行操作空间命令。新增一台机器人，只需要写一本新词典。可调参数如步长也留在这层，由插件动态控制，VLM 只管语义层面的决策 Show-Harness。
图注：Show-Harness 架构图：Perception / Reasoning / Action 三段彩色环各列对应插件，中心 VLM 指向 semantic action units 符号列表（MV_*、GRASP、RELEASE、DONE、ROTATE 等），右侧 Embodiment-specific Interpreter 把语义动作落到 Robot 上 Show-Harness。
这套闭环每一轮怎么转？感知阶段，多视角相机和本体感知的信息被翻译成短文本反馈，包括夹爪高度、单步位移、接触状态和夹爪开合。推理阶段，插件把任务历史整理成上下文。最后由 VLM 在上下文上选一个语义动作，解释器落成目标位姿，新观察再反馈回下一步。perceive、reason、act 三个阶段各挂自己的插件组。论文的消融实验显示这些插件不是装饰：默认配置 96% 成功率，单独摘掉多视角引导就掉 38 个点，摘掉子任务规划掉 36 个点 Show-Harness。
翻译具体怎么算？论文给了一条位姿更新规则，拆成白话是四件事：
$$s_{t+1} = \Pi_E( x_t + \sigma_t R_E d_a ,\ \exp(\theta_t [R_E r_a]_\times) Q_t )$$
第一，平移和旋转分开更新：平移词只改位置，旋转词只改姿态。第二，σ_t 和 θ_t 是校准后的步长，默认平移 2 厘米，旋转步长在论文实验中为每单元 15°（90° 只是旋转外推实验里没见过的测试角，不是单步幅度）。第三，R_E 是坐标变换，把"前、后、左、右"映射到这台机械臂自己的运动坐标系，相当于词典的正文。第四，Π_E 是安全围栏，工作空间边界和单步限制在这里拦截，越界立即停下。夹爪单元 GRASP / RELEASE 不参与位姿更新，直接映射到开合。
用一串具体的词把过程放一遍：VLM 说 MV_FWD、MV_FWD、GRASP、MV_BACK、MV_UP、RELEASE、DONE。解释器逐词翻译：往前挪两厘米、再挪两厘米、闭合夹爪、退后两厘米、抬升两厘米、松开、结束。七步之间随时可以插入修正，因为每一步都只动两厘米。解释器不需要知道香蕉是什么，它只负责把词变成位移。这个分工就是整套设计的骨架：模型负责"懂"，接口负责"动"。
这一步是整个方法与 VLA 家族的分岔口。π0 用 flow matching 的动作专家去学连续的 50 步动作块 π0；OpenVLA 让 7B 模型直接吐 7-DoF 动作 token OpenVLA。两家的"动作生成本身"都在可学习的网络里。Show-Harness 把它整个拿出来，交给一个不带学习参数的确定性函数。
解释器不学习，会不会损失适应性？论文的回答是：该适应的参数（步长、坐标约定）放在接口层，由插件动态调整，决策权始终在 VLM 手里。插件组的分工很细。Perception 一组负责喂多视角图像和本体反馈。Reasoning 一组每步都在判断：Subtask Planning 先把任务拆成带可视觉验收条件的子任务序列，Situated Planning 把不确定的决策推迟到必要时再重规划，Action Chunking 在远离目标时开环连走多步、靠近时再逐步查询，Visual Prompt 用额外模型的调用把含糊的语言目标转成看得见的视觉标记。Action 一组负责收尾：Action History 记录最近五步动作并提示避免反向震荡，Failure Recovery 检测到空抓就回滚到抓取子任务。
确定性还有一个隐性红利：安全。因为解释器是写死、可检查的函数，工作空间边界、桌面高度这些约束可以直接编译进 Π_E，越界即拦截，而不必指望模型每次都能自发避开危险区域。一个不可学习的组件，反而成了整个系统里最可靠的安全层。
不过到这里，一个新的现实问题冒了出来：机器人学习的训练数据从哪来？
训练数据从哪来？把采数据变成点按钮"玩游戏"（GUMI）
机器人学习里最贵的往往不是算力，是数据。传统路线要么用 ALOHA 之类的遥操作硬件让人肉采集，要么给每个仿真器写专属控制器，又贵又散，数据格式还不互通。GUMI（GUI Manipulation Interface，基于图形界面的操作接口）把这个环节整个打碎了：因为语义动作是离散按键，每个动作单元天然就等于一个 GUI 按钮加一个键盘快捷键 Show-Harness。
图注：GUMI 界面图：左右半屏各是一张带按钮布局、键盘快捷键标签与实时相机视角的 GUI 截图，中间箭头连接 HUMAN / COMPUTER-USE AGENT / VLM AGENT 三类玩家，它们共用同一组语义动作按钮，按下即产生 (o_t, a_t) 训练样本进入演示库 Show-Harness。
于是三类玩家按下同一组按钮：人手按键盘，computer-use agent 操作 GUI，VLM agent 直接预测动作单元。三类来源产出完全同一份 (o_t, a_t) 训练样本，进入同一个演示库。论文公开的真实数据是 164 段演示、约 7,800 步，其中 Franka 101 段、AgileX 63 段，覆盖 17 个任务；仿真数据是 230 段、约 13,500 步，RoboLab 130 段、ManiSkill 100 段，全程没有一台专用遥操作硬件。
这里有个容易被忽略的细节：GUMI 的 rollout 会同时保留底层命令与上层动作轨迹，所以同一份演示既训得了语义动作策略，也训得了连续控制策略，一份数据两种用途。对比之下，ALOHA、GELLO、UMI 这些遥操作方案要专用硬件，Robosuite、LIBERO 这类仿真方案要写专属控制器，数据格式还互相不通。GUMI 是同一套工作流，跨仿真与真机通用 Show-Harness。
更妙的是那个 2 厘米约定：每个动作单元在所有本体上都对应 2 厘米平移。等于给 Franka、AgileX、RoboLab、ManiSkill 发同一份动作词典，采集到的数据可以直接混在一起训练，不需要任何坐标系转换。想象混训时发生了什么：Franka 上按 MV_UP 录下的样本，在 AgileX 上重放仍是同一句语义指令，因为解释器各自负责把"上"翻译成本体自己的轴。训练目标不再要求模型输出某台本体的坐标，它只需要从词表里选对一个词，"上"该落在哪根轴、转成多少位移，由各本体的解释器各自翻译。对比一下粒度：CaP 路线是"编程机器人"，LLM 要写 Python 代码再调用 API；GUMI 是"按键玩游戏"，把数据采集这一环从写代码降到了按按钮，而且 humans、GUI agent、VLM 三种"玩家"互不排斥。采集过程中还能随时人机协同：VLM agent 某一步选错了，人直接按一下正确的按钮纠正，样本依然有效，按键式采集天然容忍这种噪声。
把这组数字和 VLA 的场面放在一起看，反差更大：π0 的预训练吃掉约一万小时机器人数据，OpenVLA 用了 970k 条轨迹，而 Show-Harness 全部演示加起来只有两万步出头，却要支撑跨本体、跨环境的迁移。这个对比正是接口设计的"数据侧回报"：一旦动作是离散按键，采集演示的硬件罐子就被打碎了，数据池子可以越滚越大。
数据有了，接口有了，剩下的问题只有一个：这套方案到底管不管用？
只看数字：九个词驱动的 VLM，真能打赢三条赛道？
论文在三个轴上做了泛化实验。跨任务：5 个物体乘 2 个容器共 10 个任务。跨环境：背景、光照、视角、干扰物四类扰动，再加仿真到真机的迁移。跨本体：Franka 7 自由度与 AgileX 6 自由度两台不同构型的机械臂。每个轴都报告零样本（ZS）与微调（FT）两套数字，基线覆盖三条赛道：VLA（π0.5、GR00T）、VLA-centric agent（H-VLA、G-VLA）、Code-as-policy agent（CaP-X、RATS）Show-Harness。
| 实验轴 | 设置 | 零样本 ZS | 微调 FT | 最佳基线 |
|---|---|---|---|---|
| 跨任务 | 10 个物体-容器任务 | 89% | 86% | RATS 57% |
| 跨环境 | 4 类扰动 | 100% | 88% | RATS 65% |
| 跨本体 | Franka + AgileX 各 5 任务 | 93% | 87% | RATS 52% |
| 仿真到真机 | 仿真训练、真机测试 | — | 13/20 | π0.5、GR00T 均为 0/20 |
表格里有两个不平凡的数字，值得单独停下来看。第一个在跨任务那一行：Teddy 和 Chess 两个任务在 FT 阶段从未出现过，但零样本 ZS 双双 10/10 通关。语义动作本身就是语言，新任务不过是"新名词配老动作"，语言模型最强的迁移能力被接口直接继承了下来。第二个在最后一行：只在仿真里训练过的 FT 模型搬到真机 Franka 上，13/20 成功，而两个可训练的 VLA 基线 π0.5 和 GR00T 是 0/20。老路在仿真到真机的鸿沟前全灭，新路至少走过了大半。
规模上要诚实：10 个任务、每个任务 10 次试跑，不算大阵仗，这也不是一篇要刷遍所有 benchmark 的论文。真正硬的证据全在训练分布之外：没见过的任务、没见过的环境扰动、没见过的机器人构型。分布内的成绩可以靠背数据刷出来，分布外的成绩只能靠整套系统扛下来。措辞上要守住边界：这些比较评估的是包含 VLM 与插件在内的完整系统，功劳不能单独归因到接口设计本身，否则就超出了论文证据能支撑的范围。这正是"接口够不够用"这个问题该有的考法。
这套数字的公平性论文也有交代：FT 模型与两个可训练的 VLA 基线使用同一批演示数据、经过同样的轨迹转换方式，公平限定在这个意义上。把三轴放在一起读，结论比单看任何一轴更有力：同一个九词词表、同一套解释器设计，在没见过的任务、没见过的环境、没见过的机器人上同时成立，说明这套系统表现出的不是某个场景的肌肉记忆，而更像是语义层面的通用能力。这一句同样要打折：评估针对的是含 VLM 与插件在内的整套系统，不能据此断言通用能力单独来自接口，也无从归因到模型的内部表征。这也是它敢用两万步数据去支撑跨本体迁移的底气。零样本那一列还藏着信息。论文在五个闭源 backbone 上各跑了一遍，按论文 Sec.5.3 与项目主页 Results 图表显示，Gemini-3.1 Pro、GPT-5.6-sol、Opus 5 约落在 86% 到 96% 一档，GPT-5.6-luna 和 Gemini-3.6-flash 约落在 72% 到 78% 一档，有效响应率约在 98% 以上。模型本身的聪明程度仍然有影响，但差距从"完全不能用"变成了"分个高低" Show-Harness。
四个子分析进一步证明了接口的可调性。把解释器步长从 2 厘米调到 1 厘米，模型一个参数不动，零样本成功率从 60% 升到 82%，FT 从 40% 升到 65%；π0.5 在同一数据上只有 18%，额外精训才到 62%。旋转到训练时没见过的 90 度角，ZS 全程稳定，FT 70%，π0.5 只有 20%。推理密集任务配上 Situated Planning 插件，ZS 能到 85%，FT 只有 10%，π0.5 是 0%。给一段人类或机器人的演示视频再上阵，in-context 零样本直接 20/20。双臂任务上也有提升：联合双臂预测比逐臂独立预测，在 20 个任务上把平均成功率从约 50% 抬到约 80%，还消除了单臂模式下出现的三次碰撞。
四个子分析放在一起，说的是部署层面的同一件事：要调的参数从模型身上挪到了接口层。以前换个任务可能意味着重新训练加调超参，现在拧的是接口上的旋钮（步长、旋转约定、插件开关），模型本身不动。这个表述同样限于论文的评估范围：测得的收益来自 VLM、插件与解释器组成的整套系统，"把调模型变成调接口"指的是旋钮的位置变了，而不是性能提升能单独归因到接口设计。对部署团队来说，这等于把机器人策略的生命周期，从"训练、再训练"换成了"配置、微调"。
同期生态给了一个很好的参照系。2026 年 9 月还有另一条路线 EmbodiedSkills：高层 VLM 拆解指令、底层 VLA 执行有界动作块，中间由 runtime 验证和恢复 EmbodiedSkills。它和 Show-Harness 都把高层意图与底层执行解耦，只是解耦点不同：一个放在编排闭环，一个放在动作词汇加解释器。同一个月、同一个赛道、两种不同的切法，正说明"怎么把 VLM 接到机器人上"已经成为具身智能当下最受关注的问题之一。
接口对了，能解锁什么？又卡在哪里？
这套方案最大的卖点落在两条部署路径上。零样本路径：闭源前沿 VLM（论文默认 Gemini-3.1 Pro，medium thinking effort）通过同一接口直接驱动机器人，零训练、开箱即用。轻量适配路径：把同一接口套到小规模开源模型 Qwen3.5-2B 上，做 rank-64 的 LoRA 微调，视觉塔冻结、大约只更新 3% 的参数，论文附录写明单张 H200 上不到 2 小时。对拿不到前沿模型 API 权限的团队来说，这条路的全部家当就是这张卡加一个下午，足够部署一只能干活的机器臂 Show-Harness。
把各家路线的入场成本摆在一起，"接口是独立变量"这个主张就收束起来了。
| 路线 | 预训练 / 部署代价 |
|---|---|
| RT-2（55B，VLA 起点） | 云端多 TPU 推理，闭环频率 1–3 Hz |
| OpenVLA（7B，开源 VLA） | 970k 条 OXE 轨迹，64 张 A100 训 14 天 |
| π0（约 3.3B，flow matching VLA） | 约一万小时机器人数据 + VLM 初始化 |
| Octo（27M / 93M，最轻量 VLA） | 800k 条 OXE 轨迹预训练 + 可学习扩散动作头 |
| Show-Harness ZS | 零训练，直接驱动闭源前沿 VLM |
| Show-Harness FT | Qwen3.5-2B + rank-64 LoRA，单卡 H200 不到 2 小时 |
RT-2、OpenVLA、π0 的数字来自各自的论文原文，Octo 是 VLA 家族里公认最轻量的代表，也要先吃 800k 条轨迹、再带一个可学习的扩散动作头 Octo。换句话说，不是 Show-Harness 的模型变强了，而是接口把已有 VLM 的能力放了出来。这正是论文摘要里那句话的分量：正确的接口，可以在不加模型容量、不做昂贵本体预训练的前提下，解锁 foundation VLM 的大量具身能力。
这条对照不是在羞辱老路。端到端 VLA 的昂贵预训练买到的是连续、高频、长程的动作生成能力，那是语义接口目前的评估里没有覆盖的领地；反过来，语义接口买到的是零样本迁移、跨本体复用和采集数据时几乎为零的硬件门槛。两条路线其实在买不同的东西，而这篇论文证明了其中一种可以便宜到什么程度。
要验证这一切也不难，但两条路要分开算。论文把整套资产都开源了：5 个真实数据的 LoRA 适配器、1 个仿真数据的适配器、约 1.5 GB 的仿真演示和 0.86 GB 的真实演示，以及完整的 vLLM 部署脚本。能靠下载权重复现的是轻量适配这条路：拿到 Qwen3.5-2B 的 LoRA 适配器和部署脚本，自己就能跑一遍"九个词开机器人"。零样本那条路则依赖闭源前沿模型的 API，下载权重替代不了它，能不能复现取决于你拿不拿得到 Gemini-3.1 Pro 这类模型的访问权限。开源到这种程度，在动辄上万小时预训练的 VLA 论文里很少见，那类工作通常连复现的成本都高得吓人 Show-Harness。
论文自己圈定的边界也要看清。评估集中在单臂与双臂、平行夹爪的构型上，没有触觉和力反馈，也不覆盖灵巧手。HF 文档还提示了两条容易踩的"静默契约"：Qwen3.5 自带的 chat template 在关闭 thinking 时仍会输出空的思考块，与训练模板不一致，必须换成仓库自带的模板，否则模型直接偏离分布；AgileX 的前后方向与 Franka 相反，部署时必须手动交换 MV_FWD 和 MV_BACK，否则机械臂方向反了也不会报错。这两条不在论文正文里，是部署过的人写在模型卡上的血泪。
把 Show-Harness 放进更大的地图看，它并不孤独。2025 年 11 月的一份 agentic 机器人综述，把大模型接入机器人分成四类范式：Protocol-Focused、Interface-Agentic、Orchestration-Oriented、Direct-or-Embedded Agentic 综述。
图注：该综述的四类集成范式 2×2 矩阵：Protocol-Focused / Interface-Agentic / Orchestration-Oriented / Direct-or-Embedded，每象限含 Agent Architecture、Interaction topology、Sample prompts 三组内容，下方横幅标注离散工具调用环与连续动作流。图早于 Show-Harness 约 10 个月，对本论文的归类是事后定位 Agentic 综述。
按这个坐标系，Show-Harness 的 VLM-as-policy 核心落在 Direct-or-Embedded，而 action history、failure recovery 这些插件又把它往 Orchestration-Oriented 方向推，正好应了综述里"复杂系统可跨多类"的那句话。
九个词能解锁什么，论文把答案钉在了"单双臂、平行夹爪、语义级任务"这一层。剩下的开放问题同样清楚：这套词汇表能不能继续演化，九个词会不会变成三十个、一百个，由谁来定新词的语义，这直接决定接口的天花板。这里藏着一层张力：如果新词由人手工加入，接口的扩展就受限于人的想象力；如果让模型自己生成新词，又悄悄滑回 VLA 的老路。触觉和更复杂的本体怎么接，论文自己说了还没覆盖。这篇论文最想留下的，是接口本身值得被当作独立变量认真对待。九个动作词不是终点，它证明了把知识与身体接上的那根神经，可以便宜到几乎免费，而这一小步，可能比再训一个大模型更值钱。
想深入可以读原文：Show-Harness: Just a VLM Agent Can Play Robots — arXiv:2609.10522
参考文献
- Show-Harness: Just a VLM Agent Can Play Robots（锚论文，arXiv:2609.10522）— https://arxiv.org/abs/2609.10522
- RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control（arXiv:2307.15818）— https://arxiv.org/abs/2307.15818
- OpenVLA: An Open-Source Vision-Language-Action Model（arXiv:2406.09246）— https://arxiv.org/abs/2406.09246
- π0: A Vision-Language-Action Flow Model for General Robot Control（arXiv:2410.24164）— https://arxiv.org/abs/2410.24164
- Octo: An Open-Source Generalist Robot Policy（arXiv:2405.12213）— https://arxiv.org/abs/2405.12213
- Code as Policies: Language Model Programs for Embodied Control（arXiv:2209.07753）— https://arxiv.org/abs/2209.07753
- A Survey on Vision-Language-Action Models: An Action Tokenization Perspective（arXiv:2507.01925）— https://arxiv.org/abs/2507.01925
- Towards Embodied Agentic AI: Review and Classification of LLM- and VLM-Driven Robot Autonomy and Interaction（arXiv:2508.05294）— https://arxiv.org/abs/2508.05294
- EmbodiedSkills: A Unified Framework for Orchestrating, Training, and Deploying VLA Agents（arXiv:2609.01281）— https://arxiv.org/abs/2609.01281