VLA：机器人为什么看懂了，还不一定做得对？

什么样的模型才算把「看懂」接到了「动手」？

VLA（Vision-Language-Action Model，视觉语言动作模型）这几年是具身智能里最热的词。它听起来就是把「看图像、读语言、出动作」三件事揉进一个模型，但光有这个直觉远远不够。真正的难点藏在接口上：一个语言模型能滔滔不绝地描述场景，不等于它能伸手去够一个杯子；能看懂指令，也不等于把「看懂」翻译成让电机转起来的具体数值。本文要沿着 2022 到 2026 的代表作走一遍，看它们各自的接口是怎么接的、补了前一版什么缺口、又留下了什么新问题。

先给一个工作定义。一篇领域综述把广义 VLA 界定为「接收视觉和语言多模态输入、输出机器人动作以完成具身任务的模型」，同时把基于 LLM 或大型 VLM、接近 RT-2 原始用法的子类单独称为 Large VLA（LVLA）。这个定义故意很宽，因为它要覆盖从低层控制到高层规划的一整条谱系。要分清这些角色，最好的办法是看输出接口落在哪一层。VLA Survey

把机器人想成一个驾驶员：视觉是挡风玻璃，语言是目的地，动作是方向盘。但「驾驶员」内部其实分了三层。最低层是低层动作策略，直接输出平移、旋转、末端执行器位姿这类控制量，要求快而准；中间是高层任务规划器，输出一串子任务序列或文本计划，具体怎么执行还得再翻译成技能；最上面还有世界模型，给定当前状态和将要做的动作，预测世界会变成什么样，用它来想象、纠错或预演。三种角色的输出完全不一样，千万别混。

图注：VLA 的通用骨架。模型接收观察与语言指令，输出动作到环境，再拿新的观察回灌形成闭环。右侧三条分叉是三种不同的输出接口：直接给控制量、先给高层文本子任务、或先预测未来状态。后面所有论文都能套进这张图，区别只在接口落在哪一档。

这条闭环一旦接通，第一代系统就露出了一个更尖锐的问题：它们大多只会重组训练示范里见过的技能。缩放数据规模能解决一部分，但「把示范做大」到底能让机器人多学会什么、仍然不会什么？这是下一章要问的。

把示范做大以后，机器人学会了什么，仍不会什么？

第一根主梁是 2022 年底的 RT-1。它没有引入什么知识，只做一件事：把大量真实机器人的成功示范，吸进同一个行为克隆策略，让它能实时闭环地执行多任务。行为克隆（behavior cloning）就是模仿学习，模型照着人类示范录下的动作学，输入观测量和指令，输出动作。

RT-1 的输入很有意思。它先拿六帧 300×300 的图像历史，加一条自然语言指令；指令经过 Universal Sentence Encoder 编码后，用 FiLM 层去条件化一个 ImageNet 预训练的 EfficientNet-B3。每帧图像产生 81 个视觉语言 token，再被 TokenLearner 压缩成 8 个，六帧合计 48 个 token 送入一个 8 层 decoder-only Transformer。输出不是自然语言，而是机器人动作的离散类别：论文把每个动作维度映射到 256 个区间，覆盖机械臂 7 个变量、移动底座 3 个变量以及「控制机械臂／控制底座／结束」的模式。注意这里的 action token 是控制量的离散编码，跟语言词表里的词完全是两回事。模型不按自回归方式逐个生成动作维度，而是以 3 Hz 闭环执行，直到输出终止模式或者到步数上限。RT-1

图注：RT-1 的数据流总览。语言指令经 USE 变成 embedding，与六帧图像一起经 FiLM 条件化 EfficientNet 得到视觉 token，TokenLearner 再压缩它们，最后 decoder-only Transformer 输出 tokenized actions，也就是量化成分箱的控制命令。RT-1

RT-1 的规模实验把三个因素拆开看，结论很有分量。核验的最大数据集约 13 万条示范，由 13 台移动操作机器人采集 17 个月，对应 744 条语言指令。数据量缩小到约一半，性能与泛化整体下降；但更有意思的是任务多样性：只保留 75% 的任务种类、仍保留 97% 的数据时，综合泛化从团队的 73 掉到 54。换句话说，任务种类的多样性比单纯堆样本量更关键。

但这里要小心它的「未见任务泛化」到底指什么。RT-1 的泛化实验，主要是把训练里见过的技能和物体重新组合成没出现过的指令，比如「把苹果放进抽屉」这类已见物体+已见动作的新搭配，再加一些背景和干扰物的鲁棒性测试。这不等于学会训练里从未出现过的全新动作。论文自己也在限制节里承认：它是模仿学习，可能无法超越示范者，灵巧性有限，也对完全没见过的运动无能为力。规模化示范打通了「同一策略吸收大量任务」这条路，但能力的天花板仍由示范覆盖决定。RT-1

看完这一章你大概会问：如果瓶颈是昂贵的机器人轨迹库，那能不能别只会翻示范？互联网上图文预训练里攒下的常识，能不能借来用？这就是下一阶段 RT-2 和它前面的桥梁 PaLM-E 要做的事。

互联网知识怎样穿过语言模型，落成可执行动作？

要让机器人「读万卷书」，得先解决一个接口问题：互联网上的图文知识住在语言模型的 embedding 空间里，而机器人观测是连续向量。2023 年初的 PaLM-E 先搭了这座桥。它把图像、状态估计、甚至神经 3D 场景表示编码成与语言 token embedding 同维度的一串连续向量，动态地插进文本 embedding 之间，组成一条「多模态句子」喂给一个 decoder-only LLM。这里有个关键区别要分清：PaLM-E 的输出仍然是自回归文本，做规划时它生成的是高层技能或子目标，交给外部的 RT-1 低层策略去执行，执行后新的观测再回到 PaLM-E 重新规划。它让语言模型「看见了身体」，但动作还是文本计划，不是一个能直接变成电机的低层指令。PaLM-E

图注：不同颜色区分图像、神经 3D 表示或状态这类连续模态编码，与文本 token 交错组成一条多模态句子，作为输入喂给语言模型。PaLM-E

PaLM-E 和后来的 RT-2 之间，差别可以看成软件 API 的返回类型不一样。PaLM-E 像是一个返回「高层调用计划」的接口，调用方（那个独立的低层策略）还必须自己解释这些计划、逐条翻译成执行动作。RT-2 则把动作本身也塞进了 token 输出接口，返回的是能直接反解成控制量的「动作 token」，不再需要外部的低层翻译器。一个是返回字符串让下游自己解析，一个是返回已经序列化好的可执行结构，这正是两者定位不同的地方。

RT-2 的价值就是把这条接口推进到可执行层。它沿用 RT-1 的机器人数据和动作离散化：末端执行器 6-DoF 位姿增量、夹爪开合和终止命令构成动作，连续维度均匀量化为 256 档，占用模型词表里的 256 个 token。训练不是只在机器人数据上微调，而是把原 VLM 的视觉问答、图像描述等互联网图文任务，跟机器人轨迹放在一起共微调，并提高机器人数据的采样权重。推理时解码词表被限制为合法的动作 token，输出经反 token 化恢复成机器人动作，循环接收新观察形成闭环控制。RT-2

图注：RT-2 的闭环：机器人动作被当成另一种语言写成文本 token，与互联网视觉语言数据一起训练；推理时把动作 token 反解回机器人动作实现闭环控制。RT-2

RT-2 的评测边界必须讲清，否则容易高估它。它的泛化评测把未见条件拆成物体、背景和环境，各分 easy/hard，再加符号理解、推理、人物识别几类语义任务。论文在受控任务里观察到 RT-2 相对基线的提升，但这个提升能安全概括为：已有机器人动作技能，能被新的语义线索、新物体和新指令重新调用。互联网预训练并没有凭空赋予它新动作，未见物体的动力学、按特定部位抓取、擦拭、工具使用这类动作依然会失败。

知识接口统一到同一个 token 生成空间，这是 RT-2 的关键进步。但下一个问题马上浮出来：即使知识接口统一了，不同机器人的坐标系、动力学和动作语义能靠同一套格式解决吗？这正好引出下一章的数据底座与开放模型。

共享数据和开放模型，为什么仍换不了一副身体？

到了 2023 年 10 月，Open X-Embodiment 转向数据这一侧。它的思路是把不同实验室已有的机器人数据装进一个共同底座，再用共同训练的模型检验「跨具身正迁移」。按修订到 v9 的统计口径，它汇聚了来自 21 个机构、34 个机器人研究实验室的 60 个既有数据集，覆盖 22 个机器人具身和 100 万+ 条真实轨迹、约 527 种技能。这里要说清「22 个具身」不是 22 个同构的机械臂，正文明确范围从单臂到双臂一直延伸到四足机器人。Open X-Embodiment

统一存储格式值得细看。数据以 RLDS 格式序列化保存，能容纳不同数量的 RGB、深度相机与点云。训练 RT-X 时，作者为每个数据集选一个规范相机视角、统一分辨率，把原动作转成 7 维末端执行器动作，再按数据集分别归一化和离散化。这可以比作分布式服务之间共享的消息 schema：格式一致只保证字段能交换，不保证各节点对坐标、时延和执行语义的解释一致。Open X 的坐标系并没有跨数据集对齐，动作可能仍是绝对/相对位置或速度，所以同一个数值在不同机器人身上会走出不同的运动。这也是它最容易被误读的地方：「数据能合在一块训练」，不等于「各机器人能互相使唤」。

图注：Open X-Embodiment 数据集的多面板总览：60 个数据集分布在 22 个具身上，Franka 带来最多样化的视觉场景，xArm 与 Google Robot 由少数大型数据集贡献最多轨迹。多样不代表均衡。Open X-Embodiment

更关键的边界在实验设置。RT-X 实验的训练混合只用了 9 个机械臂/具身，而不是完整的 22 个。正迁移的证据可以概括为：在 Google Robot 上测一个技能，它不在该机器人的 RT-2 数据里、但存在于另一具身 WidowX 的 Bridge 数据中，那个技能的表现明显提升（论文报告的 RT-2-X 与无 Bridge 对照差距显著）。这支持训练混合内具身间的技能迁移，但不支持任意未见机器人零样本部署。论文自己直接声明没有研究对新机器人的泛化。

开放数据的下一步，是把模型入口也开放。2024 年中发布的 OpenVLA 提供了 7B 参数的开放检查点和训练/部署代码。它的结构延续 RT-2 的离散 route：单张图像与语言指令分别进 DINOv2 和 SigLIP 双视觉编码器，特征拼接后经投影器映射到语言嵌入空间，交给 Llama 2 7B 主干，输出 7 维末端执行器动作，每个连续维度按百分位区间离散成 256 桶，用词表里最少用的 256 个 token 当动作 token。OpenVLA

图注：OpenVLA 架构：图像经 DINOv2 与 SigLIP 双编码器、特征拼接和投影器映射进语言嵌入空间，由 Llama 2 7B 主干输出 7 维控制动作。OpenVLA

但「开放」绝不等于「拿来即用」。OpenVLA 只接收单张图像，不含多图、本体状态或观察历史，推理吞吐也不适合高频灵巧控制；官方模型卡明确，未见机器人或未覆盖设置需要采集示范并微调。它把检查点和微调路径开放了，模型仓库代码标注 MIT，但预训练模型源自 Llama 2，可能继承 Llama Community License 的限制，许可证得逐项核对。开放降低的是协作与改装的门槛，没有消除具身之间物理接口的差异。

到这里已经暴露了两条并行的难度：一是数据格式统一不等于物理语义统一，二是离散动作 token 既要克服动作语义差异、又要逐步自回归生成，对高频灵巧控制并不友好。π0 的转折，正是冲着后者来的。

动作一次生成一块，长任务就自然解决了吗？

前面所有模型（RT-1、RT-2、OpenVLA）都在用同一个动作接口：把连续动作量化成离散 token，再逐 token 自回归地生成。2024 年底的 π0 改变的是这个底层范式。它以 PaliGemma VLM 为较大的视觉语言主干，把多路 RGB 图像和语言指令送进主干；机器人本体状态和带噪动作块则路由到约 300M 参数的独立 action expert，两组权重通过 Transformer 自注意力交互。模型条件于观测 $o_t$ 生成未来动作块 $A_t=[a_t,\ldots,a_{t+H-1}]$，论文任务里 $H=50$。

生成方式也换了。π0 不用交叉熵预测离散 token，而是用 conditional flow matching，也就是把真实动作块和高斯噪声沿概率路径混合，学习把带噪动作推向数据动作的向量场；推理时从随机噪声出发，用 10 次 Euler 积分得到连续动作块。它仍然是 diffusion 的一种变体，但别简化成普通单点回归。π0

图注：跨具身灵巧数据与预训练 VLM 主干结合，独立动作专家通过 flow matching 产出连续动作；模型既可直接按提示执行，也可在高质量数据上微调完成叠衣、装箱等多阶段任务。π0

把「逐字打字」换成「一次谱写一小节乐句」，是理解这个转折的关键。离散 token 是逐字蹦出来的，前后动作要靠自回归的依赖链串起来；flow matching 的动作块里，这一节的动作在块内通过双向注意力共同生成，天然更协调，也适合高频执行。但代价藏在闭环节奏里：动作越成块，推理摊销越好，可新扰动要等下一次观察和推理周期才能进入决策。论文实际是分段开环执行的，20 Hz 的机器人每执行 16 步、约 0.8 秒重推理一次，50 Hz 平台每 25 步、约 0.5 秒重推理。动作块解决的是动作协调与高频执行接口，不是长任务本身。

长任务要靠另一层组织。2025 年的 π0.5 在 π0 的动作专家基础上改的是训练配方：把异构机器人数据、网页视觉语言任务、高层语义子任务、目标框监督和人类口头示范统一进两阶段共训练。推理时先根据观测和总任务产生一个文本子任务（比如「pick up the plate」），再由同一个模型按「观测+子任务」产出连续动作块，动作专家以 10 次去噪生成长度 50 的动作块，配合 50 Hz 下发控制目标。它把「高层语义分解」和「低层连续动作」接到了同一个模型上。π0.5

图注：π0.5 的两阶段流程。预训练把异构机器人、高层语义和网页数据统一成离散 token；后训练面向移动操作加入高低层推断与 flow matching 连续动作；推理先产生高层子任务，再据此生成动作。π0.5

但 π0.5 的「新环境长程」能力有明确边界。它的新环境指训练里没出现的厨房/卧室场景，定量主任务是 dishes in sink、make bed 这类训练里见过、只是换了场景的任务，按完成阶段给部分分而非单一成功。论文自己列的失败包括：陌生抽屉把手难开、机械臂挡住待擦污渍造成部分可观测，以及高层子任务被干扰而反复开关抽屉。高层重观察的精确频率、子任务结束判据都没给全，模型上下文和记忆也不足以覆盖跨房间的更复杂任务。

所以连续动作块解决协调与高频，高层子任务解决较长尺度上的组织，两者都不会自动带来长期记忆和即时纠错。要让闭环更早看见动作的后果，就得显式预测「动作会把世界变成什么样」。这正是 2026 年两条前沿路线的出发点。

让模型先预演未来，就能跨机器人做对动作吗？

2026 年的前沿把目光从动作生成移向「未来预测」。今年 2 月的 DreamZero 把未来视频和动作放进同一个自回归扩散 Transformer 里联合预测，这是一条明确的路线。它以 Wan2.1-I2V 视频扩散为主干，输入视觉历史、语言指令和本体状态，用 flow matching 在一个端到端目标下联合去噪未来视频 latent 和归一化动作；输出端分别解码未来帧和动作。论文把它解释为「自回归视频预测 + 从视觉未来提取动作的隐式逆动力学」，这和典型 VLA 直接从 VLM 表示学习动作输出的口径很不一样，但它仍然需要带动作的目标机器人数据来学习逆动力学映射，不是凭空长出动作。DreamZero

推理时有一个聪明设计：模型联合生成视频与动作 chunk，动作异步执行，执行完的真实观测会替换预测帧写回 KV cache，让下一轮重新锚定现实，抑制自回归漂移。把未来预测看作 representation learning 的辅助目标，会看得更清楚：它约束模型捕捉「世界会怎样变化」的动态规律，不等于部署时一定调用一个显式规划器。对 DreamZero 而言这个「未来」是推理时真正生成的视频；对后文 DyPES 而言则主要是训练时的监督信号，两者别混写。

图注：DreamZero 的三路输入（视觉、语言、本体状态）经编码器进入自回归 DiT，联合输出未来视频与动作；训练时对带噪 latent 去噪，推理时动作异步执行、真实观测回灌 KV cache 防止误差累积。DreamZero

DreamZero 的实时与跨具身主张都要带条件读。实时性不是天然具备的：朴素单 GPU、16 步去噪约要 5.7 秒一块，论文是在双 GPU、DiT 缓存、混合精度量化和单步去噪等一整套优化下，才把延迟压到约 150 ms、约 7 Hz 的动作块生成，而且底层机器人的动作执行仍是 30 Hz，别把 7 Hz 当成三关节命令都只按 7 Hz 更新。跨具身方面，AgiBot 与 Franka/DROID 是分别预训练的；所谓「新具身适配」是把 AgiBot 检查点用约 30 分钟的有动作 play data 后训练，这是 few-shot adaptation，不是对未见机器人的严格零样本部署。论文也承认视觉上下文约 6.6 秒，稳健长程仍需要更长上下文或 System 2 规划器。

今年 8 月出现的 DyPES-VLA 走了另一条路：不是部署时联合生成未来，而是在训练时用未来预测塑造一个共享动态表示，部署时把未来头移除，由具身专用的动作头输出原生动作。它的结构里，Qwen3-VL-2B 接收视觉、指令、具身元数据和 96 个可学习查询 token；查询状态同时条件化一个未来帧生成头和一个 flow-matching 动作头。第一阶段的预训练只需要无动作标签的视频，用未来预测学习共享动态先验；第二阶段用有动作标签的跨具身示范联合优化。部署时只留动作头，用 4 次 Euler 步生成动作块。DyPES-VLA

图注：DyPES-VLA 分为架构与训练两部分：视觉语言主干把观察、指令和查询 token 变成共享查询状态，未来头预测未来帧，具身专用 MoE 动作头共享注意力、由静态路由选出专用编码器与解码器输出原生动作；训练先用无动作视频预训练动态先验，再用跨具身示范联合训练。DyPES-VLA

这样「共享什么、专用什么」就成了两派的分水岭。DyPES 的立场是：动作坐标不该强行统一，手工公共空间往往需要坐标变换或逆运动学，还会把「互动规律」和「身体控制语义」搅在一起。所以它让注意力层跨具身共享来学习共同时间结构，同时用静态路由选出具身专用的编码器、专家和解码器，直接输出各机器人的原生动作空间。不过「无需额外动作空间对齐」只在其实现的几个具身家族和训练设置内得到验证，不是任意新机器人的万能方案。

把九篇代表作的进化串起来看，脉络很清楚：

图注：2022 到 2026 的进化主线。每一跳都在补前一环留下的缺口：示范的天花板、互联网知识的接口、跨机器人数据的语义差异、离散 token 对高频控制的不友好，最后分叉成「部署时联合生成未来」与「训练时用未来塑造共享表示」两条 2026 路线。

最后用一个对比表收束九个节点在关键维度上的差异：

整个演进的主轴值得最后点一遍：不是模型单纯变大，而是语义知识、时间动态和具身专用控制如何在闭环里分工。RT-2 把知识接进了动作 token，π0 把动作换成了连续块，π0.5 补了高层组织，2026 的两条路线则把「预演未来」接进了不同位置。但也要泼一盆冷水：DreamZero 和 DyPES-VLA 都是 2026 年的新预印本，缺长期独立复现，对任意未见机器人的零样本控制、安全恢复和长期记忆仍没有统一证据。它们应被当作候选方向，而不是终局。

参考文献

本专题引用的核心资料如下，建议深入学习时阅读原文：

1. A Survey on Vision-Language-Action Models for Embodied AI — arXiv:2405.14093
2. RT-1: Robotics Transformer for Real-World Control at Scale — arXiv:2212.06817
3. PaLM-E: An Embodied Multimodal Language Model — arXiv:2303.03378
4. RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control — arXiv:2307.15818
5. Open X-Embodiment: Robotic Learning Datasets and RT-X Models — arXiv:2310.08864
6. OpenVLA: An Open-Source Vision-Language-Action Model — arXiv:2406.09246
7. π0: A Vision-Language-Action Flow Model for General Robot Control — arXiv:2410.24164
8. π0.5: a Vision-Language-Action Model with Open-World Generalization — arXiv:2504.16054
9. World Action Models are Zero-shot Policies — arXiv:2602.15922
10. DyPES-VLA: Learning Shared Dynamics Priors and Embodiment-Specific Control for Cross-Embodiment Manipulation — arXiv:2608.06374