VLA：机器人为什么看懂了，还不一定做得对？

视觉语言动作模型（VLA）这个概念被反复提起的近四年里，最值得拆开看的不是某一个模型又把某个 benchmark 刷到了什么分数，而是每一代代表工作究竟把 VLA 的哪个缺口补上了一截、又把什么新缺口露了出来。VLA 的核心张力其实一句话就能点透：把图像和语言都看懂，为什么仍不足以产生可靠动作？知识究竟要通过什么接口，才能进入真实闭环？

顺着 RT-1、RT-2、PaLM-E、Open X、OpenVLA、π0、π0.5、DreamZero 与 DyPES-VLA 这九个节点走一遍，这条主线就清楚了：广义 VLA 是把视觉与语言输入最终接到可执行动作的模型家族，但「接到」可以发生在三个不同位置，动作接口、训练数据与闭环频率各自承担不同的代价。九个节点不是线性升级，它们是同一道题的不同答案。

什么样的模型才算把"看懂"接到了"动手"？

VLA 的工作定义可以放得很宽：凡是接收视觉与语言输入、最终输出机器人动作以完成具身任务的模型，都算广义 VLA VLA-Survey。基于大语言模型或大型 VLM、贴近 RT-2 原始用法的子类则被称为 Large VLA（LVLA）。这个宽定义的存在本身就在提醒：VLA 不是某一种端到端控制器，而是一族结构上差异很大的系统，靠「看见、听懂、动手、再看」这条闭环串起来。

把这四个环节画成一张图，就是所有后续论文共享的图例：

这张图里有三个值得提前点破的细节。其一，模型输出不必是同一种东西：低层策略直接给末端执行器（机械臂末端的那个连接点）的控制量，高层规划给的是一段文本子任务，世界模型给的是对下一步世界状态的预测。RT-1 走的是低层路线，PaLM-E 走的是高层路线，DreamZero 才把世界预测与动作拼到同一个目标里 VLA-Survey。其二，闭环不是单点动作，是「观察、决策、执行、再观察」的反复滑动，离开这个循环的方案都不算 VLA。其三，闭环频率往往比模型大小更影响真实表现：很多论文的"VLA"在云端跑出 1-3 Hz，而底层机器人执行在 20-50 Hz，这个落差决定了动作是真正连续地被纠错，还是每隔几秒才被刷新一次。

所以 VLA 的边界不是「能输出动作的语言模型」这么宽，而是「让知识通过可执行接口进入反复重观察的控制闭环」这一条更窄的条件。定义画完之后，第一代系统为什么仍主要会重组示范中见过的技能，答案也由此而来：闭环已经接通，但知识入口和动作出口都还受示范数据分布的强约束。

把示范做大以后，机器人学会了什么，仍不会什么？

RT-1 是这条主线的起点 RT-1。它把六张 300×300 图像的历史和一条自然语言指令喂给一个 Transformer：指令先由 Universal Sentence Encoder 编码，再通过 FiLM（一种特征线性调制）调节一个 ImageNet 预训练的 EfficientNet-B3，每帧产生 81 个视觉—语言 token；TokenLearner 把每帧压缩到 8 个，六帧合计 48 个 token 进入 8 层 decoder-only Transformer，最后输出的是动作的离散类别。动作的每个连续维度都被映射到 256 个区间，模型按非自回归方式一次性生成所有维度，再以 3 Hz 闭环执行。

图注：从语言指令的 USE embedding 出发，经 FiLM 条件化的 EfficientNet、TokenLearner 压缩和 decoder-only Transformer，输出 tokenized actions；这里的"动作 token"是控制量的离散分箱，不是语言词表里的词。

训练数据是行为克隆：13 台 Everyday Robots 移动操作机器人在 17 个月内采集了约 13 万条人类示范，对应 744 条语言指令，论文按动词归并成技能，再在两个真实办公室厨房里做评测 RT-1。规模化实验把三个因素拆开：把每个任务的样本上限收紧到 51%、37%、约 22%，性能与泛化总体下降；只保留 75% 的任务却保留 97% 的样本时，综合泛化从 73 掉到 54，说明任务多样性比单纯样本量更关键；小模型在已见任务、未见任务、干扰物与背景测试上也都输给完整 RT-1。

这一节的结论只有一句，但很关键：RT-1 证明同一策略可以吸收大量真实机器人任务，但行为克隆的能力边界仍由示范覆盖决定。所谓"未见任务"主要是已见技能与物体的新组合，并不是全新的物理动作 RT-1。这个边界一旦被画出来，下一问就自然产生：能不能借用互联网图文预训练中的语义知识，让机器人不必每条新指令都靠示范来撑？

互联网知识怎样穿过语言模型，落成可执行动作？

这条问题被拆成了两步：先让语言模型"看见身体"，再让知识真的能落到动作。PaLM-E 解决第一步 PaLM-E。它把图像、状态估计或神经 3D 场景表示编码成与语言 token embedding 同维度的连续向量，再把这些向量动态插入文本 embedding 之间，构成"多模态句子"。训练目标只预测文本，因此 PaLM-E 输出的还是自回归文本：在视觉问答和场景描述里，文本就是最终答案；在机器人规划里，文本是高层技能或子目标，要再交给一个独立的低层策略去执行。

图注：图像、神经 3D 表示或状态等连续模态的编码与文本 token 交错，共同构成输入 LLM 的多模态句子。模型输出仍是文本，机器人规划场景下需要外部低层策略去执行。

RT-2 解决第二步 RT-2。它继承 RT-1 的机器人数据与 256 档离散动作协议，但把动作也接进生成式 VLM 的统一 token 输出空间。末端 6 自由度（DoF，即三维空间中的六个独立运动维度）位姿增量、夹爪和终止命令被量化成 256 个 token，占用模型词表中已有的 256 个位置；训练时把机器人轨迹整理成 VQA 式提示，再和原始互联网视觉语言任务共微调。推理时解码词表被限制为合法动作 token，输出经反 token 化恢复为机器人动作，循环接收新观察形成闭环。

图注：RT-2 把机器人动作表示为文本 token，与互联网视觉语言数据共同训练；推理时反解为动作，用于闭环控制。整体目标是把 VLM 的语义知识迁移到机器人控制。

把 PaLM-E 和 RT-2 的接口差异映射到软件里，差别其实很清楚：PaLM-E 的输出像 API 返回的高层调用计划，还要靠执行器把它翻译成实际动作；RT-2 的输出则像已经被反解为可直接控制量的动作 token，模型自己就是执行路径上的最后一步 PaLM-E RT-2。两者的主干也确有重叠：RT-2-PaLM-E 把 PaLM-E 当作 VLM 基座，再在它的输出端加上"动作也按 token 生成"的能力，而不是反过来让 PaLM-E 自身去预测低层动作 PaLM-E。

RT-2 的实验把"语义迁移"和"新物理技能"两件事拆得很清楚。常规泛化评测约 6,000 条轨迹，覆盖新物体、新背景、新环境各分 easy/hard 的超过 280 个任务；另外有符号理解、推理、人物识别三类语义评测 RT-2。在这些设置里 RT-2 相对基线有提升，可泛化结论要锁定在「已有机器人动作技能能在新语义线索、新物体/背景/环境和特定新指令中被重新调用」。互联网预训练没有赋予新动作，未见物体动力学、按特定部位抓取、擦拭/工具使用、精细动作、多层间接推理都会失败 RT-2。CoT 变体只在 RT-2-PaLM-E 上额外训练几百步，使输出先生成计划再生成动作，论文只展示为定性 rollout，不支持"稳定物理推理"的结论 RT-2。

知识接口统一了，但不同机器人的坐标、动力学和动作语义能否也靠统一格式解决？这是接下来跨具身数据与开放模型两节要回答的题。

共享数据和开放模型，为什么仍换不了一副身体？

Open X-Embodiment 把这件事先从数据侧推了一步 Open X-Embodiment。v9 修订给出的仓库快照包含 21 个机构、34 个实验室贡献的 60 个既有数据集，覆盖 22 种机器人具身、超过 100 万条真实机器人轨迹，527 种 skills、160,266 个 tasks。这些数据被统一转成 RLDS 格式的序列化 TFRecord，可以容纳不同数量的 RGB、深度相机与点云。

图注：多面板总览按具身展示数据集、场景与轨迹贡献的分布。Franka 带来较多视觉场景多样性，xArm 与 Google Robot 由少数大型数据集贡献较多轨迹，"多样"和"均衡"不是同一件事。

然而"统一格式"只是把字段对齐，并不等于把物理语义对齐。RT-X 训练时为每个数据集选一个规范相机视角、统一分辨率，把原动作转成 7 维末端执行器动作（位置、姿态三轴加夹爪），再按数据集分别归一化、离散化，部署时按具身反归一化。坐标系没有跨数据集对齐，动作可能表示绝对位置、相对位置或速度，同一个数值在不同机器人上可能产生完全不同的运动 Open X-Embodiment。

RT-X 实验本身也把训练混合缩到了仓库的子集。RT-1-X 只在机器人混合上训练；RT-2-X 以约 1:1 的原 VLM 数据和机器人混合数据共微调；训练混合用了 9 种 manipulators/embodiments，不是完整的 22 种 Open X-Embodiment。3,600 次评估涉及 6 种机器人。在 5 个小数据设置里 RT-1-X 在 4 个上超过各数据集原始方法；但在 Bridge 与 RT-1 这两个大数据设置中没超过单具身 RT-1，作者据此指出模型容量不足或欠拟合 Open X-Embodiment。跨机器人技能实验在 Google Robot 上测试，技能不在该机器人的 RT-2 数据里、但存在于另一具身 WidowX 的 Bridge 数据中：55B RT-2-X 在该列上为 75.8%，RT-2 为 27.3%，移除 Bridge 后掉到 42.8%。这条证据支持"训练混合中具身之间发生技能迁移"，但论文自己也明确说没有研究对新机器人的泛化，也没有覆盖感知/执行方式差异很大的机器人 Open X-Embodiment。

如果把 RLDS 当作分布式服务共享的消息 schema，就能把这一节的张力看清楚：格式一致只保证字段可交换，不保证各节点对坐标、时延和执行语义的解释一致。要在物理上真的"换一副身体"，不能只靠数据层。模型本身的开放在这一节里主要由 OpenVLA 推进 OpenVLA。它是 7B 参数模型，单张图像与语言指令分别进入由 DINOv2、SigLIP 组成的双视觉编码器，特征按通道拼接后经两层 MLP 投影到语言嵌入空间，再交给 Llama 2 7B 主干，输出 7 维末端执行器动作。每个连续动作维度按训练数据第 1—99 百分位区间均匀离散为 256 桶，并复用 Llama 词表中最少使用的 256 个 token；损失只计算预测动作 token 的交叉熵。

图注：双视觉编码器（DINOv2 与 SigLIP）的特征经投影器进入 Llama 2 7B 主干，输出 7 维机器人控制动作。模型本身可检查、可微调，但开箱使用仍受具身、相机、控制频率等条件约束。

OpenVLA 真正改变的是"门槛"：论文与官方仓库提供检查点、训练/部署代码、微调 notebook，并支持 LoRA（低秩适配，一种只微调少量参数的高效方法）、量化和远程推理 OpenVLA。但开放并不等于任意机器人即插即用。模型只接收单张图像，没有多图、本体状态或观察历史；推理吞吐不适合 50 Hz 的 ALOHA 类高频控制；7-DoF 归一化动作需要用每机器人、每数据集的统计量反归一化。论文的 LoRA（rank 32，作用于所有线性层）只在 Franka-Tabletop 33 次 rollout 上比较，量化的 4-bit/8-bit/bfloat16 比较只覆盖 8 个 BridgeData V2 任务、每种方案 80 次 rollout；这些结论都受具体模型变体、GPU、控制频率和任务约束，不能外推到所有平台 OpenVLA。模型卡的最终限制写得很直白：开箱使用只适用于预训练混合已覆盖的具身/域，未见机器人或未覆盖设置需要采集示范并微调 OpenVLA。

到这里这一节可以收束了：开放数据和开放权重降低了协作与改装门槛，却没有消除具身之间的物理接口差异。剩下的问题是，动作被切成离散 token 之后既要受动作语义差异影响，又要逐步生成，对高频灵巧控制是否要换一种动作表示？

动作一次生成一块，长任务就自然解决了吗？

π0 的回答是把动作接口从"逐字 token"换成"动作乐句" π0。它以 PaliGemma VLM 为较大的视觉—语言主干，接收多路 RGB 图像和语言指令；机器人本体状态和带噪动作块被路由到一个约 300M 参数的独立 action expert，两组权重通过 Transformer 自注意力交互。模型条件于当前观测 $o_t$ 生成未来动作块 $A_t=[a_t,\ldots,a_{t+H-1}]$，论文任务采用 $H=50$。训练时把真实动作块与高斯噪声沿概率路径混合，学习把带噪动作推向数据动作的向量场；推理时从随机噪声出发，以 10 次前向 Euler 积分得到连续动作块。这里不是普通单点回归，论文自己用的措辞是 conditional flow matching（条件流匹配，一种把噪声沿概率路径推向真实数据的学习方法），并明确称其为 diffusion 的一种变体 π0。

图注：跨具身灵巧任务数据、预训练 VLM 主干、独立动作专家、flow matching 连续动作输出，再通过直接提示或高质量数据微调两条路径下发到机器人。

把这段数据和 RT-2 / OpenVLA 对照着读，才能看出动作块的实际代价。动作单位从"256 桶离散 token"变成"连续向量块"；训练目标从"交叉熵"变成"向量场匹配"；生成依赖从"逐项自回归"变成"块内动作共同参与双向注意力"；控制频率与重规划间隔也随之上移：20 Hz 的 UR5e/Franka 每执行 16 步（约 0.8 秒）重推理，其余 50 Hz 平台每执行 25 步（约 0.5 秒）重推理 π0。块内联合生成有利于一段动作的协调与高频执行，但论文采用分段开环执行：动作越成块，推理摊销越好，新扰动也要等下一次观测—推理周期才能进入决策。论文没有用独立消融隔离证明"块带来时间一致性"的单一因果收益，所以这里只能写为结构性收益与明确系统权衡 π0。

长程执行要更进一步，π0.5 把高层语义子任务和低层动作块接进了同一个模型 π0.5。预训练把移动操作器家庭数据（MM，约 400 小时、约 100 个家庭环境）、多环境固定机械臂数据（ME）、实验室跨具身数据（CE，含 OXE，且论文称其为 π0 数据集的扩展版）、人工标注的高层子任务与相关目标框（HL），以及网页图像描述、问答和目标定位数据（WD）统一为离散 token 任务，论文称第一阶段 97.6% 的样例并非移动操作器执行家庭任务。后训练 80k 步保留 MM、ME、WD 和 ME 对应的 HL，加入专家用语言逐步"遥控"已学低层策略所形成的 verbal instruction（VI），并加入随机初始化的动作专家用 flow matching 产生连续动作块；CE 在这一阶段被省略。

图注：异构机器人数据、高层语义与网页数据进入离散 token 预训练；后训练面向移动操作加入高低层推断与连续动作生成；推理先产生高层子任务，再据此产生低层动作。

接口是明确的条件分解：当前观察与总任务先产生文本子任务 l_hat，再由同一个模型按 observation + l_hat 产生动作块；总任务不直接进入论文写出的低层条件分布 π0.5。高层使用前、后及双腕共四路相机，低层使用前向与双腕相机；动作专家以 10 次去噪产生长度 50 的动作块，系统以 50 Hz 下发目标位姿和底盘速度，由简单 PD（比例-微分）控制器跟踪，没有额外轨迹规划或碰撞检测。论文所谓"新环境"指训练中未出现的厨房/卧室场景，主任务包括 dishes in sink、items in drawer、laundry in basket、make bed，按完成阶段给部分分 π0.5。

但 π0.5 自己已经写出了局限：陌生抽屉把手或难开启柜门会导致子任务卡住，机械臂遮住待擦污渍造成部分可观测问题，高层子任务被干扰会让模型反复开关抽屉；模型上下文与记忆也不足以覆盖更复杂的跨房间任务，论文没有给高层重观察的精确秒数或子任务完成检测器 π0.5。所以这一节可以收在一个有保留的结论上：连续动作块解决的是动作协调与高频执行接口，高层子任务解决的是较长时间尺度上的组织，两者都不能自动带来长期记忆和即时纠错。

到这里，剩下一个还没被回答的问题就浮出来了：模型是否还需要显式预测动作将把世界变成什么样，才能让闭环更早看见后果？

让模型先预演未来，就能跨机器人做对动作吗？

2026 年的两条候选路线都给这个问题一种回答，但路线不同。先看 DreamZero DreamZero。它以 Wan2.1-I2V-14B-480P 为视频扩散主干，接收视觉历史、语言指令和本体状态；视觉经 VAE（变分自编码器，用于把图像压缩为紧凑 latent 表示）、语言经文本编码器、状态经状态编码器后进入自回归 DiT（Diffusion Transformer，扩散式 Transformer）。训练时，模型用 flow matching 在一个端到端目标下联合去噪未来视频 latent 与归一化动作，并以干净的先前 chunk 做 teacher-forcing 上下文（用真实先前帧作为条件而非模型自身预测）；输出端分别解码未来帧和动作 DreamZero。论文把这一联合分布解释为"自回归视频预测 + 从视觉未来提取动作的隐式逆动力学"（即从观测到的未来状态反推导致该状态的动作），这与典型 VLA 从 VLM 表示直接学习动作输出的口径不同，但它仍需要带动作的目标机器人数据来学习逆动力学映射。

图注：三路输入（视觉、语言、本体状态）经编码器进入自回归 DiT，由视频与动作解码器联合输出未来帧和动作；左右两侧分别为训练去噪流程和异步闭环推理流程。

推理时模型联合生成视频与动作 chunk，动作异步执行；执行后的真实观测会替换预测帧写回 KV cache（注意力机制中缓存历史 token 的中间表示，用于减少重复计算），使下一轮重新锚定现实。实时性不是模型天然具备：朴素单 GPU、16 步去噪约需 5.7 秒/块；论文在双 GPU CFG（classifier-free guidance，无分类器引导，用于增强生成质量）、DiT 缓存、torch.compile/CUDA Graph、Blackwell 混合精度量化、GPU scheduler 与 DreamZero-Flash 单步去噪共同作用下，在 2 张 GB200 上把延迟降至约 150 ms，报告约 7 Hz 的动作块生成 DreamZero。AgiBot 的底层动作以 30 Hz 执行、48 步组成 1.6 秒 chunk，因此 7 Hz 不能误写成机器人所有关节命令只以 7 Hz 更新。

DreamZero 的跨具身证据也要条件化。AgiBot 与 Franka/DROID 分别预训练，论文明确把多具身联合预训练留作未来工作。视频跨具身实验从 YAM 或人类第一视角采集 9 个未见任务的 72 条多视角轨迹，仅对这些数据施加视频预测目标，并与 AgiBot 预训练数据按 1:1 继续训练 10K 步；20 分钟 YAM 视频和 12 分钟人类视频分别把该设置下平均任务进度从 38.3% 提到 55.4% 和 54.3% DreamZero。新具身适配则把 AgiBot checkpoint 用 YAM 的 55 条、11 个任务、约 30 分钟带动作的 play data 后训练，因此是 few-shot adaptation，不是对未见机器人严格零样本部署 DreamZero。论文观察到失败常与视频生成错误同步，但这只是实验归因，不支持"视频预测已成为可靠因果世界模型"的结论 DreamZero。

第二条路线由 DyPES-VLA 给出 DyPES-VLA。它不试图先把不同机器人的动作手工翻译成一种通用动作，而是把可共享部分前移到"看见现在后预测将怎样变化"的查询表示，再让各具身专家把该表示翻译为本机动作。Qwen3-VL-2B 接收视觉观察、指令、具身元数据和 96 个可学习查询 token，查询状态同时条件化 SANA-600M 未来帧生成头与 16 层 flow-matching DiT 动作头。

图注：视觉语言主干把观察、指令、具身元数据和查询 token 变成共享查询状态；未来生成头预测未来帧；具身专用 MoE（Mixture of Experts，混合专家）动作头共享注意力，由静态路由选择专用编码器、FFN（前馈网络）专家和解码器以输出原生动作。

训练分两阶段：第一阶段只需视频，以 EgoDex、RoboTwin 2.0、RoboCasa-GR1、LIBERO 的无动作标签视频训练未来预测；第二阶段在三个模拟 benchmark 的动作示范上联合优化未来损失与动作损失。部署时未来头被移除，只用动作头以 4 次 Euler 步生成动作块 DyPES-VLA。动作头并非把各机器人压进同一动作格式：注意力层跨具身共享以学习共同的时间结构；静态路由按具身选择专用输入编码器、FFN 专家和输出解码器，直接回到该机器人的原生动作空间 DyPES-VLA。模拟评测中 RoboTwin 2.0（14-DoF ALOHA-AgileX、50 项任务）clean/randomized 平均 89.02%，RoboCasa-GR1（29-DoF GR-1、24 项任务）平均 59.25%，LIBERO（7-DoF Panda）四套件平均 98.0% DyPES-VLA。真实评测把模拟共同 checkpoint 再用三种机器人、三项任务各 200 条遥操作示范联合微调（1,800 条），每个机器人—任务组合独立执行 25 次，九格平均成功率 75.6%，对照 ACT 九个独立 checkpoint 的 32.4% 与 GR00T-N1.6 单一联合微调 checkpoint 的 59.6% DyPES-VLA。所有这些数字只在论文给定的任务、数据、硬件与成功率口径下成立，"无需额外动作空间对齐"也只在它实现的三个具身家族及其训练设置内得到验证 DyPES-VLA。

把两条路线放在一起看，未来预测在 VLA 里现在有两种身份。DreamZero 把未来视频和动作联合放到一个生成目标里，未来预测既是训练时的约束，也是推理时的输出；DyPES-VLA 让未来头主要在训练时塑造共享表示，部署时未来头被移除，动作由具身专用专家输出原生空间 DreamZero DyPES-VLA。在 representation learning 的语境里，这两种用法是同一类辅助目标的两个面：未来预测约束共享表示去捕捉动态规律，但训练时学到的"会预演"和部署时"显式调用规划器"是两件事，不能混写。

把九个节点拉到同一张时间轴上，每个节点只保留"补了什么缺口—付了什么代价—下一步为何出现"：

用六个维度把这九个节点再压成一张比较表，方便按维度选型而不被某一篇论文的演示牵着走：

这张表想传递的判断很简单：未来预测为 VLA 增加了动态约束，但跨具身可靠控制仍取决于动作数据、专用接口、闭环频率与验证条件；2026 两条路线都还是候选方向，远未到终局。判断一个 VLA 工作时，先看它的动作接口是什么（离散 token、连续块、还是未来—动作联合）、闭环节奏多快、跨具身到底是参与训练的正迁移还是未见机器人的零样本、证据成熟度落在哪一档，再看演示画面。这样在面对任何一篇新的 VLA 论文时，都能用同一把尺子量出它的位置与边界。

参考文献

1. A Survey on Vision-Language-Action Models for Embodied AI — arXiv:2405.14093
2. RT-1: Robotics Transformer for Real-World Control at Scale — arXiv:2212.06817
3. PaLM-E: An Embodied Multimodal Language Model — arXiv:2303.03378
4. RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control — arXiv:2307.15818
5. Open X-Embodiment: Robotic Learning Datasets and RT-X Models — arXiv:2310.08864
6. OpenVLA: An Open-Source Vision-Language-Action Model — arXiv:2406.09246
7. π0: A Vision-Language-Action Flow Model for General Robot Control — arXiv:2410.24164
8. π0.5: a Vision-Language-Action Model with Open-World Generalization — arXiv:2504.16054
9. World Action Models are Zero-shot Policies (DreamZero) — arXiv:2602.15922
10. DyPES-VLA: Learning Shared Dynamics Priors and Embodiment-Specific Control for Cross-Embodiment Manipulation — arXiv:2608.06374