VLA:机器人为什么看懂了,还不一定做得对?
一个视觉语言模型 VLM(Vision-Language Model,视觉语言模型)能告诉你图里有什么,但机器人要的是真的动起来。本专题沿 RT-1、RT-2、Open X、OpenVLA、π0、π0.5、DreamZero 到 DyPES-VLA 的关键转折展开,全程只追问一个问题:理解图像和语言为什么仍不足以产生可靠动作,知识究竟要通过什么接口,才能进入真实的闭环。
1. 什么样的模型才算把「看懂」接到了「动手」?
先约定一个定义。一篇 2024 年的综述(v8 修订于 2026 年)给了一个有意放宽的教学口径:凡是处理视觉与语言输入、并产生用于完成具身任务的机器人动作的模型,都可纳入广义 VLA;其中基于 LLM 或大型 VLM、接近 RT-2 原始用法的子类,叫 Large VLA。这是那篇综述提出的广义化口径,不是全领域唯一标准,但足够划出本专题的边界。VLA Survey
定义里最关键的词是「闭环」。VLA 不是一次性看图吐动作的翻译器,而是一个反复运转的控制回路:机器人观察环境,接收语言指令,输出动作,环境因此改变,机器人再观察一次。把这个回路画出来,是这样:
这张图是后文所有论文的统一图例:每一篇工作,都是对「VLA 模型」这个框和三条输出分支的不同填法。综述正是按这三条线组织整个领域的。低层动作策略从视觉观察和语言指令生成平移、旋转或末端执行器动作,强调速度与精度。高层任务规划器把长程目标拆成子任务,输出文本计划或程序,而这个输出通常还要再映射到可执行技能。世界模型学习给定当前状态和动作后的未来状态,可用于想象空间中的规划,或用来生成经验。综述还特别区分了「作为预训练或辅助损失的前向动态预测」和「作为独立模块参与规划的世界模型」,这个区分到最后一章会兑现。
看两个 2023 年的相邻节点,就能看出接口如何决定角色。PaLM-E 让连续的具身观察进入大型语言模型,它的输出仍是文本:在机器人规划任务里,它生成高层技能文本,由另一个低层策略翻译成动作。RT-2 则更进一步,把动作本身写进模型的 token 输出接口,让模型直接输出可执行的低层动作。一个输出计划,一个输出动作,两者的差别就在接口这一层。
所以可以把定义磨利一点:VLA 不是把视觉、语言、动作三个名词摆在一起,而是让知识通过可执行接口,进入反复重观察的控制闭环。但问题也随之而来:如果闭环已经接通,第一代系统为什么仍主要会重组示范中见过的技能?
2. 把示范做大以后,机器人学会了什么,仍不会什么?
RT-1(2022 年 12 月)是第一个把「多任务模仿」在真实环境里做大的节点。直觉很简单:不再为每个任务单独训一个模型,而是把许多教练的示范装进同一个学徒。输入是六帧 300×300 图像加一条自然语言指令;指令先被编码成 USE embedding,再通过 FiLM 去调节一个 ImageNet 预训练的 EfficientNet-B3。每帧产生 81 个视觉语言 token,被 TokenLearner 压缩成 8 个,六帧合计 48 个 token,送进 8 层 decoder-only Transformer。输出不是自然语言,而是机器人动作的离散类别:各动作维度被映射到 256 个区间,覆盖机械臂 7 个变量、移动底座 3 个变量,以及「控制机械臂/控制底座/结束」这样的模式。模型以 3 Hz 闭环执行,直到输出终止模式或到达步数上限。所以这里的「动作 token」是控制量的离散编码,不是语言词表里的词。RT-1
整条数据流如下:

图注:指令先被编码成 USE embedding,再通过 FiLM 层条件化预训练的 EfficientNet,让视觉特征带上指令的含义。得到的视觉语言 token 经 TokenLearner 压缩后送入 decoder-only Transformer,最后输出 tokenized actions,也就是离散化的控制量。这是「观察加指令,到紧凑视觉语言 token,再到离散动作」的第一条完整闭环。RT-1
撑起这套架构的是数据规模:约 13 万条示范,由 13 台 Everyday Robots 移动操作机器人在 17 个月里采集,对应 744 条语言指令。论文把规模的影响拆成三个因素分别看。数据量方面,保持全部任务种类不变,把每个任务的样本上限收紧,使数据降到 51%、37% 和约 22%,性能与泛化总体下降。任务多样性方面,只保留 75% 的任务、但仍保留 97% 的数据时,综合泛化从完整数据的 73 降到 54,作者据此判断任务多样性比单纯样本量更关键。模型容量方面,较小的模型在已见任务、未见任务、干扰物与背景测试上均低于完整 RT-1,而真实机器人的时延预算也限制了模型一味增大。
边界同样清楚。RT-1 是模仿学习方法,可能无法超越示范者。它说的「未见任务泛化」,主要指把训练中见过的技能和物体重新组合成未出现过的指令,而不是学会训练中从未出现过的新运动。它覆盖的操作集合虽大,但灵巧性有限;对背景与环境的鲁棒性,仍需更多环境多样性。
所以 RT-1 证明了同一策略可以吸收大量真实机器人任务,但行为克隆的能力边界,仍由示范覆盖决定。这就留下下一问:机器人能否借用互联网图文预训练里的语义知识,而不只是把昂贵的轨迹库继续做大?
3. 互联网知识怎样穿过语言模型,落成可执行动作?
第一步是让语言模型「看见身体」。PaLM-E(2023 年 3 月)把图像、状态估计或神经 3D 场景表示,编码成与语言 token embedding 同维度的一串连续向量,再把这些向量动态插到文本 embedding 之间,构成「多模态句子」。模型仍是 decoder-only LLM,训练目标只预测文本目标部分。它的输出角色要分开理解:视觉问答或场景描述任务里,文本就是最终答案;机器人规划任务里,PaLM-E 生成高层技能或子目标文本,另有低层策略或规划器把它翻译成机器人动作,执行技能后产生的新观测再回到 PaLM-E 重新规划。它的移动操作实验直接调用 RT-1 作为低层策略。PaLM-E

图注:图像、神经 3D 表示或状态等连续模态编码,与文本 token 交错,组成输入 LLM 的多模态句子。关键在于连续感知被投影到与文本相同的 embedding 空间,语言模型由此第一次「看见身体」。注意这个模型的输出仍是文本,低层执行由另一个策略负责。PaLM-E
这是桥,但输出还是文本。真正的转折是 RT-2(2023 年 7 月),它回答「知识怎样真正落成动作」。RT-2 沿用 RT-1 的机器人数据和动作离散化,把动作接到已有 VLM 的 token 输出接口上,再用原始视觉语言任务和机器人轨迹共微调。具体地,动作仍是 RT-1 那套离散化:末端执行器 6 自由度位姿增量、夹爪开合和终止命令构成动作,连续维度均匀量化为 256 档,占用模型已有词表中的 256 个 token。训练不是只在机器人数据上微调,而是在原 VLM 的 VQA、图像描述及交错图文数据与机器人轨迹之间共微调,并提高机器人数据的采样权重。机器人任务推理时,解码词表被限制为合法动作 token,输出经反 token 化恢复为机器人动作,循环接收新观察形成闭环控制。55B 实例依赖多 TPU 云服务,论文报告 1-3 Hz;5B 实例约 5 Hz,这说明「端到端」不等于「完全在机器人本机运行」。RT-2

图注:RT-2 把机器人动作表示为文本 token,与互联网规模的视觉语言数据一起训练;推理时再把动作 token 反解为机器人动作,用于闭环控制。它和 PaLM-E 的差别正在这里:输出不再是文本计划,而是能直接反解成控制量的动作。RT-2
如果你习惯用软件接口来想问题,可以把 PaLM-E 和 RT-2 的差别,理解成两个 API 的返回类型不同。API 就是模型的输出接口,返回类型就是它交出去的东西。PaLM-E 返回的是一份高层调用计划,也就是文本子任务,它还需要调用方,也就是低层策略,去解释并执行。RT-2 返回的是动作 token,能直接反解成控制量,反解这一步就是 de-tokenization。对应关系很清楚:返回值类型对应输出接口,调用方对应低层策略或机器人,反解对应 de-tokenization。这个映射能让人一眼看出「高层规划」和「低层动作」为什么是两件事。
但边界必须说清。RT-2 的语义迁移,帮助的是已有机器人动作技能在新语义线索、新物体、新背景、新环境和特定新指令中被重新调用。互联网预训练没有赋予它新动作:未见物体的动力学、按特定部位抓取、擦拭或工具使用、精细动作和多层间接推理,仍会失败。CoT 变体只是额外训练几百个梯度步后的初步定性观察,不能支撑「稳定物理推理」的结论。
所以 RT-2 的关键进步,是把语义知识与动作接到同一个生成接口,但互联网知识只能帮助重组已有物理技能。这就把问题交给下一章:即使知识接口统一了,不同机器人的坐标、动力学和动作语义,能否也靠统一格式解决?
4. 共享数据和开放模型,为什么仍换不了一副身体?
RT-2 证明了知识接口可以统一,但数据仍来自单一机构。Open X-Embodiment(2023 年 10 月)是「数据与协作基础设施」的节点。它把不同实验室已有的机器人数据转换到共同存储格式,并用 RT-1-X、RT-2-X 检验多具身共同训练,能否给参与训练的机器人带来正迁移。v9 快照的仓库规模是:来自 21 个机构、34 个机器人研究实验室的 60 个既有数据集,覆盖 22 个机器人具身和 100 万条以上真实机器人轨迹,展示 527 种 skills、160,266 个 tasks。注意「22 个具身」是从单臂到双臂机器人与四足机器人的范围,不是 22 个同构机械臂。Open X

图注:Open X-Embodiment 数据集由 60 个数据集、22 个具身构成,分布多样但不均衡:Franka 数据集带来最多的视觉场景,xArm 与 Google Robot 由少数大型数据集贡献最多轨迹,技能和常见物体的分布则展示了多样性。「多样」和「均衡」不是一回事,这正是理解跨具身数据边界的起点。Open X
关键边界是:统一格式不等于统一物理语义。数据以 RLDS 格式保存为序列化 TFRecord,能容纳不同数量的 RGB、深度相机与点云。用于 RT-X 时,作者为每个数据集选一个规范相机视角、统一图像分辨率,把原动作转换成 7 维末端执行器动作(位置与姿态三轴加夹爪),再按数据集分别归一化、离散化,部署时按具身反归一化。但坐标系并没有跨数据集对齐,动作仍可能表示绝对位置、相对位置或速度,因此相同数值在不同机器人上可能产生不同运动。
如果你接触过分布式系统,可以把 RLDS 理解成各服务共享的消息 schema。schema 就是统一的数据格式,字段就是动作维度和观测字段,节点就是各实验室的机器人,反序列化就是部署时的反归一化。格式一致只保证字段可以交换,不保证每个节点对坐标、时延和执行语义的解释一致。同一个字段值,比如「移动 0.1」,在不同身体上可能意味着不同运动,因为坐标系和控制语义没有对齐。
训练混合是仓库的子集。RT-X 实验的机器人混合来自 9 个 manipulators 或 embodiments,而不是完整的 22 个。RT-1-X 只在机器人混合上训练;RT-2-X 以约 1:1 的原 VLM 数据和机器人混合数据共微调。两者都接收图像与文本指令,输出离散末端动作。正迁移的证据有明确测试边界:论文共做 3,600 次评估试验、涉及 6 种机器人。在小数据域的 5 个设置中,RT-1-X 在 4 个上超过各数据集的 Original Method;但在 Bridge 与 RT-1 这两个大数据设置中,RT-1-X 没超过单具身 RT-1,作者据此指出是模型容量不足或欠拟合。跨机器人技能实验在 Google Robot 上测试:技能不在该机器人的 RT-2 数据里,但存在于另一具身 WidowX 的 Bridge 数据中,55B RT-2-X 在该列得 75.8%,RT-2 为 27.3%,移除 Bridge 后为 42.8%。这支持「训练混合中的具身之间发生技能迁移」,不支持「任意未见机器人零样本部署」。论文更直接声明:未研究对新机器人的泛化,也未覆盖感知、执行方式差异很大的机器人。
数据开放之后,模型和适配路径也开始开放。OpenVLA(2024 年 6 月)是 7B 参数模型:单张图像与语言指令分别进入由 DINOv2、SigLIP 组成的双视觉编码器,二者特征按通道拼接,经两层 MLP 投影到语言嵌入空间,再交给 Llama 2 7B 主干,输出 7 维末端执行器动作。训练时每个连续动作维度按训练数据第 1 到 99 百分位区间均匀离散为 256 桶,并用 Llama 词表中最少使用的 256 个 token 充当动作 token。论文用从 Open X-Embodiment 筛选、重加权的 97 万条机器人示范训练。开放交付物包括模型检查点、微调 notebook、PyTorch 训练与部署代码,并支持 Open X、LoRA、量化推理和远程推理。在受控设置下,LoRA 作用于所有线性层、rank 32 时训练 97.6M 参数(约 1.4%),在误差范围内接近全量微调,单张 A100 上约 10-15 小时。但边界同样清楚:模型只接收单张图像,不含多图、本体状态或观察历史;开箱使用适用于预训练混合已覆盖的具身与域,未见机器人或未覆盖设置需要采集示范并微调;代码是 MIT,但模型使用还需逐项核对基础模型条款。OpenVLA

图注:输入图像和语言指令经 DINOv2 与 SigLIP 特征融合、投影器进入 Llama 2 7B 主干,末端输出 7 维机器人控制动作。这是一个开放、可检查、可适配的模型入口,但开箱使用仍限于预训练混合已覆盖的具身。OpenVLA
所以开放数据和开放权重降低了协作与改装门槛,却没有消除具身之间的物理接口差异。这就留下下一问:离散动作 token 既受动作语义差异影响,又要逐步生成,高频灵巧控制是否需要换一种动作表示?
5. 动作一次生成一块,长任务就自然解决了吗?
π0(2024 年 10 月)是「动作表示转折」的节点。它没有沿用把机器人动作量化后逐 token 自回归生成的经典 VLA 接口,而是在预训练 VLM 旁加入一个较小的动作专家,用 conditional flow matching 一次建模连续动作块。具体地,π0 以 PaliGemma VLM 为较大的视觉语言主干,把多路 RGB 图像与语言指令送入主干;机器人本体状态和带噪动作块则路由到约 300M 参数的独立 action expert,两组权重通过 Transformer 自注意力交互。模型条件于观测 $o_t$ 生成未来动作块 $A_t=[a_t,\ldots,a_{t+H-1}]$,论文任务采用 $H=50$。训练时把真实动作块与高斯噪声沿概率路径混合,学习把带噪动作推向数据动作的向量场;推理时从随机噪声出发,以 10 次前向 Euler 积分得到连续动作块。这不是普通单点回归,也不应与所有 diffusion 方法画等号;论文自己的准确措辞是 conditional flow matching,并称其为 diffusion 的一种变体。π0

图注:预训练 VLM 主干接收视觉与语言输入,独立的动作专家经 flow matching 产生连续动作,两组权重通过自注意力交互。模型可以直接基于提示使用,也可以在高质量数据上微调以完成复杂多阶段任务。关键在动作不再逐 token 生成,而是一次生成一块连续动作。π0
和离散逐 token 路线相比,合理的统一比较维度是:动作单位(量化 token 对连续向量块)、训练目标(交叉熵对向量场匹配)、生成依赖(逐项自回归对块内动作共同参与双向注意力)、控制频率与重规划间隔。块内联合生成在结构上有利于一段动作的协调与高频执行。但代价同样具体:论文实际采用开环执行块片段,20 Hz 的 UR5e 或 Franka 每执行 16 步、约 0.8 秒重推理,其余 50 Hz 平台每执行 25 步、约 0.5 秒重推理。动作越成块,推理摊销越好,但新扰动也要等下一次观测推理周期才能进入决策。论文未用独立消融证明「时间一致性」这一单一因果收益,所以这里应写成结构性收益与明确的系统权衡。
数据与执行范围也有明确边界。v4 论文写明自有灵巧数据覆盖 7 种机器人配置、68 个按复杂行为定义的任务,并混合 OXE、Bridge v2、DROID 等开放数据;实验平台含单臂、双臂以及全向与非全向移动操作机器人。不同维度的状态和动作被补零到最大 18 维,这证明的是已纳入平台的联合训练接口,而不是对未见机器人的零样本部署。
π0.5(2025 年 4 月)没有重新发明 π0 的动作专家,它的主要新增量在训练配方。预训练把移动操作器家庭数据(MM,约 400 小时、约 100 个家庭环境)、多环境固定机械臂数据(ME)、实验室跨具身数据(CE,含 OXE)、人工标注的高层子任务与相关目标框(HL),以及网页图像描述、问答和目标定位数据(WD)统一为离散 token 任务;论文称第一阶段 97.6% 的样例并非移动操作器执行家庭任务。预训练 280k 步后,后训练 80k 步:保留 MM、ME、WD 和 ME 对应的 HL,加入专家用语言逐步「遥控」已学低层策略所形成的 verbal instruction(VI),并加入随机初始化的动作专家,用 flow matching 产生连续动作块。接口是明确的条件分解:当前观察与总任务先产生文本子任务 $\hat{l}$,再由同一个模型按「观察加 $\hat{l}$」产生动作块。推理时高层使用前、后及双腕共四路相机,低层使用前向与双腕相机;动作专家以 10 次去噪产生长度 50 的动作块,系统以 50 Hz 下发手臂、夹爪、躯干目标位姿和底盘速度,由简单 PD 控制器跟踪,没有额外轨迹规划或碰撞检测。π0.5

图注:π0.5 分两阶段训练:异构机器人、高层语义与网页数据先进入离散 token 预训练,后训练面向移动操作加入高低层推断与连续动作生成。推理时模型先推断一个高层子任务,再据此预测低层动作,把短动作接到长程任务上。π0.5
论文里的「新环境」指训练中未出现的厨房或卧室场景,包含新物体、背景与布局。定量主任务 dishes in sink、items in drawer、laundry in basket、make bed,都是训练任务在新场景、新配置中的执行,按完成阶段给部分分,而不是单一二元成功。常见评估片段约 2-5 分钟;论文另展示或主张完整房间清理可达 10-15 分钟,但没有给「长程」或「灵巧」统一的形式定义。作者明确列出的失败包括:陌生抽屉把手或难开启的柜门、机械臂遮住待擦污渍造成的部分可观测问题、高层子任务被干扰而反复开关抽屉;模型上下文与记忆也不足以覆盖更复杂的跨房间任务。
所以连续动作块解决的是动作协调与高频执行接口,高层子任务解决的是较长时间尺度上的组织,两者都不能自动带来长期记忆和即时纠错。这就留下下一问:模型是否还需要显式预测动作将把世界变成什么样,才能让闭环更早看见后果?
6. 让模型先预演未来,就能跨机器人做对动作吗?
DreamZero(2026 年 2 月)是 2026 阶段的主要一手节点。它不只根据观察和语言生成动作,还把未来视频与动作放进同一个自回归扩散 Transformer 中联合预测。它用 Wan2.1-I2V-14B-480P 作视频扩散主干,输入视觉历史、语言指令和本体状态;视觉经 VAE、语言经文本编码器、状态经状态编码器后进入自回归 DiT。训练时,模型用 flow matching 在一个端到端目标下联合去噪未来视频 latent 与归一化动作,并以干净的先前 chunk 做 teacher-forcing 上下文。论文把这一联合分布解释为「自回归视频预测,加从视觉未来提取动作的隐式逆动力学」,这与典型 VLA 从 VLM 表示直接学习动作输出的口径不同,但它仍需要带动作的目标机器人数据来学习逆动力学映射。DreamZero

图注:视觉、语言与本体状态三路输入经编码器进入自回归 DiT,由视频与动作解码器联合输出未来视频与动作。推理时预测异步执行,真实观测回灌 KV cache 以防止误差累积。这是世界预测进入执行闭环的关键。DreamZero
推理时模型联合生成视频与动作 chunk,动作异步执行;执行后的真实观测会替换预测帧写回 KV cache,使下一轮重新锚定现实。实时性不是模型天然具备的:朴素单 GPU、16 步去噪约需 5.7 秒每块;论文在双 GPU CFG 并行、DiT 缓存、torch.compile 与 CUDA Graph、Blackwell 混合精度量化、GPU scheduler 与 DreamZero-Flash 单步去噪的共同作用下,在 2 张 GB200 上把延迟降到约 150 ms,报告约 7 Hz 的动作块生成。AgiBot 的底层动作以 30 Hz 执行、48 步组成 1.6 秒 chunk,所以 7 Hz 不能误写成「机器人所有关节命令只以 7 Hz 更新」。
泛化口径也要条件化。AgiBot 与 Franka 或 DROID 分别预训练,论文明确把多具身联合预训练留作未来工作。视频跨具身实验从 YAM 或人类第一视角采集 9 个未见任务的 72 条多视角轨迹,仅对这些数据施加视频预测目标,并与 AgiBot 预训练数据按 1:1 继续训练 10K 步;20 分钟 YAM 视频和 12 分钟人类视频,分别把该设置下平均任务进度从 38.3% 提到 55.4% 和 54.3%。新具身适配则是把 AgiBot checkpoint 用 YAM 的 55 条、11 个任务、约 30 分钟 play data 后训练,因此是 few-shot adaptation,不是对未见机器人严格零样本部署。
DyPES-VLA(2026 年 8 月)给出另一条答案:共享动态、专用控制。它不试图先把不同机器人的动作手工翻译成一种通用动作,而是把可共享部分前移到「看见现在后预测将怎样变化」的查询表示,再让各具身专家把该表示翻译为本机动作。具体地,Qwen3-VL-2B 接收视觉观察、指令、具身元数据和 96 个可学习查询 token,查询状态同时条件化 SANA-600M 未来帧生成头与 16 层 flow-matching DiT 动作头。第一阶段只需视频:以 EgoDex、RoboTwin 2.0、RoboCasa-GR1、LIBERO 的无动作标签视频训练未来预测;第二阶段在三个模拟 benchmark 的动作示范上联合优化未来损失与动作损失。部署时未来头被移除,只用动作头以 4 次 Euler 步生成动作块。动作头并非把各机器人压进同一动作格式:注意力层跨具身共享,以学习共同的时间结构;静态路由按具身选择专用输入编码器、FFN 专家和输出解码器,直接回到该机器人的原生动作空间。DyPES-VLA

图注:视觉语言主干把观察、指令、具身元数据和查询 token 变成共享查询状态;未来生成头预测未来帧,具身专用 MoE 动作头共享注意力,由静态路由选择专用编码器、FFN 专家和解码器以输出原生动作。训练分两阶段:先用无动作标签视频预训练动态先验,再用有动作标签的跨具身示范联合训练。部署时移除未来头,只由动作头输出。DyPES-VLA
如果你熟悉 representation learning,可以把未来预测理解成一个辅助目标:它在训练时约束共享表示去捕捉动态规律,却不等于部署时一定调用显式规划器。对应关系是:辅助损失对应未来预测头,共享表示对应查询状态,推理路径对应部署时的配置。两条路线的差别恰恰在「推理路径」这一层:DreamZero 在部署时联合输出视频与动作,DyPES 在部署时移除未来头、由专用专家输出原生动作。同一个「预测未来」,一个留在推理路径里,一个只留在训练目标里。
用一条时间轴把九个节点串起来,每个节点只记它补了什么缺口、付了什么代价、留下什么问题:
| 节点 | 补了什么缺口 | 付了什么代价 | 留下什么问题 |
|---|---|---|---|
| RT-1(2022-12) | 规模化多任务模仿,接通第一条真实闭环 | 离散分箱损失精度;能力上限等于示范覆盖 | 知识从哪来,而不只是轨迹 |
| PaLM-E(2023-03) | 连续具身输入进入 LLM | 输出仍是文本;低层执行外包给另一个策略 | 知识能否直接写进动作接口 |
| RT-2(2023-07) | 动作 token 化,与互联网数据共微调 | 语义迁移只重组已有技能;算力高、1-3 Hz | 不同身体能否用统一格式 |
| Open X(2023-10) | 跨机构数据底座,动作粗对齐 | 格式统一不等于语义统一;坐标系未对齐 | 开放数据能否带来开放模型 |
| OpenVLA(2024-06) | 开放检查点,加 LoRA 与量化适配路径 | 单图、无历史;开箱限于已覆盖具身 | 高频灵巧是否需要新动作表示 |
| π0(2024-10) | 连续动作块加 flow matching | 块片段开环执行;扰动要等下一周期 | 长程任务如何组织 |
| π0.5(2025-04) | 高层子任务接低层动作,新家庭长程 | 部分可观测、记忆有限、高层循环仍会失败 | 要不要显式预测未来 |
| DreamZero(2026-02) | 未来视频加动作联合预测,真实观测回灌 | 硬件昂贵;7 Hz 是块频率;few-shot 非零样本 | 联合生成是否唯一解法 |
| DyPES-VLA(2026-08) | 共享动态先验,加具身专用原生动作 | 未来头只在训练时用;仅验证三个具身家族 | 是候选方向还是终局 |
最后把证据边界说清。DreamZero 与 DyPES-VLA 都是 2026 年的预印本,仍缺长期独立复现、真实部署稳定性与同行评审证据。不同机器人、任务定义和 benchmark 之间,也仍缺少可直接横比的统一诊断指标。任意未见具身的零样本控制、安全恢复、长期记忆与高精度操作,都还缺统一可靠证据。
所以未来预测为 VLA 增加了动态约束,但跨具身可靠控制仍取决于动作数据、专用接口、闭环频率与验证条件。2026 的两条路线应视为候选方向,而非终局。演进的主轴不是模型单纯变大,而是语义知识、时间动态与具身专用控制,如何在闭环中分工。
参考文献
本专题引用的核心资料如下,建议深入学习时阅读原文:
- A Survey on Vision-Language-Action Models for Embodied AI — arXiv:2405.14093
- RT-1: Robotics Transformer for Real-World Control at Scale — arXiv:2212.06817
- PaLM-E: An Embodied Multimodal Language Model — arXiv:2303.03378
- RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control — arXiv:2307.15818
- Open X-Embodiment: Robotic Learning Datasets and RT-X Models — arXiv:2310.08864
- OpenVLA: An Open-Source Vision-Language-Action Model — arXiv:2406.09246
- π0: A Vision-Language-Action Flow Model for General Robot Control — arXiv:2410.24164
- π0.5: a Vision-Language-Action Model with Open-World Generalization — arXiv:2504.16054
- World Action Models are Zero-shot Policies — arXiv:2602.15922
- DyPES-VLA: Learning Shared Dynamics Priors and Embodiment-Specific Control for Cross-Embodiment Manipulation — arXiv:2608.06374