VLAct：机器人数据不够，还能学会没见过的机器人吗？

机器人也信"数据越多越强"，这条路为什么走不通？

VLAct 的出发点是回答一个问题：在固定的机器人数据预算下，一个模型凭什么还能学会在训练时从没见过的机器人本体上干活？问题之所以扎手，在于数据预算是长期约束，不是暂时短缺。互联网语料是近乎免费的存量，文字和图片取之不尽、以万亿计，抄下来就能用；机器人轨迹却要靠真人远程遥控一台真实机械臂，一遍一遍慢吞吞地演示"把杯子放到盘子里"这样的动作，每一条都要真机"做"出来。GPT 时代"数据越多，模型越强"的口号，搬到机器人身上，第一公里就撞了墙。

要回答这个问题，得先看清这类模型的结构。机器人领域想要的是一种"会动手的多模态大模型"，学界叫 VLA（Vision-Language-Action）：接收视觉观测和自然语言指令，直接生成机器人的控制命令，而不是像聊天机器人那样只输出文字。VLA 由两部分组成：backbone（主干网络）是从互联网图文预训练来的视觉语言模型 VLM，负责看懂画面、听懂指令；动作头（action head）负责把这份理解翻译成具体的机器人动作。动作头的流派不少，有的把动作切成离散 token 逐个预测，有的用连续回归，有的用扩散或 flow matching 直接生成连续动作 VLA Survey。把两个部件拆开讲是有意的：未见本体的难题恰好卡在它们之间。backbone 存的是可搬家的公共知识，动作头是各家各派的解码方式，表征能不能带着知识搬家，就看 backbone。

VLAct 的野心直接写在它的首页图上：同一个模型，跨任务、跨机器人本体、跨环境、跨动作头，都要能用。其中，跨机器人本体正是开头那个问题本身。

图注：VLAct 的横向概览图，展示它的核心主张：通过表征中心的持续预训练，学到跨任务、跨本体、跨环境、跨动作头都可迁移的动作表征。 VLAct

机器人本体（embodiment），也就是机器人的身体形态，差别极大：单臂、双臂、人形，自由度不同、关节不同、夹爪不同。让一个模型学会在训练时从没见过的机器人上干活，这在数据充裕的 NLP 生态里都不是容易事，何况机器人的数据根本喂不饱。既然数据预算被死死摁住、不可能再变多，答案只能落在别处：VLAct 把胜负手从"堆数据"移到"练表征"。这篇文章就顺着这条线，看它如何一步步兑现自己的承诺 VLAct。

数据预算固定时，卡点为什么落在表征上？

先弄清楚"数据喂不饱"到底意味着什么。互联网图文是存量资源，抄下来就能用；机器人轨迹却是一个物理过程。场景里摆什么物体、物体在哪儿、机械臂从什么姿态出发、任务要达成什么，这些因素的组合是爆炸式的，任何数据集都只是这个巨大空间里的一次稀疏采样，而每一条样本都要真机慢吞吞地执行出来。所以"数据预算固定"不是暂时的窘境，而是长期约束。

约束固定之后，模型之间的比拼就变了：不是谁把动作拟合得更准，而是谁能把有限的轨迹消化成可以搬家的知识。VLAct 在摘要里把这句话说得很直白：在固定的机器人数据预算下，持续预训练必须把有限的轨迹变成可迁移的视觉-动作知识，而不是仅仅拟合动作 VLAct。

"持续预训练"（continued pre-training）是这个领域的标准范式：先拿一个在互联网语料上预训练好的 VLM 当起点，在机器人数据上继续训练它的 backbone，最后在下游任务上做微调（fine-tune）。这一步大有讲究。最朴素的做法是直接把 VLM 全量微调到机器人数据上，而 VLAct 指出这条路会踩三个坑，每个坑都对应后面的一道设计：

账记到这里，先把最核心的观念钉下来：数据预算固定时，模型强不强，取决于表征（representation）能不能带着知识搬家，而不是能不能把训练数据背下来。表征就是模型内部用来描述世界的那一组向量，它里面存着模型真正"理解"了的东西，后续所有的迁移能力都从这组向量里长出来。这，就是"表征中心"四个字的含义。而上面这三个坑，正是"表征"最常见的三种死法，后面两章逐一还账。

怎么练：两阶段管线，外加"守住 VLM 先验"

VLAct 的整套流程是一条两阶段管线：先持续预训练，再下游微调。它从 Qwen3-VL-4B 这个开源多模态模型出发，在 DROID、InternA1、RoboCoin、MolmoAct 等开源机器人轨迹中混入图片描述（caption）数据，继续训练出一个大模型主干；到了微调阶段，预训练时用的所有动作头全部丢弃，为每个下游任务重新初始化一个任务专属的动作头，其余设置（下游数据、优化器、训练步数）与对应基线完全一致 VLAct。

图注：VLAct 两阶段管线总览。左半是持续预训练：冻结 ViT 视觉编码器与 LLM 下半层，上层 LLM 与动作头可训练，多个动作头共监督同一 backbone，并混入 caption 数据；右半是下游微调：沿用 backbone，重新初始化任务专属动作头。 VLAct

"丢掉预训练的动作头"是整篇论文实验设计的关键协议。论文里写得很直白：丢弃预训练 head 的权重，是为了让下游性能真正反映 backbone 表征的质量，而不是沾了某个已经适配过预训练领域的 head 的光。后面看到的所有提升数字，从 +7.6 到 +21.4 个百分点，都能严格归因到 backbone 这唯一变量上。

但光有管线还不够，作者第一个要防的坑，是"把 VLM 教傻"。机器人轨迹数据量小、任务窄，如果放开所有参数去微调，模型在互联网上学过的通用知识会被慢慢冲掉，这在深度学习里叫灾难性遗忘。VLAct 用两招挡住它。第一招是浅层保护：冻结整个视觉编码器和 LLM 的下半层，只更新上层。理由是低级视觉特征和早期的视觉语言对齐都住在浅层，动不得；上层则可以继续适配"按动作条件推理"这件事。论文报告这一个小改动就带来 LIBERO-Plus 上 +3.7、Agilex 上 +3.4 的提升。第二招是混入 caption 数据：在机器人轨迹里交错插入图片描述数据，让可训练的上层持续接受"物体、属性、空间关系"这类密集监督，等于给原有的语言能力上了一道锚 VLAct。

冻结浅层不是拍脑袋的决定。几乎同期有一篇独立的控制实验，Rethinking VLM Representation for VLA Initialization，专门把"从 VLM 出发初始化 VLA"这件事拆成三条设计轴来测。结论出奇一致：从零训练、不用 VLM 表征，在全部基准上至少掉 20 个百分点（最大一处从 49.5 掉到 20.3）；LoRA 这类受限更新比全量微调稳约 5 个百分点；而"先做感知侧适配、再用受限方式续训机器人数据"的分阶段路线，在 RoboCasa 上拿到该组实验的最强结果 55.2%（论文自述：这一证据目前仅基于 AgiBot 单一机器人数据源） VLA-Init。换句话说，保护原有表征、温和地注入动作知识，比激进地重塑 VLM 划算得多。这是"表征中心"路线在同行手里的独立证据。

怎么防：多头共监督与部分统一的动作布局

第二道坑是"表征被一个动作头绑架"。作者先做了个 pilot 实验：只挂一个 OFT 风格的动作头预训练，单头预训练对自己那个头很灵，可一旦下游把头换成 π0 或 GR00T 风格，成绩立刻崩 VLAct。原因在于，单一动作头的损失函数把 backbone 的表征折叠到了"对它最有利"的方向，学到的不是通用的动作知识，而是那一家的肌肉记忆。

这有点像备考时只练一种题型：如果只刷选择题，学生学会的是猜选项的技巧，换成简答题就抓瞎。VLAct 的解法是让 backbone 同时面对三种题型：把三个主流动作头一起挂到同一个 backbone 上，让它们对同一份动作答案分别做预测，三种损失直接相加。三个头各是什么来路？OFT 走连续动作回归加并行解码、一次前向预测一整段动作，来自 Stanford 的 OpenVLA-OFT OpenVLA-OFT；π0 风格头用 flow matching 生成动作块，来自 Physical Intelligence 的 π0 π0；GR00T 风格头用扩散 Transformer 双系统生成动作，来自 NVIDIA 的 GR00T-N1 GR00T-N1。

由于三个头共享同一次前向计算，多加两个头只是轻量开销。关键在于，backbone 没法只讨好其中一个头，必须学到三种解码方式都够得着的中间表征。论文的原话是：我们不发明新的动作头，也不加专门的对齐模块，而是直接把动作头的多样性本身当监督信号。

第三道坑是"跨本体"。不同机器人的自由度不一样：单臂 7 个关节，双臂 14 个，人形更多，还各有各的夹爪。如果每个本体各用一套输出空间，夹爪开合这种物理含义完全一致的动作，就会在彼此的私有维度里各说各话。如果反过来，把所有人的关节硬生生补齐到同一个最大向量，又会把含义不同的坐标强行对齐。VLAct 走中间路线：只共享物理含义真能对齐的维度（典型如夹爪开合），其余保留本体专属，训练时非活跃维度直接 mask 掉、不产生损失。

图注：三种跨本体动作空间设计并排对比：左栏让每个机器人用各自独立的动作头；中栏把所有关节强行补齐到同一最大维度；右栏是 VLAct 的部分统一方案，只共享物理含义对齐的维度（如夹爪开合），未激活或本体专属的维度被遮盖。 VLAct

还有个刁钻细节：关节角是周期量。179 度和负 179 度物理上只差 2 度，用普通的 L2 损失却会按 358 度来罚。这就像钟面上 11:59 和 00:01 只差两分钟，你不能按 23 小时 58 分去扣分。VLAct 为此引入 wrap-aware loss，对周期性的关节维度按最短角距离计算误差，其余维度保持常规回归 VLAct。三笔账到这里全部还清，接下来看考场上的兑现。

兑现：扰动考场、双臂任务与真实机器人

第一个考场是 LIBERO-Plus，一个专门用来刁难 VLA 的基准。它不是宽松的固定场景考试：它把 LIBERO 原有任务在七个维度上逐个扰动，包括物体布局、相机视角、机器人初始位姿、语言指令、光照、背景纹理、传感器噪声，展开成 21 个子成分、10,030 个测试任务，再按难度分成五档 LIBERO-Plus。这个考场的意义在于，扰动正是 VLA 的软肋：LIBERO-Plus 论文报告，主流模型在温和扰动下成功率能从 95% 跌到 30% 以下。

图注：LIBERO-Plus 基准结构示意图：中央是基准本身，四周按七个扰动维度（物体布局、相机视角、机器人初始位姿、语言指令、光照、背景纹理、传感器噪声）展开成 21 个底层组件，由 LIBERO 的四个任务套件扩展出 10,030 个测试任务。 LIBERO-Plus

在这个考场上，VLAct 报告平均成功率 82.6%，对照同一基干、同一动作头的 Qwen3VL-OFT 是 75.0%，提升 7.6 个百分点，也超过此前最佳系统 ABot-M0 的 80.5%。分轴看，增益最大的是相机视角（73.9 对 47.0）、机器人初始位姿、传感器噪声、物体布局这几类扰动，这恰恰说明表征中心预训练买到的是视觉空间上的鲁棒，而不只是分数。有一处必须交代清楚：82.6% 是 VLAct 论文自报的数字，LIBERO-Plus 论文自身评测的 10 个模型里并没有 VLAct VLAct。

换到另一个更苛刻的基准 VLA-Arena，VLAct 的 54.8% 比同基干同头的 Qwen3-VL-OFT 的 33.4% 高 21.4 个百分点，比当时最强公开基线 π0.5 高 10.5 个百分点。基干没换、动作头没换，这一截差距全部来自 backbone 表征，这正是"丢弃预训练动作头"这个协议的红利。第二个考场是双臂仿真，RoboTwin 2.0 上 VLAct 在加入随机化专家轨迹的数据扩展设置里拿到 Clean 92.5%，超过多个工业级系统。更有说服力的证据是：同一个 backbone 换上 π0 风格的头，拿到 93.0%，三个头之间的最大差距只有 3.4 个百分点。第 4 章"多头共监督让表征与动作头无关"的判断，在这里直接兑现。

模拟之外还有真实世界实验，数字为论文自报告：在一台 Franka Research 3 机械臂上，VLAct 短程任务平均 92.5%，基线 77.5%；没见过的物体上 90.0%，基线 73.3%；双臂协调任务平均 72.0%，基线只有 44.0%。把三个场景连起来看，这些提升买的不是"更高分"，而是扰动之下、换物体之后、换本体之后的稳定。

终考：没见过的机器人，只给 20% 的数据够吗？

前两个考场还属于"同一族机器人"。终考直接换物种：训练时完全没见过的机器人本体。VLAct 的预训练数据里只有 Franka 单臂和 AgileX 双臂，GR-1 人形机器人和 ARX X5 双臂不在其中，一个都没见过。

对手先亮个相。RoboCasa-GR1 是 GR-1 人形机器人上的仿真基准，VLAct 在论文里让它和 NVIDIA 的人形 VLA 正面比较。NVIDIA GR00T-N1 走双系统架构：左边的 Eagle-2 VLM 负责看和想（System 2），右边的扩散 Transformer 负责生成动作（System 1），本体感知编码器把机器人的状态和动作喂进去，整个预训练烧掉了约 5 万 H100 GPU 小时 GR00T-N1。VLAct 论文中作为 RoboCasa-GR1 对手基线出现的 GR00T-N1.6，就是这个工业级家族在该基准上的对应版本编号，它与 NVIDIA 官方版本谱系的关系，VLAct 论文并未展开说明。

图注：GR00T-N1 双系统架构图：左侧 Eagle-2 VLM（System 2）处理视觉观测与语言指令，中间的本体感知编码器读取机器人状态与动作，右侧扩散 Transformer（System 1）通过交叉注意力消费 VLM 输出并生成动作块。 GR00T-N1

但当比分牌亮出来时，结果相当反常：VLAct 只用 20% 的下游轨迹就达到 49.5%，对面 GR00T-N1.6 用满 100% 数据是 47.6%。VLAct 自己用满全量数据则到 54.0%，给 50% 数据是 51.0% VLAct。注意这里不是"下游数据更多所以更强"的常规剧本：VLAct 的数据更少、成绩更高。在丢弃预训练动作头、其余条件对齐的协议下，这一结果支持预训练 backbone 带来了可迁移收益，但不直接揭示其内部编码了什么结构。这就是全篇最硬的一条证据。

另一个未见本体的考场里，VLAct 在 RoboDojo（ARX X5 双臂）的排行榜快照中按成功率排第 6、平均分排第 8，快照时间 2026-08-24，共 35 个策略。而在所有显式标注为世界动作模型（WAM）的参赛条目上，VLAct 同时取胜，比其中最强的 X-WAM 高 2.97 分、3.77 个百分点。排在它前面的 7 个条目里，有 6 个来自 Dexmal、Galaxea AI、小米、腾讯 Robotics X、OpenHelix、Physical Intelligence 这类工业团队。

更耐人寻味的是算力账单。π0 是约 3.3B 参数、903M 时间步的工业规模 π0，GR00T-N1 烧了约 5 万 H100 GPU 小时，而 VLAct 论文自述只用 16 张 GPU，数据、模型、训练管线全部开源，第一作者在 HuggingFace 论文页评论区明确承诺"完整持续预训练只需要 16 块 GPU" VLAct 项目页。学术预算拿到工业级可比的结果，这是"表征中心"立论能站住的关键背景。

把镜头拉远，VLAct 真正主张的是把 VLA 的进步从一条轴线变成两条：堆数据是一条，怎么练表征是另一条。论文收尾时的呼吁是：VLM 不该被当作从视觉语言预训练继承来的固定组件，而应作为 VLA 的一等设计变量 VLAct。这个视角也框定了它的位置：在领域地图上，表征与多模态对齐只是 VLA 五大挑战中的一支，执行、泛化、安全、数据与评测四座山还立在远处 VLA Anatomy。动作 tokenization、latent action、world-model 路线、sim-to-real 差距、长时序推理，论文自己也还没有答案。

当数据的燃料加不进去时，把表征这台引擎调好，就是让模型变强的另一条路。VLAct 证明的从来不是"不需要数据"，而是"数据不够的日子里，练表征这条路值得走"。

想深入可以读原文：Beyond Data Scaling: Representation-Centric Continued Pre-training for Vision-Language-Action Models，arXiv:2608.27550。

参考文献

本文的证据来自以下公开资料：

1. VLAct 论文：Beyond Data Scaling: Representation-Centric Continued Pre-training for Vision-Language-Action Models（arXiv:2608.27550）。https://arxiv.org/abs/2608.27550
2. VLA 综述：Vision-Language-Action Models for Robotics: A Review Towards Real-World Applications（Kawaharazuka 等，arXiv:2510.07077，IEEE Access 2025）。https://arxiv.org/abs/2510.07077
3. VLAct 开源材料：官方项目页 starvla.github.io/VLAct、GitHub 仓库 starVLA/VLAct 与 starVLA/starVLA、HuggingFace 论文页。https://starvla.github.io/VLAct
4. OpenVLA-OFT：Fine-Tuning Vision-Language-Action Models: Optimizing Speed and Success（Kim, Finn, Liang，arXiv:2502.19645，RSS 2025）。https://arxiv.org/abs/2502.19645
5. π0：A Vision-Language-Action Flow Model for General Robot Control（Black 等，Physical Intelligence，arXiv:2410.24164）。https://arxiv.org/abs/2410.24164
6. Rethinking VLM Representation for VLA Initialization（arXiv:2605.25802）。https://arxiv.org/abs/2605.25802
7. GR00T N1：An Open Foundation Model for Generalist Humanoid Robots（NVIDIA，arXiv:2503.14734）。https://arxiv.org/abs/2503.14734
8. Rethinking VLM Representation for VLA Initialization 全文版（arXiv:2605.25802，与第 6 条为同一论文的双入口，正文按一篇研究引用，细节以本条为准）。https://arxiv.org/html/2605.25802
9. LIBERO-Plus: In-depth Robustness Analysis of Vision-Language-Action Models（arXiv:2510.13626）。https://arxiv.org/abs/2510.13626
10. An Anatomy of Vision-Language-Action Models: From Modules to Milestones and Challenges（arXiv:2512.11362）。https://arxiv.org/abs/2512.11362