G0.5：推理和动作共走一条自回归流，真机 76.7% 对双系统 24.4%

机器人的「想」与「做」，必须分成两个模块，还是可以在同一条自回归流里一起生成？G0.5（Galaxea，arXiv 2608.11739，2026-08）给出了这个争议当前最干净的答案：同一个解码器、同一张词表、同一个 next-token 损失，动作只是被生成出来的 token，不是独立的输出头。真机微调 76.7% 对 π0.5 的 53.3% 对 GR00T 系列的 24.4%，是这套设计最戏剧化的注脚。这篇专题盯着一个问题展开：先看旧配方把 VLM 降级成了什么，再看 G0.5 怎么把切分抹平，三大组件各自填平哪个缺口，最后看数字证明了什么、你的项目能从哪一条开始抄。

VLM 为什么会被降级成「上下文编码器」：决策权交给了谁

过去两年里，主流 VLA 配方的方向不是「动作即语言」，而是把语言模型当作条件供给器。π0（Physical Intelligence，2024）是这条配方最完整的工程实例：整个模型是一个 transformer、两套权重。image 和 language token 走用 PaliGemma 3B 初始化的大 VLM 主干；本体感受状态和带噪动作 chunk 走一个独立的 300M 参数 action expert；动作用 flow matching 生成，单次推理输出 H=50 步的动作块，最高支持 50Hz 的灵巧控制。论文当年正是把 RT-2 / OpenVLA 这类 prior AR VLA 列为「高频灵巧任务失败」的代表：不支持 action chunk、离散 token 出得慢。

图注：π0 的全长架构图。左段是预训练数据混合，右段展开双权重结构：image 和 language token 走 VLM backbone（PaliGemma 初始化），state 与带噪动作走独立的 action expert，flow matching 生成连续动作，下方是 7 种机器人构型。π0

值得注意的正是这个结构。VLM 主干负责理解图像与指令，把推理和上下文编码成条件特征，但真正输出动作的 expert 是独立参数、独立目标（flow matching loss）的。换句话说，VLM 的智能被完整保留，却只用来「喂特征」，决策这一步外包给了另一个模块。可以把它读成一个 conditioning bottleneck：expert 能看到什么、能理解到什么程度，完全取决于 VLM 愿意给它多少条件。

这个配方随后长出两个变体，但都没动那个切分。π0.5 是「同模型双层」：同一个 VLM 在推理时先做一次高层推断、输出子任务语义标签，再由独立参数的 flow-matching expert 在该子任务条件下输出连续动作块。GR00T-N1 则把结构包装成 Kahneman 式的 dual-system：System 2 的 Eagle-2 VLM 以 10Hz 把图像与指令编码成条件 token，System 1 的 DiT 以 120Hz 生成动作。GR00T-N1

图注：π0.5 的两阶段设计：预训练阶段用 FAST token 把动作离散化、走标准 next-token CE；后训练阶段加入独立参数的 flow-matching expert。VLM 到 expert 的注意力是单向的，条件供给的方向一目了然。π0.5

图注：GR00T-N1 的 dual-system 切分：左侧 System 2（Eagle-2 VLM，10Hz）编码 vision-language 条件，右侧 System 1（DiT，120Hz）做流匹配生成 motor actions。名字换了 Kahneman 的包装，切分没换。GR00T-N1

这里埋着一个伏笔，第 6 章会回收：expert 带着异质目标（flow matching）回传梯度，会不会反过来破坏 VLM 在 web 语料上学到的能力？这就是 anti-forgetting（防遗忘）问题。G0.5 论文把它作为旧配方的结构性代价来复盘，写作上只能当成论文自己的回溯论证，不能当已证结论。先把这个问题挂起，看 G0.5 给出的答案本身。

单条自回归流到底长什么样：推理与动作如何共用一个解码器

G0.5 的立场可以压缩成一句话：感知、推理、动作全部放进同一个自回归过程、同一张共享词表。模型从 Qwen3.5-2B 初始化，输入是多视角 RGB 的短时间窗、具身标识符、自然语言指令和本体感受状态，解码器自回归地生成一段结构化输出，最后以一串离散动作码收尾。整篇论文只有一个训练目标：生成段上的标准 next-token cross-entropy，CoT token 和动作 token 对解码器来说「只是 token」，同一词表、同一 forward pass、同一份 loss。G0.5

图注：G0.5 的「视觉签名」：三种颜色的 token 在同一条流里交替。橙色是 conditioning（输入），slate 色是 reasoning、彩色是 action，都在同一个解码器里生成；底部是「开抽屉、倒核桃、关抽屉」的闭环滚动，每一步的新观测与本体感受又成为下一轮的条件。G0.5

「一条流」不是口号。论文 Fig.2 给出了可以指着读的 token 序列模板：

图注：G0.5 的 token 序列模板。用户侧的 conditioning 段（多视角 RGB、具身 id、任务指令、本体感受）以 <EOC> 结尾；助理侧的 generative 段由可选 CoT span（Subtask: / BBox: / Trace: / ActionHint:）加动作码组成，以 <EOV> 结尾，动作码展开成 R 轮残差轮，每轮是 DoF-group markers 加 8 个动作码。next-token 损失只标注在 generative 段。G0.5

这里最容易被忽略、也最值得盯住的一点是：损失只在 generative 段。conditioning 段（图像、指令、本体感受）是输入，只有推理 token 和动作 token 参与 next-token 预测，这意味着动作不是模型尾部的某个输出头，而是流水线上被逐 token 生成的产物。这是「动作不是输出头」这句承诺的最强证据。

理解 G0.5 的立场，先要知道 AR 这条路曾被判过死刑。OpenVLA（7B 规模的开源 AR-VLA）把动作每个维度离散成 256 个 bin，一个 7-DoF 时间步展开成 7 个离散 token 逐维预测，结果在 ALOHA 这类 50Hz 高频灵巧任务上，RTX 4090 上的推理只有约 6Hz。π0 当年正是把这点当成「AR 派高频必死」的证据，才转向 flow-matching expert。OpenVLA

图注：OpenVLA 的朴素 AR 方案：DINOv2 + SigLIP 视觉编码、projector 映射、Llama 2 7B 主干自回归输出离散动作 token。同一个「动作即语言」哲学，token 化却是每维一个 bin 的朴素做法，这正是 G0.5 要重做的层。OpenVLA

G0.5 的转折在于：AR 这条路本身没错，错的是 tokenization。OpenVLA 式逐维 binning 在低频数据上够用，控制频率一上来，token 序列长度与生成成本线性膨胀，动作的细粒度变化也表达不了。于是问题被精确地交棒到下一章：动作怎样才能成为一个真正可扩展的 vocab？

动作怎样才能不拖垮自回归流：一个跨具身共享的 27 维词表

相邻时间步的动作高度相关，这是 AR 动作建模的第一个陷阱。FAST 论文用教学实验把它钉死了：一个三次样条插值四个随机点的教学任务，采样频率从 25 一路抬到 800，朴素 binning（OpenVLA 式）下的预测误差随频率陡增，模型最后退化成直接复读第一个动作。原因很直觉：频率越高，相邻步的增量信息越小，next-token 目标里「复制上一步」就成了极强的局部最优，模型不需要学会动作，只需要学会复读。FAST

图注：FAST 的动机图。右图是样条教学示例：高频采样下朴素 binning 的重建明显断裂，而 FAST 还能干净重建曲线。相邻时间步的强相关，会把 next-token 目标困进「抄上一步」的局部最优。FAST

FAST 的解法是固定两步压缩：先做离散余弦变换（DCT）把动作信号转到频域、量化系数，再用 BPE 把系数序列压成定长词表 token。效果是把「每帧 7 个 token」这种随频率线性膨胀的做法，压到每臂每秒约 30 个 token，token 数量与频率基本脱钩。

但 FAST 有一个 G0.5 不接受的假设：压缩管线是逐具身手工配置的。DCT 的缩放系数、每维的归一化统计、BPE 词表，都是针对单一机器人的动作分布调出来的。可以把这个做法想成给每台机器人手写一个硬件驱动：换一台机器人就要重新调一遍参数。G0.5 的 ActionCodec 则更像一个所有机器人共用的统一设备接口，你不再为每台新机器人写驱动，而是让一套端到端学习的 codec 直接把它映射进共享空间。对应关系是：逐具身手工配置对应手写驱动，端到端共享词表对应统一接口。区别在于硬件驱动接口是标准规定的，这套接口是从数据里学出来的。

图注：FAST 的固定管线：动作 chunk 先做 DCT 转频域、量化系数、按列展平，再用 BPE 压成定长词表 token。压缩是逐具身配置的解析步骤，词表可以通用，管线本身不跨具身联合学习。FAST

G0.5 的动作词表由三件套构成。第一层是语义分组：异构动作先按 5 个语义对齐的运动部分拆开，left_control 9 维、left_gripper 1 维、right_control 9 维、right_gripper 1 维、lower_body 7 维，共 27 维统一动作空间；某具身没执行到的槽位在合并时填 noop token，不同形态的机器人共享同一个输出头，不需要 per-robot 适配器。第二层是 RVQ 残差向量量化：把连续动作编码进共享离散词表，配合时序对比损失让语义相近的动作 token 尽量稳定，直接回应上一章「动作要能当 vocab」的拷问。第三层是稀疏预测：DoF-group markers 让每个残差轮只给当前激活的运动部分出 8 个动作码，闲置的机械臂根本不出 token。

图注：G0.5 的 ActionCodec 结构：异构动作按 5 个语义对齐的运动部分拆开（左右臂控制各 9 维、夹爪各 1 维、下体 7 维，共 27 维），经 RVQ 编码器映射到共享离散词表，再序列化成「DoF-group markers + 每轮 8 个动作码」的展开流；右侧分支显示推理时未激活的部分被直接丢弃。G0.5

三件套缺一不可。缺了 RVQ，退回 OpenVLA 式逐维 binning，高频必死；缺了语义分组，flat-vector 量化会把自由度缠在一起、在闲置关节上浪费 token；缺了稀疏预测，token 序列长度又涨回来了。动作成为 vocab，到这一步才从口号变成可扩展的机制。

「想」与「做」怎么才算真正合流：原生思维链 vs 拼装式思维链

推理与动作合流之前，还有一个中间形态：把推理做成模块间的语言接口。Hi Robot 是典型代表，高层策略（PaliGemma-3B）看图与开放指令，输出一行低层语言命令，比如「grasp the cup」；低层策略（就是 π0）拿着这行命令、图像和状态，输出动作块。两层之间唯一的载体是自然语言字符串，不是梯度、不是 hidden state。Hi Robot

图注：Hi Robot 的 bolt-on 形态：左侧高层策略（PaliGemma-3B）输入多相机画面与开放指令，输出低层语言命令；右侧低层策略（π0）输入图像、命令与状态，输出动作块。中间用自然语言字符串连接两层。Hi Robot

可以把这个结构想成微服务之间的消息通信：两个服务各自部署，A 服务发出请求，B 服务用自己的逻辑响应，A 的「想法质量」不会自动给 B 带来任何梯度。同一进程内共享状态则是另一回事，任何一处改动都会同步进共同的计算图。Hi Robot 就是前者，它的作者在论文 Future Work 里自己写了一句：「a natural step for future work is to combine both systems into one model」。把两个系统合并进一个模型，这句话几乎是为 G0.5 写的剧本。

把推理 token 塞进同一条自回归流的做法，ECoT 先走了一步。它给 OpenVLA 的文本词表加了一整套 reasoning token：TASK、PLAN、SUBTASK、MOVE、GRIPPER、OBJECTS，训练模型在同一 AR 流里先生成推理、再生成动作，与动作 token 共用 decoder 和 next-token 损失，推理单步的平均 token 数从 7 涨到 350。ECoT

图注：ECoT 的思维链字段：绿色四段（TASK/PLAN/SUBTASK/MOVE）是标准语言 CoT，紫色两段（GRIPPER/OBJECTS）把推理接地到末端像素位置与 bbox，最终接 7-DoF 动作 token。这是 in-stream CoT 的开山形态，注意其六个字段与 G0.5 的四类并不一一对应。ECoT

ECoT 证明了「推理与动作共用 decoder」可行，但它的六个字段是固定串行的。G0.5 把它重构成四类自描述目标：Subtask（任务分解）、BBox（关键物体定位）、Trace（2D 末端轨迹）、ActionHint（动作提示），每个训练步从 8 个 curated 模板里随机抽一个（包含 no-CoT baseline），推理时可以自由开关。

「原生」的分水岭只有一条：loss 是否流经推理 token。推理 token 和动作 token 在同一词表、同一 decoder、同一份 loss 里，模型把一行推理拼错了，损失照样反向传播，推理本身是被训练出来的技能；而 Hi Robot 的推理是模块间的消息，高层训得好不好，和低层动作在梯度上没有任何关系。回到第 2 章的 token 序列模板，CoT span 就躺在 <EOV> 之前、动作码之前，它在序列里的位置就是它参与训练的证据。

每步只见一帧的模型，凭什么在 10 分钟级长任务里不迷路

如果任务长达几分钟，模型只靠当前帧必然丢失上下文：不知道核桃要放去哪、上一个子任务做到哪一步。最朴素的办法是把过去 K 帧全量堆进模型，但这条路有三个问题。一是注意力复杂度爆炸，每层 self-attention 变成 O(n²K²)；二是与模型的单帧预训练分布错位，VLM 本来每次只看一帧；三是累积漂移，帧越多，历史噪声越难被当前决策消化。

MEM（Physical Intelligence，2026-03）给出了解法：因子化空间-时间注意力。ViT 里每第 4 层额外做一次跨帧的因果时间注意力（同一空间位置的 patch 跨 timestep 关联），上层把历史帧的 token 全部丢弃，只保留当前时间步。这样进语言主干的 token 数与单帧模型完全一致，每层复杂度从 O(n²K²) 降到 O(Kn² + nK²)。MEM 的一个关键性质是零新增参数：时间位置编码用正弦嵌入、在 t=0 时为 0，所以 video encoder 可以无缝地从单帧预训练权重初始化。MEM

图注：MEM 的因子化时空注意力示意。注意这是 G0.5 论文 Sec.3.3 直接引用的方法论前置图（引用 [10]，即 MEM），不是 G0.5 自己的模块图：K 帧 ViT 堆栈里，白色箭头是帧内双向空间注意力，每 4 层用黑色箭头做跨帧因果时间注意力，上层只保留当前时间步的 token、过去帧的 token 被丢弃。MEM

可以把这个结构想成全量快照与增量备份的区别。每次把 K 帧全量堆给模型，等于每次做全量快照，体积随帧数平方级膨胀；因子化注意力则像只保留增量：每 4 层做一次跨帧关联（时间轴上的增量同步），上层把历史帧丢干净后，当前帧的 token 数不变，多出来的历史几乎不增加在线延迟。

G0.5 在这个配方上加了三处自己的选择：(a) 沿用每 4 层插入的频率；(b) 把「最后层丢弃全部历史 token」显式化，严格限定在线推理的延迟上界；(c) 训练时以 30% 概率随机丢历史帧防止过拟合。另外把本体感受从文本 token 换成连续 state embedding，与视觉帧严格同步。这套组合是它能在 BEHAVIOR-1K 那种单 episode 平均 6.6 分钟的长视野任务里持续闭环重规划而不漂移的关键，具体数字留到第 7 章。

同一套权重意味着什么：web 上学到的智能如何直接变成物理行为

把共享权重这件事推到底，会得到一条三条腿的论证链。第一，推理和动作共用权重与目标，意味着旧配方里「action expert 的异质梯度回流破坏 VLM」这个隐患在结构上不存在了。第二，动作 token 参与 next-token 预测，那么语言模型最强的 in-context 学习能力就直接延伸到物理行为：prompt 里换一个动词，policy 真的换一种动作分布。第三，所以「提示即调控」不需要重新训练，通过 prompt 就能调动作粒度、任务时域、甚至分布外场景的行为。

这里要诚实标注边界。第一环（anti-forgetting）是 G0.5 论文自己复盘时提出的逆向论证，不是被某个机制探针直接证明的因果结论，写作时只能作论文的回溯解释处理。

论文 Sec.5.6 / 5.7 做了一个受控探针，让同一个预训练 checkpoint 分别用 AR 解码接口和一个 flow-matching 头，测量匹配 CoT 下「想」对「做」的增益：

反常的地方在于：两组任务里手评的 CoT 质量相当（约 85% 到 90%），说明差距不来自推理本身的质量。论文给出的解释是解码接口，AR token 能在同一流里直接 attend 到前面的推理 token，FM 头只能吃一个对 hidden state 池化后的摘要。这是论文的「decoding-interface」假设，作者明确承认它没有被直接的机制探针验证，只能作为解释，不能当作已证结论。G0.5

七个评测各自证明了什么：你的项目能借鉴哪三条设计

七个评测可以按想证明的东西分组，数字全部以 G0.5 论文 Tab.1/2/3 与 Sec.5 为准：

注意出处限定：π0.5 与 GR00T 两列出自 G0.5 论文的 Tab.1/2/3，不是两家各自论文的自报；G0.5 实际评测的 GR00T 版本（N1 / N1.5 / N1.7）未独立确认，上述措辞统一按「GR00T 系列」处理。

逐项读，每项证明一件事。真机微调证明设计不止 lab 能用：R1lite/R1pro 双机械臂移动平台上，G0.5 76.7% 对 π0.5 53.3% 对 GR00T 系列 24.4%，是整套评测里 gap 最大的一项。BEHAVIOR-1K 证明长视野：50 个家庭任务、单 episode 平均 6.6 分钟（最长 14 分钟），单策略 31.4% 压过 π0.5 的 26.3% 和去年冠军（四模型集成）的 26.1%。DROID 证明跨环境零样本：数据集 76k 条轨迹、564 个场景、统一 Franka 硬件栈，G0.5 在其上后训练，再到预训练与后训练都没见过的环境和物体上评测，10 个任务均值 82.5%，对 π0.5-DROID 57.5% 与 MolmoAct2-DROID 52.0%，10 个任务全部领先。DROID PP Bench 拆开语言跟随与执行：零样本 65.6%，50H 后训练后 84.4%。LIBERO 98.9%、RoboTwin 2.0 93.3%、SimplerEnv-Bridge 87.3% 则是标准化基准上和 SOTA 的并排验证。

诚实看短板：容器交互类任务弱于 π0.5（微波爆米花 0.55 vs 0.95，预训练覆盖不足）；对低对比半透明抽屉比基线敏感（受控插入任务 60% vs 90%）。这些在论文里都有记录。G0.5

回到开篇那张 token 流图。现在再看它，应该能读出更多：三种颜色不是装饰，conditioning 是输入，reasoning 和 action 在同一段生成，loss 只在生成段。这个结构对应三件可以直接搬进项目的事。

第一，如果你的项目是低频双臂或移动平台，把动作和推理合并进一条 AR 流，让 VLM 直接当决策者。这绕开了 action expert 的异质梯度问题，VLM 在 web 语料上学到的能力不会被破坏。对照是 OpenVLA-OFT：它把 parallel decoding、action chunking、连续动作、L1 regression 四个补丁打到 LIBERO 97.1%、推理快 26 倍，但始终在朴素 tokenization 内部打转，从未触及动作词表这一层。OpenVLA-OFT

第二，如果有跨形态迁移需求，学一个端到端的 RVQ codec，而不是 FAST 式逐具身 DCT。省掉的是每来一台新机器人就要重新配 codec 的工程债。FAST

第三，如果卡在长视野分布外，先加 factorized 视觉记忆，再考虑扩数据。历史不是靠堆帧喂进去的，是靠每 4 层的跨帧注意力折进 ViT 的，几乎不增加在线延迟。MEM

G0.5 的每一项数字都能回溯到「合并流 + 三个组件」里的某一个选择。你的项目卡在哪个环，就从哪个环抄起。

参考文献

本专题引用的核心资料如下，建议深入学习时阅读原文：

1. Galaxea G0.5: One Autoregressive Stream for Robot Reasoning and Action — arXiv:2608.11739
2. π0: A Vision-Language-Action Flow Model for General Robot Control — arXiv:2410.24164
3. π0.5: a Vision-Language-Action Model with Open-World Generalization — arXiv:2504.16054
4. GR00T N1: An Open Foundation Model for Generalist Humanoid Robots — arXiv:2503.14734
5. OpenVLA: An Open-Source Vision-Language-Action Model — arXiv:2406.09246
6. FAST: Efficient Action Tokenization for Vision-Language-Action Models — arXiv:2501.09747
7. Robotic Control via Embodied Chain-of-Thought Reasoning — arXiv:2407.08693
8. Fine-Tuning Vision-Language-Action Models: Optimizing Speed and Success (OpenVLA-OFT) — arXiv:2502.19645
9. MEM: Multi-Scale Embodied Memory for Vision Language Action Models — arXiv:2603.03596
10. Hi Robot: Open-Ended Instruction Following with Hierarchical Vision-Language-Action Models — arXiv:2502.19417
11. DROID: A Large-Scale In-the-Wild Robot Manipulation Dataset — arXiv:2403.12945