GigaBrain-0.7：让机器人先"预演未来"，零成功率任务做到八成

VLA 已经会看会动了，为什么离"通用"还差得远？

一台双臂机器人被要求把一个礼物包起来。彩纸、胶带、盒子都在桌上，指令清清楚楚。基线版本连试了十几次，一次都没成功，成功率是 0%。它不是没学过操作技巧，预训练数据里有大量类似动作。它缺的是更本质的东西：动手之前先想清楚下一步会发生什么的能力。

GigaBrain-0.7 给出的答案是往这个回路里加一个预演未来的系统。论文的 System 3 消融显示，同一台机器人、同一个礼品包装任务，加上预演信号后成功率跳到 80%，而它对比的基线正是目前具身智能领域主流的 VLA 模型。

要解释那个 80% 是怎么来的，得先看清 0% 是什么性质的失败。礼品包装的 0% 不是三流模型的成绩，它恰恰是具身智能主流范式 VLA（视觉-语言-动作）给出的结果。这类模型把视觉、语言理解和机器人动作输出统一进同一个模型，让机器人按语言指令直接干活：画面和指令进，动作出，中间没有"先想想会发生什么"这一步。范式内部有两条实现路线。一条把动作也写成 token，与语言答案一起送进同一个 VLM 训练，Google 的 RT-2 开此先河，OpenVLA 把它做成开源实现；另一条嫌离散 token 表达不了高频精细动作，改用 flow matching（流匹配）直接生成连续动作块，是物理智能（Physical Intelligence）的 π₀ 的"大 VLM 主干加小动作专家"双流设计。π₀ 两条路线共享同一个省略：从画面和指令到动作之间，没有"先想想下一步会发生什么"这一步。这个省略，正是礼品包装 0% 的伏笔。

图注：π₀ 的框架总览。左侧是预训练数据混合，中间是 PaliGemma VLM 主干与并联的 Action Expert 双流：图像和语言走主干，机器人状态与带噪动作块走动作专家，右侧输出到多种机器人本体。π₀

这个省略为什么致命？VLA 已经会看会动，但能力牢牢绑在自己见过的输入输出映射上，一旦换一个机器人本体、换一种任务分布，能力就明显衰减。标准 VLA 的动作是从画面和指令直接映射到输出的结果，中间没有预演的一步：映射在自己的训练分布里成立，换一个本体或任务分布就失配。所以礼品包装的 0% 不只是"这个任务没见过"，而是模型从设计上就缺少检查"这么操作下去会怎样"的机制。也正因问题出在设计而非数据，答案必须落在架构上：在"看懂"和"动手"之间，另加一环。

为什么答案偏偏落在"预演未来"上？一组系列背景让这个选择显得顺理成章。极佳视界（GigaAI）团队的 GigaBrain 系列前作把世界模型当作预训练数据引擎，GigaBrain-0.5 的约一万小时预训练数据里，有大约六千小时是世界模型生成的。GigaBrain-0.5M* 换句话说，这个团队手里早就握着一个会预测未来的模型，问题从来不是"会不会预测"，而是"预测往哪里用"。

GigaBrain-0.7 的答案是把预测直接搬进运行时。世界模型（预测未来的模型）此前的角色只是训练时代的离线工具。礼品包装从 0% 到 80% 的逆转，正是这个搬运的直接结果：动手之前先看到"下一步大概会看到什么"的画面，再判断任务有没有往成功方向推进，两份信号都在动作执行之前喂进决策。搬运的工程细节不简单，预测信号放在回路哪个位置、由谁生成、以什么形式进入动作输出，都要落地。下一章的三系统架构，就是这套问题的答案。

三系统架构：把"预测与评估"拆成独立一环，能改变什么？

GigaBrain-0.7 把具身智能组织成三个相互作用的系统：System 2 负责理解与规划，System 3 负责预测与评估，System 1 负责动作与控制。三个系统的后端分别是 3B 的 PaliGemma2 视觉语言模型、基于 GigaWorld-1 的 5B 世界价值模型、以及 3B 主干配 0.5B 动作专家的组合。论文没有给出三者合计的参数量，读者不必自行相加。下面这张图是全文的枢纽。GigaBrain-0.7

图注：GigaBrain-0.7 的三系统架构。System 2 做视觉语言理解与任务规划，System 3 通过预测未来观测与估计任务价值来做预测与评估，System 1 融合当前观测、短时记忆、子任务指令、机器人状态与预测信号，经并行的离散和连续动作通路生成可执行动作，图右侧还接出离线与在线经验强化接口。GigaBrain-0.7

看这张图时最重要的问题不是"每个框装了什么"，而是"信号往哪流"。论文里最核心的三条信号线可以抽成下面这张简化图。

图注：三系统之间的信号流。System 2 把子任务指令同时发给 System 1 和 System 3，System 3 把子目标图与二值优势两类预测信号注入 System 1 的决策输入。

System 2 收到当前画面和任务指令，先输出一句场景描述，再输出一条子任务指令。论文给的例子很具体：任务是"把这个东西挂上衣架"，它观察到"有帽子、有包"，于是分解出"拿起那顶红帽子"。这条子任务指令同时发给 System 1 和 System 3。

System 3 是这篇论文相对既有 VLA 的新增维度，它暴露两类信号。第一类是子目标图 $g_t$：世界模型生成一段与动作块时间跨度对齐的短视频，取预测序列的最后一帧，当作"下一步大概会看到什么"的画面，编码后作为额外视觉条件喂给 System 1。第二类是二值优势 $A_t$：模型额外估计当前任务进度值 $V_t$，如果预测未来一段时间进度会上升，$A_t$ 取 1，否则取 0，相当于一个"这个方向对不对"的开关信号。System 3 的后端 GigaWorld-1 由同一团队在 2026 年 7 月发布，是一套专门为机器人策略评估训练的世界模型。GigaWorld-1

System 1 把这一切汇聚起来：当前观测、短时视觉记忆、子任务指令、本体感受状态与机器人 ID，再加 System 3 的两类预测信号。它用 Mixture-of-Transformers（MoT）把视觉语言主干和动作专家耦合成双流，两条流共享 attention 交互但各自保留独立的前馈参数，并行输出离散 token 与连续动作两条通路，最终形成实际执行的动作块。两条通路分工不同：离散通路在训练时桥接语言理解与运动控制，连续通路在部署时提供真正执行的动作。

为了让同一套网络服务不同本体，System 1 还在接口层做了跨本体设计：本体感受状态的维度顺序被统一成"左臂、右臂、头、腰、base 或腿"，逐本体的 validity vector 负责掩码掉缺失的维度，再与机器人 ID 一起经投影模块投入共享表示。动作专家的主体参数跨本体共享，只有输入输出投影按各自本体的动作定义调整，旋转统一用连续 6D 表示。这套接口是"本体能否再跨"问题的直接工程答案。

一个直觉化的画面：把三系统想象成一套开车班子。System 2 是导航，负责把"去机场"拆成"第三个路口右转"这类子任务。System 3 是坐在副驾看路况的领航员，他提前扫一眼前方画面，判断照当前的开法能不能按时到，然后把"来得及"还是"来不及"这个二值结论丢给司机。System 1 就是司机，踩油门、打方向盘。这套比喻的每个对应点都严格成立：子任务指令就是"下一个路口怎么走"，子目标图就是"前方画面"，二值优势就是"来得及还是来不及"。关键是领航员的信息在司机动手之前到达，而且是显式地喂进司机的操作习惯里，不是事后复盘。

先前的 VLA 里没有领航员这个位置。一个典型的对照是 HiRT，它把慢思考的 VLM 与快执行的轻量策略拆成两层，用 latent buffer 做异步耦合，但两层之间传的是当前场景的语义理解，不是对未来的预测。HiRT GigaBrain-0.7 的新增维度正是 System 3：把世界模型从训练时代的离线数据引擎，抬进实时决策回路。

三个系统分工清楚了，紧接着的问题是训练。System 1 的主干是带着互联网知识来的预训练 VLM，动作专家却是随机初始化的新模块。把两者放在一起联合训练，动作的信号会不会反过来毁掉语言知识？这是下一章要面对的问题。

37,000 小时异构数据与一阶段对齐：三个系统怎么一起训练？

先看数据。论文把预训练语料搭成五层，清洗后总计 37,256.98 小时的具身轨迹，覆盖 16 种机器人本体：

合计 37,256.98 小时，另外还有约 2.7 亿条视觉语言样本。跨本体为什么难，关键不在总量。如果只是把开源集合里那 97 万条轨迹再放大十倍，各本体间的差异依然会互相干扰而不是互相补益。五层来源各自补不同的短板，真机数据提供真实动力学，人类演示带来任务多样性，仿真和世界模型生成负责填长尾场景与稀有状态，合在一起才撑得起跨本体泛化。

训练层面有一个绕不开的矛盾。System 1 的 VLM 主干继承自预训练模型，动作专家是全新的。当 flow matching 的动作梯度回传到主干，会污染主干里来之不易的语言与视觉知识。Knowledge Insulation 论文把这个问题量化成两个症状：训练需要约 7.5 倍步数才能收敛，语言跟随能力还会退化，模型开始忽略指令、抓错物体。Knowledge Insulation

图注：Knowledge Insulation 的架构总览。VLM 主干用下一个 token 预测损失学离散动作表征，动作专家用 flow matching 学连续动作，Stop Gradient 阻断动作专家的梯度流向主干，把主干的预训练知识隔离起来。Knowledge Insulation

Physical Intelligence 的解法是 stop-gradient 硬切，动作专家的梯度完全不允许流回主干。GigaBrain-0.7 在此基础上做了一个更细的工程决定，叫 Soft Knowledge Insulation（Soft KI）。动作梯度在动作专家内部完整传播，但在进入视觉语言主干之前，被系数 $\alpha_{\mathrm{KI}}$ 衰减：

$$\nabla_{\theta_{\mathrm{VL}}}\mathcal{L}{\mathrm{VLA}} = \nabla{\theta_{\mathrm{VL}}}\mathcal{L}{\mathrm{NTP}} + \alpha{\mathrm{KI}}\nabla_{\theta_{\mathrm{VL}}}\mathcal{L}{\mathrm{FM}}, \qquad 0 < \alpha{\mathrm{KI}} < 1$$

用阀门来理解：Knowledge Insulation 是把动作梯度这路水流彻底关死，Soft KI 是把阀门拧小而不是关死，让一小股动作梯度还能渗进主干，把表示朝具身控制的方向微调。这里必须交底一个诚实的限定：$\alpha_{\mathrm{KI}}$ 的具体数值论文没有公开，只给了区间，这意味着 Soft KI 这个核心旋钮目前无法被别人精确复现。GigaBrain-0.7

配合这套架构，论文跑了一条四阶段流水线。第一阶段是 VLA 联合预训练，语言建模损失与 flow matching 损失从始至终同时优化，这就是"一阶段对齐"的实质，区别于先训语言、后训动作的传统两阶段配方。第二阶段把 GigaWorld-1 先做机器人中心视频预训练，再做价值学习，完成后冻结。第三阶段让冻结的 System 3 为每条训练样本现场生成新的 $g_t$ 与 $V_t$，但只更新 System 1 和 System 2 的策略。子目标图条件以 0.50 的概率丢弃、价值条件以 0.15 的概率丢弃，让模型学会在四种条件组合下都能干活，推理时固定条件在"正向进度"上。第四阶段是经验强化：监督微调打底，离线 AWR 强化培养进度感知与错误恢复，在线 actor-critic 加人类纠正介入继续精炼同一个策略，不引入独立的任务专用控制器。

数据和训练都到位了。接下来的问题最直接：这一整套架构真的比基线强吗？System 3 到底是真有用，还是漂亮的架构故事？

证据关：System 3 真的有用，还是漂亮的架构故事？

论文先用消融回答"System 3 值不值"。四种配置（Base、加子目标图、加价值、双信号全加）在三个任务上对比，成功率以外的信息都列在表里：

数字背后是两条不同的故事线。看衣物折叠这一列，反直觉的地方在成功率之外：四个配置的成功率全是 100%，已经饱和了，但任务分从 68.3 爬到 88.3，平均完成时间从 107 秒压到 75 秒。System 3 改善的显然不是"能不能完成"这个二值结果，而是策略在不完美中间状态下推进任务的效率。成功率饱和之后，它依然在起作用。礼品包装这一列则是另一个极端：Base 完全做不了这个任务，成功率是 0%，加上双信号后跳到 80%。标题里那个 0 到 80 的数字，出处就是这张表，这是全文最戏剧性的证据。GigaBrain-0.7

这里要说明口径：每个配置的试验次数典型只有 10 到 20 次，表里的 100% 应该读作"在所报告的有限试验里全部成功"，不是绝对可靠性的保证。

消融之外，架构选型与数据 scaling 也各有证据。主干对比里，PaliGemma2 是唯一在叠衬衫任务上取得非零成功率、同时保持水果操作竞争力的选择。三种 VLM 与动作专家的耦合方式中，dual-stream 在全部三个任务上拿到最强真机性能，代价是更高的推理成本，这也解释了为什么 System 1 最终采用双流。数据 scaling 则显示，水果操作的成功率随数据量平滑提升，而混乱衣物折叠对数据规模的依赖陡峭得多，说明复杂长时程技能要求预训练分布覆盖远更广的中间状态。论文还报告了一个机制性证据：当 System 3 想象的未来轨迹走向失败时，估计优势明显下降，轨迹恢复到成功模式后优势又显著上升，说明价值信号确实在跟踪任务状态。

消融之外还有三段评测。零样本阶段，同一个预训练策略在 AgileX PiPER 和自研人形 Maker H01 两台差异显著的机器人上跟随多条语言指令，执行物体选择、场景重排、多步操作。论文也坦承两个本体在严格 OOD（分布外）设定下都有性能退化，物体身份、场景配置、任务组合同时偏移时，泛化仍然困难。后训练阶段，Maker H01 上的平均成功率从 GigaBrain-0.1 的 69.6% 提升到 84.2%。经验强化阶段，四个真机任务的平均成功率按监督微调、离线强化、在线强化的顺序从 30.0% 走到 57.5% 再到 100%，例如穿线扎带任务从 0% 一路到 100%。

仿真基准上的成绩单更有意思，因为它带一块明显的短板。RoboTwin 2.0 的 50 任务联合后训练里，GigaBrain-0.7 拿下 Overall 与 Hard 两项第一，但干净场景的 Easy 列只拿到 66.8，低于 π₀.₅ 的 70.7。真正的优势集中在域随机化之后的鲁棒性。EBench 上成功率 33.30%、评分 46.1，都是对比模型里最强的。RoboColiseum 第三方平台四个维度全部第一：指令跟随 0.8166、空间推理 0.4729、鲁棒性 0.6800、通用操作 0.6092，其中空间推理的优势最明显，平台宣称仿真到真实的 gap 小于 10%。RoboColiseum GigaBrain-0.7

图注：论文附录抓取的 RoboColiseum 指令跟随排行榜快照，抓取时间为 2026-08-15。深色界面上方是四个评测维度标签，当前高亮的是指令跟随这一维，GigaBrain-0.7 以 0.8166 居首。这张截图只覆盖四个维度之一，四维全第一的结论以论文表格为准。RoboColiseum

所以"第一"不是全面碾压，而是一张有边界的成绩单：干净简单场景不是它最强的地方，域随机化与复杂长程任务才是。读到这里的冷静读者会追问：这些数字能独立复现吗？论文自己还欠着什么没交代？

它留下的账：范式跃迁与六个没算清的工程空白

先把这篇论文放回系列脉络里看。GigaBrain 系列里世界模型的位置一直在变：GigaBrain-0 时代它是离线数据引擎，负责造预训练样本。到 GigaBrain-0.5M* 的 RAMP 路线，它成了强化学习训练里的条件信号。到 GigaBrain-0.7，它第一次成为实时决策回路里的预测与评估组件，也就是 System 3。这个角色演进本身就是这篇论文的范式意义所在。团队用一张三层模型金字塔来总结这条路线。

图注：极佳视界官方博客的三层模型金字塔示意图，从下到上依次是世界模拟、动作对齐、闭环强化，右侧红色箭头汇聚指向 GigaBrain-0.7。这是项目方宣传图，不是论文数据图。图上小字 92%、步数 128、奖励 +1.37 等属于博客自评数字，不可作 benchmark 引用。极佳视界博客

范式意义和工程空白要分开算账。论文自陈的局限可以列成六笔没算清的账。第一，$\alpha_{\mathrm{KI}}$ 只有区间没有数值，Soft KI 这个核心超参别人无法精确复现。第二，推理延迟只有定性表述：双流耦合的推理成本更高，System 3 每一步要生成一段短视频再送进实时回路，但论文没有给出毫秒级数字，把世界模型放进实时回路的实时性代价无法量化。第三，评测样本量偏小，前面那些振奋人心的百分比，置信区间其实很宽。第四，最强的结果集中在自研的 Maker H01 上，第三方难以独立复现，而例行的 PiPER 平台上增益相对温和，论文自己也承认若干结构化任务上最强基线本已表现良好。第五，在线强化阶段的人类介入协议与成本被明确留待未来专门报告，"100%" 背后付出了多少人工不得而知。第六，训练代码与预训练权重在论文里是"将发布"的未来时表述，截至官方博客发布日还没有放出实际链接。博客里出现的"92% 成功率""300 条 UMI 数据即可迁移"等数字，同样属于项目方自评，没有公布基线名单，也没有独立交叉验证。博客最后还给出公开路线图：年底推出 GigaBrain-1，未来一年推进到 GigaBrain-3，这条时间线同样只能当作公司自述看待。GigaBrain-0.7 极佳视界博客

这六笔账合在一起，削弱的就不只是复现性。它们既妨碍独立复现，也限制当前对性能可靠性、跨本体可推广性和实际成本的判断：论文里的数字再亮眼，性质上仍属于单方面报告，还没有独立的交叉验证。因此，GigaBrain-0.7 提出的三分离工程框架，应当被读作一个值得后续验证的架构贡献，而不是一份已被完全证实的交付。它的内核依然值得关注：理解、预测、动作三分离，世界模型成为决策回路里的一等公民，把"预测"这个以前只在训练阶段出现的概念，变成运行时每个决策都依赖的显式信号，这是比任何单项分数都更值得注意的范式移动。只是这个移动的可靠性有多稳、能推广出多少本体、实际要付出多少成本，都还要等账本被补齐之后才有答案。

空白清单同时是一份待办清单。谁把 $\alpha_{\mathrm{KI}}$ 的消融曲线补上，谁把 System 3 的端到端延迟量化清楚，谁在自己的本体上复现出礼品包装那 80%，谁就推进了这条线。判断一个具身基础模型值不值得跟，看的是它留下的账本，不是它拿下的第一。预演未来这个想法本身，才刚刚开始被兑现。

想深入可以读原文：GigaBrain-0.7: Scaling Embodied Foundation Models to Emergent Capabilities with a Three-System Architecture，arXiv:2608.15875

参考文献

1. GigaBrain-0.7（三系统架构、37,256.98 小时异构数据、Soft KI、四阶段流水线、三段评测）：https://arxiv.org/abs/2608.15875
2. π₀ / π₀.₅（VLA 范式坐标，flow matching + Action Expert）：https://arxiv.org/abs/2410.24164 与 https://physicalintelligence.company/blog/pi05
3. GigaWorld-1（世界价值模型，System 3 后端）：https://arxiv.org/abs/2607.02642
4. Knowledge Insulation（stop-gradient 硬切梯度原论文）：https://arxiv.org/abs/2505.23705
5. GigaBrain-0.5M*（RAMP 世界模型条件化策略，系列前作）：https://arxiv.org/abs/2602.12099
6. OpenVLA（开源 7B VLA，离散动作 token）：https://arxiv.org/abs/2406.09246
7. HiRT（两系统分层 VLA 对照）：https://arxiv.org/abs/2410.05273
8. 极佳视界官方博客（GigaBrain-0.7 发布，中文一手资料）：https://gigaai.cc/blog/gigabrain07
9. RoboColiseum 评测平台：https://robocoliseum.ai/