GPT-6-Astra:12 个机器人基准拿高分,真机上插头 0 中 11

一、一个通用模型能不能顶替所有专用策略:能力过线,落地没过线

SenseNova / SenseTime 这份技术报告要回答的问题是,一个通用多模态模型能不能直接充当所有机器人的大脑,替掉那些按任务、按机型分别训练的专用策略。它把 GPT-6-Astra 放进同一套评测协议下的 12 个跨形态基准,并在 8 种真机配置上做落地验证,给出的答案是一句带裂缝的话:具身能力阈值已经跨过,实用具身智能的门槛还没过。仿真里桌面操作(LIBERO 家族)与人形(SIMPLE)任务接近饱和,真机上插头插入 11 次尝试一次没成。GPT-6-Astra Report

机器人领域长期是分而治之。抓取、折叠、导航各训各的策略,换一台机型常常还要重训。要让一个模型顶替这些专用策略,就必须让它在完全不同的形态和任务上跑同一套流程,而这样的评测此前并不存在,这份报告的价值首先在于它把这套流程搭了出来。它的分量也不止在机器人本身:如果通用模型真能接管动作输出,研发重心就会从为每个任务采集数据、训练专用策略,转向准备上下文和搭建评测。

12 个基准覆盖五类形态,分别是桌面操作、灵巧手、人形、长时程家政和视觉语言导航。有两个例外需要在读任何数字之前就知道。RoboLab 没有训练集,所以用不上报告的核心机制 in-context learning;BEHAVIOR 因为官方步数预算本来就长,没有扩到 10 倍。

图注:报告总览图把 12 个基准按桌面操作、灵巧手、人形、长时程家政、视觉语言导航五组排开,每个基准下并列 GPT-6-Astra 与已发表 SOTA、Agentic SOTA 的对比。图上标注了两个例外,RoboLab 没有训练集因而不含 ICL,BEHAVIOR 因官方预算已长而未扩到 10 倍。柱高不作为数字依据,正文数字以报告叙述为准。GPT-6-Astra Report

还有一点必须先说明:这是一份行为级评测报告,不是模型技术报告。GPT-6-Astra 的底层基础模型版本、参数量、架构和训练语料都没有披露。读者能确认的是这个模型在什么条件下做到了什么,而不是它为什么能做到。这份报告与一个开源工程产物同日发布,是报告加代码成对出现的工作,工程侧的证据在最后一章还会用到。SenseNova-RoboRSI

二、高分不是裸模型跑出来的:先给一份任务知识包,再多给 10 倍步数

报告里所有接近饱和的数字都建立在两个前提上:每个任务先给模型一份任务级知识包,以及允许它最多用 10 倍的动作步数。不看清这两条,就会把这些成绩读成裸模型的能力。

第一条是 in-context learning。这里的 ICL 与文本任务里的含义一致,不更新权重,只靠提示里给的示范适配新任务。差别在于机器人场景里示范吃的是哪类数据,是轨迹、抓取配置、示范帧和接触裁剪,而不是几段文字。报告的做法分两段:准备阶段让模型研究该任务的训练示范,写出一份知识包 K;测试阶段每条 episode 开一个新 session,读着这份 K 再干活。全程有三条约束不变,模型权重不动,K 在测试期间不变,episode 之间不传任何信息。

图注:报告的 ICL 协议图。左侧 preparation 阶段把训练示范读取成一份冻结的知识包 K,右侧 testing 阶段让每条 episode 以 K 加任务指令开启新会话,按标准 1× 或扩展 10× 预算执行。这张图要说明的正是三条约束,权重全程固定、K 在测试期间不变、episode 之间没有信息流动。GPT-6-Astra Report

知识包由六类内容组成,按它替模型补上了什么来理解比按清单念更清楚。任务指导补任务结构与阶段顺序。运动参考和视觉参考补示范里的动作细节与接触画面。可执行 helper 补几何、运动学这类可复用的计算。检查与恢复补怎么判断做成了,以及失败症状对应哪些纠正动作。元数据补机器人与接口的约定。

可以把它想成接一单活时同时拿到一支不再接受培训的施工队和一份完整材料。图纸与工序安排对应任务指导,参考画面与录像对应运动与视觉参考,现成的计算工具对应可执行 helper,验收标准与补救办法对应检查与恢复,设备与接口约定对应元数据。队伍能力已经固定,对应权重冻结,但凭这份材料他们能按你的活干。报告里那些高分,正是在这样一份材料在场的条件下取得的。

第二条是步数预算。标准预算 1× 是每个基准自己规定的交互步数,扩展预算 10× 允许最多十倍的动作步数,用来测多给几次纠错机会能把完成度提高多少。有个细节在后面会变得关键:仿真里 deliberation 期间场景是暂停的,所以多出来的步数买到的是更多推理与工具调用时间,不是更多物理运动时间。

给机器人模型加 ICL 本身是一条真实存在的研究线。RICL 的工作显示,在已经训练好的 VLA 上事后注入 ICL 能力,用 10 到 20 条示范就能换来提升。RICL 但要留意,它的评估协议与本报告的 12 基准不同,两边的数字不能并列。

这里有一处反直觉的地方必须点破:知识包基本是任务专用的。报告自己在 RoboDojo 的 Open 组不给域内示范,拿到的是该基准各组里最低的成功率;RoboLab 因为没有训练集也一直停在中等水平。把 ICL 迁移到示范来源任务之外,被作者列进了待解方向。

三、成绩单的两栏:桌面任务接近饱和,四个基准连 10 倍步数也没救回来

12 个基准的成绩可以分成两栏来看。桌面操作与人形一类的高端已经接近饱和,但仍有四个基准远未解决;10 倍步数买到的东西相当可观,却买不动所有任务。

最能说明 10 倍预算价值的是 RoboDojo,成功率从 27.6% 抬到 81.9%,1× 预算下没做完的 episode 里大约四分之三被补完。Bench2Dex 从 25.6% 升到 61.5%,DexJoCo 从 78.2% 升到 87.3%。LIBERO 家族和 SIMPLE 在扩展预算下超过 95%,DexJoCo 与 VLN-CE 接近 90%。GPT-6-Astra Report

另一栏是即使有 ICL 加持也离解决很远的四个:RoboDojo、Bench2Dex、BEHAVIOR、LHPR-VLN。RoboLab 要单独看,它根本没有训练集,连 ICL 这个前提都用不上,成功率只能停在中等水平。两栏并排摆着就说明,接近饱和是其中一部分任务的状态,不是这个模型的普遍状态。

12 个基准不是数字堆砌,而是同一协议下的 12 把尺。RoboDojo 一项就足以说明颗粒度,它有 42 个仿真任务加 18 个真机任务,仿真任务按 Generalization、Memory、Long-Horizon、Precision、Open 五个能力维度组织,真机任务覆盖三种双臂形态。RoboDojo

图注:RoboDojo 的任务总览。上半部是 42 个仿真任务的缩略图阵列,按 Generalization、Memory、Long-Horizon、Precision、Open 五类分组;下半部是 18 个真机任务的代表帧,按三种双臂形态分组。这张图说明单个基准内部的评测颗粒度,具体成功率不从此图读取。RoboDojo

这些基准测的模型属于同一类。VLA 指以视觉观察与自然语言指令为必选输入、直接输出控制命令的模型,只做高层技能索引、不碰动作输出的 VLM 系统被划在定义之外。这条线的顺序是 RT-1 在 2022 年做出端到端的机器人 transformer,RT-1 RT-2 在 2023 年首次把这类模型系统化命名为 vision-language-action,RT-2 OpenVLA 在 2024 年给出开源代表作,OpenVLA π0.5 在 2025 年把开放世界家庭泛化推进一步。π0.5 需要注明的是,把这套架构按 backbone 与 action head 归类的那份综述,覆盖范围截至 2025 年 10 月。VLA Survey

四、通用大脑的高分靠闭环撑着:单跑低层控制器只有 6.91%,闭环加 ICL 才到 54.17%

报告的高分不是通用模型单独跑出来的,它来自通用模型与低层控制器组成的闭环,代价则清楚地记在 token 上。这套结构的来路不新。SayCan 在 2022 年就把它做成了最小可用形态,让 LLM 给每个候选技能打「对完成指令有没有用」的分,让价值函数打「当前状态下能不能执行成功」的分,两者相乘再选出技能。SayCan

报告在 RoboDojo 上做了几组配置的消融。闭环的做法是低层控制器先提出一串动作,高层用正运动学把每个动作逐条审阅,再决定接受、改写还是驳回。

配置成功率GPT token 消耗
单跑低层控制器 π0.56.91%不适用
开环协作,GPT 只给子目标5.83%0.387M
闭环协作,每次审阅 1 个动作23.61%7.664M
闭环协作,每次审阅 4 个动作25.83%2.796M
闭环加 ICL 知识包54.17%19.335M

这张表里最反常的一行是开环协作。让通用模型在旁边给子目标,成功率 5.83%,比单跑低层控制器的 6.91% 还低。这说明价值来自反馈闭环本身,不来自「有个大模型在旁边」。真正起作用的是逐条审阅这个动作,它把高层的判断力接到了低层每一小步上。GPT-6-Astra Report

代价按报告给出的口径换算很清楚:约 98% 的 token 是缓存输入 token,所以可以用 1M token 约等于 1 美元来估算。最高配置的 19.335M token,大约是每次审阅 4 个动作那一档的 6.9 倍。所谓通用大脑接管机器人,目前是拿算力买成功率。

低层这一侧的候选是 π0.5。它在推理时先自己推断一个高层子任务,再据此预测动作,也就是说单模型同样可以分层。这一点反衬出报告把高层推理与低层控制拆成两个模型是一种设计选择,而不是唯一解。π0.5 的能力来源是异构数据共训,预训练把移动机械臂、多环境非移动机器人、实验室跨本体、高层子任务预测与多模态网络数据混在一起,第一阶段有 97.6% 的训练样本并非目标机械臂的家庭任务。π0.5

图注:π0.5 的两阶段训练与推理结构。预训练把多源数据与离散 token 训成一个 VLA,后训练再加入 flow matching 的动作 expert;最右侧标出推理时先产生一个高层子任务,再据此预测动作。这张图支撑的是「单模型也能分层」这一点,不要把两阶段训练读成两个独立模型。π0.5

五、真机上插头 0 中 11:两个缺口被写成了下一代基准的规则

真机上暴露的两个缺口是示范采集成本高,以及在物理约束下没法用更长的执行时间换更高的成功率。这 8 种配置分属单臂、双臂、灵巧手、轮式移动和人形五类形态,结果按任务难度分成了很清楚的四档。

任务类型成功率
刚性抓放17/18
可变形物体折叠2/4
插头插入0/11
长时程移动导航与搜索9/23

刚性抓放与仿真对齐,17/18 说明结构化的取放任务在真机上已经没有大问题。缺口出现在别处。可变形物体、精密接触、长时程移动各差一截,插头插入在三个平台上共 11 次尝试,一次没成。

报告自己的解释是主动视觉,能看到什么决定能做什么。双臂机器人可以把空闲臂挪开,让腕部相机看清花瓶口;单臂机器人因为相机被手里的花挡住而失败。同一个模型换一台机器,成败就互换。GPT-6-Astra Report

有一组数字最容易误读,需要澄清。叠碗 131 分钟、装笔 263 分钟是 RoboDojo 仿真里每集的耗时,包含 deliberation,不是真机数据。真机侧的同类事实是人形机器人单次操作超过一小时,其中约 90% 的时间花在 deliberation 上,实验还因为腕部关节与躯干过热提前结束。把这些放在一起,才构成了时间换成功率在物理世界不成立的证据。

作者把真机暴露的缺口直接写成了下一代基准的三条规则。任务只陈述需求,除了明说的请求 Intent,还有没人说出口的义务 Duty,比如做完饭要关上冰箱门。不提供域内训练示范或场景演示,让 agent 在部署期间靠自己的探索,把通用先验落到陌生的家庭和本体上。世界时钟在 agent 思考期间持续推进,推理、调用工具、通信所花的时间都按上一条指令继续模拟,deliberation 会推动世界时间。

图注:下一代基准的制作与使用流程。公开资产加平面图组成一个可交互的家,编码 agent 在人类审核下按真实尺度放置日常物品,每个部件都绑定铰接、液体、布料与接触等物理。任务只陈述需求,按 Intent 与 Duty 双轨打分;agent 只能通过机器人自带相机观察,它的 deliberation 会推进世界时间。GPT-6-Astra Report

为什么必须换尺子也很直接。现有基准的示范是免费的,步数预算是固定的,所以它测不出「多花时间还来不来得及」。已经存在的家庭任务仿真基准同样是给足示范、按固定预算评测,不解决无示范与世界时钟这两件事。RoboCasa

报告的主张因此不是模型能力不够,而是评测与工程范式还没跟上。作者列出的五个待解方向是 ICL 的泛化、成本与执行时间、物理状态验证、不可逆失败恢复、长时程进度保持,并说明这些观察来自视频与日志呈现的现象,不构成因果消融结论。还有一处可比性提醒:报告每个任务只评测 3 到 10 个 episode,而已发表基线通常每任务 50 个,跨系统的可比性因此没有被严格强制。同期开源的工程产物说明生态已经就位,但必须提醒它的数字与本报告的评估协议不同,不能互相印证。SenseNova-RoboRSI

判断落在一句话上:能力过线,落地没过线。

想深入可以读原文:Has GPT-6-Astra Achieved Embodied Intelligence?,arXiv:2610.22471

参考文献

  • Has GPT-6-Astra Achieved Embodied Intelligence?:arXiv:2610.22471
  • SenseNova-RoboRSI: Recursive Self-Improvement for Embodied Agents:github.com/OpenSenseNova/SenseNova-RoboRSI
  • RoboDojo: A Unified Sim-and-Real Benchmark for Comprehensive Evaluation of Generalist Robot Manipulation Policies:arXiv:2607.04434
  • π0.5: a Vision-Language-Action Model with Open-World Generalization:arXiv:2504.16054
  • OpenVLA: An Open-Source Vision-Language-Action Model:arXiv:2406.09246
  • RICL: Adding In-Context Adaptability to Pre-Trained Vision-Language-Action Models:arXiv:2508.02062
  • RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control:arXiv:2307.15818
  • Vision-Language-Action Models for Robotics: A Review Towards Real-World Applications:arXiv:2510.07077
  • RT-1: Robotics Transformer for Real-World Control at Scale:arXiv:2212.06817
  • Do As I Can, Not As I Say: Grounding Language in Robotic Affordances (SayCan):arXiv:2204.01691
  • RoboCasa: Large-Scale Simulation of Everyday Tasks for Generalist Robots:arXiv:2406.02523
GPT-6-Astra:12 个机器人基准拿高分,真机上插头 0 中 11