RoboColosseum：在野外大规模评测机器人的物理智能

RoboColosseum 把机器人评测搬出了实验台：41 天里在 124 个站点做了 5,699 次盲测成对比较，覆盖 SO-101、Franka、Bimanual-YAM 与 Unitree G1 四类操作本体。它值得关注的地方不是规模，而是它把「野外基准的分数能不能当作能力证据」逼到了必须回答的位置。结论是：分数是条件化的证据，读它时必须同时读本体、场景、试次预算与数据公开格式。

野外基准不是更大的标准台，它用不可控环境换结论的外部有效性

野外基准与标准实验台的区别不在规模，而在它主动交出了环境控制权。实验室台面固定光照、地面与物体摆放，换来可复现；野外站点把这些一起放开，换来结论的外部有效性。代价是分数不再是单一变量的读数。

基准效度（benchmark validity）问的正是分数能否支撑「该策略具备某能力」这个判断。2026 年 6 月的一项审计把它拆成四类可检验的失效模式，每类各配一个诊断，答案比直觉更悲观：固定测试集上的高分，从结构上就可以被四种机制解释掉。

图注：四个面板对应四类失效模式与各自的诊断。最左边那根柱子是只有约 0.09B 参数、无语言编码器、无机器人预训练的探针，它在 LIBERO 上逼近了最佳已发表结果；第二格说明在 LIBERO 上只有不到两成的主张能被证明显著；第三格显示在训练分布内重采样物体位姿，完成数就会下降；最右是示意图，说明分数无法区分真正泛化的策略与训练数据贴近测试的策略，该面板不承载概率数值。BenchmarkAudit

最刺眼的一条是捷径可解。约 9000 万参数的探针结构只有共享视觉编码器加一个小 MLP 头，指令靠按 index 查表读取，没有任何机器人预训练，却在 LIBERO 的 Spatial、Object、Goal 三个 suite 上与最佳已发表结果相差不到 1 个百分点。在这套测试集上拿高分，不要求模型具备它声称被测的能力。BenchmarkAudit

边界必须一起说。审计只覆盖五个仿真基准及其当时的实现版本，全部实验在仿真里完成，没有真机对照；作者也写明被审计的基准仍适用于日常开发，高分模型可能真的很强。读成「所有基准都无效」就超出了证据能承受的范围。

RoboColosseum 是制度回应，不是更大的排行榜：分散站点、共享机器人接口、统一策略服务、两条互补协议。

图注：一张信息图同时承载三件事。左侧赛道锁数据集与场景，模型自带架构，在固定场景上训练再评测，场景随时间扩充；右侧赛道不限训练数据，任务与场景随站点变化，两个匿名模型在同一条件下先后执行后做成对比较；中部是站点网络与多本体。图上的全球地图表达项目愿景，不是本次 124 个站点的地理分布；图中分数是论文期快照。RoboColosseum

范式来源一句话：分散站点加成对盲测加偏好聚合，借自 Chatbot Arena 一类竞技场，RoboArena 在 2025 年把它落到真机通用策略上，但只用单一 DROID/Franka 本体。它的 612 次成对比较与 4,284 条 rollout 是两个口径，不可互换。RoboArena

所以野外基准的价值不在更大，而在更外。它用不可控环境换来了外部有效性，代价是分数不再是单一变量的读数。

双轨协议真正锁死的只有「一次比较内部」的条件

两条赛道锁住的不是同一件事，这决定了分数该怎么读。微调轨锁数据与场景，放开微调配方；开放轨放开任务与环境，只锁一次比较内部。官方给出的双轨并置图只有定性结构。

图注：左右两栏是两条赛道各自的三步流程。左栏要求自带模型架构，在固定场景采集的数据集上微调，再在固定场景上评测，并标明新场景会陆续加入；右栏不限训练数据，任务取自厨房、洗衣、仓储、户外等开放场景，最后以成对比较收尾。两栏并列，不是先后或主次；图里没有试次数、演示条数、评分方法，也没有任务卡字段。RoboColosseum 官网

两轨各自锁住了什么

微调轨接近 DataComp 的思路：固定数据与评测协议，让提交方在训练流程上自由竞争。全部模型共用同一批 100 条演示，演示在评测站点用同一台机器采集；任务预定义，每本体 5 个；每模型每任务 25 次试验。放开的是各策略的官方微调配方，所以它比较的是从同一批数据出发的端到端适应能力，而不是隔离架构差异。

开放轨的约束更少，内部约束更硬。评估者只见 trial A 与 trial B，不见模型名；两个模型面对同一台机器人、同一场景、同一指令，先后执行；任务卡先经一名 reviewer 复核；任务由站点用当地物体与环境提出。RoboColosseum 官网

这张表解释了为什么两轨分数不能互换，也解释了跨比较的场景差异为什么是设计目标而不是缺陷。

任务卡与一次成对比较

官网对任务卡只有三段式概括：语义目标与初始状态、有序里程碑、成功判据加超时与复位。更细的字段来自生产 API 的实际返回，包括 instruction、setup、success_criteria、partial_success_criteria 与 max_steps。字段结构属反向推断，官网没有完整 schema；max_steps 的单位未定义，不能写成秒。

复位是整条链里最容易被忽略、也最关键的一步，因为两次运行必须看到同一个初始布置，比较才成立。有序里程碑则在任务没做完时提供信息，评估者打的是通过了哪几步，而不是只有成功与失败两档。

协议控制的是比较内部的可比性，跨比较的差异是故意放开的。因此分数天生条件化，「在什么本体、什么场景、跑多少次」必须一起读，缺一项就无法解释。

G1 能当主力本体，是因为它可购买、可维修、可查规格

人形本体成为野外默认载具，理由不在性能，而在可复制性。基准要的是「每一台都一样、都能修、参数都能查」，不是「这一台特别强」。G1 满足的是公开规格表、两档产品线、公开起售价与差异化保修这些条件。

图注：官方参数结构图把整机拆成一组可标注的固定模块：3D 激光雷达、麦克风阵列、单臂与单腿的自由度构成、深度相机、扬声器、快拆电池、整机中空关节布线。布局固定，才使同一套观测与动作接口可以跨站点复用。图内 120 N·m 对应 EDU 档，规格表里基础版膝关节为 90 N·m；图内 2 m/s 的移动速度不在规格表条目内；图片抓取日期 2026-11-05，不能据此推断评测现场用机的配置。Unitree G1

把规格读回评测学，有几项直接变成与算法无关的方差源。基础算力只有 8 核 CPU，高算力模块仅 EDU 档可选且多品牌可选，不同站点、不同档位的推理节奏可能不同；9000mAh 续航约 2 小时，电量衰减会改变关节响应；局部风冷让连续跑批带热状态差异；双编码器提高关节读数一致性，但一致性数值没有公开。Unitree G1

标准化等于固定硬件清单加固定观测动作接口

多本体并存不是凑数，而是为了避免单本体结论。四类本体各有标注到具体型号的硬件清单，观测与动作规格在每个本体内部被标准化，同一份策略代码才能跨站点复用。

图注：四组实拍标注对照，从左到右是双臂 YAM、SO-101、DROID 配置的 Franka 与人形 G1，标签逐项指向相机、夹爪、算力设备与支撑硬件，G1 一组给出正背面两个视角。它说明标准化的具体含义：同一本体在各站点使用同一套硬件清单与同一套观测动作接口。图里的型号不等于厂商规格口径，也不能据此推断 G1 在本项目中的动作维度，论文本体表在这一版里没有 G1 行。RoboColosseum

论文本体表缺 G1 这一行，本身就是注脚：连基准论文自己都还没把人形本体的动作维度填进表里。本体标准化在这类项目里仍是未完成的工作。

厂商边界也要说清。Unitree 公开表态支持该项目，并指出 G1 被用作人形类目的主要本体；原帖没有提资金投入、硬件捐赠或独家合作，它也不在官方列出的创始合作方名单里。Humanoids Daily

可购买可维修不等于硬件状态被控住。关节寿命、重复定位精度、跌倒恢复能力这些决定「这台机器今天状态如何」的指标，在厂商规格与论文里都不存在，于是「机器状态」这一项无法从分数里减掉。

分数是策略、本体、场景、操作员与脚手架的联合产物

分数下降不能单独归因给「泛化不够」。它是策略、本体、场景、操作员与评测脚手架共同写下的联合读数，而拆开它的唯一办法，是在真机上做因子化评测并保留失败类型。

归因的前提是把评测写成设计空间上的序贯实验

要让分数可归因，先得承认同一策略在同一台机器上会因为物体摆在哪、相机从哪看、桌子多高而拿不同分数，再把这些因子建模成设计空间。评测于是从跑一批固定用例，变成在这个空间上做序贯实验设计。

图注：闭环从代理模型与采集函数开始，采集函数挑出信息增益最大的下一个因子配置，真机执行后把「配置与结果」写回评测数据，再回灌代理模型。它画的是归因的机制，不是某个基准的架构；图中示意曲线只表示预测均值与不确定性，机器人插画也不是该论文的被测平台。ActiveEval

全量真机评测得到 2,331 个有效配置，每次约一分钟；在 100 次试次预算下，主动选点比随机测试少用 20–40 次，对数似然口径少用 50–65 次。限定必须保留：这个对比是在那 2,331 次真机结果上做离线重采样模拟得到的，不是在线主动评测的端到端验证。ActiveEval

更有方法论价值的是所有方法的误差都收敛不到零。作者把残余归给标注不一致与策略随机性，也就是一个不可约的底噪，评测者偏差由此变成一个可观测的方差项，而不是一句套话。

三条旁证说明换个身体、换条赛道、换层外壳，排名都会变

离线信号撑不起归因。在一台低成本单臂上，留出动作误差与台面成功率的相关系数在 −0.23 到 −0.88 之间，但每一项都落在「仅由 episode 数就能产生」的区间里；同预算 checkpoint 之间相关全部不显著；跨模型在 200 条演示时反向到 +0.90。未裁剪的 Diffusion Policy 有 96% 的 rollout 从未启动，这类失败不会出现在由演示构成的留出集里。ValidationLoss

跨本体与跨赛道同样不稳。四个本体各 5 个任务的进展分排名，Kendall 一致性系数只有 0.24；π0.5 在两个本体排第一，在人形本体排第四；两轨排名相关系数为 −0.20、−0.40 与 0.20。论文自己限定：各本体任务不同，且只有 5 个策略参与，这些差异不能单独归给形态或泛化。RoboColosseum

评测外壳也在写分数。同一模型、同一批 10 个指令跟随任务（仿真、每条件只跑一次），只替换控制接口的组件，成功率就会变：完整基线是 90% 成功率、16.7 次决策、32.5 分钟；去掉夹爪几何降到 70%，决策涨到 51.6 次、时长 68.26 分钟；去掉执行反馈降到 80%，时长 58.26 分钟。作者收口：没有单一指标能刻画一个配置的表现。RoboColiseum

图注：这张闭环图把刚才那个变量画了出来。多模态模型拿到任务上下文与观测，查询只读的传感器证据并提出动作；控制外壳先做可行性与接口校验，再转成机器人指令；之后的观测、机器人响应与任务进展回到下一轮决策，成败由平台原生评测判定。分数里因此同时有模型能力与这层可替换的外壳。该图是仿真平台的接口示意，不能当作真机或野外评测的证据，也不能从图中读出任何分数。RoboColiseum

全零完成不等于没有信息

人形本体上五个策略在五个任务上没有一次完整成功，成功率全零，但本体级平均进展分在 13.3% 到 23.2% 之间。这是五个任务等权平均的结果，不是单任务值。

图注：五个子图对应人形本体的五个微调任务，每个任务有 5 到 7 条有序进展判据。横轴是任务进展达到的比例，纵轴是达到该比例的试次占比。所有曲线在 100% 处一起归零，这正是二元成功率会留下的那条线；它们在 25% 到 75% 的区间彼此分开，说明「差一点完成」和「完全没动」在这套数据里可区分。精确数值取论文表格的均值与标准误，不要从曲线读数，这张图也不构成策略排名。RoboColosseum

部分进展为什么不是无效信息，只能以方法论参照的口吻引。一项独立工作证明，任意有界进展度量上都能做严格且可提前停止的序贯比较；在 RoboArena 同一批 rollout 上，连续进展分用 1,419 次试验给出完全排序，二元指标用 1,979 次仍未分开两个策略。那项工作与 RoboColosseum 没有数据关系，解释的是指标为何值得报告，不是对上述结果的验证。N-SCORE

二元成功率在 25 次试验下分不开接近的策略，换检验才勉强够

一次大考能分辨多大的差距，在开跑之前就由试次预算定死。真机 VLA 评测的通行深度是每条件 10 到 20 次试验，一项对 13 篇 2023 至 2025 年真机评测的逐篇调查显示，其中没有一篇报告置信区间或配对检验。每模型-任务 25 次落在这个分布的偏上位置，是下限而非充分条件。

图注：左侧是时间到成功的累积分布曲线，人类参考在很短时间内接近 1，四个策略都远低于它，曲线在 1 之下留出的渐近线就是硬失败率。右侧把试次预算变成横轴：分布级检验在每格 25 次左右越过 80% 功效线，两个二元阈值指标与积分型指标在 30 次以内都贴着底部。右图只对应一对模型，不能读成「25 次能分开任意两对」；左图横轴只到 120 秒，其末端不等于正文使用的 240 秒积分上限。PhAIL

三档预算分别对应三类主张

差距的来源不是多跑几次，而是换一个更细的检验。30 次试次下六个模型对的平均检测率，两个二元阈值指标分别为 0.55 与 0.66，把积分型指标当标量用是 0.63，分布级检验是 0.90。这些测算均为作者自报，未见独立复现，且只覆盖单一本体与单一任务原语。PhAIL

同一项工作还给了协议层依据：在同一工装、同一场次内做盲化随机轮换时，仅空间配置从同侧换到异侧，某模型完成率就变化 22.2 个百分点，这个幅度大于它正要分辨的模型差距。

公开程度要按格式核

官方承诺「每次 rollout 都公开，含失败」，2026-11-05 的可核状态是分档的：已发布 88 份、2,151 条 episode，其中 1,300 条失败、813 条成功，多数只到「可播放」这一级。

G1 那 26 份的失败合计 625、成功合计 0；榜上 25 条 successes 全为零而 progress 从 0 到 44 不等。这与论文的 13.3% 到 23.2% 是不同时点、不同口径的两套数字，不能混引。HF 组织页

野外到底长什么样，可以看一帧真实录像。这一帧来自 G1 的 carry box 任务，官方元数据记录得分为 0、成功为假。

图注：并排两路是头部相机的左右视角，下方是机械臂，正对地面上打开的纸箱；背景是铺浅色瓷砖的客厅，有布艺沙发、地上的背包、立式支架，画面左侧还能看到坐着的人的双腿。它支撑的只有一件事：这里的「野外」确实是有沙发、有支架、有旁观者的客厅，而不是标准台面。不能用它判断这次失败的原因、进展分或任何排名。HF 组织页

读这类分数前先核三件事：名字、公开程度、以及是否只剩二元成功

分数是条件化的证据，读它时必须同时读名字、数据格式与度量粒度，三项里缺任何一项，排名都不该被当成能力结论。

第一件事是名字

双 s 与单 s 是两个项目。双 s 是真机野外加双轨，单 s 是以高保真仿真为主的四轨能力子榜。单 s 项目的论文全文与官方页里，双 s 的名字出现零次，两者关系没有公开说明；它每个模型在每个用例上只跑一次，没有重复试验也没有置信区间，它自己报告的 0.7628 与 0.7599 之差无法被判为真实差异。RoboColiseum

宣传口径与研究口径要分开摆。上线公告给的是 140 多个场景、100 多台机器人、1 万小时额度与 2 万多次运行；论文给的是 124 个站点与 5,699 次成对比较。场景不等于站点，运行不等于成对比较，量纲都不同，不能合并成一个数字。上线次日官网计数已是 154 个场景。Humanoids Daily

第二件事是公开程度

按三档去核，而不是接受「都公开了」这句话。可复算需要完整 LeRobot 那一档，它目前只覆盖一个本体；仅有元数据的播放可以看录像、核对每条得分，但缺状态与动作信号，第三方无法重跑策略。

第三件事是度量粒度

只剩二元成功时，信息会被整段抹掉。要报告的不只是完成率，还包括有序里程碑的通过比例与失败类型分解。

图注：三栏从左到右是设计选择、带提前停止的硬件或高保真仿真评测、策略比较。这里只用最右一栏：它在「二元指标之外」列出部分得分与连续进展分，并给出两个目标，样本高效与统计有效。图中没有任何比较结果，不能据此判断两个策略谁更好，也不能读出试验次数或显著性水平；它不是任何野外基准的流程图。N-SCORE

第一章那张四联图可以换一种用法，当成发表前自检清单：捷径可解对应训一个最小探针，看能不能拿到同样的分数；显著性缺失对应报告逐实例结果而不只是平均分；渐进式过拟合对应在训练分布内重采样扰动；数据来源依赖对应检查训练数据离测试有多近。审计只覆盖五个仿真基准这一点仍然成立。

这套检查筛不掉不可信的分数，它能筛掉的是连条件都没交代清楚的结论。野外基准至今没有公认答案，原因在于外部有效性、统计效力、成本与可复现性这四件事在真机上互相拉扯：环境越真实，条件越难控；试次越少，结论越弱；数据越完整，成本越高。

回到最初的问题。野外基准的分数能当能力证据吗？能，但只能作为一条带条件的证据链来读。链上有本体、场景、操作员、脚手架与试次预算，任何一环没被交代，分数就退化成一次读数。RoboColosseum 的价值不在于它给出了排名，而在于它把这条链的每一环摆上了台面，包括那些它自己还没补上的环。

参考文献

本专题引用的核心资料如下，建议深入学习时阅读原文：

1. RoboColosseum: Evaluating Physical Intelligence at Scale In-The-Wild — arXiv:2611.02497
2. RoboColosseum 官方项目站（含 FAQ、生产 API 与 policy server） — https://robocolosseum.ai/
3. Hugging Face RoboColosseum 组织页：排行榜与公开 rollout 数据 — https://huggingface.co/RoboColosseum
4. Unitree G1 官方产品与规格页 — https://www.unitree.com/g1/
5. RoboColosseum Launches Real-World Robot AI Benchmark With Unitree Support — https://www.humanoidsdaily.com/news/robocolosseum-robot-ai-benchmark-unitree-g1
6. RoboArena: Distributed Real-World Evaluation of Generalist Robot Policies — arXiv:2506.18123
7. What Are We Actually Benchmarking in Robot Manipulation? — arXiv:2606.04233
8. PhAIL: A Real-Robot VLA Benchmark and Distributional Methodology — arXiv:2605.29710
9. Beyond Binary Success: Sample-Efficient and Statistically Rigorous Robot Policy Comparison — arXiv:2603.13616
10. Active Real-World Factor-Based Evaluation for Generalist Robot Policies — arXiv:2607.14439
11. Frontier LLMs Enter the World of Robotics: A Cross-Model Evaluation on RoboColiseum — arXiv:2610.27865
12. Does Validation Loss Predict Real-Robot Success? Evidence from Four Imitation-Learning Policies on a Low-Cost Arm — arXiv:2611.00283