Figure 跨住宅盲测：Index 预训练让成功率 9%→56%，泛化≠可靠

2026 年 9 月 17 日，Figure AI 发布了一则动词暧昧的公告：机器人 Helix 2.5 走进 30 套训练时从未见过的住宅做家务，附带一段近四小时的长视频，以及一组看起来很有冲击力的数字：完整任务成功率从约 9% 提到 56%，420 次评测拿到 237 次成功。

这段资料该怎么读？两种读法之间，隔着一条清晰的判断基线：把四小时录像当成产品成熟的证据，还是把 420 次的评测协议当成证据。这篇专题选择后者。我们一路拆下去，会得到两个结论：其一，9%→56% 是一条被对照实验锁定的因果证据，Index 人类行为预训练确实削弱了场景过拟合；其二，"能迁移"与"能在无人值守下把家务干完"之间，还隔着乘法算术、指标盲区和三层证据缺口。

一、四小时连续录像，凭什么不能当评测证据？

先做一个思想实验。把同一条公告里的录像和数字分开看：录像展示的是机器人流畅地捡起玩具、折好毛巾、铺平床单，观感几乎无可挑剔；数字却说将近一半的任务完全失败了。为什么录像和数字会打架？

因为长片提高的是可观察性，不是统计性。录像让你看到"机器人能做什么"，评测告诉你"在预设条件下它实际做成了几次"。真正有信息量的不是画面，而是藏在公告附录里的那份协议：评测的是什么任务、失败怎么判定、数字的分母是什么。

先看"评测的是什么"。公告里的 Table 1 把评测对象钉死在三类具体家务上：

图注：评测任务定义矩阵。3 列是 LIVING ROOM TIDY（客厅收纳）、TOWEL FOLDING（毛巾折叠）、BED MAKING（铺床），4 行分别限定物体、场景、初始配置与任务内容。物体是"住宅自有的玩具、毛巾、床上用品"，场景是"住宅自己的客厅、折叠台、床"。也就是说，这份评测测的不是开放式家务，而是这 3 类可枚举的任务。Helix 2.5

这个限定很容易被跳过，但对后文至关重要：40% 的玩具收纳成功率，没有任何理由被外推成"机器人能完成 40% 的开放式家务"。

再看"整份证据是怎么被固定下来的"。公告把评测流程写成了一套不可中途修改的规则，其中几条值得点名：

这套协议有三个特别之处。第一，失败判定写在附录里而不是留给评分员临场发挥：每件玩具 1 分钟超时、每条毛巾 3 分钟超时、每只枕头与每侧被角 1 分钟超时，一旦需要安全干预，本次 rollout 直接记为失败。第二，全部 30 套住宅共用一个固定 checkpoint，没有针对任何评测住宅或物体做过权重适配，也没有用评测数据挑选模型。第三，评测物体由 AI 模型加人工双重核对，确认它们没有出现在任务训练数据里。这三点合在一起，把"评测被试"和"训练数据"之间的泄漏通道基本堵死。Helix 2.5

这套"先写规则再跑评测"的风格，其实是 Helix 系谱的一贯姿态。从 Helix 1.0 到 Helix 02，Figure 的演示历来以零样本、零重置、无人干预的连续操作立身，System 0 / System 1 / System 2 三层全栈把控制频率从 7–9 Hz 一路推到 1 kHz，四分钟连续卸载洗碗机也是同一路数的产物。正因如此，Helix 2.5 这份公告值得换一种读法：它不是又一个被剪出来的高光片段，而是一次把评测协议写死的尝试。Helix

最后把数字的分母钉死。420 次评测按任务分成三份，每项任务 140 次，成功判定是"整任务完全完成"：玩具全部进篮、毛巾全部折好进篮、枕头和被角全部到位。这就是所谓终局二元成功率，一句话解释就是一份任务只记 0 或 1，中间不做部分计分，审计起来非常干净。看这张图：

图注：30 套住宅零样本成功率柱状对比。横轴是 TOWEL / TOY / BED / ALL THREE 四组，浅灰柱是"不用 Index 预训练、随机初始化"的模型，深灰柱是"用 Index 预训练"的模型，柱顶标出成功数与分母。合并组从 8% (35/420) 升到 56% (237/420)。博客正文把 8.33% 取整写作 9%，与图柱顶的 8% 是舍入差异，不是数据冲突。Helix 2.5

注意这里有个反常的细节，值得点破：那四小时录像，未必覆盖了这 420 次评测。公告没有公开录像与 420 次 trial 的对应关系，长片更接近定性展示。所以判断这份证据的边界，眼睛要落在协议和分母上，而不是落在画面上。一句话总结这一章：评价这类公告，先问协议写死了没有、失败怎么判定、分母是什么，而不是录像看得爽不爽。至于这份协议在方法学上到底证明了什么，它最后能推广多远，我们接下来一步步看。

二、30 套未见住宅 + 唯一变量对照：泛化是怎样被隔离出来的？

上一章立了判断基线，这一章回答一个更硬的问题：9%→56% 这个差距，凭什么能归因到 Index 预训练本身，而不是别的什么？

关键在对照设计。Figure 训练了两个 policy：一个用随机权重初始化，一个用 Index 预训练的权重初始化。除此之外，两个模型架构相同、优化器相同、超参相同，在完全相同的 task-specification data 上微调，用完全相同的评测方式打分。评测住宅和评测物体对两者都是第一次见。也就是说，两个模型之间只有一个变量：有没有吃过 Index 的人类行为预训练数据。

唯一变量对照的意义在于，它把"差距可归因"变成了一个干净的逻辑：唯一变量是 X，结果差距只能归因于 X。相比之下，常见的"我们的模型跑得多快、多稳"式陈述做不到这一点，因为没有任何东西被对照。随机初始化那组只有约 8%（35/420）的成功率，几乎等于不会，而 Index 预训练组是 56%，按博客正文的 9% 口径算，约 47 个百分点的差距全数落在"预训练与否"这一个变量上。Helix 2.5

但唯一变量对照还差一道保险：万一评测任务的数据泄进了预训练集，那 56% 就可能是"背过答案"，而不是真学会了。Figure 给这道保险配了一个可审计的数字：任何单一评测任务，在 Index 预训练数据集里的占比不超过 1.90%。即使把所有评测任务加起来，也只占数据集的一个零头。这就把"通用预训练 ≠ 任务专门记忆"从一句口号变成了可核验的阈值，进一步堵死泄漏通道。Helix 2.5

那么 Index 是什么？它是 Figure 在 2026 年 8 月 25 日公开的数据采集平台：普通人通过 app 在自己家里录制真实家务视频，经过去重、平衡、标注等流水线处理后进入训练集。公开日时已有 26.4 万次下载、覆盖 108 个国家，创作者上传了超过 1600 万段视频，app 每秒钟处理约 30 分钟的人类行为视频（到 Helix 2.5 公告时已升到约 35 分钟）。整个流水线是这样的：Index

图注：Index 数据处理流程示意。从 Mobile capture（移动端采集）出发，经过过滤与标注、欺诈审查、去重、重平衡，最终汇入训练集；从 Fraud platform 还有一条虚线反馈回采集端，用于把质量与反作弊信息回传给 app。注意图上渲染为 6 个模块，而博客文字说五阶段（filtering、fraud review、deduplication、rebalancing、annotation），因为过滤与标注在图中合并成了第二个模块。这张图只说明数据从哪来、怎么处理，不代表评测协议本身。Index

到这里，"零样本"三个字的真实边界必须收紧。Figure 说得非常明确："零样本"指的是评测环境和被操作物体对模型是新的；任务本身，也就是那三项家务技能，仍然是通过在其他地方采集的数据专门微调出来的。所以"零样本"不针对技能，只针对环境与物体。跨环境迁移确实被证明了，但"它天生会做家务"没有。

场景过拟合这个概念，可以借一个微观证据看得更清楚。VLA 领域的 LIBERO-OOD 研究显示，π0 在标准 LIBERO 仿真任务上表现约 95%，可一旦把抓取、放置两段都在训练里见过、只是组合方式从未出现的任务外推到新组合，成功率直接塌到 9%，其他几个主流 VLA 也全部低于 21%。模型把"物体名"和"物体在训练时被放过的位置"绑在了一起，换个位置就不会了。这说明场景过拟合不是某家公司演示独有的毛病，而是当前 VLA 的普遍倾向。LIBERO-OOD

对照之下，Helix 2.5 的跨住宅盲测相当于在真实世界里做了一次更大的"外推实验"：环境与物体零样本，三项技能仍然专门训练过。这套设计把"环境泛化"从"任务熟练度"里隔离了出来，结论也随之收紧：Index 预训练让模型不必再记住每一户住宅，这是 9%→56% 的因果内核。但隔离得越干净，另一个问题就越刺眼：分项数字之间的差距，已经在预告这条因果链的裂缝。

三、9%→56% 锁定了什么？——泛化被证明了，可靠性还没有

把第一张柱状图的分项读数摊开：床铺从 11% (15/140) 到 67% (94/140)，毛巾从 9% (12/140) 到 62% (87/140)，玩具收纳从 5% (7/140) 到 40% (56/140)。三个任务都被拉起来了，三者的分母都是各 140 次独立 trial。Helix 2.5

注意三个数字被拉起的方式并不平均，这本身就是信息。床铺和毛巾的绝对水平明显更高，玩具收纳最低，即便 Index 加持也只有四成。9%→56% 的准确读法，是"通用人类行为数据让模型不必再记住每一户住宅"，也就是削弱场景过拟合，而不是"机器人整体变聪明了"。玩具项的 40% 是整个图里最扎眼的一个数，它背后不是 40% 的玩具没被捡起来，而是每一件都要捡起来放进去、任何一件失败整任务就归零。这个数字值得单独算一笔账。40% 看着是四成胜算，可一旦把它拆成十几件玩具的串联，算术会讲出一个完全不同的故事。

先补全 Index 这条因果链的上游。人类行为预训练不是一次性购买的数据集，而是一条持续扩张的飞轮。Index 公开后 17 周内，周活跃创作者从 99 涨到 44,436，曲线几乎单调上升：

图注：Index 的 WEEKLY ACTIVE USERS 周活跃用户柱状图，横轴是 05/01 到 08/21 共 17 个周刻度，纵轴 10K–50K，柱顶数值从 99 涨到 44,436，中间只有 06/26→07/03 一次轻微回落。这张图展示的是数据采集端的扩张，不是机器人的性能曲线，不要把它读成"模型变强了"的证据。Index

Figure 还声称，在 8 倍数据范围内做嵌套子集实验，小样本 run 能把最大 run 的 held-out test loss 预测到小数点后四位，预测误差只有 0.54% of variation，并自称这是第一条在人形机器人上测出的人机迁移 scaling law。这项声明只在 Index 数据加 Helix 2.5 这套自测组合内成立，别当成跨数据集的通用结论，但它解释了为什么 56% 的因果读数背后有持续扩张的数据体量在支撑。

"削场景过拟合"并不只有 Index 一条路，这一点值得对照着看。Physical Intelligence 的 π0.5 走的是 co-training 路线：把移动机械臂数据、多种环境中的静态机器人数据、实验室交叉形态数据、高层子任务预测、多模态网络数据和语言示教数据混在一起训练，不做单一的大规模人类视频池。它的环境 scaling 实验显示，大约 100 个不同训练环境之后，模型就能逼近"直接把测试住宅放进训练集"的 baseline 模型：π0.5

图注：π0.5 在四个测试任务（碗筷入池、物品入抽屉、洗衣篮、铺床）上的成功率随训练环境数量上升，绿色虚线是"把测试住宅放进训练集"的 baseline 模型，完整环境配置的模型在没见过任何测试住宅数据的情况下接近该 baseline。不要从图上读精确交叉点，"约 100 个环境"是博客的定性表述。π0.5

两条路径的分工值得记住：Index 是"大规模人类视频"路径，π0.5 是"组合异构数据源"路径，它们在一个点上会合，即跨环境迁移是当前 VLA 社区的共识方向，而不是单一技术路线的独有成果。但两者的统计口径不可互换：π0.5 的 94% 是分项口径（每个任务单独统计成功率），Index 的 56% 是整任务合并口径，谁也别拿去直接比大小。

所以这一章的结论是：9%→56% 是一组有上游机制、有对照设计、还有社区平行路径佐证的因果读数，泛化确实被证明了。但泛化到位不意味着可靠性到位。玩具项 40% 这个数字里藏着的乘法问题，现在摆上台面。

四、约 94% 的单件成功率，为什么塌成 40% 的整任务？

玩具收纳任务的规则是：13 到 15 件玩具必须全部进篮，整任务成功率为 40%（56/140）。现在做一道推算题。假设各件玩具的成功率都约为 94% 且相互独立，取中值 14 件，那整任务成功率大约是 $0.94^{14} \approx 0.42$，和实测的 40% 咬合得相当紧。换句话说，单件成功率看似"几乎全成"，14 件串起来却只剩四成胜算。约 94% 这个数是推算值，来自评测附录里单件动作的折算，不是公告直接给出的数字，但算术结构本身是清楚的：串联任务的成功率约等于各步成功率之积。

这就是长程任务的乘法坍塌：局部能行，串联起来系统性崩塌。它是演示视频最容易掩盖的差距，因为画面只会拍"每一件都被捡起来"的瞬间，不会拍"总有一件最终失败"的分布。

乘法坍塌不只在收拾玩具时出现，它是长程任务的结构性属性。BATON 这篇论文把它写成了一道可计算的算术题：一个短程任务平均需要 T 次探索才能首次成功，那么一个 K 阶段的长程任务整体去探索，成本是 T 的 K 次方量级，因为一个 episode 只有每一阶段都成功才算成功。在这套算术里，K=4、T=10 时成本已经超过一万次，五阶段任务轻松进入十万次量级，"超过任何预算"。更糟的是，失败本身不携带信息：一个失败的 episode 不会告诉你它死在哪一阶段。BATON

BATON 的解法是把子任务当探索单位，成本从 T 的 K 次方降成 T·K 的加法，同时让失败能够指名自己的阶段。看它的核心示意图：

图注：BATON 将长程任务中的每一次转移变成头等对象。左半幅把"整任务探索"的深层递归树展平为"逐子任务探索"的加法成本，说明成本如何从 T^K 降到 T·K；右半幅把记忆画成子任务节点组成的图，边上有三类转移：invocation（调用）、handoff（交接）、lookahead（前瞻）。这是长程任务结构的一种刻画方式，本质是论证图而非基准数据。BATON

这三类转移值得给一句大白话：invocation 转移管"场景就绪了才调用动作模型"，handoff 转移管"上一个子任务留下的烂摊子不许污染下一个子任务的起点"，lookahead 转移管"当前这一步别把后面的路堵死"。它们共同的作用，是把子任务之间的边界变成可检查的契约，而不是任凭误差在链条里默默累积。这个概念现在只需要记住轮廓，讲到工程配方时它还会再出现。

要敬畏的不是某个具体模型，而是长链本身。LongBench 在真实桌面机械臂上做了 10 项任务、超过 1000 次真实 rollout 的评测，把长程能力拆成两条独立的能力轴：执行稳健性（全程可视条件下的持续执行）和上下文推理（需要历史上下文消歧的执行）。结果是所有被评测的 SOTA 策略都没有两轴兼得：π0 在执行稳健性上拿 86.3，上下文推理却只有 37.3。执行稳健与上下文推理，是两条互不担保的能力轴。LongBench

所以约 94% 的单件与 40% 的整任务并不矛盾，这是乘法规律，不是观感偏差。高单件成功率在串联任务上系统性塌方，是长程任务的本性问题。顺着这道裂缝往下追问：把镜头拉回全体合并组，56% 的成功率意味着 44% 的整任务失败——这 44% 究竟病在哪一步？很遗憾，光是"56%"这个数字本身，根本回答不了这个问题。

五、56% 之外：那 44% 的失败究竟病在哪一步？

终局二元成功率审计友好，诊断失明。56% 告诉你"44% 失败了"，却不告诉你这 44% 里有几成是抓握失败、几成是放不到位、几成是中途卡住没能恢复。要定位瓶颈，需要把任务拆成技能级再逐项记录成败，这恰恰是 Behavior-Skill 这份评测基准做的事。

Behavior-Skill 从 BEHAVIOR-1K 数据集里标注了 235,492 个技能实例，来自 10,000 段演示，覆盖 50 个长程家务任务，归入 34 个语义技能类别（Move To、Pick Up From、Place In、Attach、Hang、Wipe Hard 等）。它提出两套指标：TSCR 是轨迹级的"这条演示里该技能成功了几次"，STSR 是技能类级的"这一类技能本身有多难"，两者互补，都远细于二元成功率。Behavior-Skill

"技能"这个概念先看看分布长什么样：

图注：Behavior-Skill 数据集中 34 个语义技能类别的实例分布，横轴是类别名，纵轴是实例数的对数刻度，标记的颜色表示该技能的平均执行时长。Move To 类拥有最多的约 80K 实例，而 Attach、Press、Wipe Hard 这类需要精细接触或工具的技能只有 0.2K–0.5K 个实例，执行时长却最长。这张图只展示实例丰度与耗时，不展示成功率。Behavior-Skill

分布只是背景，成功率的画像才是证据。Behavior-Skill 在完整 50 任务基准上给两个代表当前最高水平的开源 VLA 各画了一幅 STSR 能力图：

图注：π0.5 与 GR00T N1.7 在 28 个技能类别上的 STSR（技能类成功率）画像，每个类别 4 根柱，分别为两个模型在 Task 与 Skill 两种设置下的结果。Move、Hold、Spray 类普遍在 60% 以上，而 Attach、Hang、Press、Wipe Hard 这类接触丰富技能在两个模型、两种设置下都趋近于零。注意这是 BEHAVIOR-1K 仿真基准上的评测，不是 Figure 跨住宅盲测，不能拿它解释 56% 本身。Behavior-Skill

接触丰富技能，就是需要精密力与位置控制、一碰就出问题的操作，比如粘贴、按压、悬挂、用力擦拭。两个不同架构的模型在同一批技能上同时塌到近零，说明这不是某家公司的实施缺陷，而是当前 VLA 范式的共享短板。它和上一章的乘法坍塌是配套的：只要链条里有一个接触丰富技能失败，整任务就被记为 0，前五个成功技能的全部工作被一笔抹掉。

Behavior-Skill 里有一个把这个反例摆上桌面的数字：同一批任务同时用传统二元指标和技能级指标评测，"洗棒球帽"QScore 记 0%（整任务完全失败），TSCR 却有 80.0%，前八成的子技能其实做对了，剩下的少数技能失败导致整任务归零。这正是乘法坍塌的微观形态：二元指标不仅看不到病灶，甚至看不到"失败发生在第几步"。Behavior-Skill

方法学层面也在收紧同一个结论。VLA-Arena 这类框架把 VLA 评测拆成任务结构、语言指令、视觉观测三条正交难度轴，并指出记忆化（对训练场景的过拟合）、浅表视觉感知与对安全约束的忽视是互相独立的失败维度。一个把不同病因打包成同一个 0/1 的混合指标，在方法学上是危险的，因为你看不出改哪里。VLA-Arena

所以这一章拿走的东西是：从审计友好的 9%→56%，到能定位瓶颈的诊断证据，中间差着一个技能级失败分解。而差着的东西，正好就是最后一章"还缺什么"清单里的第一项。

六、从"最强的内部证据"到"可复现的产品证据"，还差三层

回到主线收口。把 56% 翻译成一句话：人类行为预训练确实削弱了场景过拟合，这条因果有对照实验锁定；但迁移能力不等于无人值守可靠性，这层差距有乘法算术和技能画像双重佐证。这句话的前半段，是本文所述协议下很强的内部证据；后半段，是它和"可复现产品证据"之间的真实距离。

这段距离可以拆成清清楚楚的三层缺口：

第 (a) 项其实已经有一份可参考的工程配方，就是第五节提过的 BATON。它的流水线把任务分解成子任务、逐个引导探索、再一条边界一条边界地组合，配套一套"把子任务边界变成契约"的记忆机制：

图注：BATON 框架总览。左侧是三步流水线：把长程指令拆成 K 个子任务，对每个子任务做引导式探索，再逐条边界向外组合；右侧橙色面板列出三类记忆：Skill memory（技能记忆）、Transition memory（转移记忆，分 Within 与 Across 两类）、Failure memory（失败记忆）。这是"技能级分解 + 末端状态质量控制"的一种具体设计，注意它是在 RoboMemArena 仿真基准上验证的，不代表真实住宅问题已解决。BATON

BATON 的启发在于，它把第五节的三类转移（invocation、handoff、lookahead）落成了可执行的分工：动作模型只在场景确认就绪后被调用，前一个子任务的终态会被检查、必要时修复，当前子任务的执行策略会被推送给后继任务。子任务边界因此从"靠运气衔接"变成"可检查的契约"。这套做法的代价是引入了调度与验证层，而且只在仿真基准上跑通，距离真实住宅的脏乱环境还有距离，但它证明了"技能级分解 + 边界契约"不是空中楼阁。

(b) 和 (c) 两项没有捷径，只有时间和外部视角。特别是 (b) 这条：Figure 把协议写得如此详细，是它值得被当证据读的原因，但"协议写得好"与"协议被独立执行过"是两回事。外部效度这个概念在这里收口：一项实验的结论能推广到真实无人干预场景多少，取决于它有没有被独立的第三方按同一份协议复现，以及在有人、宠物、家具变动的长期动态环境里是否站得住。当前的 56% 全部产自 Figure 内部，录像与 420 次 trial 的对应关系未公开，评分员与训练流程的隔离也未显式声明，这三处空白决定了它距离"可复现产品证据"还差着实质性的距离。

最后补一句关于数据飞轮的冷静话：Index 的 1600 万段视频、每秒 35 分钟的人类行为数据，是支撑整条路线的基础设施，但"已采集"不等于"已训练"，原始视频里实际进入训练集的留存比例，Figure 从未公布。Index

把六章串起来，就是一张拆公司演示的检查单：先问协议写死了没有，再问有没有唯一变量对照，再问指标粒度够不够定位失败，最后问谁复现过、能不能在动态干扰下长期运行。这套检查单走到第四问之前，Helix 2.5 交出的这份 9%→56% 都是本文所述协议下很强的内部证据；走到第四问时，答案会变成"还没有人做过"。泛化被证明了，可靠性的账还要一笔一笔算。这份公告真正推进的，不是"家务机器人已经来了"，而是把这两件事第一次在真实住宅里拆开摆到了台面上。

参考文献

本专题引用的核心资料如下，建议深入学习时阅读原文：

1. Helix 2.5: Zero-Shot 30-Home Generalization (Figure 官方博客, 2026-09-17) — https://www.figure.ai/news/helix-2-5-zero-shot-30-home-generalization
2. Introducing Index: Building The World's Largest and Most Diverse Physical Dataset (Figure 官方博客, 2026-08-25) — https://www.figure.ai/news/introducing-index
3. Behavior-Skill: A Fine-Grained Benchmark for Evaluating Vision-Language-Action Policies in Long-Horizon Tasks — arXiv:2608.30536
4. π0.5: a VLA with Open-World Generalization (Physical Intelligence 博客, 2025-04-22) — https://www.pi.website/blog/pi05；配套论文 arXiv:2504.16054
5. VLA-Arena: An Open-Source Framework for Benchmarking Vision-Language-Action Models — arXiv:2512.22539
6. LongBench: Evaluating Robotic Manipulation Policies on Real-World Long-Horizon Tasks — arXiv:2604.16788
7. Don't Drop the BATON: Long-Horizon Robot Manipulation via Agentic Subtask Exploration and Transition-aware Memory — arXiv:2608.16889
8. Helix: A Vision-Language-Action Model for Generalist Humanoid Control (Figure 官方博客, 2025-02-20) — https://www.figure.ai/news/helix
9. VLAs are Confined yet Capable of Generalizing to Novel Instructions (LIBERO-OOD) — arXiv:2505.03500