HALO-WA：冻结预训练策略，45 分钟真机训练把插孔成功率从 34% 拉到 94%

为什么「最后几毫米」总失败

「插孔」听起来是个简单任务：把木棒对准洞，伸进去。但在真实机器人上，这类任务会卡在「最后几毫米」上。木棒离洞口还有一厘米时，仿真里训好的策略看着挺准，一上真机就偏出去几毫米，始终插不进去。这个「最后几毫米」问题，恰恰是 HALO-WA 这篇论文（arXiv:2607.04265）HALO-WA 论文 要解决的真问题。

先看一组图。HALO-WA 论文的 Figure 3 把六个任务并排放在一起：四个蓝框是真实 ALOHA 双臂做的精密任务（Block Assembly 双块堆叠、Power Plug Insertion 插头插入白插座、Ethernet Insertion RJ45 接头进端口、Stick Insertion 木棒插孔），两个绿框是 RoboTwin 仿真平台里的任务（Click Bell 按小铃、Beat Block Hammer 抓锤敲彩色块）。一眼就能看出每个任务的共同点：末端执行器要和一个目标物体发生接触，必须对得很准。

图注：六面板横条，前四个蓝框展示真实 ALOHA 双臂执行的四类接触式精密任务（积木堆叠、插头插入、网线插入、木棒插孔），后两个绿框展示 RoboTwin 仿真平台中的两个任务（按铃、抓锤敲块）。每个面板顶部是任务文本提示。这张图直观呈现了「最后几毫米」问题的具体形态：接触对准、亚毫米级位置精度。

那么，为什么仿真里训得不错的策略，到真机上就在最后那几毫米卡住？三类系统误差叠加在一起，HALO-WA 论文第 1 节明确列了出来HALO-WA 论文。

第一类是标定误差：相机内外参在装配时就有微小偏差，机器人关节零点也存在轻微偏移，这些在仿真里全被设成理想值。第二类是感知误差：物体位姿估计的噪声、遮挡、光照变化，让视觉模型对「目标在哪」的判断带几毫米不确定性。第三类是接触动力学误差：末端执行器和物体接触瞬间的摩擦、形变、反弹，仿真里用的是简化物理模型，和真实硬件上的非刚性接触差得很远。三类误差在最后几毫米叠加放大，仿真里看起来很准的策略到了真机会出现大幅掉点（例如 HALO-WA 论文 Table 1 的 WA-base baseline 在真实 ALOHA 四任务上平均只有 26.4%）。

那 HALO-WA 用的策略是什么？这里要先解释「世界-动作（World-Action, WA）模型」是什么。传统机器人策略读输入，给下一步动作。WA 模型多做一件事：读输入的同时，预测一下「未来几帧画面会变成什么样」。两个输出并存，策略自带对未来几步的预演能力。

WA 模型不是凭空冒出来的概念，它属于「世界-动作模型」这一大类的统称。南方科技大学 Clear Lab 团队 2026 年发布的 WAM 教程（arXiv:2607.00836）WAM 教程 把 WA 模型放进一张 taxonomy 图里，列了四类范式（imagine-then-execute、video-feature-conditioned、joint video-action、auxiliary video prediction）。

图注：WAM 四范式 taxonomy 横向图。输入是当前观测 $o_t$ 和语言指令 $l$，输出耦合未来观测预测与机器人动作，但四类范式耦合方式不同：先想象后执行、视频特征条件化动作、联合视频-动作建模、视频预测作为辅助目标。HALO-WA 的 base WA 模型属于「联合视频-动作建模」这一格。

HALO-WA 的 base WA 模型是 GigaWorld-Policy（arXiv:2603.17240）GigaWorld-Policy, 同团队 2026 年 3 月发表。它是「联合视频-动作建模」这一范式的代表：训练时用视频预测做监督，推理时只跑动作分支。

图注：四并排 WA 范式对比图。a 是 VLM-based VLA 配辅助未来监督，b 是双向注意力的联合视频-动作预测（推理时也跑视频分支），c 是两阶段（先视频预测再 IDM 取动作），d 是 GigaWorld-Policy 自身（训练时共享 backbone，推理时只跑动作分支）。这张图直观说明 WA 模型不是单一形态，而是有一组权衡空间。

WA 模型虽然比传统策略强，但它和真机之间的差距不是「再训一训就能填平」的。HALO-WA 论文 Table 1 给出的「WA-base」baseline（直接用 GigaWorld-Policy 离线监督微调 30k 步）在 ALOHA 四任务上平均成功率只有 26.4%HALO-WA 论文, Stick Insertion 任务只有 34.3%。这意味着，即使 base 模型在大多数日常动作上「看起来很准」，到了真实硬件做精密对齐时就掉链子。

那么，把整个 WA 模型搬到真机上全参数重训能不能解决？贵、慢、容易过拟合，论文里也明确否定了这条路线。下一步要看 HALO-WA 怎么选。

不重训大模型，怎么让它在真机上自我修正

既然直接重训大 WA 模型不划算，HALO-WA 选了另一条路：把大模型「冻」住，在它后面挂一个轻量的 actor-critic adapter，只训这个 adapter。

这一步选择是整篇论文的核心设计。它的工程实现可以这样描述：把已经训好的 WA backbone 比作一个已经写好的主程序，它读懂图像和指令、给出下一步动作 chunk；adapter 是一个可插拔的中间件，挂在主程序后面，读取主程序的中间状态和输出，加一层精细调整再给出动作。这等于不动主程序，只在它后面接一个专门学「真机细微修正」的小模块。HALO-WA 论文第 3.1 节明确写道：adapter 的输入是三件事的组合（机器人的本体状态 $s_t^r$、WA 给出的参考动作 chunk $\tilde{a}{t:t+H-1}$、WA 模型内部的潜变量特征 $Z_t^{\text{WA}}$），输出是修订后的动作 chunk $a^\pi{t:t+C-1}$HALO-WA 论文。

这种「冻结 + adapter」的结构在 HALO-WA 的工程实现里是这样安排的：云端两台 A800 GPU，一台跑冻结的 WA 推理和 adapter 训练，另一台跑策略执行（rollout）；机器人端是 ALOHA 双臂加 3 个 RGB 相机（1 个全局、2 个腕部），操作员可以在任何时刻用 SpaceMouse 类似的设备接管。人的接管动作、机器人的执行动作、当前观测一起送回云端的 replay buffer，给 adapter 训练用。

图注：HALO-WA 云-机器人协同闭环架构图。左侧 Cloud side 三个模块：frozen WA 推理、混合注意力 adapter、actor-critic 更新加 replay buffer。右侧 Robot side：ALOHA 双臂、3 个 RGB 相机、动作执行、人类操作员可随时接管。红色反馈箭头从机器人端回到云端，把干预动作和观测送回 buffer。图本身不展示训练损失，也不暗示 WA backbone 被 fine-tune。

这条「冻结 backbone + 训练轻量 adapter」的路径并不是唯一的方案。HIL-SERL（arXiv:2410.21845，发表在 Science Robotics 2025）HIL-SERL 选了不冻结这条路：不用预训练 backbone，直接用 ResNet-10 编码器加本体感知，配合 RLPD 算法在 1-2.5 小时内训出 13 个任务近 100% 成功率。

图注：HIL-SERL 系统架构图。actor 进程与机器人/环境交互，通过 SpaceMouse 接受人接管，learner 进程从 demo buffer 和 RL buffer 等量采样用 RLPD 更新策略。HIL-SERL 不冻结基础模型，与 HALO-WA 冻结 WA 只训 adapter 的路线形成鲜明对照。

为什么 HALO-WA 选冻结这条路？论文 §2.2 给出的核心论据是：HIL-SERL 不冻结意味着它从零训一个小策略，丢掉了大 WA 模型里已经学到的视觉/时序/动作先验；HALO-WA 冻结则保留这些先验，让一个轻量 adapter 在真机上专门学「最后几毫米怎么补偿」HALO-WA 论文。代价是 adapter 的能力上限被 WA backbone 锁住，base 模型「从来没见过」的任务，adapter 也救不了。

到这里还有一个关键问题：adapter 怎么「读懂」任务需要的细节？下一章讲它的混合注意力结构。

adapter 怎么「读懂」任务又不「打断」动作

adapter 接到三样东西：机器人的本体状态、WA backbone 给出的参考动作 chunk、WA backbone 内部的潜变量。它要输出一个「修订后的动作 chunk」。这里有一个微妙的设计问题：动作 chunk 是一串时间步上的动作，这些动作之间必须时间连贯（不能第 3 步突然跳到第 8 步的姿态），同时 adapter 还要能从 WA 内部潜变量里读出「目标在哪」「接触面在哪」这种任务相关线索。单一类别的注意力机制很难兼顾两件事。

HALO-WA 的解法是混合注意力。Figure 2 把 actor 和 critic 两个面板并列画出来，展示内部的两步流程。

图注：混合注意力 actor-critic adapter 内部结构图。上下两面板共享左侧 query tokens 栈（1 个 robot-state token 加 12 个 reference-action token），先经 self-attention 让动作片段保持时间一致，再用 cross-attention 与顶部 WA/VAE 视觉潜变量（key/value）做读取。actor 末端用 token-wise MLP 解码 12×14 动作 chunk；critic 末端多 12 个 candidate-action tokens，mean-pool 后分两个 Q₁、Q₂ 头做 TD3 双 Q 学习。

第一步是 self-attention。把 1 个本体状态 token 和 12 个参考动作 token 摆成一个序列，做 self-attention。这一步让动作片段内部「互相看着点」，保持时间一致性：第 3 步参考动作的姿态和第 4 步之间有连续性，self-attention 强化这种连续性。

第二步是 cross-attention。把刚才那个序列当作 query，去和顶部 WA/VAE 视觉潜变量（key/value）做 cross-attention。这一步让 adapter 从 WA 内部潜变量里读取任务相关线索：目标位置、接触区、物体几何。cross-attention 读出这些信息后，融合进 query 序列。

actor 末端再用一个 token-wise MLP 把 12 个 token 各自解码成 14 维动作（12 步 × 14 维 = 168 维动作 chunk）。critic 末端则多挂 12 个 candidate-action token，把它们和 query 一起 mean-pool，再分两个 Q 头做 TD3 双 Q 学习，避免值估计过高。

这两步为什么缺一不可？论文 Table 2 在 Stick Insertion 任务上做了一组消融HALO-WA 论文：

只有 cross-attention 时，adapter 读到了任务线索但没保持动作连贯性（57.1%）；只有 self-attention 时，动作连贯但没读到任务线索（62.9%）；两步都做（94.3%）。Self-attn 和 cross-attn 各自贡献约 30 多个百分点，合起来把成功率从「不work」拉到「完全 work」。

另一组消融证明「用什么潜变量」同样关键：

完全不用潜变量（22.9%）甚至比 WA-base baseline 还差，原始图像编码 45 分钟内训不出有效策略（25.7%）；WA 潜变量直接涨到 94.3%HALO-WA 论文。潜变量是「做对了就省一大半算力」的关键设计点，不是加更多网络容量就能替代的。

这里需要做一个关键对照。RL Token（arXiv:2604.23073）RL Token 同样冻结 VLA backbone 训轻量 adapter，但它选择把 WA/VLA 内部特征「压成」一个 1×2048 的 compact token 喂给 actor-critic。

图注：RL Token 方法总览横向四阶段：Data 阶段提供机器人操作示例，VLA with RL Token 阶段在预训练 VLA 上挂 encoder-decoder 提取中央黄色 RL token 模块，Online RL 阶段由 critic 输出 Q 值、actor 输出 action chunk，Final RL Policy 阶段展示 screw installation、zip tie fastening、Ethernet & power insertion 三类任务。这张图说明「compact token」接口的完整流程，与 HALO-WA 的「distributed latent + hybrid attention」形成强对照。

RL Token 把 VLA 内部压成一个 bottleneck，HALO-WA 保留 WA 内部的分布式潜变量让 hybrid attention 直接去读。这两种接口在 Table 1 上有直接数字差异：RL-token-like baseline 平均成功率 67.9%，HALO-WA 87.1%，高了 19.2 个百分点HALO-WA 论文。这是「distributed latent + hybrid attention」相对「compact token 接口」的直接证据。

到这里，adapter 的结构问题解决了。下一步是它怎么被训出来，以及为什么 45-75 分钟就能训好。

45–75 分钟怎么就训好了

「在线强化学习」听起来很重：策略在真实机器人上跑几步，环境给「这一步是更接近成功还是更远离」的信号，策略就顺着这个信号调整。HALO-WA 论文 §3.3 把训练目标写得很具体HALO-WA 论文。

critic 用 TD3 双 Q 学习。TD 是时序差分（temporal difference）的缩写，这是强化学习里「用未来估值回推当前步估值」的标准技术。TD3 的核心是用两个 Q 网络（$Q_{\psi_1}$ 和 $Q_{\psi_2}$）取较小值作为目标，避免值估计过高（一种常见的训练不稳定来源）。actor 损失是两项相加：标准的策略梯度项（推动 critic 认为「好」的方向）和 BC 正则项（$\lambda_{\text{BC}} \cdot |\pi_\theta(s_t) - a^{\text{ref}}|_2^2$），让 actor 不能离 WA backbone 给的参考动作太远。

$\lambda_{\text{BC}} = 50$ 在所有任务上都是同一个值。50 这个数意味着什么？论文没说具体推导，但和 actor 策略梯度项比起来，BC 正则项的权重是压倒性的。它强制 adapter 输出「在 WA 参考动作附近」的动作，不允许乱跑。

人接管也起了大作用。操作员在策略跑偏时随时按 SpaceMouse 接管，接管的「那一段动作」也存进 replay buffer。这等于在关键几步上人给策略做示范，critic 后续能评估这段接管动作的 Q 值，区分「好的接管」和「次的接管」。HG-DAgger（arXiv:1810.02890）HG-DAgger 是 2019 年提出的同方向方法，HALO-WA 用它作 baseline，平均成功率 62.9%，比 HALO-WA 的 87.1% 低 24.2 个百分点HALO-WA 论文。两者关键差别是：HG-DAgger 把接管动作无差别存进去，只模仿不过滤；HALO-WA 用 critic 评估接管动作的 Q 值，把「好的接管」和「次的接管」分开对待。

为什么 45-75 分钟就能收敛？三件事一起做到。

第一，冻结 WA backbone + 训练小 adapter：可更新参数量少，反向传播快，梯度稳定。第二，BC 正则把策略搜索空间压住：不用从巨大动作空间里从零搜，adapter 永远在 WA 参考动作附近做局部修订。第三，人接管动作进 replay buffer：关键几步直接由人示范，策略不需要自己撞墙去试错。

干预率曲线论文 Figure 4 给出了定性走势：四个任务的干预率都从训练初期的高位（在关键时刻人频繁接管），单调下降至接近 0%HALO-WA 论文。论文没发布 intervention-rate vs step 的具体数值表，只能定性描述这条单调下降的曲线。

到这里，方法的全貌清楚了：冻结 WA backbone、用 hybrid attention 读潜变量、用 TD3+BC 训练、用人和环境的反馈做在线数据。下一步是看具体效果。

从 34% 到 94%——四个真实任务的失败到成功

HALO-WA 论文 Table 1 的核心数字值得逐行看HALO-WA 论文：

WA-base baseline 平均只有 26.4%，HALO-WA 训到 87.1%，提升 60.7 个百分点。相对最强 baseline RL-token-like 67.9%，HALO-WA 高 19.2 个百分点。四个任务分别训练 45、60、75、60 分钟，合计真机训练时间控制在两小时出头。

逐个任务看失败和成功。

Stick Insertion（45 分钟）：木棒插孔。WA-base 成功率 34.3%，HALO-WA 训到 94.3%。失败模式是「木棒没插到孔」——最后几毫米偏出，碰到孔沿停下。HALO-WA 训完后 adapter 学会在末端做亚毫米级位置修正，让木棒对准孔心再插入。

Ethernet Insertion（60 分钟）：RJ45 接头插入网线端口的凹陷口。WA-base 40.0%，HALO-WA 97.1%。失败模式是「RJ45 接头卡在端口外」——既要位置对、角度也要对。HALO-WA 训完后这块几乎完美。

Block Assembly（75 分钟）：双块积木堆叠。WA-base 11.4%，HALO-WA 71.4%。这是四个任务里 baseline 最难的（不到 12%），也是 HALO-WA 训得最久的（75 分钟）。积木堆叠需要末端执行器在松手前精确定位，HALO-WA 把成功率从 11% 拉到 71%，相对提升约 525%。

Power Plug Insertion（60 分钟）：插头插入家用插座。WA-base 20.0%，HALO-WA 85.7%。失败模式是「插头没插进插座」——位置偏、角度偏都会卡住。

四个任务的训练时长和成功故事都和 WA-base 的失败模式严格对应：baseline 越低、任务越需要接触对准，HALO-WA 的提升空间越大。

除了四个真实任务，论文还在 RoboTwin 2.0（arXiv:2506.18088，ICML 2026 接收）RoboTwin 2.0 仿真平台上做了两个补充任务。

图注：RoboTwin 2.0 平台总览横向管线图。左侧是 RoboTwin-OD 资产库加 skill API，中间是 MLLM 代码生成 agent 加 VLM observer 反馈，输出 expert task programs；右侧是五维域随机化（clutter、lighting、background、tabletop height、language）加域随机化轨迹，最终生成 50 任务 benchmark grid，下游接 policy 训练与评估。这张图说明 HALO-WA 仿真实验的运行环境，本身不展示具体成功率。

RoboTwin 2.0 是一个双臂机器人仿真基准：50 个任务、5 种 embodiment（机器人形态）、731 个物体实例、147 个类别、5 维域随机化（杂乱干扰物、背景纹理、光照、桌面高度、语言多样性）、100 trials/task 评估协议RoboTwin 2.0。HALO-WA 在其中两个任务上做「不让人接管」的纯在线 RL 实验。

这两个实验去掉了人接管环节，证明「在线 RL 本身」（不只是人接管）才是涨点来源：54% 涨到 97%、22% 涨到 45%，相对提升分别是 79.6% 和 104.5%HALO-WA 论文。

到这里，HALO-WA 在真实硬件和仿真上都验证了有效性。但它不是万能的，下一章讲它的边界。

HALO-WA 还做不到什么

HALO-WA 论文 §5 自陈了三大局限HALO-WA 论文。

第一，它依赖 WA backbone 本身已经具备基本任务能力。adapter 不能「从不会救到会」。如果 base WA 模型对某个任务完全没见过、给的参考动作全错，adapter 在它基础上做局部修订也救不回来。

第二，它验证的任务集中在插入、对齐、接触式装配。论文没在分拣、搬运、柔体操作、长视野导航等场景上验证。把「最后几毫米」的成功故事外推到「所有机器人任务」是过度泛化。

第三，它只用视觉潜变量加动作加干预反馈，没建模力觉、触觉、物体动力学。「接触瞬间的力感觉不到」。在需要精细力控的场景（插拔、对齐、装配中需要判断「插紧了没」），HALO-WA 的视觉信息可能不够。

「frozen 大模型 + 在线 RL」这条大方向上不只有 HALO-WA 一条路。VLA-RL（arXiv:2505.18719）VLA-RL 选了 auto-regressive VLA（OpenVLA-7B）+ PPO + LoRA + Robotic Process Reward Model 的组合，在 40 个 LIBERO 任务上平均 81.0%。

图注：VLA-RL 训练/推理流水线横向图。vectorized environments 加 transformer-based policy 构成主闭环，frozen robotic process reward model 提供 dense reward，homogeneous value model 做 value 估计。这张图说明 VLA-RL 的整体架构，与 HALO-WA 的 cloud-robot 闭环形成对照：一条是 auto-regressive VLA + PPO 路线，一条是 diffusion-based WAM + TD3 路线。

GR-RL（arXiv:2512.01801）GR-RL 走的是另一条解：离线 filtered BC（行为克隆）加 morphological symmetry augmentation（形态对称增强）加在线 steering RL 三阶段，在穿鞋带（shoe lacing）这种超精密任务上达到 83.3%。

图注：GR-RL 三阶段管线总览横向图。第一阶段 offline filtered BC with learned task progress（用离线 RL 学出的 critic 当 task progress 评估器过滤次优示范）；第二阶段 simple yet effective action augmentation（水平翻转图像加左右腕相机互换加文本左右互换）；第三阶段 online RL（latent space noise predictor 在 DiT 初始噪声空间做结构化探索）。穿鞋带机器人操作场景示例在最右侧。这张图说明「frozen VLA + 离线+在线三阶段」是另一条可行路线。

如果想真正动手试，下一步有几个具体入口。HALO-WA 的官方代码仓库按 URL 存在 https://github.com/YeanRoot/HALO-WA（仓库当前活跃状态未在本次抓取中验证，建议访问时自行核对）HALO-WA 论文。RoboTwin 2.0 的仿真平台和预收集的 10 万条专家轨迹在 https://github.com/RoboTwin-Platform/RoboTwin 开放下载（ICML 2026 接收）RoboTwin 2.0，适合做不依赖人接管的可复现消融。

如果对「frozen 大模型 + 在线 RL」这个大方向本身感兴趣，VLA-RL 和 GR-RL 是另外两条具体路径：VLA-RL 走 auto-regressive VLA + PPO 路线，GR-RL 走离线过滤 + 形态增强 + 在线 steering 路线。HALO-WA 不是这条大路的终点，而是中间一站——它解决的是「WA backbone 已有基本能力时，怎么在真机上快速适应最后几毫米」这一具体问题。

到这里，这篇论文精读的主线讲完了。从「为什么最后几毫米总失败」开始，到「冻结 backbone + 训 adapter」的工程选择，到「混合注意力读分布式潜变量」的方法核心，到「TD3+BC + 人接管让 45-75 分钟训成」的效率来源，到「Stick 34→94 / Ethernet 40→97 / Block 11→71 / Power Plug 20→85」四个任务的具体成功故事，再到「依赖 WA backbone、任务集中、未建模力觉」的三条边界，整条线是一气呵成的。

参考文献

本专题引用的核心资料如下，建议深入学习时阅读原文：

1. HALO-WA: Hybrid-Attention Latent-Guided Online Reinforcement Learning for World-Action Models — arXiv:2607.04265
2. GigaWorld-Policy: An Efficient Action-Centered World-Action Model — arXiv:2603.17240
3. Precise and Dexterous Robotic Manipulation via Human-in-the-Loop Reinforcement Learning (HIL-SERL) — arXiv:2410.21845
4. RL Token: Bootstrapping Online RL with Vision-Language-Action Models — arXiv:2604.23073
5. GR-RL: Going Dexterous and Precise for Long-Horizon Robotic Manipulation — arXiv:2512.01801
6. RoboTwin 2.0: A Scalable Data Generator and Benchmark with Strong Domain Randomization for Robust Bimanual Robotic Manipulation — arXiv:2506.18088
7. VLA-RL: Towards Masterful and General Robotic Manipulation with Scalable Reinforcement Learning — arXiv:2505.18719
8. HG-DAgger: Interactive Imitation Learning with Human Experts — arXiv:1810.02890
9. Cosmos Policy: Fine-Tuning Video Models for Visuomotor Control and Planning — arXiv:2601.16163
10. From World Models to World Action Models: A Concise Tutorial for Robotics — arXiv:2607.00836
11. GigaBrain-0: A World Model-Powered Vision-Language-Action Model — arXiv:2510.19430