BloomBloom
发起研究

机器人 ICL 综述：省下重训练，也把任务成败押在演示上

换一个任务就得重训一次，通用机器人凭什么"看一次就会做"？

通用机器人凭什么"看一次就会做"？答案是：部署期间神经网络的参数保持固定，机器人靠一段现场演示和交互，把既有能力引向一个没见过的任务。这种能力在 AI 圈叫 in-context learning（上下文学习），简称 ICL，它在大语言模型上已经被证明可行：递上两三个例子就能当场照做，训练参数一个都没动。把同一个能力搬到物理世界，就成了这篇综述唯一要回答的问题。2026 年 9 月，39 位作者、约 100 页的综述《In-Context Learning for Robots: Methods and Applications》把回答这个问题的全部方法画成了一张地图，并且先立了一条大多数人没意识到的硬定义：任务信息放在哪里，是区分 ICL 和 fine-tune 的唯一标准。fine-tune 把任务数据写进权重，ICL 把一条支持演示装进冻结权重之外的上下文。整个问题，被翻译成一句可检验的判据：参数动没动。

为什么要做到"参数不动"这一步？因为换任务就重训的那条老路，代价已经压不住了。2024 年开源的 OpenVLA 是当时最强的开源视觉-语言-动作模型之一：7B 参数，SigLIP 与 DINOv2 双视觉编码器配上 Llama2-7B 主干，在 970k 条真实机器人 episode 上训练，29 个任务上的平均成功率比 55B 的 RT-2-X 还高 16.5 个百分点，听起来很能打。可它换一个新任务，哪怕只是换一种摆放方式，就得再 fine-tune 一次，用 LoRA 微调也算。任务信息被烧进了权重，想改任务就得改权重 OpenVLA。而且重训的代价不只是算力：每换一次任务都要重收数据、重调超参、重新验证，工厂里换一种摆放就重走一遍全流程，所谓"通用"也就名存实亡。更麻烦的是，即使大模型铺好了通用感知与运动能力，新场景仍然充满"同样的画面、不同的任务"的决策歧义：同一张桌子上摆着同一个马克杯，任务是"放到托盘上"还是"放进抽屉里"，只看画面根本分辨不出来。这两道坎合起来指向同一件事：任务信息必须在部署现场临时获取。fine-tune 路线靠换权重解决这种歧义，ICL 路线靠换演示解决，而这段现场补给的演示，就是机器人在决策时刻读到的"上下文答案"。这也正是"参数不动"这个答案必须成立的理由。

图注：综述原文 Figure 4 的概念示意。(a) 任务数据 $\mathcal{D}{\mathrm{task}}$ 把参数 $\theta$ 更新为 $\theta{\mathrm{task}}$；(b) 一条支持演示 $D^{\mathrm{s}}$ 作为上下文 $C_t$ 输入，$\theta$ 冻结。两侧共用同一观察-动作历史 $h_t$ 预测下一动作块 $A_t$，唯一的差别是任务信息存在哪 ICL-for-Robots。

这个答案为什么能成立，有个很好懂的类比。给一位老员工一份新工作的说明书，而不是把他重新培训一遍。行为变了，人没换。说明书是演示，人是那套冻结的权重，重新培训是 fine-tune。在语言模型里，prompt 是文字；在机器人里，prompt 是现场演示，一段观察与动作交替出现的轨迹。如果你玩过 few-shot prompting，这套逻辑你已经会了：演示就是机器人的 few-shot 例子，差别只在后面接的是动作而不是文字。

答案立住之后，追问才真正开始。参数不许动，任务信息就得全押在这段演示上。可一段演示又不是一块石头，它被"读"的方式有无数种：可以拆成 token 拼进策略输入，可以按空间坐标硬对齐，可以先生成一段想象里的未来视频，也可以只用来决定调用哪个现成技能。到底该把它交给系统中的哪个组件？这是决定一篇 ICL 工作成败的分岔口，也是下一张地图唯一的分区依据。

凭什么按"接口"给整个领域分类：四家族地图与 S1–S6 地平线

这篇综述最有力的动作，是拒绝按方法新旧、架构好坏分类，改按"上下文证据到执行动作之间，中间表征放在哪"来划分。作者把这个部署期的路径叫作接口。演示被系统读出来变成动作，中间必然经过某种表征：一段 token 序列、一组空间对应、一串预测的未来帧、一个技能选择。表征的位置不同，押的注就不同。

地图上因此长出四个方法家族。

第一族 context-conditioned policies（上下文条件化策略）把演示编成 token 直接拼进策略输入，用生成器从"证据加历史"里推出动作。第二族 geometric demonstration transfer（几何演示迁移）把演示当成一条空间参考，通过物体对应搬到当前场景再执行。第三族 world-model-based control（世界模型控制）先预测未来的观测或状态，再从中解出动作。第四族 skill- and agent-based execution（技能与智能体执行）让演示决定调用哪个现成技能、程序或高层智能体，动作由独立执行器完成。

图注：综述原文 Figure 2 的文献组织图。四方法家族是连接上下文证据与行为的主干分支，其余分支整理基础、数据、grounding、应用、评估与研究方向；correspondence 与 memory 两条机制作为跨家族连线，把四族串起来 ICL-for-Robots。

这张图暗含一个关键提醒：四个家族并不互斥，混合系统可以同时用世界模型和技能库。真正把它们区分开的只有一个坐标，中间表征放在哪。而 correspondence（对应）与 memory（记忆）是横切所有家族的两条线。对应解决"演示里的物体、接触、阶段能不能和新场景一一对上"，记忆解决"之前的经验能不能留下来复用"。这两条线在后面还会反复出现。

注意这套划分不看你用什么骨干网络。同一条 causal Transformer，把演示拼进输入就成了第一族，把输出交给技能库就成了第四族。接口说的是证据流向，不是模型长相。

综述还抛出一张更长的时间尺子，叫 S1–S6 六个学习地平线。

图注：综述封面图，以 sweep 方式排列 S1–S6。S1 显式控制编程，S2 可复用策略；部署期参数固定下，S3 依据交互结果适应，S4 从教学推断任务要求；S5 改进后续任务的习得方式，S6 通过跨本体知识交换把习得推广 ICL-for-Robots。

在这把尺子上，S3 与 S4 是本文真正覆盖的范围：参数固定，靠交互历史或教学推断任务，这就是机器人 ICL 的坐标。而 S5（经验改进后续任务的学习过程）与 S6（跨本体知识交换）被明确标成研究目标，不是已交付能力。这条界线是全文最重要的防误读装置：任何声称机器人"越用越会学"的说法，都先要过这一关。分水岭为什么选在"参数动没动"？因为参数一动，任务信息就存进了系统内部；参数不动，任务就只能在部署现场临时获取。S1、S2 靠程序或权重记住任务，S3、S4 靠现场的教学与交互获取任务，S5、S6 则要求把任务经验反哺给未来的学习。后文四族的全部争论，都发生在 S3、S4 这一层。

四族之分是接口位置之分。接下来两章顺着地图走一遍，看每条接口把中间表征放在哪，各押什么样的迁移假设。

演示直奔动作的两条路：拼进策略输入，还是靠空间对齐硬搬

先看最直白的一族。context-conditioned policies 的想法是：演示本身就是输入，把它和当前画面一起喂给策略，策略直接吐动作。2024 年的 ICRT（In-Context Imitation Learning via Next-Token Prediction）是这条路上真机部署的代表。

ICRT 把一条轨迹写成（图像, 本体, 动作）三元组序列，若干条同任务轨迹拼成一个长序列，随机抽前 k 段当 prompt，剩下的交给一条 causal Transformer 自回归预测。架构本身不稀奇，真正反常的设计在损失函数里：模型只在 prompt 之后的位置计算动作的 L1 loss，prompt 那部分不算。为什么？作者发现，如果把 prompt 也算进损失，模型会退化成"看到当前画面就猜动作"，干脆不再读演示，ICL 行为整个消失。损失一挪，模型就被逼着把演示当真 ICRT。

图注：ICRT 方法总览。左半：预训练视觉 Transformer 编码相机观测、MLP 编码本体，attention pooling 抽出当前状态表征 $f_s$，当前动作编码为 $f_a$。右半：多条同任务轨迹拼接，随机取前 k 条作 prompt，causal Transformer 自回归预测后继 token，解码器在状态位置输出 h=16 步动作 ICRT。

演示会被无视，这是机器人 ICL 最狡猾的敌人，术语叫 shortcut（捷径）：模型发现不看演示也能蒙对，就懒得看了。ICRT 作者为对付它，手工造了一个多任务数据集 ICRT-MT，1098 条轨迹、29 个任务、6 类基本动作，刻意让同一初始画面至少对应两个可能的任务。这就像同一道题干配上两种不同的附加说明，不读说明就只能瞎蒙；训练分布里塞满这种歧义，模型才被迫学会真读演示。作者报告，在 Franka Emika 真机上这套系统能以 39.6 Hz 实时闭环跑起来。骨干是一条随机初始化的 12 层 Llama2-Base（隐藏维 768），不是动辄 70 亿参数的 Llama2-7B。作者自己也在实验里留下一个开放问题：当干扰物与目标同色但形状不同时，模型仍会抓错，说明视觉编码器还没为下游任务完全专用化。

同一家族还有别的形态。VIMA 把"多模态 prompt"做到最完整：任务规范是文本 token 与图像/视频 token 交错的序列，图像先用 Mask R-CNN 切成物体级 token 再交给冻结的 T5 编码，控制器是自注意力与交叉注意力交替的 decoder。在自家 VIMA-Bench 的最难设定 L4 上，同等数据下它比最强 baseline 高 2.9 倍，数据只剩十分之一时仍然高 2.7 倍。注意 VIMA 全程在 Ravens 模拟器里，没上过真机 VIMA。而这条线最早能追到 offline RL：2022 年的 Prompt-DT 把"prompt = 一小段（状态, 动作, 目标回报）轨迹前缀"形式化，用 Decision Transformer 做最小改动就实现了 few-shot 迁移 Prompt-DT。token 的形态还在继续演化：KAT 把视觉观测和动作都编码成关键点字符串，丢给现成的 GPT-4 Turbo 做序列到序列模仿，低数据 regime 下能与 Diffusion Policy 打平甚至更好，但演示加到 40 条左右优势就开始被反超 KAT；Instant Policy 则把演示、点云、动作统一建成一张异构图，只对动作节点做扩散，用模拟器生成的伪演示当训练数据 Instant Policy。

第二族换了一个完全不同的思路：演示不用"读懂"，只要"对齐"即可。2017 年 Duan 等人的 One-Shot Imitation Learning（NeurIPS）给这套思路立了碑。七自由度 Fetch 机械臂，训练时对每个任务采样两条成功演示，一条当上下文、一条当监督目标，把元学习变成监督回归。架构分三个模块：Demonstration Network 用时间 dropout 和时间卷积把演示压成稠密表征；Context Network 跑两路 soft attention，一路对准演示的时间步，一路对准当前场景里的物体块，把演示"搬到"新场景；Manipulation Network 是个简单 MLP，吃上下文表征和当前状态直接输出动作。用这套机制，140 个训练任务上学到的策略，能迁移到 43 个从未见过的积木堆叠任务上 One-Shot Imitation。

这族的代价和它的优点一样明显：迁移建立在几何可比性上。演示里的视角、物体形状、摆放关系跟现场差得越远，对应就越失效。后来用关键点、用图结构，都只是降低这种敏感性，没有消除。

于是自然的追问浮上来：与其拿演示硬对几何，不如换一条更绕的路。先在脑子里把任务演一遍，再照着动手，行不行？

绕过几何敏感：先在"想象"里演一遍再动手，或把动作交给技能调度

第三族 world-model-based control 回答的就是这个问题。奠基作是 2023 年的 UniPi：把决策拆成两个独立问题。先用一个"通用视频规划器"算出未来帧，再让一个独立的逆动力学模型从视频里抽出动作序列。文本指令加初始帧进视频生成模型，出来的是一段预测的未来录像；这段录像再交给小模型翻译成动作 UniPi。

图注：UniPi 概述图。左：文本指令与初始帧送入视频生成，产出预测的未来帧序列，逆动力学再把它变成动作序列。右：多种语言条件轨迹的示意蒙太奇，覆盖仿真、真机与互联网来源 UniPi。

这个流程说起来轻松，具体落地处处是坑，值得讲透两个。第一个是环境一致性：生成未来帧时如果只固定第一帧，后面很快就飘走。UniPi 的做法叫 first-frame tiling，逐去噪步把手头观测到的帧沿时间轴拼到每个中间帧上，给生成过程一根"眼下的环境长这样"的锚。第二个是长程规划：直接生成整段长视频不现实，于是先稀疏采样出粗视频，再用分层时间超分辨率加密成细计划。这套设计换来一个明显的增益：视频扩散模型用互联网级数据（Imagen Video 与 LAION-400M）预训练后，真机成功率从零训练的 72.6% 提到 77.1% UniPi。论文还特别说明，不做预训练时模型常常完不成任务，且这个问题未必反映在生成质量分数里，说明控制任务需要专门的度量。

类比一句：这就像先在脑海里把整段录像过一遍，再照着动手。脑海里的录像就是生成的未来帧，照着动手就是逆动力学，剧本则是文本指令或演示。

2026 年，这一族走到了把 prompt 本身换成人类视频的阶段。Zero-WAM 是一个因果视频-动作模型，同时接受语言指令和人类演示视频两种任务规格，自回归预测未来的机器人视频与可执行动作。它用一条自动流水线 HumanGen 把机器人轨迹转成语义匹配的人类视频，造出 74.2K 个人机 ICL 对、覆盖 8.6K 个任务。它最值得注意的是一个叫 IFP 的训练目标：标准的下一个视频块预测经常可以只靠机器人自己的历史蒙出来，IFP 改成同时监督多个错位的未来块，逼模型必须从视频 prompt 里取任务信息，把 shortcut 堵死。在 RoboTwin 2.0 的七个未见任务上，Zero-WAM 平均成功率 47.0%，比论文列出的最强视频-动作基线 LingBot-VA 的 17.5% 高出 29.5 个百分点。但要守住边界：它部署期参数固定，仍然属于 S3/S4 范畴，不是 S5 已实现 Zero-WAM。

第四族再换一种押法：演示不直接驱动动作，而是决定"调用谁"。技能与智能体执行把演示当成选择信号，由技能库或高层智能体编排，动作交给底层执行器。这一族内部还能再分：有的让演示驱动高层选择，比如让 LLM 智能体决定下一步调用哪个技能；有的让演示直接触发底层动作，把现成的 VLA 当执行器来用。回到 OpenVLA，它就是这个坐标上的当代基线：演示或指令触发 VLA 推理，但任务要烧进权重。正是这个区别让第 1 章的分界有了现实意义。ICL 的意义在于，固定参数加上下文来决定调用谁，而不是把任务烧进权重。

四条接口都走过一遍了。家族 3 把宝押在视频生成够不够好，家族 4 押在技能库覆盖够不够全，各有所得、各有新债。现在把四族放回同一个平面：究竟是什么机制，让同一份演示变得有用？

四种接口共同的底座：训练、对应、记忆如何让上下文有用，又怎么度量"教得会、转得动、记得住"

综述提出，所有家族都依赖三个机制，变的只是中间表征的位置。

训练指模型在训练阶段学出了什么关系，才能在部署时从演示里读出任务。对应指演示里的物体、接触、阶段与新场景能否正确对齐。记忆指之前的经验能否被留存复用。拿三机制当横轴、四家族当纵轴，可以画一张不重复的表 ICL-for-Robots：

家族训练把什么学出来对应落在哪记忆靠什么
context-conditioned policies演示 token 与动作的语义关系prompt 内部的序列位置长上下文窗口
geometric demonstration transfer演示与场景的点对应软注意力、关键点、图边演示本身，一次用完
world-model-based control"演示 + 动作 → 未来帧"的合成帧与环境的锚定（first-frame tiling）互联网级预训练先验
skill- and agent-based execution技能检索与编排指令与技能的匹配外部技能库

这张表最重要的教学点，是把两件事分开：中间表征放在哪，是家族分界的轴；对应怎么学，是另一条独立的机制。软注意力、DINO 关键点、图边、稠密特征匹配，这些是"对应"的实现方式，跟家族无关。混淆这两件事，是读 ICL 论文最常见的错误。

有了机制坐标，还得有度量标准。综述给评估立了三个控制问题，正好对应三种贡献。教得会（responsiveness to teaching）：改变任务定义的干预，比如改演示里的零件数量，行为是否按预期改变；保义干预，比如换演示者，任务要求是否如实保留。转得动（physical transfer）：物体、环境、本体变化之下，任务要求能否保住，而且任务解释与物理完成要分开报告。记得住（retained-experience benefits）：清掉循环状态、清掉检索之后，经验带来的提升还在不在。

"教得会"怎么被度量，VIMA-Bench 的四级协议是个干净的样例。L1 只换物体位置，L2 换训练见过物体的新组合，L3 出现训练未见的物体和纹理，L4 直接给训练从未见过的新任务模板。每上升一级，偏离训练分布就更多，L4 才是真正考验"从演示学新任务"的关卡。注意这是 VIMA-Bench 自家的协议，不是机器人 ICL 的通用标准，但它把"逐级收紧"的测量思路演示得很清楚 VIMA。要让"教得会"经得起推敲，干预设计是关键：换物体看要求保不保，换演示者看要求动不动，同画面配多任务看模型是不是真读了教学。综述给了两个典型例子，UniSkill 用解码出来的未来帧做测试，LIBERO-PRO 直接替换物体检验要求是否保住。

"记得住"这一轴最难做对，因为成功率会说谎。综述点破了一个隐蔽陷阱：同场景只有一种合理行为时，高成功率可能根本没用到教学。对策正是 ICRT-MT 那种设计，同一初始画面配多个任务，逼模型回答"你到底读了哪条演示"。评估的结论是：这不是榜单排名，而是把上下文带来的好处按机制拆开度量。读到任何一篇 robot-ICL 工作，先问它把三轴各证明了哪一条。

带着这把尺子，走到地图的尽头。

"越用越会学"的承诺何以还不是现实：S5/S6 议程，与你带走的一张判断尺

综述把最诱人的两个愿景放在了地平线上，然后明确宣布：它们还不是现实。

S5 叫物理递归自我改进，要求经验不仅改善后续行为，而且改善后续的学习过程本身，并且要可度量。机器人在经历任务后，下一次学新任务更快、更稳。作者给出的是候选基石：自动练习、奖励与实验设计、经验留存这类子技术，它们都还只是拼图碎片 ICL-for-Robots。S6 叫跨本体知识交换，要求一次执行里包含别的机器人也能用的知识，哪怕原始运动无法照搬：共享进度表征、池化策略学习、形态感知迁移被列为互补方向。

作者对这一点措辞很警惕，明确警告不要把当前预印本，比如 GEN-1.5、S1、Zero-WAM，重述为已经达成 S5/S6。Zero-WAM 是对议程里世界模型分支的尝试，方向对；GEN-1.5、S1 则是参数固定、以 sensorimotor 或视频 prompt 教学的条件化系统，同样停在 S3/S4 的能力层——但还没有任何一个系统真正交付"越用越会学"。Zero-WAM 是最接近这条线的同期工作之一，但它参数固定、靠 prompt，停在 S3/S4。

这张地图本身也有边界。100 页是方法学地图，不是解法库。组合式任务习得、忠实迁移、跨本体验证，作者承认仍是缺口；操纵一侧的评估方法比导航一侧成熟，导航已有的上下文移除、跨 episode 注意力、失败后反思等控制手段，在本综述里是方向性的覆盖。你得知道它没画到的部分在哪。

所以这篇综述最终递给读者的是一把判断尺，不是一套答案。拿到任何一篇新的机器人 ICL 工作，依次问四步。第一步，它属于哪个家族，中间表征放在哪，token 序列、空间对应、未来帧还是技能选择。第二步，它押什么迁移假设，语义关系、几何可比、生成质量还是技能覆盖。第三步，它的评估把教得会、转得动、记得住拆开度量了吗，还是只报了一个成功率。第四步，它有没有把研究议程说成已交付能力，遇到"越用越会学"，先问改进的是后续行为还是后续学习过程本身。

四步问完，一篇论文的坐标系就清楚了。这正是这份百页综述想教给你的东西：机器人 ICL 省下了重训练，代价是任务成败押在演示上；而演示交给谁读、凭什么读得懂、怎么证明读懂了，是每一篇论文都必须回答的三个问题。

想深入可以读原文：In-Context Learning for Robots: Methods and Applications — arXiv:2609.36012

参考文献

机器人 ICL 综述：省下重训练，也把任务成败押在演示上