LIT：先关掉图像练机器人，换个机位也不崩

为什么换个机位，机器人就从九成五掉到三成？

这篇论文要解释并缓解的，是一个横跨多种架构与训练范式的换机位掉点。它的样子很具体：一台机械臂在演示环境里能稳稳完成抓取摆放，成功率九成五。评测者只做了一件事，把相机挪了一个位置，再重新摆一下机械臂的起始姿态。同样的任务，成功率掉到三成以下。最惨的一个模型，从 95.2% 直接跌到 4.3%。这么大的掉点不是个别模型的怪癖，而是这批模型的通病。

这个掉点有多系统？LIBERO-Plus 给出了迄今最完整的回答。这个基准把换机位、换光照、换桌面纹理、加传感器噪声、改物体布局等 7 类扰动拆成 21 个细分组件，构造了 10,030 个评测任务，测了 10 个主流模型，覆盖自回归和扩散两大类架构，以及 co-training、世界模型、强化学习等不同训练范式。结论整齐得像复制粘贴：所有模型都在视觉相关的扰动上大面积掉点，相机视角和机械臂初始状态这两类最致命，从约 95% 的水平跌到 30% 以下 LIBERO-Plus。

这个掉点为什么能跨架构？被测的这批模型有个共同身份：机器人基础模型。主流的一类是 VLA（视觉-语言-动作模型），吃进相机画面和一句人类指令，直接输出机械臂动作。它们的构造方式也高度一致，先拿一个在互联网图文上学出来的大模型当「眼睛」，再在后面接一个动作专家负责生成动作。这类模型正被押注为「机器人走进真实世界」的关键，而真实世界最不缺的，就是换个机位、换个光照。它们也正是在这类场景上集体露馅：训练环境里分布内（ID）评测的平均成功率在 87.75% 到 98.10% 之间，一到分布外（OOD），四种主流架构的成绩齐刷刷往下掉 LIT 论文。

掉得这么整齐，见 LIT 论文开篇那张总览图的中联。

图注：LIT 论文的开篇总览。左联是常规训练流程，视觉表征直接喂给动作专家。中联是四种架构在分布内与分布外成功率上的对比。右联预告了论文的两阶段方法。中联的对比柱分布外一侧齐刷刷矮下去，一眼就能看出掉点是系统性的。来源：LIT 论文。

看见这排矮柱子，真正该问的不是「换个机位为什么这么难」，而是：四种架构在训练里到底学到了什么共同的东西，让它们全都这么依赖机位？

这里要先立一个区分。把掉点归咎于「泛化难」，是把现象当成机器学习的宿命；值得做的，是把掉点当作一道可以定位到训练机制的题来解。十种模型、四种架构掉得同样整齐，这提出一个待检验的共同病因：视觉信息的喂入方式。下文会用方法设计、扰动结果和消融实验三组证据，检验这个病因能支持到什么程度。顺着这条线索往下挖，下一章会看到这个「怎么喂」出了什么问题。

模型偷学的捷径：把「同时出现」当成「因为」

2019 年，一篇研究模仿学习的论文做了一个反直觉的实验 de Haan 2019。两个自动驾驶模型用同一批驾驶演示训练。Model A 看到完整的驾驶舱画面，包括仪表盘。Model B 的画面里仪表盘被遮住，只能看挡风玻璃外的路况。按常理，A 信息更多，应该学得更好。结果上路时 B 开得比 A 好得多。

原因出在一条「恰好同时出现」上。专家演示里踩刹车时，仪表盘上的刹车灯几乎总是同时亮起。A 学到的规则是「看到刹车灯亮就踩刹车」，可刹车灯是踩刹车的结果，不是原因。灯亮不等于该刹车。B 看不到灯，只能看路，反而学到了真正的原因：前方有行人。

专家演示里，与动作同时出现、实则与任务无关的线索被模型当成了决策依据，出训练分布就崩，这是捷径学习（shortcut learning）的典型形态，在模仿学习里叫因果混淆（causal confusion）Geirhos 2020。

图注：de Haan 2019 论文里的因果误识别示意图。左幅 Model A 能看见完整仪表盘，刹车指示灯亮着，它据此决定踩刹车。右幅 Model B 的仪表盘被遮罩，只能看到前方行人，因而把「行人在前」作为踩刹车的依据。这是自动驾驶的类比实验，不是 LIT 自己的实验。来源：de Haan 2019。

把同一副眼镜戴到机器人头上。机器人模型的演示数据里，也有成千上万条「恰好同时出现」：相机机位、光照方向、桌面纹理，这些与任务无关的视觉线索，在采集数据时总是和动作一起出现。模型便把「看到这个视角」当成了「要这么做」的证据。LIT 论文给这种病起名叫视觉-动作捷径（vision-action shortcut），并明确说它和 shortcut learning、causal confusion 一脉相承 LIT 论文。大白话定义是：训练数据里与任务无关的视觉线索，因为恰好和动作同时出现，被模型当成决策依据。测试时这些线索一变，决策就崩。

LIBERO-Plus 还发现了一个特别能说明问题的现象：往场景里加干扰物，模型几乎不掉点，把目标物体挪个位置，成功率立刻大幅下降 LIBERO-Plus。这些行为结果与「模型更依赖位置、较少利用物体语义」一致；它们不能单独揭示内部表征。更稳妥的读法，是把它们当作视觉-动作捷径的诊断线索，而不是机制上的定论。

LIBERO-Plus 还有一个更讽刺的发现：把语言指令换掉，甚至换成空指令，模型几乎不掉点 LIBERO-Plus。它同样与「模型更依赖画面里的统计线索、较少利用语言指令」一致，是同一组诊断线索的另一块拼图。单独看，这条行为证据也无法证明模型内部完全没有在读指令。把两则现象合起来看，轮廓才清楚：模型在多项扰动面前都表现得像在依赖「谁和谁同时出现」的统计共现，而不是任务语义本身。捷径的诊断特征，就藏在这组行为里。

既然病根在「模型怎么用视觉信息」，最顺手的治法自然是让它多看：把各种机位、各种光照的数据灌进去，把捷径稀释掉。但 LIT 选了另一条反直觉的路：先彻底不看图，把动作本身学会，再决定怎么把视觉放回来。下一步看第一步。

第一步，先不看图：先学会「朝目标走」

先交代动作专家是什么。现代机器人基础模型的动作专家，普遍长这样：输入当前观测，一次预测出未来一小段动作，这段动作叫动作块（action chunk）。预测方式继承自 Diffusion Policy 那一路生成模型：从一个随机噪声序列出发，一步步「去噪」，把它变成一条合理的动作轨迹 Diffusion Policy。LIT 用的是 flow matching 训练目标，直觉只有一句：学习一个把噪声「推向」数据的速度场，让从任意噪声出发都能走向目标动作。

LIT 的第一步，把这个动作专家单独拎出来，不带图像训练。Stage 1 里，作为「眼睛」的 VLM backbone 被冻结，动作专家从零开始学，条件只剩三样：语言指令、机器人状态，加一个关键的东西：每个动作块结束时，机械臂该停在哪个位置、怎么转、夹爪张开多大。这个「结束时该到达的位姿」叫终点位姿（terminal pose），记作 $g_t$，由三维位置、三维姿态、二维夹爪状态三部分拼成。训练要求模型不看画面也能说出「这段动作结束时我的手该在哪、怎么转、夹爪多开」 LIT 论文。

拿「把蛋从平底锅转移到碗里」这类任务打个比方：每个示范动作块结束时，机械臂末端都停在一个明确的位置、姿态和夹爪开度上，这个落点就是 $g_t$。Stage 1 要学的正是：只要告诉我动作块的落点，我就能生成走过去的一整段动作，不需要看画面。

图注：LIT 两阶段方法总览，左右并排。左半是 Stage 1：SE(3) 终点位姿经过编码器变成 goal tokens，与冻结 backbone 的语言、状态表征一起送入动作专家，整条分支里没有图像输入。右半是 Stage 2：可学习 latent tokens 交叉注意力到视觉与语义表征，末端接位姿重建解码器。来源：LIT 论文。

这一阶段用 flow matching 的速度场回归做训练目标。10,000 步之后，动作损失降到 0.029，等于说：不看一张图，动作先验真的训练出来了。读者此刻可能会问：动作专家学会了朝目标位姿走，可它根本不知道目标在哪。答案在第二步。但正因为这一步把「几何目标」从视觉里彻底剥离开，动作生成本身不再依赖任何视觉线索，这是后面能挡住捷径的前提。

类似的「无图预训练」别人也做过。LA4VLA 用语言加状态训练动作先验，但它没有给每个动作块一个明确的几何终点，只在语言上对齐 LA4VLA。LIT 的关键不在「无图」本身，而在无图时锚住了什么：一个具体的空间终点。这个终点位姿将贯穿两个阶段，既是 Stage 1 的条件，也是 Stage 2 的监督目标。

第二步，把视觉关进一道必须自证的关卡

学会朝目标走之后，任务总得有人告诉它目标在哪，图像还是得用。LIT 的第二步是把视觉接回来，但不是接回原来的位置，而是接进一道新造的关卡：潜空间接口（latent interface）。

接口由 100 个可学习的 latent token 组成（K=100）。token 是模型内部的一组可训练向量，它们在每个耦合层做三件事：先自己互相交换信息，再分别对语义表征和视觉表征做交叉注意力（cross-attention），把「画面里有什么、任务在说什么」聚合进来，聚合结果通过每层 KV 注入动作专家。动作专家能看到的视觉信息，全部来自这一条通道。接口是它唯一的视觉通路。

关卡的关键在出口。token 序列的末端接了一个小解码器，被要求重建 Stage 1 用过的那同一个终点位姿 $g_t$，重建得不准就罚，损失权重 $\lambda_{\text{pose}} = 0.3$。这等于给视觉信息立了一道闸机：你想进动作专家，先证明你携带的信息能预测「动作结束时该到哪个位姿」。训练 20,000 步后，位姿重建损失降到 0.003，说明视觉信息确实把目标相关的空间信息保留了下来。第二阶段只用了 20K 步视觉训练，动作损失就低于基线在同样预算下的最终值 LIT 论文。

用一个安检的类比把机制摊开：视觉信息是旅客，动作专家是贵宾室，接口是唯一的安检入口。旅客必须出示证件，证明自己知道目的地和去向，才能被放行。证件就是「能重建终点位姿」这项能力。常规训练相当于贵宾室开了后门，任何像素都能溜进去，机位、光照这些与任务无关的像素也就混了进来。LIT 把后门封死，只留这一道安检口。

这里最反直觉的一点要点破：这不是拒绝视觉。机器人不可能不看图干活。它做的是把视觉从「任何地方都能进」，收窄成「只能从一条被几何监督约束过的通道进」。

这套约束是怎么落到梯度上的？干扰物、光照这类变化对「终点位姿在哪」几乎没有信息量，位姿重建那一路损失不会奖励它们；反过来，目标物体的位置一变，终点位姿就必须跟着变，这类信息被接口牢牢留住。另一个天然的帮手是容量：100 个 token 远小于整幅画面的视觉 token 数，等于把视觉信息压进一条窄管道。位姿监督和容量瓶颈会把优化压力集中到目标相关空间信息上，但不保证无关统计完全消失；它是否真的减少了这种依赖，要由后文的扰动结果与绕过接口的消融来支持。

推理时，Stage 1 的位姿编码器和 Stage 2 的位姿解码器整个撤掉，策略只需输入画面、指令和状态，接口不增加任何部署负担。至于「放开一条直接视觉通路绕过接口」会发生什么，消融给出了一个数字：掉 4.18 个百分点，最后一章展开。

图注：项目页重画的 LIT 框架图，竖虚线左右分两阶段。左侧 Stage 1 中预训练 VLM 标 ❄ 冻结，SE(3) 编码器与动作专家标 🔥 可训练。右侧 Stage 2 全参数微调，新增的可学习 latent token 先做 query self-attention，再进入对视觉与语义表征的交叉注意力聚合，末端 SE(3) 解码器重建终点位姿，聚合各层 KV 逐层送入由 Stage 1 初始化的动作专家。来源：LIT 项目页。

不是只对某一家有效：同一个接口插进四种架构

一套机制如果只配自家架构，说服力就有限。LIT 的验证方式是把同一个接口，插进四种「视觉怎么进动作专家」天差地别的架构。

π0.5 用 joint self-attention 混合 transformer，动作 token 与文本、图像 token 在同一个 transformer 里，但由一组独立权重的动作专家处理 π0.5。MolmoAct2 完全不同，动作专家是独立的 DiT 网络，它每一层的交叉注意力的键和值不来自自己，而来自 VLM 同一层输出的 KV 缓存，逐层对齐，这是它的招牌 per-layer KV conditioning MolmoAct2。两个世界动作模型（WAM）更特别：FAST-WAM 训练期让模型生成未来视频，推理时把视频整个省掉 FAST-WAM。ImageWAM 干脆连未来帧都不生成，推理期保留图像编辑模型的 KV 缓存当上下文 ImageWAM。

LIT 统一只做一件事：把那条「视觉进入动作专家」的路整体换成 latent interface，动作专家的内部结构和训练目标一个不动，具体插法随各架构的原生机制走。结果用一张表说话 LIT 论文。

分布内四种架构平均保持或提升，没有「拿分布外换分布内」的代价。分布外整体提升 3.87 到 10.70 个百分点，28 个「架构×扰动」组合里 LIT 赢了 26 个。

读这组数字有一个前提要记住：论文没有从社区发布的预训练 checkpoint 继续微调，四个基座都是从同一个 backbone 加随机初始化的动作专家起步，用相同数据配对训练。这里的数字用于「同一个基座加不加 LIT」的对照，不能直接和那些从 checkpoint 微调出来的榜单成绩横向比较。

最有信息量的不是平均，而是增益落在哪。最大的单点增益全在视觉统计类扰动上：FAST-WAM 换相机视角 +27.43 个百分点，π0.5 换相机视角 +22.01，MolmoAct2 加传感器噪声 +21.74。第二章的诊断说捷径最容易在视觉维度咬人，这里 LIT 的增益正好长在被咬得最狠的地方。反过来，语言指令扰动出现了仅有的两格倒退：MolmoAct2 −2.11，ImageWAM −0.92。代价不大，但该如实写。

还有一个细节从侧面印证了机制：ImageWAM 的基线是四家里最高的（83.02），它本身就已经把视觉通道收窄成编辑 KV 了，留给接口的增量空间最小（+3.87）。视觉通道越窄，捷径越难形成，LIT 的收益越小。这与「捷径在客观上被收窄」的诊断完全自洽。

真机、代价与边界：LIT 治好了什么，又留下什么

仿真评测之后是更硬的证据：真机。三个任务（收积木进盒子、用簸箕清理桌面垃圾、把蛋从平底锅转移到碗里），每个任务 100 条演示，一个多任务策略同时学三个任务 LIT 论文。四个条件聚合的成功率如下。

最有画面感的单任务是 Transfer egg：分布内从 52% 到 92%，换光照从 30% 到 90%，加干扰物从 20% 到 90%，几乎是从「碰运气」到「基本稳了」 LIT 项目页。但本地图景必须如实呈现：同样在 Transfer egg 上，换相机一格 LIT 反而从 40% 掉到 20%。Wipe trash 在加干扰物一格从 60% 掉到 30%。聚合数字好看，不代表每个格子都赢。

机制层面的证据，收在一张反事实轨迹图里。

图注：反事实干预网格。上排是基线，下排是 LIT；三列分别做了加干扰物、模糊图像、换指令三种干预。灰色箭头是干预前的轨迹，指向白星原目标；蓝色箭头是干预后的轨迹；粉星是新指令的目标。这张图只展示轨迹走向，不展示成功率。来源：LIT 项目页。

看轨迹怎么变：加干扰物和模糊这两格，基线的轨迹偏离了原路线，LIT 基本不动。换指令那一格，基线还惯性走向原目标，LIT 主动拐向新目标。论文还配了一组注意力可视化：分布偏移下，基线模型的注意力在画面里漂移，LIT 的注意力始终钉在机械臂与目标物体的区域 LIT 论文。这些轨迹与注意力现象与 LIT 更稳定地利用目标相关空间线索一致，为其机制假说提供支持，但不能单独证明内部表征已排除场景线索。

消融把每个组件的贡献量化，全部在 MolmoAct2 上做，LIT 整体成功率 71.92%。去掉 Stage 1，掉 3.69；去掉位姿监督，掉 3.06，其中传感器噪声一格掉得最狠，损失 10.75 个百分点。放开一条直接视觉通路绕过接口，掉 4.18。更关键的对照行是：只有「两阶段加无图」而没有位姿锚点的 LA4VLA 式训练，只比基线多 1.84；只在基线上加位姿监督，只多 1.83；只保留 latent token 聚合，只多 2.08。三个组件分开用都只补回一点，组合起来才有 8 个百分点的收益。这是「组合才是方法」的直接证据 LIT 论文。

代价与边界同样具体。终点位姿监督假设任务有一个明确的离散目标位姿，这天然偏向抓取、放置类操作。自由空间连续运动、可变形物体整形这类没有「唯一终点」的任务，论文没有覆盖。真机验证只有 3 个任务、1 个平台。$\lambda_{\text{pose}} = 0.3$ 和 K=100 是经验取值，没有做超参扫描。项目页上 checkpoint 与 dataset 仍标注「Coming soon」，尚未发布，论文自己也将更大规模、更多样化的真机数据和任务列为未来工作。

最后是一个判断。LIT 的价值不在那十几个百分点的提升，而在把「泛化」从一个数据问题重新定义成一个信息使用问题。同样是治捷径，堆数据、堆增强是「数据级扩展」，让模型在各种场景里见够共现组合，把捷径稀释。LIT 是「接口级约束」，不管数据怎么来，训练时都明确要求视觉信息先证明自己携带目标相关的空间信息，才允许影响动作。这提供了一条可能跨架构迁移的接口级思路；其能否推广到无明确终点或更大规模真机任务，仍受前文边界限制。

想记住 LIT，只要记住这一句：先让它不看图也能朝目标走，再让图像证明自己配得上进来。

想深入可以读原文：Breaking the Vision-Action Shortcut: Latent Interface Training for Generalizable Robotics Foundation Models，链接 arXiv:2609.12641

参考文献

1. Breaking the Vision-Action Shortcut: Latent Interface Training for Generalizable Robotics Foundation Models（LIT 锚论文）：https://arxiv.org/abs/2609.12641
2. Latent Interface Training (LIT) 官方项目页（magiclab-nus.github.io/LIT）：https://magiclab-nus.github.io/LIT
3. π0.5: a Vision-Language-Action Model with Open-World Generalization：https://arxiv.org/abs/2504.16054
4. MolmoAct2: Action Reasoning Models for Real-world Deployment：https://arxiv.org/abs/2605.02881
5. Fast-WAM: Do World Action Models Need Test-time Future Imagination?：https://arxiv.org/abs/2603.16666
6. ImageWAM: Do World Action Models Really Need Video Generation, or Just Image Editing?：https://arxiv.org/abs/2606.19531
7. LIBERO-Plus: In-depth Robustness Analysis of Vision-Language-Action Models：https://arxiv.org/abs/2510.13626
8. LA4VLA: Learning to Act without Seeing via Language-Action Pretraining：https://arxiv.org/abs/2606.27295
9. Causal Confusion in Imitation Learning（de Haan 等，NeurIPS 2019）：https://arxiv.org/abs/1905.11979
10. Shortcut Learning in Deep Neural Networks（Geirhos 等，Nature Machine Intelligence 2020）：https://arxiv.org/abs/2004.07780
11. Diffusion Policy: Visuomotor Policy Learning via Action Diffusion：https://arxiv.org/abs/2303.04137
12. Flow Matching for Generative Modeling（Lipman 等，ICLR 2023）：https://arxiv.org/abs/2210.02747