PDRVLA：机器人 VLA 部署时删掉世界模型，四个仿真基准还是同表第一

速览

PDRVLA 在 LIBERO、LIBERO-Plus、RoboTwin 2.0、SimplerEnv 四个仿真基准的同一张对比表里都排第一，成绩是 99.3、89.9、93.6、81.5。比分数更值得看的是它的取舍：模型从视觉-语言-动作模型（VLA）主干的第 8 层抽出 50 个固定数量的"物理 token"，只在训练阶段让一个冻结的视频世界模型当老师，部署时把世界模型和预测头一起删掉，控制回路里只剩下主干、50 个 token 和一个动作专家。PDRVLA

这篇论文想补的是 VLA 中间缺的一段表征。现有做法把图像和语言指令送进同一个多模态模型，直接解码成机器人动作。这类模型能听懂"把积木放进碗里"，却没有一处中间表示专门描述"积木接下来会怎么动、会不会被挡住"。视频世界模型可以补这一层，但让它进控制回路意味着每一步都要先生成未来画面，延迟会直接压到动作生成上。PDRVLA 的判断是，这一层可以只在训练时存在，部署时以一组 token 的形式留下来。 RT-2

它要补的是一段"世界接下来会怎么变"的中间表征

在 PDRVLA 看来，VLA 缺的是感知特征与动作之间那段专门描述场景如何演化的表征。要看清它插在哪，先看标准 VLA 怎么把图像变成动作。2023 年的 RT-2 把机器人动作写成一串和自然语言同格式的文本 token，让一个本来只输出文字的视觉语言模型直接吐动作，再把这串数字还原成平移与旋转量。这套构造的关键不是造了新词表，而是让动作占用了模型已有的 token 位置，因此动作和语言共享同一套权重。

图注：三栏结构。左栏是互联网视觉问答样例与一条机器人演示数据，答案是空格分隔的数字；中栏把相机图像送入 ViT 与语言模型，输出串经 De-Tokenize 变为平移与旋转增量，底部标着 Co-Fine-Tune 与 Deploy；右栏是真机执行照片。图中没有成功率数字。RT-2

后续的工程配方把这条路做得更快。OpenVLA-OFT 用并行解码把逐 token 的串行生成压成一次前向，用动作分块一次输出 8 步动作，并把动作头换成连续值回归。PDRVLA 的动作专家沿用了动作分块与连续动作这两点，后文出现的"8 步动作块"就落在这个语境里。OpenVLA-OFT

但这条主线有一个结构性缺口。图像与指令经过主干变成一串特征，这串特征同时承担看懂画面和决定动作两件事，中间没有一处专门表示场景会怎么演化。PDRVLA 引言的批评正是这一点：把感知特征直接压成动作，等于跳过了"世界接下来会怎么变"这一步。

补这一步最直接的做法，是让视频世界模型进控制回路。PDRVLA 明确拒绝这条路线，理由是每次动作生成前都先跑一遍视频预测，延迟会叠加到控制频率上。它选择让世界模型只出现在训练期，部署时以一组 token 的形式保留它塑形过的表征。这个取舍贯穿全文，也是理解后面所有设计的前提。

图注：左半 (a) 是主链路，多视角图像与指令进入 VLM，中间层特征经 Physical Dynamics Module 得到 physical tokens，再与 final features、robot state 一起进入 Action expert；橙色框标出两类仅在训练期使用的监督。右半 (b) 是四基准柱状汇总，只画了 6 个方法，完整基线在 Table 5，柱高只能在同一基准内读。(b) 是基线汇总，不是物理 token 有效的证明。PDRVLA

这张图给出的就是全篇要拆的对象：物理 token 与末层特征并列进入动作专家，而两类监督都只挂在训练期。

所谓"物理"只是 50 个向量，既不建物理引擎，也不预测接触力

它叫物理动力学模块，做的却不是物理仿真。这个模块不建物理引擎，不预测质量、摩擦或接触力，它做的事是从主干中间层抽出一组固定长度的向量，让这些向量在训练中被要求编码未来的画面、深度与光流特征。"物理"指的是这些特征里隐含的运动、遮挡与变化规律。

具体机制在图上。主干是 Qwen3.5-4B，32 个 decoder block。第 8 层的特征进入 Physical Dynamics Module，模块用 50 个可学习 query，经 4 个 Transformer block 反复从这层共享特征里取信息，最后投影成 50 个宽 2560 的物理 token。整个模块约 57.3 M 参数，占 4B 主干的 1.4%。

图注：图 (a) 中，中间层特征从 Layers 1–8 一侧引出，经 Physical Dynamics Module 输出 50 个 Physical tokens，与 Final-layer features 拼成 X_t 进入 DiT 动作专家，右侧标出 4 步 Euler 与 8 个动作。图 (b) 中可学习 query 在每个 block 先做 cross-attention，再 self-attention 与 FFN，重复 4 次后投影。图中的 Layers 1–8 是示意分块，不等于正文 l=8 的定义。PDRVLA

拼接方式是这套设计里最容易被忽略的一处。末层特征与 50 个物理 token 沿 token 维拼成 X_t，再一起送进动作专家。这里既不是相加，也不是用物理 token 替换末层特征。这个选择意味着动作专家同时看到两路信息，一路是被语言预训练打磨过的语义摘要，一路是专门为预测未来而塑形的 50 个向量。

为什么取第 8 层而不是末层，论文用附录 B 的冻结表征探针给了间接证据。探针冻结主干与物理模块，用线性读出预测未来的 RGB、深度与光流 latent，比较不同层的特征能读出多少未来信息：第 8 层 0.3617，第 16 层 0.3413，第 24 层 0.3314，末层只有 0.2432。这个梯度支持作者的判断，末层特征被语言目标压得更像任务摘要，中间层还留着更多空间与运动细节。打个比方，末层像一份已经被任务目标压缩过的摘要，中间层还留着原始记录，要取运动细节就得回去取。同时要记住两个限定：这是单种子实验，探针测的是未来特征的可读出性，不是动作成功率。所以"放在中间层"是一个有证据的设计主张，还不是被因果实验确认的结论。

讲解：物理 token 为什么从第 8 层取

同一时期还有两条路线在解同一个问题，分歧点在注入位置。InternVLA-A1.5 把 50 个前瞻 token 放进动作分支内部、流匹配动作头之前；WAVE-0 把预测出的未来 token 前置到动作专家的带噪动作 token 前面；PDRVLA 则是从主干中间层抽出来，再和末层特征并列拼接。三家都用固定数量的 token 承载未来（PDRVLA 与 InternVLA-A1.5 是可学习 query/token，WAVE-0 则是用轻量 resampler 把世界模型预测出的未来表征压成 12 个条件 token），都不在部署时生成视频，真正不同的是这组 token 从哪来、接到哪一层。InternVLA-A1.5 WAVE-0

世界模型只在预训练阶段当老师，部署时连预测头一起删掉

"用了世界模型"和"在线跑世界模型"是两件不同的事。PDRVLA 在第一个训练阶段让冻结的视频世界模型提供监督，进入联合策略训练时把它移除，部署时连直接预测头都不在。这条路线不是孤例，World Tokens 用的是同一个形态：world token 是训练路径与部署路径之间唯一的接口，上层整块视频分支标着 training only。World Tokens

图注：上层灰底标注 TRAINING ONLY，观测经边缘检测与 VAE 编码得到首帧条件，与噪声 token 一起进入预训练世界模型；下层是部署路径，观测与指令经 VLM、World Adapter 得到 world token，再进动作头。world token 与视频分支之间有标着 Conditioning 的箭头。图中没有删除标记，部署时移除视频分支的信息来自原图说明文字。World Tokens

PDRVLA 的两个训练目标分工明确。直接预测让物理 token 回归未来 5 帧片段的特征，这段片段覆盖当前时刻及其后 30 个动作步。RGB 用真实画面，深度由 DA3 生成伪标签，光流由 DPFlow 生成，三者统一经冻结的 Wan VAE 编码成 latent，按模态、通道和空间位置标准化后池化，再做均方误差回归。世界模型辅助监督则由冻结的 LingBot-Video-Dense-1.3B 承担，它接收 RGB latent 片段、物理 token 和噪声时间步做流匹配，梯度穿过冻结骨干回到物理模块，可训练的部分只有深度与光流两个输出头。这条辅助监督的收益是在预测误差层面被度量的，不是成功率层面。

反面例子能说明这个取舍值多少钱。Cosmos Policy 把视频扩散模型直接微调成策略，一次推理同时输出动作块、未来状态和价值。即使只当直接策略用、把未来状态丢掉，这些未来帧也要先被扩散出来。它的实测是 5 步去噪 0.61 秒、10 步 0.95 秒，单张 H100，按动作块计。PDRVLA 没有报告推理延迟，也没有给出主训练的算力预算，所以不能把它写成"更快"，能说的只有结构上的差别：它的控制回路里没有视频生成这一步。Cosmos Policy

动作专家这一侧比较常规。条件流匹配回归速度场，从高斯噪声用 4 步欧拉积分出 8 步动作块，条件序列里比常规 VLA 多了一组物理 token。这套流匹配动作头的机制原型来自 π0。数据侧全部使用公开数据集，经三级加工，其中子任务与 ECoT 标注提供的是"任务进行到哪一步"的进度信号，这正是动作专家能用上物理 token 的配套条件，贡献在加工方式，不在规模。π0

四项总分都排在同表第一，但四列分数来自四套不可横比的协议

四个第一的领先幅度，比它们看起来要小。PDRVLA 比同列第二名分别高 0.2、0.9、0.4、0.7 个百分点，而四套基准的评测协议差异远大于这个量级。正确的读法是同一列内部排名靠前，不能把 89.9 读成比 99.3 差一截。

表里的非 PDRVLA 各行是论文自己汇总的基线，取自被引论文与官方仓库，各自的训练与评测协议不同。跨行比较只能确认"在同一列里谁靠前"，不能推出能力排序。

LIBERO-Plus 这一列尤其需要解释，因为它和 LIBERO 看着像同一把尺子。这套基准在 LIBERO 的 40 个任务上加了七类扰动，从相机视角、机器人初始状态一直到光照、背景与传感器噪声，下分 21 个子维度，共 10,030 个测试实例。

图注：环形分类图，内环是七个扰动维度并标任务数，例如 Camera 1599、Noise 1601；外环是 21 个子维度，同样标数量与百分比。扇区大小与任务数对应，说明七类扰动的任务分布并不均匀。图中 Layout 标的是 1599，论文附录记 1525，此处以 1525 为准。图中没有流程箭头。LIBERO-Plus

两个口径细节决定了分数怎么读。总分不是七项平均，而是按各维度的任务数加权，任务多的维度权重大。每个固化扰动的任务实例只跑一次，而不是像标准 LIBERO 那样每任务 50 次。后一条来自官方仓库的说明文档，属于论文之外的第二来源。单次 rollout 意味着方差更大，一个 89.9 和一个 89.0 之间的差别未必稳定。

论文自己也留了反面证据。LIBERO 的长程套件只有 97.6，低于 LingBot-VA 的 98.5；SimplerEnv 的 Carrot→Plate 任务只有 64.6，明显低于 InternVLA-A1.5 的 85.4。主结果用的是 89.93 的监督微调基线，而不是消融里那个 90.23 的子任务条件化变体。这些都不是致命问题，但它们说明四个总分第一不等于每个子项都第一。

真正被证明的只有 RGB 和深度，物理 token 对成功率的必要性还缺一条实验

这篇论文的证据可以分成三层：预测未来特征这一步确实被改善了，而且 RGB 与深度两项在统计上站得住；光流一项不成立；而"拿掉物理 token 动作会不会变差"这条策略级实验，原文没有给。

这张表的度量对象是未来特征预测误差，数字越小越好，不是动作成功率。实验在同一批 828 条留出片段上做，来自 100 个未参与训练的 episode，做 10,000 次配对 bootstrap。RGB 与深度两项的相对降幅分别为 4.06% 和 2.12%，区间都不含 0；光流的区间是 [−0.07, 1.28]，跨过 0，等于这项收益在统计上不成立。

更关键的是缺的那条实验。要证明物理 token 是四项成绩的必要条件，需要把物理 token 从动作专家输入里拿掉、其余设置不变、再看成功率，原文没有这个消融。所以能说的只是"物理 token 参与了这套系统"，不能说"没有它成绩会掉"。附录 B 的层位探针也只是单种子。这条边界比光流不显著更重要，因为它决定了整篇论文的因果主张能走多远。

外部还有一把尺子可以借用。What Matters 把"世界建模怎么接进 VLA"分成四类，按耦合程度排列，结论是表征的有效性依赖接入范式，排序会跨范式反转，没有全局最优。这篇分析早于 PDRVLA 十三天，正文与参考文献里都没有 PDRVLA，只能提供参照系，不能拿来给 PDRVLA 下定论。它至少提醒一件事：接入位置本身会改变收益，这恰好是 PDRVLA 把"第 8 层"当成主张的理由，也是它最需要因果实验的地方。What Matters

作者自曝的边界也指向同一处。全部结论建立在四个仿真基准上，没有真机实验，没有推理延迟实测，也没有给出主训练的算力预算。附录 D 的分布诊断更直接：预训练语料里 Franka 右臂高度的 99 分位上界约 0.772 米，而 LIBERO Spatial 与 Goal 两个套件的中位高度分别是 1.041 米和 1.076 米，100% 超出这个上界，Long 套件也有 49.1% 超出。结论节把物体几何、接触状态、材料属性列为未来工作，这等于承认"物理"目前还停在视觉特征层面。

所以这篇论文的定位可以一句话说清：它给出了一个可部署的形态，把世界模型从推理路径上挪走，并用受控对比证明世界模型辅助监督改善了 RGB 与深度两项的未来特征预测；它还没有证明这份改善真的换来了动作成功率。对要落地的人来说，这个形态值得抄；对要判断因果的人来说，那条拿掉物理 token 的实验还欠着。PDRVLA

想深入可以读原文：PDRVLA: A Vision-Language-Action Model with Physical Dynamics Representations，arXiv:2610.37381。

参考文献

• PDRVLA: A Vision-Language-Action Model with Physical Dynamics Representations，arXiv:2610.37381，https://arxiv.org/abs/2610.37381
• InternVLA-A1.5: Unifying Understanding, Latent Foresight, and Action for Compositional Generalization，arXiv:2607.04988，https://arxiv.org/abs/2607.04988
• Cosmos Policy: Fine-Tuning Video Models for Visuomotor Control and Planning，arXiv:2601.16163，https://arxiv.org/abs/2601.16163
• World Tokens: Enhancing Embodied Policies with Training-Time World Modeling，arXiv:2608.09730，https://arxiv.org/abs/2608.09730
• WAVE-0: Bridging VLA Policies and WAMs with Lightweight Latent Future Prediction，arXiv:2610.18568，https://arxiv.org/abs/2610.18568
• What Matters for World Modeling in Vision-Language-Action Models?，arXiv:2610.19825，https://arxiv.org/abs/2610.19825
• E0.5: From Reconstructive to Future-Predictive 3D Foundations for Robotic World-Action Modeling，arXiv:2610.36011，https://arxiv.org/abs/2610.36011
• RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control，arXiv:2307.15818，https://arxiv.org/abs/2307.15818
• Fine-Tuning Vision-Language-Action Models: Optimizing Speed and Success，arXiv:2502.19645，https://arxiv.org/abs/2502.19645
• π0: A Vision-Language-Action Flow Model for General Robot Control，arXiv:2410.24164，https://arxiv.org/abs/2410.24164
• Revisiting Embodied Chain-of-Thought for Generalizable Robot Manipulation，arXiv:2606.03784，https://arxiv.org/abs/2606.03784
• LIBERO-Plus: In-depth Robustness Analysis of Vision-Language-Action Models，arXiv:2510.13626，https://arxiv.org/abs/2510.13626