Qwen-Drive-1.0：把预训练 VLM 冻结不动，旁边挂两个外部模块

自动驾驶领域最近两年最重要的工作之一，是 Qwen Team 与华中科技大学联合发布的 Qwen-Drive-1.0 (arXiv:2609.00111, 2026-08-31)。它的核心赌注是把通用视觉语言模型 (VLM) 当作推理中枢，在不动它内部任何一层的前提下，挂出一个 BEV 感知头和一个 32 层 DiT 的 Planning Expert，靠这套"冻结主干 + 双外挂"的结构在 WOD-E2E、NAVSIM、AlpaSim 三档评测上同时拿到 SOTA 附近的结果。本专题面向自动驾驶 / 多模态基础模型方向的算法或系统岗面试，按"为什么这么设计 → 怎么权衡 → 和前作比改了什么 → 面试追问怎么答"这条主线，把 Qwen-Drive-1.0 每一处选择讲透。

在开始前，先把全文用到的关键术语对齐：BEV (Bird's-Eye-View) 指俯瞰栅格视图，是 3D 感知的事实输出空间；VLM 是"视觉-语言基础模型"；flow matching 是一种把数据分布学成 ODE 场的生成范式；GRPO 是 Group Relative Policy Optimization，一种省掉 learned value function 的强化学习目标；PE 是 Planning Expert，下文会用。

一、为什么必须把 VLM 当推理中枢，而不是当 LLM 用

把驾驶系统交给通用 VLM 不是把大模型当 chatbot 来用，而是让它承担三件别的范式做不好的事：把语义先验带入 3D 几何、把语言推理作为可解释通道、把多任务统一表征作为 OOD 推理的储备。要理解 Qwen-Drive-1.0 这条路的选择动机，需要先看前两条路各自卡在了哪里。

1.1 UniAD 全栈 query 范式：VLM 内部 attention 不兼容

UniAD (CVPR 2023 Best Paper) 把 detection / tracking / mapping / motion prediction / occupancy / planning 六个任务全串到一个 transformer 里，靠 task query 在模块间传递——TrackFormer 的 track query 送到 MotionFormer 当 agent 上下文，ego-vehicle query 送到 Planner 当自车线索UniAD。这一范式在 nuScenes 上把当时端到端驾驶的规划 L2 error 砍掉 51%、碰撞率砍掉 56%，但代价也很硬：整套主干是专门为驾驶任务设计的，没有继承大规模预训练的通用知识。

图注：UniAD 把六个驾驶任务串成一条流水线，下方贯穿多相机输入与 BEV 特征 B，模块之间用 task query 互相传递，最后 Planner 输出自车轨迹。

Qwen-Drive-1.0 没有沿用这条路线。VLM 主干在大规模图文联合预训练中已经学到图文对齐与世界知识（具体预训练 token 数与数据类别未在 Qwen 官方 model card 中公开，以官方为准），把 UniAD 那种"全栈共享 query"强行塞进 VLM，等于要在 VLM 已经收敛的注意力流里再插入一套 task-specific 的路由——这就是 §1 引言里第一句话的动机。

1.2 DriveGPT4 范式：LLM token 切数值控制的精度上限

另一条早一代的路线是把 LLM 直接当作控制信号发生器。DriveGPT4 (IEEE RA-L 2024) 把前视视频 token 化、扔进 LLaMA2，让同一个 de-tokenizer 同时输出文本解释和速度 / 转角标量DriveGPT4。

图注：DriveGPT4 用单 LLM 同时输出自然语言回答与数值控制信号。原始 LLaMA tokenizer 会把 "1.98" 切成 "1" "." "9" "8" 四个 token，数值精度受 token 粒度限制。

LLaMA 的 tokenizer 是为英文文本设计的，会把 "1.98" 切成 "1" "." "9" "8" 四个 token；它对速度 / 转角这种连续值的回归能力存在天花板。论文自己承认了三点短板：无 BEV、无 360°、仅 open-loop——这三点恰是 Qwen-Drive-1.0 显式补上的东西。

1.3 Qwen-Drive-1.0 的合流图

Qwen-Drive-1.0 的选择是第三条路：把通用 VLM 当主干不动，在旁边挂两个独立模块——一个 BEV 头负责把共享表征翻译成可评估的 3D 产物，一个 32 层 DiT 的 PE 负责出连续轨迹。

图注：Qwen-Drive-1.0 的高层架构——共享通路是 VLM 主干，右侧两条外挂分别是 BEV 感知头（3 个 task decoder）和 Planning Expert（flow matching）。BEV 头和 PE 都不是 VLM 主干内部的层，是外部独立模块。

把 UniAD、DriveGPT4、Qwen-Drive-1.0 三张图并排看，整条驾驶 VLM 谱系的张力就很清楚了：UniAD 是"全栈 task-specific query 范式的极致"，DriveGPT4 是"LLM 直出数值的早期范式"，Qwen-Drive-1.0 是"VLM 主干 + 显式 3D 探针 + 独立轨迹头"的折中——它既不沿用全栈 query 范式，也不让 VLM 直接吐数值控制信号，而是把这两个范式里各自的痛点用外部模块补回来。论文 §1 引言里给出的三个设计要求（VLM 架构不变、显式感知探针、保留通用能力）就是这套折中的工程契约。

二、整体架构：Qwen3.5-4B 冻结主干 + 外部 BEV 头 + 32 层 DiT Planning Expert

2.1 主干选型：为什么是 Qwen3.5-4B

论文 §2.1 把主干选定为 Qwen3.5-4B，并在整个训练过程中冻结权重——既不微调 LLM 主体，也不微调 vision encoder。把预训练参数当作一种"已经被反复验证过的基础设施"来用，是整套设计的工程前提Qwen-Drive-1.0。

Qwen3.5-4B 的硬规格在 Hugging Face model card 上写得很清楚：32 层 transformer、hidden dim 2560、Hybrid Attention = 8 × (3 × Gated DeltaNet → FFN → 1 × Gated Attention → FFN)、sparse MoE、262K 原生上下文（YaRN 扩展到 1M）、Apache-2.0 许可Qwen3.5-4B。这套骨架对驾驶任务有三个直接好处：第一，原生多模态（vision encoder + LLM 联合早期融合）让 Stage 2 联合适配时不需要从零桥接视觉到语言；第二，262K 上下文足够装下多视角图像 + 长时序 token 串；第三，Qwen3.5-4B 的 HF 月下载量在 700 万+ 量级、生态里 567 个 finetune 已经把显存要求和推理速度踩过一遍。

这就是"保持 VLM 架构不变"这件事的工程理由：不是不让动，而是 Qwen3.5-4B 已经把通用视觉语言能力吃透了，重新训一遍既贵又没意义。

2.2 外部 BEV 感知头：depth-based view transform + BEV transformer

BEV 头接受多视角图像（nuScenes 6 视角或 OpenScene 8 视角）+ 相机标定，构建 ego-frame 共享 BEV 表征。它的 view transform 用 depth-based lift，把 image feature 升到体素化空间后与 VLM 输出特征拼成 feature pyramid；BEV 平面上的 query 由 V 特征的高度坍缩初始化作几何先验；每层 self-attention over BEV grid + deformable cross-attention to feature pyramid。最后分到三个 task decoder：3D 检测 / 语义占用 / BEV 地图分割Qwen-Drive-1.0。

图注：左 panel (a) 是 BEV 头——image features 通过 depth-based lift 进入 BEV transformer，再分到 3 个 task decoder；右 panel (b) 是 Planning Expert——VLM 缓存的 K/V 与 noisy trajectory tokens 做 joint attention，shared AdaLN 注入 flow time / navigation / ego state。

面试里最常被问的对照是 BEVFormer。BEVFormer (ECCV 2022) 是把 BEV 从"显式几何投影产物"重定义为"可学习 3D token"的奠基工作，它的核心是 grid-shaped BEV queries + spatial cross-attention（每个 query 只与"lift 出的柱状区域"内的 image feature 交互，用 deformable attention 采样）+ temporal self-attention（当前帧 BEV query 与 ego-motion 对齐后的上一帧 BEV feature 融合）BEVFormer。

图注：BEVFormer 的 grid-shaped BEV queries 通过 spatial cross-attention 主动向图像区域采样，避免依赖深度估计精度；temporal self-attention 把上一帧 BEV 与当前帧融合。

两者的差别一句话讲清——BEVFormer 是"无 depth 自适应 query"路线，靠 spatial cross-attention 把 query 主动伸到图像上；Qwen-Drive-1.0 的 BEV 头是"depth-based lift + BEV transformer"的复合路线，先用显式 depth lift 给一个几何先验初始化，再叠 transformer 层精化。两条路线对深度估计精度的依赖程度不同，Qwen-Drive-1.0 把 depth 当成"初始条件"而不是"靠它扛全部几何"，对噪声更鲁棒。

2.3 外部 32 层 DiT Planning Expert

PE 是 32 层 diffusion transformer (DiT)，hidden dim 1024、~1.1B 参数。它最关键的工程动作是复用 VLM 的 K/V 缓存——把 Qwen3.5-4B 那 8 个 grouped-query softmax attention 层（RoPE 后）的 K/V 缓存下来，每 4 层 PE 共享一组 cache；每层 PE 把缓存的 K/V 与轨迹 token 的 K/V 拼接做 joint attentionQwen-Drive-1.0。

轨迹 token 是 noisy waypoint + 编码过的 $\boldsymbol\tau_{\text{hist}}$，shared AdaLN 注入 flow time、navigation command、当前 ego state。训练目标是 flow matching 损失，推理时采 50 个 waypoint (5 s @ 10 Hz)。这一设计的核心巧思是"不重训主干，但能复用它缓存的 K/V"——这正是 ref-011 强调的"原生多模态早期融合"的一种兑现方式：vision encoder 与 LLM 已经在预训练时见过图文配对 token，所以主干缓存的 K/V 本身就携带跨模态上下文，PE 拿来即用。

整个架构的总参数 ~5.1B（Qwen3.5-4B 冻结的 4B + PE 的 ~1.1B + BEV 头的小模块），论文 §5 Limitations 明确说代码仓库标称 will be available 但实际未验证，推理 FPS / GPU 类型等时延细节未在正文给出——这一句在面试时要主动承认，不要瞎报。

三、多任务统一：BEV 头为什么是"3D 探针"，不是"感知层"

Qwen-Drive-1.0 的 BEV 头不只是"多加一层感知"。它在论文 §3.4 的 Tab.8 里用三行消融证明：3D 感知监督不毁通用能力。Row i 是 Qwen3.5-4B baseline，Row ii 是加了 driving VL 监督，Row iii 是在 ii 之上再加 3D 感知监督。结果是 Driving QA 从 63.52 → 70.07（+6.55），CoC Overall 从 2.58 → 40.97（+38.39），General VQA 从 62.60 → 63.18（+0.58）；再叠加 3D 感知监督后，Driving QA 微降到 69.43（相对 row ii -0.64）、General VQA 退到 62.26（相对 row ii -0.92，相对 baseline -0.34），但 WOD-E2E 的 RFS 从 7.91 涨到 7.96（+0.05）Qwen-Drive-1.0。

这就是"BEV 头作为可检查 3D 探针"的设计意图——把共享表征翻译成可评估的 3D 产物，让通用能力不因加入驾驶监督而退化。

3.1 纯语言监督派的反例：DriveLM

DriveLM (ECCV 2024 Oral) 把驾驶推理建模成有向图 G=(V, E)，每个节点 v=(q, a) 是一个 QA 对，按 perception → prediction → planning → behavior → motion 五段（P_{1-3} → B → M）串成有向图。它把 5 段驾驶推理全压进同一个 BLIP-2 VLM + Graph prompting 完成DriveLM。

图注：DriveLM 把驾驶推理切成 perception / prediction / planning / behavior / motion 五段，每段都通过 "Context: " 前缀接收前序节点的答案作为上下文。

论文 §6 Discussion 自己列了三个核心局限——推理只有 8.5 tokens/s（多轮预测大约比 UniAD 慢 10×）、只用低分辨率单目前视图像、无 360° / 无 LiDAR / 无时序、closed-loop 留给后续。这三点恰是 Qwen-Drive-1.0 显式外挂 BEV 头要解决的问题：3D 几何精度必须可查，360° 几何先验必须存在，闭环仿真必须可跑。

3.2 holistic VLM dataset 路线：OmniDrive 的"VLM-up vs BEV-up"洞察

OmniDrive (CVPR 2025) 提供了另一条对照路径——counterfactual-centric 单路密集信号。它提出 Omni-L（VLM-up 路线：LLaVA 风格 MLP 投影 + 3D PE）和 Omni-Q（BEV-up 路线：StreamPETR 稀疏查询 + Q-Former 桥接）两种 agent 设计，论文 §4.6 的关键洞察是"VLM-up 比 BEV-up 简单且效果更好"OmniDrive。

图注：OmniDrive 的核心贡献是把 counterfactual reasoning（评估替代动作的结果）系统化为可大规模自动生成的 VQA 数据管线，并给出 VLM-up / BEV-up 两条 agent 设计的实证对比。

Omni-Q 走过头——把 3D 感知栈直接拼装进 VLM 框架，两边目标不对齐（感知是 dense prediction，VLM 是 text generation）反而两败俱伤。Qwen-Drive-1.0 走的是 OmniDrive 自承的"VLM 主干 + BEV 仅作 3D 探针"的折中——把 BEV 头当作"把共享表征翻译成可评估 3D 产物"的解码头，而不是当作 VLM 主干内部的层。这条设计同时拿到 3D 精度和通用能力，是论文 Tab.8 三行数字里"灾难遗忘被抑制"这一现象的工程解释。

3.3 数据配比：perception 9.7% + 通用 VL 26.0% + driving VL 64.3%

Stage 2 的训练配比也支撑着同一结论。论文 §2.3 把训练样本切成三块：perception 数据（3D 检测 / 语义占用 / BEV 地图分割的统一标签空间）9.7%、通用 VL 数据（图像理解、文档解析等通用任务）26.0%、driving VL 数据（24 个公开 driving VQA 数据集聚合 + 一致性过滤后的 3.09M 样本）64.3%Qwen-Drive-1.0。

这种配比刻意让通用 VL 监督保持 26.0% 的存在——它是 Stage 2 联合适配时不让 VLM 主干"漂移到驾驶分布"的隐式 regularizer。Tab.8 Row iii 的 General VQA 62.26 与 base 62.60 几乎不退，正是这套配比带来的。

四、分阶段训练：为什么不能一锅端，要分 4 个阶段冻 / 解冻

整个训练配方的核心是 4 个阶段，每个阶段"哪些模块动、哪些冻结"都被前一个阶段的失败模式逼出来。

图注：4 个 panel 横向排开，火焰 = trainable、雪花 = fixed。Stage 1 只训 BEV 头；Stage 2 解冻 vision encoder + VLM + BEV 头三方联合适配；Stage 3 锁回 VLM 只训 PE；Stage 4 同样锁回只训 PE。

4.1 Stage 1：head-only BEV 头预训练

冻结 vision encoder + VLM，只训练 BEV 头，优化 $\mathcal L_{\text{perc}}$。论文自己强调 "head-only 模型已经收敛"——只训 BEV 头、靠 Qwen3.5-4B 冻结特征做 3D 感知，到 nuScenes 上只能跑到 33.49 mAP（Head-only joint ablation）。论文解释这是因为"vision-language-pretrained features 支持视觉-文本对齐，但不直接暴露驾驶感知需要的 3D 结构"Qwen-Drive-1.0。

这给 Stage 2 留了一个明确问题：要让 VLM 学到驾驶专属 3D 结构，必须解冻它。

4.2 Stage 2：感知 + VQA 联合训练，BEV 头 LR 20×

解冻 vision encoder + VLM + BEV 头三方做联合适配。每个 minibatch 同时含 perception 和 VLM 两种样本，为不激活分支送 dummy input 保证计算图一致；BEV 头的 LR 是 VLM 的 20×，让 task-specific 模块更快收敛。Stage 2 是把"vision-language-pretrained features"压成"3D-aware shared representations"的关键阶段——nuScenes mAP 从 33.49 涨到 43.95（+10.46），map mIoU 从 51.15 涨到 60.99（+9.84）Qwen-Drive-1.0。

这一阶段同时承担了两件事：让 VLM 学到 3D 结构，又不让通用能力漂移（靠 26.0% 的通用 VL 监督配比 + BEV 头 20× LR 让 task-specific 模块优先收敛）。

4.3 Stage 3：Planning Expert SFT

冻结 VLM + vision encoder，只训练 PE。混合样本分两类：含 reasoning trace $\mathbf r$ 的样本同时监督未来轨迹和文本生成目标（约 685K，含 78K NAVSIM + 142K WOD-E2E + 465K PAI-AV），其余 75.8% 的样本用 $\mathbf r = \varnothing$，只监督 $\mathcal L_{\text{plan}}$（无文本生成目标）。这一步的输出是 Qwen-Drive-1.0-SFTQwen-Drive-1.0。

4.4 Stage 4：GRPO RL 精调，flow matching 转 stochastic policy

Stage 4 是整套训练最有技术含量的部分。flow matching 的 Euler 积分在给定初始噪声时是 deterministic ODE，没有转移概率可微——RL 算法直接拿不上。论文的解决方案是把 deterministic flow 转成 stochastic policy：在同一 rollout group 内共享初始轨迹噪声，但在最后连续 $W = {7, 8, 9}$ 个积分步引入随机扰动（$\sigma = 0.03$），把这一扰动限制在 $M = 6$ 阶 orthonormal 余弦模式的 $3M$ 维低频子空间里——避免"独立 waypoint 噪声只产生高频 jitter 而不是 maneuver diversity"Qwen-Drive-1.0。

这种设计的工程动机是低频扰动对应"换一条驾驶策略"（如减速 vs 加速、绕行 vs 直行），高频扰动只产生 waypoint 级抖动、对 RL 信号没意义。每个 waypoint 扰动 ≈ 1.7 m 纵向 / 0.26 m 横向，足够做有意义的"动作差分"。Group-relative advantage 用 $A_i = (R_i - \bar R)/(\sigma_R + \epsilon_R)$，$\epsilon_R = 10^{-8}$，无 learned value function（GRPO 风格 baseline）。同一场景抽 $G = 8$ 个 reasoning trace → 条件化 8 个 trajectory rollout；Eq. 14 discount $\gamma = 0.6$，"越靠近输出的步 credit 越大"Qwen-Drive-1.0。

训练数据是 15K NAVSIM scenes + 15K PAI-AV + 479 WOD-E2E；输出 Qwen-Drive-1.0-RL。

4.5 训练配方的设计哲学：逐阶段解冻的工程节奏

把这 4 个阶段连起来看，每一阶段"哪些模块动"是上一阶段失败模式的产物——Stage 1 的 head-only 跑不出 3D 精度，所以 Stage 2 必须解冻 VLM；Stage 2 解冻后学到驾驶专属表征，所以 Stage 3 必须重新锁回 VLM 让 PE 在固定上下文上训练；Stage 3 的 PE 输出需要 RL 精调，所以 Stage 4 必须进一步把 VLM 锁死只让 PE 动。每一阶段的解冻集合都是被前一阶段的失败模式逼出来的。

调试深度学习模型时常见的"warmup → 冻结 backbone → 解冻 top layers → 全量微调"也是类似的节奏——先稳底座、再训 task head、最后视情况打开部分 backbone。Qwen-Drive-1.0 的 4 阶段训练可以视作同一节奏在 VLM 主干 + PE 上的应用：先冻结 VLM 把 task head 训稳，再解冻 VLM 让它适配任务，再锁回 VLM 让 PE 在稳定上下文上训练。读到这里，4 阶段配方其实可以当作一个统一的"逐步加压"训练范式来记忆。

4.6 解耦派对照：Senna

Senna (arXiv 2410.22313) 代表 VLM+E2E 解耦路线的另一极——它把高层语言决策（Senna-VLM 输出离散 natural language meta-action：横向 Left/Straight/Right × 纵向 Accelerate/Keep/Decelerate/Stop 的 12 种组合）和低层精确轨迹（Senna-E2E 基于 VADv2）显式拆成两个模块Senna。

图注：Senna 把驾驶系统显式拆成 Senna-VLM 与 Senna-E2E 两个独立模块，meta-action feature 作为额外 token 注入 Senna-E2E 的 planning module；Senna-E2E 基于 VADv2。

Senna 与 Qwen-Drive-1.0 形成"解耦 vs 统一"两极。两者都强调"不要让 VLM 直接出精确数字"，差别在于 Senna 让 VLM 出离散 NL meta-action、轨迹让 E2E 出；Qwen-Drive-1.0 让 VLM 出共享表征缓存的 K/V、轨迹让外部 PE 用 flow matching 出连续 50 waypoint。两者的训练范式也不同：Senna 三阶段（Mix Pre-training → Driving Fine-tuning → Planning Fine-tuning）全程冻结 Vision Encoder；Qwen-Drive-1.0 四阶段，Stage 2 显式解冻 vision encoder + VLM。两种路线哪条更优是面试追问的好切入点——Senna 答案会更清晰（NL 决策容易解释），Qwen-Drive-1.0 答案会更连续（轨迹直接由共享表征生成，不需要先把语言转成离散符号）。

五、open / pseudo-closed / closed-loop 三档评测：为什么不是看一个数字

自动驾驶评测很容易陷入"看一个分数"的误区。Qwen-Drive-1.0 用三档评测分别衡量三种问题——open-loop 测拟合、pseudo-closed 测轨迹一致、closed-loop 测长尾稳健性，三档数字不能合并成一个"综合分"。

5.1 open-loop：WOD-E2E RFS / ADE

WOD-E2E test split 上 Qwen-Drive-1.0-SFT w/ reasoning 7.78 RFS / 1.19 ADE（3 s）/ 2.65 ADE（5 s）；Qwen-Drive-1.0-RL 7.91 RFS / 1.19 ADE（3 s）/ 2.67 ADE（5 s）Qwen-Drive-1.0。val split 上 RL 8.45 RFS 超过 human driver reference 8.13，但 val split 被用作 RL 训练源所以偏高（in-sample 信号，不是 SOTA 主张）。

这一档评测衡量"模型在已知轨迹上拟合得有多准"，它对闭卷泛化没要求，因为评估用的是已记录的 GT 轨迹。

5.2 pseudo-closed-loop：NAVSIM v1.1 navtest PDMS

NAVSIM (NeurIPS 2024) 用 non-reactive simulation：只 query 一次 planner、后续 4 s 不反应，其他 agent 仍按数据集回放（非 reactive）。PDMS = NC × DAC × (5·EP + 5·TTC + 2·C) / 12，其中 NC（no collisions）和 DAC（drivable area compliance）是 hard penalty（任一为 0 → 该场景 PDMS = 0）；EP（ego progress）、TTC（time-to-collision）、C（comfort）做加权平均NAVSIM。

图注：5 个子面板从不同维度证明 PDMS 与 closed-loop score (CLS) 的正相关优于 OLS 与 CLS 的相关——PDMS 趋势线更陡、与散点更贴合。

论文自己用 151 个 planner（37 个 rule-based + 114 个 learned）证明 PDMS 与 CLS 的 Spearman / Pearson 相关性都优于 OLS。这是"PDMS 作为 pseudo-closed-loop 替代"的实证依据。

Qwen-Drive-1.0 在 NAVSIM v1.1 navtest 上：SFT 88.2 PDMS、RL 90.7 PDMS、best-of-6 91.4 PDMS；具体分量 RL NC 98.6 / DAC 98.2 / EP 84.8 / TTC 95.9 / Comf. 100.0Qwen-Drive-1.0。DiffusionDrive (CVPR 2025 Highlight) 在同一协议上跑 88.1 PDMS——紧贴 Qwen-Drive-1.0-SFT 88.2，但 RL 后 Qwen-Drive-1.0-RL 90.7 大幅超越DiffusionDrive。

图注：DiffusionDrive 用 Transfuser-style 感知 + cascade diffusion decoder 跑出 88.1 PDMS，与 Qwen-Drive-1.0-SFT 紧贴；两者都做 planning-oriented 闭环规划，但 trajectory decoder 范式不同（truncated diffusion vs 32 层 DiT flow matching）。

两者的设计差异一句话：DiffusionDrive 是"anchor Gaussian + 2 步 cascade 去噪 + 端到端"；Qwen-Drive-1.0 是"32 层 DiT flow matching + 缓存 VLM K/V + 4 阶段训练"。这是同一 benchmark 协议下的最直接对照。

5.3 closed-loop：AlpaSim off-road 12% RL

AlpaSim 是 NVIDIA 的 reactive closed-loop 仿真器，论文里 916 个场景。Qwen-Drive-1.0-SFT w/ reasoning off-road 24% → Qwen-Drive-1.0-RL off-road 12%（砍半），低于两个 Alpamayo 变体（Alpamayo-R1 17%、Alpamayo-1.5 16%）；at-fault close encounter 11% 与 Alpamayo-1.5 持平Qwen-Drive-1.0。代价是 progress 从 54% 降到 48%（变保守）——这是 RL 在 safety 与 progress 之间的固有 trade-off。

5.4 最新 VLA 横向对照：MindVLA-U1

MindVLA-U1 (2026-05) 是同 WOD-E2E 协议上的最新 SOTA，WOD-E2E val-RL 8.20 RFS（首次超越 human 8.13）/ test-RL 7.87Qwen-Drive-1.0MindVLA-U1。两者设计差一句话：Qwen-Drive-1.0 是"frozen VLM + 外部 BEV 头 + 外部 PE"；MindVLA-U1 是"unified shared VLM backbone + streaming memory FIFO channel + Intent-CFG"——后者把 BEV 头和 PE 都并进同一 VLM 的 forward pass。

图注：MindVLA-U1 让所有模态 token 流过同一 VLM 自注意力层，LM head 和 flow-matching action head 在同一 forward pass 的不同位置读出，避免在 VLM 主干外另起 decoder。

两者数字在 test split 上几乎打平（7.91 vs 7.87），但代价不同：Qwen-Drive-1.0 的 PE 是 32 层 DiT + flow matching，参数 ~1.1B；MindVLA-U1 的 action head 是"thin flow-matching MLP"挂同一 VLM 上，参数更轻。两种"flow matching + RL"路线的工程选择，是面试追问"如何用 flow matching 跑 RL"的对照锚点。

把这三档评测对应到软件工程师熟悉的场景可以这么理解：跑 benchmark 时单线程分数、多核分数、内存带宽分数各自描述不同的瓶颈——open-loop 测拟合（像单核单线程）、pseudo-closed 测轨迹一致（像多核并行时的吞吐）、closed-loop 测长尾稳健性（像内存带宽下稳定运行）。三档数字各自有效，不能折成单一"综合分"——这是论文 §3.3 反复强调的"progress / events / score 三者综合解读"的工程现实。

六、面试高频追问：30 秒自我介绍 + 60 分钟技术追问怎么答

6.1 30 秒自我介绍的标准句式

面试开场抛三个设计要求："这篇把预训练 VLM 架构冻结不动，把驾驶 3D 感知做成可检查的 BEV 头外挂，把规划做成 32 层 DiT flow matching Planning Expert 外挂；4 阶段训练让通用能力不丢；open / pseudo-closed / closed-loop 三档评测证明它真的在闭环里变好。" 然后补一句和前作的差别："它不是 UniAD 那种全栈 task query 范式，也不是 DriveGPT4 那种 LLM 直出数值控制信号，而是把 VLM 当共享表征底座 + 显式 3D 探针 + 独立轨迹头。" 这一段 30 秒够讲完。

6.2 四维对照表：6 篇前作一句话分清楚

下面这张表把面试里最常被拿来对照的 6 项工作按 backbone / task head / trajectory decoder / 训练范式四个维度排开，是回答"和 X 比改了什么"的快速工具。

每篇工作的对照：UniAD 把"全栈 task query 范式"推到极限；DriveGPT4 把 LLM 当 control signal 直出端，数值精度有天花板；Senna 用解耦 NL 决策 + 精确轨迹保住 VLM 不出数字；DiffusionDrive 用 truncated diffusion 把实时性拉到 45 FPS；Alpamayo-R1 把 reasoning 显式化成 Chain of Causation 数据集 + diffusion decoder；MindVLA-U1 把所有模态 token 塞进同一 VLM 自注意力流。Qwen-Drive-1.0 是"VLM 冻结主干 + 双外挂"这条折中路线的代表。

6.3 高频追问清单与标准答案

追问 1：为什么 VLM 选 Qwen3.5-4B？ 答案：Apache-2.0 license 可商用、自带 vision encoder 不需自训、262K 上下文够长、Hybrid Attention + sparse MoE 推理效率高、Hugging Face 月下载 700 万+ 与 567 个 finetune 的生态成熟度Qwen3.5-4B。

追问 2：BEV 表征 vs 纯占据表征的取舍？ 答案：BEV 头是"可检查 3D 探针"——把共享表征翻译成可评估的 3D 产物（3D 检测 / 语义占用 / BEV 地图分割），Tab.8 Row ii→Row iii 显示加入 3D 感知监督后 General VQA 退化约 -0.92（Row ii 63.18 → Row iii 62.26），论文自承"within one point of row ii"，可表达为 "< 1 点退化"。纯占据表征缺乏可分任务的 ground truth，灾难遗忘更难抑制。

追问 3：为什么不直接全量微调？ 答案：Stage 2 已经显式更新 vision encoder + VLM；保留通用能力的关键是 Stage 2 数据配比（perception 9.7% + 通用 VL 26.0% + driving VL 64.3%）+ BEV 头 LR 20× 让 task-specific 模块优先收敛Qwen-Drive-1.0。

追问 4：推理时延与算力？ 答案：论文未给 FPS / latency（unverified）。PE 是 32 层 DiT + 10 步 Euler + K/V 缓存复用；MindVLA-U1 同类设计在 H200 上 vqa_first_fast 1-step 跑 63 ms / 15.92 FPS、InternVL-2 1B fast 跑 64 ms / 15.55 FPS，可作为同性质架构的时延参考Qwen-Drive-1.0MindVLA-U1。

追问 5：附录 A 三种奖励公式可以抄吗？ 答案：可以抄。NAVSIM（Eq. 17）$R_{\text{NAVSIM}} = w_{\text{pdms}} \cdot \text{PDMS} + w_{\text{ade}} \cdot \Delta(50; \delta, \kappa)$，$w_{\text{pdms}} = 1, w_{\text{ade}} = 2, \delta = 2, \kappa = 10$；WOD-E2E（Eq. 18）$w_{\text{rfs}} = 1, w_{\text{ade}} = 2, \delta = 2, \kappa = 1$（RFS ∈ [0, 10] 比 PDMS ∈ [0, 1] 大 → 用更小 $\kappa$）；PAI-AV（Eq. 19）多时间尺度位移监督，near-term 更重（$w_1 = 5$ at 1 s）Qwen-Drive-1.0。

6.4 作者自承的三组局限（§5 Limitations）

论文 §5 主动列出三组未解决问题，主动暴露比被追问强。

1. 多时间尺度因果识别：当前 reasoning 不能稳定分辨"在 20 m 远处的红灯"（应缓慢减速）vs"在 5 m 处冲出的儿童"（应立即响应）这类不同时间尺度的成因；即便识别正确，下 1-2 s 内的执行轨迹也可能与"stated immediate cause"不一致。
2. 轨迹与文本 rationale 的显式一致性：reasoning 提升下游 planning 的部分原因可能是"它给 conditioning context 加了模型内部信息"，而非"文本真的指导轨迹"——需要 explicit consistency supervision。
3. 跨任务输入格式对齐：3 个任务目前用不同输入格式、时序上下文和图像分辨率，可能限制学到的表征迁移。

代码仓库标称 will be available 但实际未验证——面试里如果被问"我跑过这个模型"，要诚实回答"代码仓库标称开源但当前未独立验证，需先核实 github.com/QwenLM/Qwen-Drive-1.0 是否真已公开"Qwen-Drive-1.0。

把上面这些内容串起来，Qwen-Drive-1.0 在面试里的标准讲法就是：抛三个设计要求 → 用四维对照表跟 6 篇前作比 → 报三档评测数字（7.91 RFS / 90.7 PDMS / 12% off-road）→ 主动承认 §5 三组局限 → 用附录 A 三种奖励公式作为可抄配置。

参考文献

本专题引用的核心资料如下，建议深入学习时阅读原文：

1. Qwen-Drive-1.0: An Initial Step towards a Vision-Language Foundation Model for Autonomous Driving — arXiv:2609.00111
2. Planning-oriented Autonomous Driving (UniAD) — arXiv:2212.10156
3. BEVFormer: Learning Bird's-Eye-View Representation from Multi-Camera Images via Spatiotemporal Transformers — arXiv:2203.17270
4. DriveGPT4: Interpretable End-to-end Autonomous Driving via Large Language Model — arXiv:2310.01412
5. Senna: Bridging Large Vision-Language Models and End-to-End Autonomous Driving — arXiv:2410.22313
6. DriveLM: Driving with Graph Visual Question Answering — arXiv:2312.14150
7. OmniDrive: A Holistic Vision-Language Dataset for Autonomous Driving with Counterfactual Reasoning — arXiv:2405.01533
8. Alpamayo-R1: Bridging Reasoning and Action Prediction for Generalizable Autonomous Driving in the Long Tail — arXiv:2511.00088
9. DiffusionDrive: Truncated Diffusion Model for End-to-End Autonomous Driving — arXiv:2411.15139
10. MindVLA-U1: VLA Beats VA with Unified Streaming Architecture for Autonomous Driving — arXiv:2605.12624
11. Qwen3.5-4B Model Card — https://huggingface.co/Qwen/Qwen3.5-4B
12. NAVSIM: Data-Driven Non-Reactive Autonomous Vehicle Simulation and Benchmarking — arXiv:2406.15349