BloomBloom
发起研究

Qwen-Drive-1.0：只会看图答题的模型，不改架构就能规划行驶轨迹

从「各干各的模块」到「一个模型管全部」

想象你坐在副驾上，问车载系统前面那辆公交车会不会忽然靠边。它答上来了，而且就在同一轮对话里，它已经替你想好了接下来 5 秒的方向盘路径。回答你的不是一套专门为驾驶定制的芯片，而是一个通用大模型，它此前只学过看图、说人话、做数学题。2026 年 8 月，阿里 Qwen 团队与华中科技大学联合发布 Qwen-Drive-1.0，就把这件事做成了：模型内部一个字节不改，只在外面挂上两个新模块。一个是负责 3D 感知的 BEV 感知头，一个是负责轨迹生成的 Planning Expert。一个只会看图答题的视觉语言模型（VLM），就这样成了能感知 3D 世界、能回答驾驶问题、能规划行驶轨迹的自动驾驶大脑。论文在开环、伪闭环、闭环三类评测里都交出了有竞争力的答卷，底座原有的通用能力几乎原样保留。Qwen-Drive-1.0

为什么「不改架构」必须守成一条铁律？看看这个领域此前的路都走到了哪里。量产车是模块化方案：感知、预测、规划各干各的，一个模块的输出喂给下一个。每传递一次，误差就累积一层，三套系统的特征表示互不对齐，谁都说不清上游到底给了下游什么。这套栈至今仍是主流，因为它每一环都能单独验证、单独认证，出了事故容易定位到具体部件。但天花板同样清楚：各环节优化目标并不一致，偏差顺着链路放大，而忽然闯入的行人、被遮挡的路口这类长尾场景，靠各层各自为政很难兜住。端到端的吸引力正在这里：让模型自己决定哪些信息值得保留，一切为最终目标服务。OpenDriveLab 的端到端综述把 270 多篇论文的演化排成一张时间轴，从 1988 年的 ALVINN 一路走到 2024 年的 Foundation Models，领域确实在整体往这个方向挪。

图注：综述的演化路线图。时间轴从 1988 年 ALVINN 排到 2024 年，中部按类别标签挂出各代表工作，图顶标注 CARLA 与 nuPlan 榜单的历年顶尖分数。图中 Modular End-to-end Planning 一列是作者团队自己的归类。E2E-AD 综述

但端到端走到最彻底、影响力也最大的一站，代价同样一目了然。2022 年的 UniAD 把检测、跟踪、建图、运动预测、占据预测五个任务用 query 接口串成一条链，全部为最后的规划服务，效果很亮眼，可代价是想得到这个规划器，必须把这整条感知栈全部重训一遍。对只想在通用模型身上获得驾驶能力的人来说，这是死路：为一个专项重训整个脑子，等于把看过整个世界的知识推倒重来。另一条血脉则证明了通用模型确实能开车：DriveLM 用改造的 BLIP-2 把未来轨迹离散成文本 token，让模型像写句子一样把轨迹写出来，在 nuScenes 开环规划上的位移误差已经低于 UniAD 的单任务版本。但它的轨迹从头到尾活在文本里，模型没有产出过任何几何输出，说得出一条路线，却拿不出一条真正可执行的 3D 路径。UniAD DriveLM

三条路各留下一块拼图，拼出的是同一个结论：模块化证明了工程可靠但结构割裂，端到端证明了整链优化但代价是重训一切，驾驶 VLM 证明了通用模型能开车但缺几何输出。想做成这件事，只能走第四条路，Qwen 团队于是选了它：底座原封不动，能力挂在外面。问题随之摆到了面前：一个只会聊天看图的通用模型，要变成驾驶员，需要给它加什么，又绝不能动它什么？

第一条设计要求：预训练 VLM 原封不动

Qwen 团队的回答干净得近乎执拗：什么都不动，只在外面挂两个配件。Qwen-Drive-1.0 的框架里，共享视觉编码器加 VLM 是绝对中枢，底座是 Qwen3.5-4B。它负责把环视图像和文本 prompt 编码成统一表征，并生成文本。两个外部模块挂在旁边，一个 BEV 感知头负责 3D 感知，一个 Planning Expert 负责产出轨迹。论文在架构图上特意给这两个模块各标了一句 outside the VLM architecture。

图注：Qwen-Drive-1.0 统一框架。共享视觉编码器与 VLM 是中枢，向上生成文本；BEV 感知头与 Planning Expert 两个外部模块分别负责 3D 几何预测与自车未来轨迹，图上标注 outside the VLM architecture。Qwen-Drive-1.0

为什么如此坚持不动架构？因为通用能力是不可再生资产。底座在海量多模态数据上练就了看图说话、常识推理、指令跟随的本领，而驾驶场景只是它见过的世界的一小部分。任何为驾驶专项重训并改动内部结构的尝试，都有灾难性遗忘的风险：学会开车的那一刻，忘了怎么做题、怎么对话。Qwen 团队把保留预训练 VLM 架构列在三条设计要求之首，本质是把底座里那套通用世界知识当作要保护的存量资产。Qwen-Drive-1.0

另有一个更实际的动机。未来的智能座舱和自动驾驶可能共用同一块计算平台，同一个模型必须同时干两件事：陪人聊天，替人开车。这更要求通用能力与驾驶能力住在同一个身体里。这一定位把 Qwen-Drive-1.0 和两条前辈路线区分开。DriveLM 是纯 VLM 路线，不挂任何 3D 感知件，轨迹只活在文本 token 里。UniAD 是纯端到端路线，为规划重训整条感知栈。Qwen-Drive-1.0 走的是第三条路：模型不动，能力挂在外面。论文自称，这是首个在不改动预训练 VLM 架构的前提下，把 3D 感知、驾驶问答和轨迹规划统一进同一模型的工作。

这个框架有一个容易被忽略的后果：问答与几何预测共享同一套表征。你问它为什么减速，它回答时用的场景理解，和它用来画轨迹的其实是同一个理解。可解释性因此有了抓手：先问它怎么看，再核对它怎么做，两边对得上，才谈得上放心。论文自己也承认现在常有对不上的时候，这个伏笔留到评测章再拆。

底座所属的 Qwen3-VL 系列，在其技术报告中宣称的升级包括：用 Interleaved-MRoPE 交错分配时间与空间的位置编码，用 DeepStack 把视觉编码器多层特征直接注入大模型前几层，用文本形式的时间戳 token 表达视频时刻，并把上下文长度推到 256K。Qwen3-VL 这些升级若要落到 Qwen-Drive-1.0 上，意义只有一个：一个能同时吃图像、文本与时间序列的现成中枢。但底座是否原样采用这些内部细节，论文没有公布，也不必公布，因为设计哲学恰恰是不关心里面长什么样，只保证不动它。可以说，底座不只是会说话的聊天机器人，它出身于一个宣称能消费视频、能理解时间顺序的系列，这给后面的轨迹生成留好了地基。

但这里立刻冒出一个尖锐的疑问。一个只学过看图写字的模型，训练数据里从来没有过 3D 检测框、没有过体素占用、没有过 BEV 栅格。它的表征里，真的有 3D 信息吗？

BEV 感知头：给共享表征做一次 3D 体检

先把 BEV 讲明白。BEV（鸟瞰视角）就是把相机画面投影到车顶俯视图。每台相机那张二维照片，沿各自的光线方向抬起来，变成一片视锥形的点云，再按标定参数撒到车顶往下看的栅格平面上。这是 2020 年 LSS 确立的 lift-splat-shoot 三步法，也是 BEV 摄像头感知的起源。LSS

LSS 之后，BEVFormer 把这一步从几何投影升级成学习式聚合：在 BEV 平面上布下一组可学习的网格 query，每个 query 去各相机视图抓取相关图像特征，也去上一帧的 BEV 特征里抓取时序信息，最后得到一个统一的 BEV 表征。这个表征可以同时喂给多个任务头，做 3D 检测、做地图分割、做占用预测。这就是为什么 BEV 能统一 3D 感知：不同任务共享同一张俯视地图，只是各取所需。BEVFormer

Qwen-Drive-1.0 的 BEV 感知头站在这条脉络的末端，但读的东西换掉了。它不再只读视觉编码器的特征，而是同时读两条互补的特征流：一条是视觉编码器早期的低层特征，保留颜色、纹理这类外观信息；另一条是图像 token 走完整个 VLM 之后得到的特征，里面装着模型对这个场景的语义理解。两条流融合进一个 query-based BEV Transformer，最后分出三个分支：3D 检测框、语义占用、BEV 地图分割。

图注：论文 Fig.3 双 panel 图。左半是 BEV 感知头：体素化的视觉编码器特征与 VLM 输出特征金字塔融合进 BEV Transformer，再分出 3D 检测、语义占用、地图分割三个分支；右半的 Planning Expert 下一章细讲。Qwen-Drive-1.0

三个分支各管一摊：3D 检测框回答障碍物在哪、是什么，语义占用回答哪片空间到底可不可以通行，BEV 地图分割画出车道线、路口和行驶边界。合在一起，就是一张完整的驾驶用俯视图：哪里能走、哪里不能走、走路要注意什么，一目了然。

这个头的身份很特别，论文把它叫作探针加可检视接口。探针的意思是，它复用了共享 VLM 的表征而不是自己另起炉灶，输入和输出都定义在同一个特征空间里，所以它测出来的就是 VLM 表征里真实的 3D 含金量。可检视接口的意思是，它把 3D 场景结构从黑箱里掏出来，变成一张能被人逐格检查的俯视图。一次体检，两个收获。

体检结果很有意思，也很反直觉。只用 VLM 预训练好的视觉特征、只训练这个头的时候，3D 检测精度比专用感知基线 BEVFormerV2* 低 6.34 mAP。这说明预训练特征里支持 3D 对齐的材料是有的，但结构没有直接暴露出来，必须靠后续联合训练逼出来。而一旦把整个流程走完，Qwen-Drive-1.0-SFT 在 nuScenes 上拿到 43.95 mAP 和 42.83 NDS，反超 BEVFormerV2* 2.01 mAP，NDS 超 BEVFormerV2 3.05。Qwen-Drive-1.0

也就是说，3D 信息确实在共享表征里，只是埋得很深，得知道怎么挖。感知的看有了着落，那走呢？规划模块长什么样？

轨迹不是查出来的，是从噪声里显影出来的

如果 3D 感知是看看这个身体里有没有 3D 的骨头，那规划就是让这个身体自己迈出步子。Qwen 团队没走老路：没有让模型直接回归一条轨迹，而是用生成式的方式让轨迹自己长出来。

方法叫 flow matching（流匹配）。打个比方：想象一位画家面对一张风景照片。他不照着照片一笔画出最终的路，而是从一张布满杂乱线条的纸开始，每擦掉一点噪声、描深一条边，都重新看一眼照片。flow matching 就是这位画家，照片就是 VLM 对这个场景的完整理解。轨迹不是一次性算出来的，而是从噪声里一遍遍显影出来的。论文 Fig.3 右半画的就是这个过程：噪声轨迹 token 作为起点，每一步去噪都参考缓存下来的 VLM 的 key 和 value。

再说细一点，flow matching 的去噪方式和它的名字一样直白。它不预测噪声本身，而是直接预测这条轨迹最终应该长成什么样，也就是干净端点，再靠端点和当前噪声轨迹的差，倒推出每一步该往哪个方向挪。时间步越靠后，轨迹越接近成品，模型要修的幅度也越小。推理时用 10 步 Euler 求解，不需要像早期扩散模型那样慢慢烧几百步。

图注：Planning Expert 的数据流。噪声轨迹 token 从起点出发，缓存的 VLM K/V 与流时间、导航指令、自车状态一起注入 32 层去噪网络，逐步得到 5 秒的干净轨迹。

具体来说，VLM 内部交替使用两种注意力，其中后八层 grouped-query softmax attention 的 K/V 被缓存下来，每 8 层缓存喂给 4 层 Planning Expert。Planning Expert 本身是一个 32 层的 diffusion Transformer，约 1.1B 参数，隐层 1024。去噪的每一步，轨迹 token 都和缓存的 K/V 拼在一起做联合 attention，同时通过共享的 adaptive LayerNorm 注入三个条件：当前的流时间步、导航指令、自车状态。输出是一条 50 个航点、覆盖未来 5 秒、10Hz 频率的轨迹。Qwen-Drive-1.0

连输入的组织方式都在为规划服务。问答任务把图像按帧排列，规划任务则按视角排列，让同一位置的时序变化成为相邻 token，方便模型捕捉动态变化。一切设计都指向同一个原则：复用共享表征，不改模型结构。

这一步的范式选择和 UniAD 的规划器形成鲜明对照。UniAD 的 planner 是 attention-based，直接对 BEV 特征做注意力回归出一串 waypoint，推理时再叠加牛顿法碰撞优化。它不是 flow matching，也不是任何生成式方法。两者真正的差别在于：UniAD 为了这个 planner 重训了整条感知栈，而 Qwen-Drive-1.0 的轨迹是在冻结的 VLM 表征之上、以生成式方式长出来的。模型读的是同一个世界的理解，而不是另起炉灶训练一套专用规划器。对读者来说，记住一件事就够了：UniAD 问的是这一帧应该开向哪里，答案是查出来的；Qwen-Drive 问的是在给定理解下一条好轨迹长什么样，答案是长出来的。

感知和规划都就位了。但现在最棘手的问题来了：这个模型本来只会聊天答题，现在又要它感知、又要它规划，怎么训才能都不弄坏？

四阶段配方：先站稳，再学会开车

训练配方是这篇论文最像艺术的部分。它不把任务一股脑倒进模型，而是把动作拆成四步，每一步只动该动的模块。论文用一张流程图标出每一步哪些模块在训、哪些冻结。

图注：四阶段训练配方。Stage 1 只训 BEV 感知头；Stage 2 视觉编码器与 VLM 参与联合训练；Stage 3、4 共享通路冻结，只训练 Planning Expert。火焰图标代表 trainable，雪花图标代表 frozen。Qwen-Drive-1.0

Stage 1 只训 BEV 头。视觉编码器和 VLM 全部冻结，让这个新挂上去的感知头先站稳脚跟，用纯感知损失把 3D 检测、占用、地图分割练出个样子。Stage 2 是关键阶段，感知加 VQA 联合训练：BEV 头、视觉编码器、VLM 一起更新，同一批数据里同时跑感知通路和问答通路，BEV 头的学习率是 VLM 的 20 倍。这一步才是真正把 VLM 适配到 3D 的那一击，因为只有它让 3D 监督的梯度穿过 VLM 内部，把检测框和占用信息翻译成内部表征的调整。上一章的探针实验已经证明，光靠预训练特征不够，必须靠这一击。Stage 3 冻结共享通路，只对 Planning Expert 做 flow matching 监督微调，得到 Qwen-Drive-1.0-SFT。Stage 4 共享通路继续冻结，只对 Planning Expert 做任务级奖励的强化学习，得到 Qwen-Drive-1.0-RL。Qwen-Drive-1.0

配方的燃料也值得一提。驾驶推理数据不是手工标注的，而是先用规则拿到未来轨迹的先验，再让 Qwen3.7-Plus 基于它生成成段的因果推理文字，经过多轮审核后入库。模型学的不是孤立的答案，而是从感知到决策的一条因果链：看到什么、推断什么、因此怎么开。Stage 2 的同一批数据里还混合了 3D 感知、驾驶问答和通用问答三条通路，通用样本始终在场，这是通用能力不掉的直接保障。

这套配方的直接证据，体现在两组数字的对比上。驾驶相关推理大幅提升：Qwen-Drive-1.0-SFT 在六个驾驶问答基准上的平均分 69.43，比底座 Qwen3.5-4B 高出 5.91 分。通用能力几乎没动：在 MMBench、MMMU、OCRBench 等十个通用视觉语言基准上，相对底座维持在一分以内的差距。一边学会开车，一边没弄坏原来的脑子，这正是不动架构哲学在训练端的兑现。

值得多说一句 Stage 4 的工程巧思。Planning Expert 的流是确定性的，而碰撞、压线这类任务级奖励不可微，没法直接反传。作者的解法是在 10 步 Euler 求解里只对最后 3 步引入随机转移，让确定性流变得可微。这种细节一两句带过即可，重要的是记住顺序背后的逻辑：先让感知头站稳，再逼共享通路适应 3D，最后在冻结通路上长出规划。每一步都在防同一件事：灾难性遗忘。

Stage 3、4 冻结共享通路的含义很具体：训练的目标函数只作用在 Planning Expert 那 1.1B 参数上，不会回头改动 VLM 的任何一层。先稳定，后雕花，这是整张配方的节奏感。

那么，这些分数到底是在什么条件下拿到的？开环、伪闭环、闭环，三个词之间相差有多远？

三个评测梯子：它到底行不行，还差在哪

要回答行不行，先得学会读分。规划评测有三级可信度梯子，从便宜到昂贵：开环、伪闭环、闭环。开环可以大规模自动跑，但只量像不像人类。闭环最接近真实，却昂贵到很难大规模评测。伪闭环是 2024 年之后流行的折中方案：只让规划器看一次真实场景，不把它的输出喂回模拟器重新生成环境，比开环多测了安全和进度，又比闭环便宜好几个数量级。

先看开环为什么不够。传统的开环评测只看一条：预测轨迹和人类真实记录差多少，即平均位移误差 ADE。NAVSIM 用一张图点破了这个指标的荒诞：一条偏离人类记录但完全安全、不压线的绿色轨迹，ADE 比一条撞了车的红色轨迹还大。位移误差惩罚的是不像人类，而开车要的是安全到达。NAVSIM

图注：NAVSIM teaser。路口叠加候选轨迹，右侧四张 BEV 俯视图分别对应人类记录、偏离路面、合规无碰撞、相撞四种情形并标注 ADE。ADE 更小的红色轨迹反而相撞，ADE 更大的绿色轨迹合规无碰撞。NAVSIM

NAVSIM 的替代方案是伪闭环：在真实的初始传感器帧上让规划器只出一次轨迹，然后按规则把未来 4 秒的交通展开，用碰撞、可行驶区域合规、进度、碰撞时间、舒适度五个维度合成一个总分 PDMS：

$$PDMS = NC \times DAC \times \frac{5\cdot EP + 5\cdot TTC + 2\cdot C}{12}$$

碰撞和压线是乘性否决项，只要撞了或出线，整场就是零分。剩下的三项加权平均，权重直接沿用自 nuPlan 挑战赛。这套分数和真实闭环仿真的相关性显著高于 ADE，代价是它仍然是按记录回放式的展开：周围车辆不会对你的轨迹做出反应。NAVSIM

把三级梯子摆开，Qwen-Drive-1.0 的数字长这样：

层级怎么测Qwen-Drive-1.0 成绩可信度边界
开环历史数据逐帧打分，轨迹与真值比差WOD-E2E test RFS 7.91（RL）便宜，只量像不像人类，不量安不安全
伪闭环真实初始帧出一次轨迹，按规则展开 4 秒NAVSIM PDMS 90.7 / 91.4（RL / RL‡）周围代理非反应，本质仍是偏预测
闭环反应式仿真，规划器与虚拟交通真交互AlpaSim off-road 12%、at-fault close-encounter 11%（RL）最接近真实，仍有仿真与真实域差距

开环上，Qwen-Drive-1.0-RL 在 WOD-E2E test 上拿到 RFS 7.91。伪闭环的 NAVSIM 上，RL 版本 PDMS 90.7，加 best-of-6 采样后 91.4。闭环的 AlpaSim 上，RL 把 off-road 率从 24.0% 砍到 12.0%，at-fault close-encounter 11.0%，但进度掉到 48%。Qwen-Drive-1.0

怎么读这组数字？三个层级不能等价比较，每个数字都有自己的边界。NAVSIM 的 91.4 PDMS 再好看，也是规划器只被查询一次、周围代理按记录重放的设定下拿到的，论文自己写明它不直接是交互式驾驶质量的代理。AlpaSim 的安全上升加进度下降，更像一个诚实的折中：模型学会了更保守地开车，代价是更慢。这离可以量产还很远，但方向是对的。

把开环比得更细，还能看到一个值得警惕的边界。在 WOD-E2E 的验证集上，RL 版本的 RFS 达到 8.45，超过了人类驾驶员的 8.13。但这不意味着模型开得比人好，论文自己说得很清楚：这是对训练场景偏好的有效优化，不能外推到泛化意义上的人类超越。这张表的正确用法也不是横向比分数，而是先问一个数字是从哪级梯子上拿到的，再决定它值多少信任。

论文也自己列了三条局限。规划推理还不能稳定识别跨时间尺度的因果：20 米外的红灯需要提前渐刹，5 米外的小孩冲出需要瞬间反应，多因并发时模型会抓不住主因。生成的轨迹并不总是与文本理由一致。三个任务用着不同的输入格式与时间分辨率，限制了表示迁移，需要更紧的联合优化。Qwen-Drive-1.0

还要看清楚一件事：Qwen-Drive-1.0 不是这条路上唯一的答案。DriveLM 坚持纯文本轨迹 token 的路线。OmniDrive 用反事实问答训练 VLM，并主张把 2D VLM 迁移到 3D，比把 3D 感知栈塞进 VLM 更直接。OmniDrive

把眼光放远一点，Qwen-Drive-1.0 的价值不在任何单一数字里。它示范的是自动驾驶大模型化路上的一种姿态：不再把通用模型当作需要重训改造的原材料，而是当作需要保护的资产，缺失的部分用外部模块补齐。整篇论文最有说服力的地方，是它把这种姿态的收益和代价都摆在了桌面上：收益是通用能力几乎无损，代价是三任务各自为政、评测可信度有限。账算得清楚，路才走得下去。

回到开头的问题：一个只会看图答题的模型，能不能不改架构就变成驾驶员？Qwen-Drive-1.0 用一整篇论文回答了三个能：能通过探针证明共享表征里确有可挖的 3D 信息，能用生成式规划在冻结的表征上长出轨迹，能靠四阶段配方学会开车而不弄坏原来的脑子。这篇论文证明的是一条走得通的设计哲学，而不是一块能上车的量产方案。它最得意的地方是外部挂件的不动架构，最薄弱的地方是三任务各自为政、伪闭环可信度有限，这两端之间的张力，正是留给下一棒的问题。下一个模型，大概会从把三件事真正对齐开始。

想深入可以读原文：Qwen-Drive-1.0: An Initial Step towards a Vision-Language Foundation Model for Autonomous Driving — arXiv:2609.00111

参考文献

Qwen-Drive-1.0：只会看图答题的模型，不改架构就能规划行驶轨迹