BloomBloom
发起研究

DriveZero：没学一条人类开车示范，模拟驾驶成绩反超真人司机

照着人类日志学开车，为什么开不出日志之外的水平？

想象一档速成驾校：学员从不碰方向盘，只坐在副驾看教练开了一百小时车，然后直接被扔进考场。教练刹过的车、转过的弯他都见过；教练没遇到过的突发状况，他连该怎么反应都没得抄。今天的端到端自动驾驶，学的就是这档速成班的课程。DriveZero 这篇论文要回答的，也正是这档速成班露出的那个问题：照着人类日志学开车，为什么永远开不出日志之外的水平？它凭什么翻过这道天花板？

要回答这个为什么，先得看清"照着学"这条路错在哪。端到端自动驾驶，指直接从相机画面学出驾驶动作的神经网络，取代"感知、预测、规划"的模块化流水线，它的主流训练方式只有一种：模仿学习，也叫行为克隆，拿人类司机的行车日志当标准答案，让网络照着复刻。这条路的天花板在哪，NVIDIA 在 2025 年底发布的闭环训练综述说得最直接：行为克隆的漏洞可以拆成五类失败模式，其中累积误差与长尾覆盖这两类尤为关键BeyondBC。

图注：NVIDIA 闭环训练综述的概念图。上方四路相机画面，下方红色实线的 Expert（专家示范）与蓝色虚线的 Policy rollout（策略开环回放）两条轨迹逐渐分叉，中间的问号框与三个提问（动作从哪来、环境怎么回应、训练目标是什么）点出开环模仿与闭环训练的分野。此图是综述的概念示意，不是 DriveZero 的架构图。BeyondBC

先说累积误差。网络学日志时每帧都差一点点，但车是会运动的：这一帧的偏差被带进下一帧，变成更大的偏差，再下一帧继续放大，轨迹越走越偏出日志覆盖的区域。图里那条蓝色虚线正是这个画面：策略开环回放的轨迹一开始贴着红色实线的专家示范，越往后分叉越大，开环评估里成绩漂亮的模型，放进真实反馈里会越偏越远。还有一类隐蔽的失败叫因果混淆：网络可能学到的是"周围车刹车我也刹车"，而不是"红灯必须停"，示范里天然的相关关系被当成了因果。再说覆盖度。日志里每个场景只记录了人类司机实际选择的那一种开法，几乎没有失败后的纠正，罕见路况为零。事故恰恰总发生在没被记录过的角落。把成功率从 99% 推到 99.9%，可能要十倍百倍的数据，而且越堆越慢，光靠加数据补不齐这条缝隙。两类失败指向同一个答案：模仿学习的上限不是工程没做好，而是教材本身的信息量不够，它只能教会 AI 复刻日志里出现过的行为，永远开不出日志之外的水平。

这道上限，连模仿学习时代公认最强的架构也翻不过去。CVPR 2023 最佳论文得主 UniAD 把检测、建图、预测、占用、规划五件任务串进一个 Transformer 全栈联合训练，用统一的 query 接口把任务一件件喂给下游，代表了模仿学习时代端到端驾驶的最高水平；但它的监督依然是人类日志，学的依然是开环模仿，天花板自然还在UniAD。

所以问题摆上了桌面：不让 AI 照着人类抄，把它放进一个会回应它的世界里自己试错，行不行？2026 年 9 月 5 日，小米汽车 L3 团队在 arXiv 提交了 DriveZero，一份尚未经同行评审的技术报告，声称不光照着这条思路做到了，还在模拟驾驶评核里追平乃至超过了人类司机的分数DriveZero。这里的"不依赖人类示范"要读准：不是完全不用人类数据，而是不再拿人类轨迹当学习目标，人类日志仍会用来搭练车场、定导航目标，这个区别是整个故事的关键。它凭什么？凭什么不抄作业反而开得更好？

破解思路：看懂世界与学会开车，是两门必须分开练的功课

DriveZero 的第一个判断是解耦：看懂世界与学会开车，是两种需要不同学习范式的能力，硬塞进同一个框架里，两边都做不好。先看感知。理解道路要的是海量、多样、不需要任务标注的视觉数据，几十亿张图喂进去，模型才见过足够多的场景。再看动作。会开车要的是闭环反馈，在会回应的环境里试错，做错了立刻被世界惩罚，而不是复读示范。可部署的形态又必须是只看摄像头的学生模型，于是只剩一条路：动作和感知各用各的练法预训练，再用蒸馏合一。蒸馏在这里的意思是翻译，把教师用特权信息练出来的开车经验，翻译成摄像头能读的语言。这也是为什么这个问题现在才轮到被完整回答：真闭环基准（nuPlan、NAVSIM、HUGSIM）是近几年才陆续搭起来的，"比人类示范开得更好"第一次变成了可测量的陈述。

论文的 Figure 1 把三段式一次画完：左侧是两条并行的预训练轨。上轨 DriveRL 管"学会动作"，把 nuPlan 的人类日志改造成可交互的世界，用闭环强化学习训练一个看得见特权状态的教师；下轨 DriveVFM 管"看懂世界"，把四个冻结的视觉基础模型融成一个骨干，只吃原始图像、一个标注都不要。中段是蒸馏统一，把两条轨缝成一件衣服：纯视觉的学生模型拿教师的轨迹当标准答案。右侧的成绩卡先按下不表，那是后面的预告。

图注：DriveZero 整体架构（论文 Figure 1）。左面板两条并行预训练轨：上轨 DriveRL 在由 nuPlan 日志改造的混合代理交互世界里用 PPO 闭环训练特权教师，下轨 DriveVFM 把 DINOv3、SigLIP2、SAM、Depth Anything V2 四个冻结视觉基础模型蒸馏成单一骨干；中段是蒸馏统一，右面板是各基准成绩卡，仅供预告。图面上没有延迟、算力或参数量标注，右侧也不是真实道路部署数据。DriveZero

这里的直觉是分工：感知侧的教材是海量的网络图像与驾驶图像，动作侧的教材是模拟世界里的反复试错，两者互相替代不了。把感知当动作练，模型会在数据规模面前饿死；把动作当感知练，模型永远学不会交互，因为它从未被世界回应过。教师开得再稳也不能直接部署，因为它依赖的特权状态在真实车上不存在；学生看得再懂也不会开车，因为看不等于行动。必须各有各的练法，最后靠蒸馏合体。问题于是递到下一环：这位老师凭什么开得比日志里的示范还好？它到底是怎么练出来的？

动作轨：DriveRL——在会反击的练车场里练出一位特权教师

先看练车场。DriveRL 没有凭空造世界，而是把 nuPlan 的人类日志改造成交互世界：背景车辆由三类代理驱动。第一类是日志回放，照着记录原样行动；第二类是规则车，用经典的智能驾驶者模型（IDM）按跟车逻辑实时反应，你靠近它就减速，你要变道它就避让；第三类是学习策略，由另一个模型学出来的车流。三类代理的配比并非一刀切：日志回放与 IDM 规则车按一比一混进练车场，学习策略车流是配套的自博弈扩展；晚进场的车还要过一道场景一致性检查，防止它凭空穿墙出现。关键在世界会回应 ego 的动作：你踩油门，前车可能让行也可能不变道，世界不是播录像带，而是会反击的沙袋。这套系统在 96 张 GPU 上并行跑了近 20 万个独立世界同时训练DriveZero。

教师本体是个只有 570 万参数的小策略网络，它吃的不是相机画面，而是一份"上帝视角"的结构化状态：

特权状态（structured state）内容
自车位置、速度等本体信息
周边目标最多 96 个交通参与者的轨迹
矢量地图256 个 token 描述的车道与信号灯
目标锚点两个导航目标点

这就像驾校教练坐在有全场仪表盘的模拟舱里练车：他能看到每辆车的实时位置、整张地图和导航终点，比任何真车上的驾驶员都看得清楚。这份特权信息既是 DriveRL 强的原因，也是它不能直接部署的原因，真实车上没有这样的仪表盘。训练算法是 PPO，2017 年由 OpenAI 提出的强化学习算法，核心思想一句话：每次参数更新都别离旧策略太远，用裁剪把更新幅度限制住，稳定又简单，适合在仿真里大规模试错PPO。奖励按人类开车的规矩来：碰撞、冲出路面这类硬性事故一旦触发就重罚，压线、超速、舒适度、跟车时距等六项软条件按程度扣分。教师在这个练车场里反复翻滚试错，约 21 小时后练成。

这套"特权教师加学生蒸馏"的组合拳并非 DriveZero 首创。闭环训练综述把它归为教师-学生范式，早期代表是 CARLA 里的 Roach，但前人的练车场车流简单，教师的交互经验有限BeyondBC。DriveZero 的不同在于规模：世界里混着会学习的车流，有近 20 万个并行世界，有真实日志打底，练出来的应急行为是示范日志里没有的。为什么不干脆把模仿的规模再做大？因为再大的日志也只能回答"人当时怎么开"，回答不了"世界会怎么回应我"。只有让世界真的回应你，教师才长得出日志外的本事。

推理时 DriveRL 还自带一道择优工序：策略先给出最可能的那个动作，再在同一条分布里多抽几个候选，用训练时学到的价值函数给每个候选预演五步、打分，候选确实更好才替换，切换还带一个小安全边际，防止为一点分数差来回跳。搜索规模加大到 64 时，nuPlan 平均成绩从无搜索基线的 93.01 提到 93.57（候选数 8 时已到 93.12）DriveZero。教师练成了，但问题更尖锐：它强是因为看得见特权状态，而路上跑的车只有摄像头。那"眼睛"从哪来？

感知轨：DriveVFM——不标一个框，把四位视觉大师并成一双眼睛

造眼睛的思路来自 NVIDIA 的 AM-RADIO 范式。它的名字直白：把多个视觉基础模型"凝聚"进一个骨干，让学生同时拥有各家之长，教材是海量网络图像，一个任务标注都不要AM-RADIO。

图注：AM-RADIO 多教师蒸馏框架图。学生骨干居中，CLIP、DINOv2、SAM 三位教师从不同分辨率输入各自输出 summary 与空间特征，经适配头与学生对齐，让一个模型同时拥有零样本语义、密集对应与开放词汇分割。右侧数字是 AM-RADIO 自己的评测成绩，不是 DriveVFM 的实测。AM-RADIO

DriveVFM 做的就是把这个范式搬进驾驶域，把教师集换成四个驾驶友好的模型：DINOv3 同时压全局与局部特征，SigLIP2 压全局语义，SAM 压局部几何，Depth Anything V2 通过特征蒸馏提供深度信息，四位大师各出一份力，融成一个 ViT 驾驶骨干。训练语料混合了网络图库（LAION-2B、ImageNet-21K、SA-1B）与驾驶语料（OpenDV、nuPlan、Waymo）。一个值得一提的细节：Depth Anything V2 贡献的是特征而不是深度图本身，因为论文的实验发现，直接模仿深度输出反而不如蒸馏特征效果好。四位教师的输出形态和数值范围各不相同，蒸馏前要先用一种叫 PHI-S 的标准化把激活方差拉到同一尺度，否则嗓门大的教师会盖住嗓门小的；全局特征用余弦距离对齐，空间特征用均方误差对齐。两阶段预训练先从 256 分辨率起步，再到 512 分辨率精修，全程一个任务标注都没有DriveZero。

为什么感知侧值得这么造？因为视觉理解要的是规模而不是逐帧标注：网络图像近乎免费且以十亿计，人工逐帧标注又贵又慢，量级差着十万八千里。更重要的是，感知和动作从此各管各的，学生头可以专心学开车，眼睛却已经在无标注语料里看遍了道路与障碍，这正是"学生从老师那学动作"能成立的地基。这套做法的有趣之处在于，凝聚出来的骨干常常反超所有教师，因为蒸馏让信息互补，而不是简单取平均。论文的消融也显示四位教师每个都带来增量：两位起步，每加一位分数就跳一截，具体数值留给最后一节细说。眼睛有了，接下来是整场戏的机关：怎么把老师的开车本事，装进一个只看摄像头的学生里？

合体时刻：学生只有摄像头，怎么把老师的开车本事全接过来？

蒸馏的闭环长这样：在每个日志帧上，特权教师从结构化状态滚出一条 20 步的轨迹当标准答案。学生这边，前后左右四路摄像头画面经过 LoRA 微调的 DriveVFM 编码成特征，由一个四层的轨迹解码器一次性给出 64 条候选轨迹。训练用的是一种叫 winner-takes-all 的回归：把每条候选轨迹与教师的标准答案算距离，只有离答案最近的那一条拿到梯度。这样设计是为了避开回归的平均化陷阱：如果 64 条候选一起去够同一条答案，模型会学成每样都沾一点的平庸折中，而 winner-takes-all 逼它把最好的那条越逼越准。另有一个打分头学着预测六项安全分数，推理时挑总分最高的候选开出去，教师此刻已经被移除，上路的只有学生自己。

图注：蒸馏框架（论文 Figure 2）。左侧特权教师从结构化观测滚出 20 步轨迹当标准答案，右侧纯视觉学生给出多条候选轨迹做 winner-takes-all 回归并预测 PDM 分项，中央 Goal augmentation 箭头就是"换个目的地再问老师"的反事实监督出口。教师只在训练时使用，推理时被移除。DriveZero

两个事实值得停一下：学生训练时从不进模拟器，也从不用一条人类轨迹，教学材料全部来自 RL 老师。学生够得着老师，是因为眼睛和动作都已在各自领域预训练好，蒸馏只是把特权世界的开车经验翻译成摄像头能用的语言。

全文最关键的机关在这里：教师是目标条件的（goal-conditioned），给它一个导航目的地它才知道怎么开。这个设计本身不起眼，但它解锁了一样人类日志给不了的资源：训练时把目的地随机改掉，再问老师一遍，就能得到同一场景下、日志里根本不存在的反事实轨迹："如果我要在这里左转、直行、再往前一点，老师分别会怎么开？"这就是"超越人类示范"的字面落点。人类日志只能回答"当时人是怎么开的"，意图增强问的是"换一个意图该怎么开"，后者的覆盖面天然大于前者，同一个场景能问出许多互不冲突的答案。预告一个数字：论文的消融显示，这一步单独值 0.80 分DriveZero。

把这一步放到具体场景里看就清楚了。一段日志里，司机在某路口右转，日志只记录了这一次右转。训练时把目的地改成左转，再问老师一遍，就得到了同一条路上、同一个时刻、从没被记录过的左转轨迹。它是合理的、安全的、与场景一致的。学生于是在同一场景里见到两种开法，学到的就不再是这个路口要右转这一条死记，而是根据意图选择动作本身。

老师、眼睛、机关都齐了。这套系统放到四个模拟驾驶基准上，到底开得怎么样？

成绩单读法：四个模拟器、五组数字，证明了什么、又还没证明什么？

读分之前先立坐标系。四个 benchmark 考的东西完全不同，评分算法各算各的，分数不能互相换算。从评测协议看，它们还恰好是三道台阶：nuPlan 最早把闭环二字变成可跑的评测，NAVSIM 在开环与闭环之间造出伪仿真，HUGSIM 把渲染推到照片级。逐项看下表：

基准评测形态考什么参照系
nuPlan真闭环，非反应式与反应式两档碰撞、可行驶区、进度、舒适度复合的闭环成绩Log-Replay 专家，即把人类日志原样重放
NAVSIM v1 (navtest)开环非反应式，PDMS 复合分4 秒轨迹的安全与舒适Human Driver，人类司机日志得分
NAVSIM v2 (navhard)伪仿真 EPDMS，开环加 3D 高斯泼溅预渲染的合成视角规划路径附近小扰动下的稳健性各方法 EPDMS 排名
HUGSIM照片级神经渲染的真闭环，HD-Score路线完成度乘碰撞乘舒适各方法 HD-Score 排名

逐个看。nuPlan 是真正的闭环仿真：测试场景按 14 类典型情境（左转、变道、跟车、路边停车等）分成 Val14、Test14-hard、Test14-random 三套，每套再跑非反应式与反应式两种模式。非反应式模式下背景车照日志回放，反应式模式下用跟车模型实时回应 ego，底层控制由 LQR 与运动学自行车模型完成nuPlan。参照系 Log-Replay 专家最值得玩味：它就是把人类日志原样重放一遍，等于任何模仿学习系统的理论上限。教师 DriveRL 加上测试时搜索（规模 64）拿到 93.57 的平均分，三套场景乘两种模式的六个设置全部超过 Log-Replay 专家。注意这是那个开上帝视角的教师的成绩，不是学生的；93.57 超过的是人类日志本身的上限，这是"老师比示范强"在闭环里最直接的证据DriveZero。

NAVSIM v1 的 navtest 是开环评估，分数 PDMS 由碰撞、可行驶区、跟车时距、舒适度等分量复合而成，参照系是 Human DriverNAVSIM v2。DriveZero 本体 94.8 与人类司机的 94.8 打平，这一步还没赢：打平意味着学生追上了示范的上限，但在榜单里只能排第二。加上 SimScale 额外 23.7 万条分布外场景（专门挑训练集之外的路况给学生补课）的 DriveZero-Scale 变体拿到 95.3，才首次让一个纯视觉端到端模型超过人类司机DriveZero。头衔必须加限定词：榜单上确实还有拿到特权符号输入的 DriveRL-GT 成绩更高，但它开着上帝视角，不归"纯视觉端到端"这一类。所以论文的头条是"纯视觉、端到端、camera-only"三个限定词之下的第一。分项上，DriveZero 的碰撞项 99.0、可行驶区项 99.2、舒适度项满分，最低的一项是效率类的进度分 93.1，短板在效率而非安全。

图注：NAVSIM navtest 同一批场景的轨迹对照（论文 Figure 3）。coral 轨迹是 DriveZero-Scale，橙色是上一代 SOTA（DrivoR-Scale）：后者的轨迹撞上旁车或压出可行驶区，前者贴线不碰。这是论文选中的定性对照场景，不能推广成"DriveZero 从不碰撞"。DriveZero

NAVSIM v2 的 navhard 直接考稳健性：评测拆成两段，Stage 1 在真实观测上打分，这一段的背景车流已经升级成反应式；Stage 2 用 3D 高斯泼溅预渲染出规划路径附近的合成视角，看你偏离原计划一小步时还稳不稳，并按合成点离规划终点的远近加权，分数是 EPDMSNAVSIM v2。DriveZero 拿 51.5，DriveZero-Scale 拿 57.1 登顶，超过了带特权符号输入、不依赖相机的 PDM-Closed*（56.6）。一个耐人寻味的细节：Scale 变体的 Stage 1 略降 1.8 分，但 Stage 2 涨了 8.3 分，作者的解释是更多样的教师轨迹反而让模型在小扰动下更稳。这也正好回应了第一节说的累积误差：传统开环评测查不出这个问题，navhard 专门考它。HUGSIM 是最接近"真格"的一张照：用 3D 高斯泼溅重建真实城市、照片级渲染、真闭环交互，评测在真实反馈里跑。HD-Score 由路线完成度乘以碰撞与舒适分构成，它是神经渲染出来的世界，跟 CARLA 那种游戏引擎画风不是一回事HUGSIM。DriveZero 和 Scale 变体都是 zero-shot 直接空投，没在 HUGSIM 上做过任何微调，后者拿到 46.6，比此前最好成绩高出 8.1 分DriveZero。

读这五组数字还要分清谁在考试：93.57 是教师 DriveRL 的成绩，考的是闭环世界里谁开得更稳；94.8、95.3、51.5、57.1、46.6 是学生 DriveZero 的成绩，考的是只看摄像头能不能把教师的水平接过去。教师证明监督源的质量，学生证明监督源可以传导。两半合起来，"不依赖人类示范"这句话才算立住了。

最后看三组消融，回答"到底是不是真的超越人类示范"。同样条件下的学生，直接用人类轨迹监督得 93.92；换成教师轨迹但没有意图增强，反而掉到 93.61；教师轨迹加上意图增强，94.41。关键不是"老师比人开得好"，而是意图增强撑出来的那 0.80 分：它来自换个目的地再问老师的反事实轨迹，是人类日志给不了的。再看眼睛的贡献：学生骨干换成开源的 DINOv3 是 93.88，换成 DriveVFM 是 94.41，光眼睛就值 0.53 分；而 DriveVFM 的四个教师也各有增量，两位起步，每加一位分数就跳一截DriveZero。换句话说，DriveZero 证明的是监督源可以替换，而不是换来的监督天生更优。

边界也摆在明面上：数据仍以美国城市与 nuScenes 镜头分布为主，换一种道路风格未必成立；没有 CARLA 对照；推理期搜索的算力成本没有量化；HUGSIM 是 zero-shot 未微调DriveZero。论文也附了一段真实道路演示：一小队装了 DriveRL 自博弈版本的车，用小米自采日志训练，日志只提供场景与目标、不提供示范，已在拥挤的城市道路上跑过，项目页有演示视频。但这一节没有任何里程数、接管率或安全统计，是最刺眼的一处证据缺口。这篇是未经同行评审的技术报告，所有数字都有待独立复现。综合起来，一个有分寸的判断是：它证明了在闭环模拟基准上，RL 教师蒸馏可以取代人类示范来训练端到端驾驶；它还没有证明自动驾驶已经能替人上路。但方向是清楚的：当教材可以被合成、可以被追问，自动驾驶的学习就再也不被"人当时怎么开"钉死了。训练端到端驾驶不再非人类示范不可，这本身就是一条新路的起点。

想深入可以读原文：DriveZero: End-to-End Driving Beyond Human Demonstrations — arXiv:2609.06055

参考文献

DriveZero：没学一条人类开车示范，模拟驾驶成绩反超真人司机