Post-Training in End-to-End Autonomous Driving：开环指标赢了，闭环还是规则 IDM 更稳吗？

Yang 等人 2026 年发布的综述 Post-Training in End-to-End Autonomous Driving: A Unified View（arXiv:2607.08072，preprint，下文简称"锚论文"）把 2024–2026 年端到端自动驾驶领域的"后训练"方法收拢进一个统一框架。这篇专题以这篇综述为骨架，配套 VLA（Vision-Language-Action）与轨迹生成规划器两条案例线，把"开环指标赢了、闭环还是规则 IDM（Intelligent Driver Model）更稳"这条鸿沟填上：每家族用哪个代表方法、用什么监督信号、跑哪份代码，最后落到按预算分档的复现路线与开放挑战。

读者画像是接触过端到端驾驶、能跑通模仿学习（imitation learning）基线，但没系统做过 post-training 的算法/系统工程师，目标导向"复现论文 / 做项目"。所以下面的展开会跳过通用 RL 入门铺垫，直接进入机制、边界与失败模式。

一、为什么开环模仿学习撑不起闭环？后训练在解决什么

nuPlan benchmark 给过一个反直觉的事实：开环（Open-Loop）评测下，模仿学习策略 UrbanDriver 拿到 0.90 的高分，远超规则 IDM 的 0.30；可一旦换成闭环（Closed-Loop）仿真，IDM 反过来以 0.73–0.76 反超 UrbanDriver 的 0.67–0.68nuPlan。开环拟合离线轨迹的能力与闭环实际开车的能力之间存在一条系统性鸿沟。

锚论文把这背后的失败归到三类根因：误差累积（lane-centering 的小偏差会被车运动学放大）、点对点标签的盲区（同样位移误差的两条轨迹在舒适度上可以差出量级）、长程目标缺失（IL 监督只覆盖 2–5 秒，缺避让、合流、博弈这类需要看远的事）。这不是"再多训一会"能修的，而是要换一种监督信号。

锚论文给了一个统一的优化目标作为整篇的共享词汇：

$$\min_{\theta \in B(\theta_0)} \mathbb{E}{(\tilde{o}, \text{signal}) \sim \mathcal{D}{\text{PT}}} [\mathcal{L}{\text{PT}}(\pi\theta(\tilde{o}), \text{signal})] + \lambda \cdot \Omega(\theta)$$

其中 signal 是什么，决定了策略进入哪一家族。这是后训练与 IL 的根本边界：IL 的 signal 是 expert trajectory，后训练的 signal 可以是 teacher policy、preference pair、scalar reward，甚至根本不更新参数（verifier 选最优）。这条边界贯穿全文UnifiedView. 下面这张两阶段范式图把 Stage 1 IL 与 Stage 2 后训练的边界画出来了：

图注：锚论文 Fig.1 展示端到端驾驶策略的两阶段训练范式。Stage 1 通过模仿学习构建初始驾驶能力，Stage 2 通过后训练做进一步改进，Stage 2 在图中分叉为四大家族（distillation / preference / RL / test-time refinement）。

那么后训练具体插入到闭环仿真的哪一段？nuPlan 给出的五段式模块化仿真框架回答了这个问题：Observation → Agent model → Planner → Controller → MetricnuPlan. Planner 框就是策略被优化的位置，后训练方法作用的对象。换感知模块、换智能体模型、换 LQR 控制器都不影响这条接口：

图注：nuPlan 仿真框架的五段式模块化结构，Observation → Agent model → Planner → Controller → Metric 形成闭环，Metric 反馈回 Observation。后训练方法插入点在 Planner 段。

锚论文把后训练方法按监督信号形式划分为四大家族（distillation / preference alignment / RL / test-time refinement），下面这张 taxonomy 图是整篇专题的组织原则：

图注：锚论文 Fig.2 的四大家族 overview，按监督信号形式组织各分支，每个家族下面带图中可见的代表方法标签。这张图是全专题的组织原则，后文按家族逐个展开，每章首段都会回指这张图。

所以这一章的判断是：开环好不等于闭环好；后训练不是"再加一层 RL"，而是按信号形式选家族、按管线位置接接口。下面四章逐家展开。

二、蒸馏家族：稠密 teacher 指引与 VLM 反馈

蒸馏家族的 signal = teacher policy 或 teacher target。Teacher 可以是策略自身（EMA + KL 自蒸馏）、专家示范、或更大的 VLMUnifiedView. 锚论文 Sec.3 给出的关键区分是：teacher 提供稠密正确示范 vs 环境只给标量反馈；以及 DAgger-style 让 teacher 标注 student 自己 rollout 的状态，这比让 teacher 跟专家走更接近部署分布。

Gen-Drive 是这一家族里跨家族最典型的一例GenDrive. 它的流水线在蒸馏侧用 GPT-4o 做 pairwise preference 标注，先用规则（轨迹差异、collision、off-road）筛掉明显失败案例，再把模糊地带交给 VLM 打分，产出 5k scenarios × 50 pairwise comparisons 的偏好数据集：

图注：Gen-Drive 的 generation-then-evaluation 范式。左侧 base diffusion 在 multi-agent 联合动作空间生成轨迹，中部 VLM-assisted preference dataset（GPT-4o pairwise 标注），右侧 scene evaluator 训出 reward 后两个去向：推理时给候选打分选最优；或经 DDPO 反传微调生成器。

蒸馏不是免费的。AutoVLA 在 SFT 阶段用 Qwen2.5-VL-72B 生成约 45.6k 条 nuPlan CoT 标注，配合轨迹数据做 SFTAutoVLA. 其消融显示 nuPlan < 50k 样本时 CoT 监督在 PDMS / Collision 子项上反而不如 action-only，到 185k full 规模才稳定优于 action-only。这条工程经验对想在自家小规模数据集上做 VLA 后训练的读者直接可迁移：蒸馏的收益有数据规模门槛。

蒸馏家族通常作为 RL 更新周围的稳定器存在，而不是独立的最终阶段；后续第 4 章 RL 家族会再次看到这条规律。

三、偏好对齐家族：把 safety preference 写进策略分布

偏好家族的 signal = preferred/rejected pair，loss 是 DPO 风格，避免显式 reward modeling。锚论文 Sec.4 给出标准 DPO loss：log-sigmoid over log-ratio between chosen and rejected under π_θ vs π_refUnifiedView.

DriveDPO 是这一家族机制最完整的代表DriveDPO. 它把问题拆成两阶段：(1) Unified Policy Distillation 把 imitation similarity 与 rule-based PDMS（Predictive Driver Model Score）各做 log 变换后加权 Softmax 成单一 p_unified，用 KL 散度 warm-up 策略；(2) 在该先验上跑 iterative Safety DPO，构造 chosen = p_unified 最高的 anchor，rejected 由三种策略挑选。下图给出三种训练范式的对比：

图注：DriveDPO 的训练范式对比。(a) 单一模仿信号；(b) 多 score head 并行（Hydra-MDP / WOTE 路线，每个 anchor 单独打分）；(c) DriveDPO 先 unified supervision 融合 imitation + rule-based score 成单一分布，再 Safety DPO 精炼。(b) 是被显式对照的失败模式，不是 DriveDPO 的子模块。

机制上 DriveDPO 把"为什么需要偏好对齐"拆得很清楚。下面这张 pipeline 图可以分 (a)(b)(c) 三段来读：(a) Transfuser backbone + Anchor Tokenizer 出 anchor tokens 与 scene tokens，经 Transformer Decoder + Policy Head 得 π_θ；(b) p_unified = Softmax(w₁·log Sim + w₂·log PDMS)，用 KL 损失监督 π_θ（注意 (b) 是先验不是精炼）；(c) 从 π_θ 采样 K 个候选，chosen = p_unified 最高，rejected 按 Imitation-based 或 Distance-based 策略挑选，标准 DPO loss 训练：

图注：DriveDPO 的 Safety DPO 整体 pipeline。(a) 感知输入经 Transfuser + Anchor Tokenizer 输出 anchor tokens 与 scene tokens，经 Transformer Decoder + Policy Head 得到 π_θ；(b) imitation similarity 与 PDMS 各做 log 变换后加权 Softmax 成 p_unified，以 KL 损失监督 π_θ；(c) 从 π_θ 采样 K 候选，构造偏好对做 iterative DPO。(b) 是先验、(c) 是精炼，不可互换。

rejected 怎么造是这一家族的核心教学材料。三种 rejected 策略的 PDMS 增益阶梯：vanilla +0.5 / Distance-based +0.9 / Imitation-based +1.2（达到 90.0）DriveDPO. Imitation-based 显式针对"看起来像人但其实不安全"的危险模式，Distance-based 针对"chosen 周围的小局部塌陷"。

边界：偏好家族用 simulator-PDMS 当评分来源，反过来设 reward 时属 RL 家族；同一个 PDMS 既能给 DPO 的 chosen/rejected 评分，也能给 RL 的 scalar rewardUnifiedView. DriveDPO 与 DriveCritic（下一章）同源偏好信号，但作用点不同：DriveDPO 更新策略分布，DriveCritic 训裁判不更新策略。

四、RL 家族：奖励从哪来、怎么不训崩

RL 家族的 signal = scalar reward。在锚论文 Sec.5 里这是一个三维设计空间：reward 构造（五子类）/ rollout 采集 / 策略优化算法UnifiedView. 这章先立框架，再填两个不同子类的代表，形成"早期 → 现代"的演进对照。

锚论文 Fig.3 把这三个维度画出来。reward 构造五子类（rule-based / learned-critic / world-model-coupled / counterfactual / reasoning-consistency）、rollout 采集的三类分组（informative groups / negative & recovery / world-model rollouts）、策略优化算法（GRPO 变体 / flow-GRPO / PPO + actor-critic）：

图注：锚论文 Fig.3 给出 RL 后训练设计空间的三个正交维度，对应 Sec.5.1/5.2/5.3。reward 构造五子类在此定位。

早期：learned-critic 路线与 Gen-Drive 的 DDPO

Gen-Drive 把这个三维空间填成最早的范式GenDrive. 它用 GPT-4o pairwise preference 训一个 Bradley-Terry 风格的 scene evaluator（reward model），再用 Denoising Diffusion Policy Optimization (DDPO) 把这个 learned reward 反传到 diffusion denoiser。Fine-tune 时只更新 denoiser、encoder 冻结。DDPO loss 把 K 步 denoising 视作多步 MDP，每步 denoiser 是 policy，reward 仅在轨迹末端给出。

它的失败模式是 RLHF 的经典坑：reward hacking。Ablation 显示 1000 步是 sweet spot，1500/2000 步后性能反降至 0.8457/0.8123GenDrive. 下面这张图把 diffusion denoiser 的网络结构画出来，DDPO 微调的对象就是中段的 denoiser（encoder 不动）：

图注：Gen-Drive 的网络结构。左侧 Scene Context 输入（object trajectories + vector map）经 Query-centric Encoding Transformer + Diffusion Denoising Transformer（含三类 cross-attention），右侧 S 个候选场景并行产出后进入 Scene Evaluation Transformer（encoder-decoder + 两个 MLP head）。DDPO 微调对象是 denoiser，encoder 冻结。

Gen-Drive 的另一个跨家族意义在于：它同时跨 distillation（VLM-as-teacher 偏好标注）与 RL（DDPO 微调）两家族，证明家族之间不互斥。Reduced Val14 set 上 Gen-Drive Fine-tuned Multiple 拿到 0.8753；但这个分数只在 nuPlan reduced Val14（非 reactive）上报告，与 NAVSIM PDMS 体系不可同台，引用时必须限定GenDrive.

现代：rule-based + closed-loop 路线与 PlannerRFT

PlannerRFT 是 2026 年初 nuPlan 闭环 RL 后训练的代表PlannerRFT. 它把 Gen-Drive 的 learned-critic 路线换成 rule-based reward，并把"多模态-场景自适应"两难拆成横向 + 纵向两条正交能量函数：

• 横向：Ψ_lat = (1/T) Σ (n⊥(x_τ - x_τ_ref) − λ_lat · η_lat)²
• 纵向：Ψ_lon = (1/T) Σ (n∥(v_τ − λ_lon · η_lon · v_τ_ref))²

η ∈ [−1,1] 由 Exploration Policy 学出来的两个 Beta 分布采样。两条能量函数给出解耦的正交梯度；故意让不可行样本作为 RL 的负反馈（论文明确不施加显式碰撞约束）。GRPO 更新轨迹分布，PPO 更新引导尺度。

整体架构如下（Generation–Evaluation Loop 入口 → Closed-Loop Rollout 仿真 → Dual-Branch Optimization）：

图注：PlannerRFT 的整体架构。顶部 Generation–Evaluation Loop 入口，左侧 Closed-Loop Rollout 仿真块，右侧 Dual-Branch Optimization 块（Exploration Policy 头、Reference DiT frozen、Fine-tuned DiT），底部 GRPO + PPO 优化信号回路。Exploration Policy 不是 Actor-Critic（论文明确只用 Value Head）。

闭环 RL 真正的瓶颈不是算法，是仿真吞吐。PlannerRFT 用 nuMax 并行仿真器把 nuPlan 串行仿真改成 Waymax/V-Max 风格的 GPU 并行方案，三部件（scenario cache / LQR tracker & scorer / PyTorch DDP ↔ JAX rank-0 gather-scatter）让整体比 native nuPlan simulator 快 10×，40M env steps 在 8×H100 上才成为可能PlannerRFT：

图注：nuMax 的三部件。(a) Scenario cache：nuPlan 场景预缓存，rollout 时高速加载；(b) LQR tracker & scorer：与 nuPlan 动力学对齐；(c) Distributed RL 训练管线：PyTorch DDP workers 与 JAX rank-0 simulator 之间的 gather-scatter 通信。

PlannerRFT 的探索分布消融是这一章的核心教学素材。Test14-hard-R：uniform 分布 65.82（多样性最高 39.78% 但训练不稳定）、Fixed Beta 70.65、自适应 Exploration Policy 72.21PlannerRFT. 多样性不是越高越好；自适应引导比固定分布/均匀分布更能在"探索-利用"之间平衡。nuPlan 闭环结果：Val14-R +1.66（82.80 → 84.46）、Test14-hard-R +2.99（69.22 → 72.21）PlannerRFT.

锚论文 Sec.5 reward 五子类里 PlannerRFT 占 rule-based 一格，Gen-Drive 占 learned-critic 一格，其他三子类（world-model-coupled / counterfactual / reasoning-consistency）由 CoPhy、CRAFT、AutoDrive-R² 等代表方法承担UnifiedView. 本专题在案例线 B 还会再次看到 GRPO 在 anchor 路线上的变体。

五、测试时精炼：不更新参数也能变好

测试时精炼家族的 signal = verifier score，但与传统四家族不同的是它不更新参数。锚论文 Sec.6 给定义：y* = argmax_{y ∈ Y_cand(o)} v(o, y)，多候选 + verifier rerank，参数冻结UnifiedView.

DriveCritic 是这一家族唯一的具体实现DriveCritic. 它把 VLM（Qwen2.5-VL-7B）训练成"会看开车场景、会对比两条候选轨迹、给出符合人类偏好的 A/B 裁决"的裁判。三件套入口如下（dataset + VLM judge + 两阶段训练）：

图注：DriveCritic 框架。左侧 DriveCritic dataset（NAVSIM 采样的 5,730 pairwise 偏好对），中段 DriveCritic model 的 4 模输入（camera / BEV / ego status / EPDMS 子项）与 VLM backbone，右侧两阶段训练（SFT → DAPO RLVR）。

边界划界：DriveCritic 用 DAPO RLVR 训练，但产物是 verifier / reranker，不更新 planner 策略。Ref-002 的 catalog 明说这条规则："按 inference-time usage 而非训练过程归类"AwesomePT. 所以 DriveCritic 即使训练用了 RLVR，它仍属 test-time refinement。

最有教学价值的消融：必须先 SFT warm-up。训练 recipe：base=0.480、GRPO-only=0.464（单独 RL 反而更差）、SFT-only=0.645、SFT+GRPO=0.739、SFT+DAPO=0.760DriveCritic. DAPO 相对 GRPO +1pt。这条 SFT-warm-up 经验可迁移到其他 VLM RLVR setting。

裁判的可解释性是 test-time 家族的额外价值。下面这张定性示例展示 DriveCritic 在 ambiguous 场景（让道避障 vs 激进 progress）上给出结构化 reasoning trace，裁判说得出理由：

图注：DriveCritic 在 NAVSIM 范围内的定性推理示例。每个 panel 含 BEV 场景（红方块 = ego vehicle，绿点 = trajectory waypoints）、两条候选轨迹 A/B、DriveCritic 的结构化 reasoning trace 与偏好决策。展示裁判的可解释性输出。

关键对照：DriveCritic 在人类偏好准确率上 76.0%，远高于 EPDMS（Extended PDMS）rule-based 0.414 / GPT-5 zero-shot 0.552 / ResNet supervised 0.648DriveCritic. 这条对照后面第 7 章会回收为"规则指标离人类判断有多远"的支点。

六、案例线 A：把家族串成 VLA 后训练流水线

前四章是家族分类学，本章开始把家族串成一条能跑的流水线。AutoVLA 是案例线 A 的骨干AutoVLA. 它把 VLA + SFT + 双思考 (fast/slow) + GRPO + Driving Reward + CoT length penalty 串成完整后训练 pipeline：

图注：AutoVLA 框架总览。左侧三路摄像头 + 自车状态 + 语言指令输入 Qwen2.5-VL-3B backbone，右侧输出物理 action token（码本 K=2048）；中间上方 SFT 阶段用大 VLM 蒸馏 CoT 数据，下方 RFT 阶段用 GRPO 优化；图中明确出现 Fast Thinking 和 Slow Thinking 双分支。

机制详解：物理动作码本用 K-disk 聚类把真实轨迹离散成 K=2048 个 action token（ADE=0.0182 m / MC=99.42%）。SFT 同时训练两种 response：fast-thinking 只包含 action token，slow-thinking 先给完整 CoT 再给 action token；CoT 样本的 per-sample 权重 λ_cot=40 强制模型从难例中充分学习。

图注：AutoVLA 模型与训练总览。上半段模型本身（input → VLM → reasoning tokens + physical action tokens → 轨迹）；下半段 SFT 阶段（large VLM CoT distillation + trajectory data）→ RFT 阶段（GRPO + verified reward + CoT length penalty）。

RFT 阶段用 GRPO，奖励 r = r_Driving − λ_r · r_CoT：nuPlan 用 PDMS，Waymo 用 ADE。r_CoT 是 CoT 长度惩罚，鼓励模型对简单场景直接出 action token，不啰嗦 CoT。核心数字：NAVSIM 上 RFT 把 AutoVLA 从 80.54 → 89.11 PDMS（+10.6%），同时平均推理时间下降 66.8%（slow thinking 10.518 s vs fast thinking 1.072 s）AutoVLA. 这个"变强同时变快"的反直觉结果来自 CoT length penalty：模型学会该快时快。

回流第 2 章伏笔：nuPlan < 50k 样本时 CoT 监督反不如 action-only，这条经验对想在自家小规模数据集上做 VLA 后训练的读者直接可移植。

可选加装件：DriveDPO 的 DPO safety alignment 可以加在 RFT 之后（接口位置：Unified Policy Distillation 的 imitation+PDMS KL warm-up），DriveCritic 的 verifier reranking 可以加在推理时（接口位置：sampling K 候选后做 pairwise rerank）。这两条路线的机制见第 3 章与第 5 章，本章不复述。

边界标注：AutoVLA 自陈 "remains highly GPU-dependent"，非实时部署；Bench2Drive（CARLA）上只做了 SFT（78.84 Driving Score / 57.73% Success Rate），没有 CARLA 上的 RFT 消融，不可外推"RFT 在 CARLA 也有效"AutoVLA.

七、案例线 B + 评测底座：从 diffusion planner 到闭环分数，再到可复现路线

案例线 B：diffusion planner 的 IL baseline 与两条 RL 路线

案例线 B 第一步先看没有 RL 时长什么样。DiffusionDrive 是 IL-only baselineDiffusionDrive. 它的核心创新是 truncated diffusion policy：truncated 的本质是截断起点分布而非步数。具体做法是在训练集上 K-Means 聚出 N_anchor=20 个 anchor，以 anchor 为中心加小份 Gaussian noise 构成 anchored Gaussian 分布。训练时只对 anchor 加小噪声（schedule 截到 50/1000），推理时也从 anchored Gaussian 出发经 2 步 denoise：

图注：DiffusionDrive 的 vanilla vs truncated diffusion policy 上下对照。上半 vanilla 从纯高斯噪声出发 20 步 denoise 到 GT；下半 truncated 从 K-Means anchor + 小高斯构成的 anchored Gaussian 出发，2 步 denoise 到 GT。truncated 的本质是截断起点分布，20→2 步是副产物。

配上 cascade diffusion decoder 共享参数迭代两次，DiffusionDrive 在 NAVSIM navtest 上拿到 88.1 PDMS @ 45 FPS / 60M 参数DiffusionDrive. Roadmap 表是本章教学素材：Transfuser 84.0 → +vanilla DP 84.6 → +TD 85.7 → DiffusionDrive 88.1，配 mode diversity 0% → 11% → 70% → 74%，证明多样性来自 anchored 起点而非"用了生成模型"：

图注：DiffusionDrive 整体架构。左侧各类 perception 模块（BEV / agent / map）汇入 diffusion decoder，右侧从 anchored Gaussian 起始的 noisy trajectories 经 diffusion decoder（spatial cross-attn + agent cross-attn + FFN + timestep modulation）→ cascade 两次 denoise → 输出最终轨迹与置信分数。cascade 是推理时共享参数的迭代 denoise，不是训练阶段的两步。

案例线 B 续：两条 RL 路线平行

两条 RL 路线平行展开。DiffusionDriveV2 走 anchor 路线DiffusionDriveV2. 核心问题是 GRPO 加到 anchored truncated diffusion 上时不能坍缩。它把策略梯度分解为两层：Intra-Anchor GRPO 在单一 anchor 子空间内做 group-relative advantage（如让 "go straight" 更平滑更安全），Inter-Anchor Truncated GRPO 跨 anchor 做绝对失败截断：A_trunc = −1 if collision else max(0, A)，原则是"只奖励相对改进、只惩罚绝对失败"：

图注：DiffusionDriveV2 的 anchor 路线架构。中央 truncated diffusion decoder 向右输出三色 anchored intent 轨迹（overtake / right turn / go straight），实线高质量、虚线低质量。解码器后依次串 multiplicative Gaussian noise → Intra-Anchor + Inter-Anchor Truncated GRPO → Mode Selector。不含 nuMax / closed-loop 仿真器组件。

外加 scale-adaptive multiplicative exploration noise（τ' = (1 + ε_mul)·τ），加性噪声破坏平滑性，乘性保持近端/远端 waypoint 相对尺度。下图把同一 GT 在两种 noise 策略下的轨迹形态对照画出来：

图注：Scale-Adaptive Multiplicative Exploration Noise 对照。绿色实线为原始轨迹，蓝色与红色虚线为施加 exploration noise 后的轨迹形态（additive vs multiplicative 对照）。蓝/红差异是同一 GT 在两种 noise 策略下的对比，不是"左转 vs 右转"。

Diversity vs Top-K 是本章落地结论：DiffusionDriveV2 在 NAVSIM v1 navtest 拿 91.2 PDMS（+3.1 over 88.1），Diversity 从 42.3 降到 30.3，但 PDMS@10 从 75.3 提到 84.4DiffusionDriveV2. 模型不再依赖 selector 救场，RL 后训练的实际价值在这里。

PlannerRFT 是案例线 B 的另一条 RL 路线（第 4 章已讲机制），二者不互相复述。锚论文 Sec.5 把它们分别归在 GRPO 变体下作为同代竞争方法UnifiedView.

评测底座：分数到底在说什么、哪些不能比

nuPlan benchmark 把闭环评测口径立起来nuPlan. 三个事实修正必须先交代：

1. 数据规模：1282 小时（含 128 小时 sensor data）而非流传的 1500h；
2. 三档仿真：Open-Loop（无交互）/ Closed-Loop Non-Reactive（其他 agent log-replay）/ Closed-Loop Reactive（车辆用 IDM 反应式传播，VRU 仍 log-replay）；
3. Venue：ICRA 2024。

PDMS 是 hybrid 复合分：score = ∏_{multiplier} score_i × Σ w_j · score_j。multiplier 是门（任一为 0 则整场景 0 分）：No at-fault collisions ∈ {0, 0.5, 1}、Drivable area compliance（bool）、Driving direction compliance ∈ {0, 0.5, 1}、Making progress（bool）。weighted-average 部分：TTC（w=5）、Progress（w=5）、Speed limit（w=4）、Comfort（w=2）nuPlan. val14 / test14 / test14-hard 三档命名是 nuplan-devkit / 社区约定，不是论文声明。

分数可比性纪律（最容易出错的地方）：NAVSIM v1 PDMS 体系内、同 ResNet-34 backbone 时可比（DiffusionDrive 88.1 → DriveDPO 90.0 → DiffusionDriveV2 91.2）；但 Gen-Drive 只在 nuPlan reduced Val14（非 reactive）报告 0.8753，与 NAVSIM PDMS 体系不可同台GenDrive；PlannerRFT 只有 nuPlan 分数、无 NAVSIM 数字PlannerRFT；NAVSIM v2 EPDMS 与 v1 PDMS 亦不可直接换算。每次报分数必带 benchmark 体系与 backboneUnifiedView.

按预算分档的复现路线

锚论文配套的官方 catalog Awesome-Post-Training-In-Autonomous-Driving-Papers 给了一个四面板 schematic 作家族导航辅助锚：

图注：Awesome-Post-Training 仓库官方四面板 schematic。A. Distillation（标注 "Distillation Loss D(P‖Q)" 与 "no reward design"）；B. Preference-based Alignment（chosen-rejected τ₁/τ₂ 对 + "easier to rank than to score"）；C. Reinforcement Learning（rollouts τ₁…τ₄ + Reward Model 子分）；D. Test-time Refinement（N 候选经 verifier/reranker 选 τ*，标注 "no param update" / "frozen"）。图中的数字（0/0.98/0.53/0.2/0.9/0.5）是示意值非 benchmark 数据。

按算力预算分档的复现选择：

诚实交代复现障碍：DriveDPO 没有公开代码仓库DriveDPO（arXiv abstract Code 块空），只能讲方法论；DiffusionDriveV2 代码承诺发布但仓库可访问性需自行核验；PlannerRFT 项目页给出但 release 时间在 v1 未明确；Gen-Drive 的 GPT-4o 标注 prompt / few-shot / temperature 未公开GenDrive, 复现需自行设计。

最小 skeleton 实验模板：选方法 → 选 benchmark（建议先 NAVSIM v1 navtest，因 simulator 启动成本低）→ 跑 1 epoch 后训练 → 比 base vs post-trained 的 PDMS 子项（而不是只看总分）→ 写实验报告。PDMS 子项拆分能立刻暴露"增益来自哪一格"（DAC/NC 提升说明 imitation→safety 的迁移，EP 提升说明 progress 偏好学到了）。

开放问题与首尾闭合

回到锚论文 Sec.8 的四大开放问题UnifiedView：(1) reward 与 exploration 的耦合（手调权重可能让策略去 exploit 容易项，需要 reward-relevant diversity 而非纯多样性——这里回收 PlannerRFT 的 uniform 探索训崩实验）；(2) world-model 的 behavior-relevance（pixel 保真度不够，需要 collision / agent reaction / progress / rule violation 级别的相关性）；(3) 从一次性 refinement 走向 data-feedback loop；(4) 超越 GRPO（驾驶有时间 / 安全 / 交互 / 物理可行性的结构化信号，未来方法可对关键时刻做局部反馈、把 safety/progress/comfort 约束分离）。

第 5 章的 76% vs EPDMS 0.414 对照DriveCritic 在这里回收为"规则指标离人类判断有多远"的实证支点。规则 PDMS / EPDMS 是 navhard 等长尾子集之外的 benchmark saturation 问题，navhard 与 Waymo E2E 的 RFS 子集更 discriminativeUnifiedView.

首尾闭合：第 1 章抛出"为什么需要后训练"，第 7 章落到"怎么选基线、怎么比分数、还有什么没解决"。统一的答案仍然是：后训练不是"再加一层 RL"，而是按信号形式选家族、按管线位置接接口、按 benchmark 体系比分数。

参考文献

本专题引用的核心资料如下，建议深入学习时阅读原文：

1. Post-Training in End-to-End Autonomous Driving: A Unified View — arXiv:2607.08072（Yang et al. 2026，preprint，四大家族锚论文）
2. Awesome-Post-Training-In-Autonomous-Driving-Papers — github.com/RYNing/Awesome-Post-Training-In-Autonomous-Driving-Papers（官方配套 catalog）
3. Gen-Drive: Enhancing Diffusion Generative Driving Policies with Reward Modeling and RL Fine-tuning — arXiv:2410.05582（Huang et al. 2024，DDPO 早期 learned-critic 代表）
4. AutoVLA: A VLA Model for End-to-End Autonomous Driving with Adaptive Reasoning and RFT — arXiv:2506.13757（Zhou et al. NeurIPS 2025，案例线 A 骨干）
5. DiffusionDrive: Truncated Diffusion Model for End-to-End Autonomous Driving — arXiv:2411.15139（Liao et al. CVPR 2025，作者自述 Highlight，待 proceedings 对齐，IL-only baseline）
6. DiffusionDriveV2: RL-Constrained Truncated Diffusion Modeling in E2E AD — arXiv:2512.07745（Zou et al. 2025，案例线 B anchor 路线）
7. PlannerRFT: Reinforcing Diffusion Planners through Closed-Loop and Sample-Efficient Fine-Tuning — arXiv:2601.12901（Li et al. CVPR 2026 投稿，案例线 B guided-denoising 路线）
8. DriveDPO: Policy Learning via Safety DPO for End-to-End Autonomous Driving — arXiv:2509.17940（Shang et al. NeurIPS 2025，偏好家族代表）
9. DriveCritic: Towards Context-Aware, Human-Aligned Evaluation for AD with VLMs — arXiv:2510.13108（Song et al. ICRA 2026，test-time 家族代表）
10. Towards learning-based planning: The nuPlan benchmark for real-world autonomous driving — arXiv:2403.04133（Karnchanachari et al. ICRA 2024，评测底座）