一句话定位把机器人里的动作扩散搬到端到端自动驾驶不从纯噪声慢慢洗 20 步而是从「K-Means 驾驶锚点附近的小噪声」起步用级联 Transformer 解码器2 步去噪出多条合理轨迹在 NAVSIM 上同骨干 ResNet-34 报到88.1 PDMS、约45 FPS。本页概念卡方法DiffusionDrive · 截断扩散策略 · 锚定高斯分布 · 级联扩散解码器评测NAVSIM · PDMS · Mode Diversity Score · 开环 L2/碰撞率对照基线端到端自动驾驶 · VAD / VADv2 · SparseDrive · Diffusion / Diffusion Policy · DDIM · NavDP1. 背景概念给新人端到端自动驾驶End-to-End AD相机/雷达直接出未来轨迹中间感知可学可不显式见 端到端自动驾驶。多模态规划multi-mode planning同一路口「直行 / 换道」都可能合理单条回归容易「平均成离谱中间线」。Diffusion Policy动作扩散策略用扩散模型生成连续动作机器人操作很强但默认要多步去噪。见 Diffusion-Model-扩散模型。DDIM少步采样技巧DiffusionDrive 推理仍用它但起点被截断。见 DDIM。NAVSIM / PDMS规划向伪闭环评测与加权安全分比纯开环 L2 更看「能不能开」。见 NAVSIM、PDMS-预测驱动模型评分。BEV鸟瞰特征解码器按轨迹坐标去做可变形注意力查询。见 BEV。技术线感知融合Transfuser / SparseDrive→生成式多模态规划头本文→ NAVSIM 打分。问题旧做法三条路都别扭单轨迹回归Transfuser / UniAD / VAD一个 ego-query 吐一条线 → 抹掉不确定性。超大固定词表VADv2 8192 锚覆盖靠堆数量出词表就僵算力也贵。原版扩散把 Diffusion Policy UNet 接到 Transfuser质量略升但20 步把 FPS 从 ~60 打到 ~7且多噪声样本去噪后挤在一起mode collapse。生活类比导航 App 若每次只给你「平均路线」或让你从 8000 条预制路线里点选或从白噪声慢慢「洗」出路线洗 20 轮——要么呆板要么慢。设定任务传感器 → 未来路点序列NAVSIM4 秒、8 个路点。主榜NAVSIMnavtest相机LiDARResNet-34 对齐 Transfuser。辅榜nuScenes 开环 L2 / 碰撞率接在 SparseDrive 上。贡献作者自称首次系统把扩散决策接到实时端到端驾驶并提出截断扩散缓解塌缩与算力。级联扩散解码器增强与场景条件交互。NAVSIM 88.1 PDMS 新高同骨干45 FPS。定性证明 top-k 轨迹多样且合理换道、避让等。3. 核心创新点截断扩散策略训练噪声日程截断如 50/1000推理从锚定分布起步只去噪 2 步 → 相对 vanilla 约10× 步数减少。锚定高斯分布K-Means 先验锚点~20当噪声中心用生成能力覆盖动作空间不必 8192 死词表。级联扩散解码器可变形 BEV 交互 agent cross-attn 层内级联细化比 UNet 头更轻、更准。推理灵活度训练锚点数与推理采样数可解耦10/20/40按算力调多样性。4.1 从 Transfuser 到 DiffusionDrive路线图变体规划头步数PDMS多样性D\mathcal{D}DFPSTransfuserMLP 回归184.00%60Transfuser_DPUNet 原版扩散2084.611%7Transfuser_TDUNet 截断285.770%27DiffusionDrive级联 Decoder 截断288.174%454.2 截断扩散训练锚点训练集轨迹 K-Means。只在截断区间加噪。解码器同时输出分类分与去噪轨迹。正样本离 GT 最近的锚点对应轨迹损失 正样本 L1 重构 λ\lambdaλBCE。4.3 推理从锚定高斯采若干条噪声轨迹。每步解码器预测分数与坐标 → DDIM 更新到下一步。默认 2 步取最高分轨迹评测。去噪步之间共享级联解码器参数。4.4 解码器一层在干什么噪声轨迹坐标 → deformable spatial cross-attnBEV→ agent/map cross-attn → FFN → timestep modulation → MLPscore offset→ 作为下一 cascade 层输入。4.5 实现要点NAVSIM骨干与感知对齐 TransfuserResNet-34前视拼接 1024×256 栅格化 BEV LiDAR。锚点 20训练截断 50/1000推理 2 步级联 2 层。100 epoch8×4090batch 512AdamW6×10−46\times 10^{-4}6×10−4无测试增强、无后处理。5. 整体框架Mermaid共享参数再进相机感知模块如 TransfuserLiDARBEV 特征Agent QueryK-Means 锚点锚定高斯加噪级联扩散解码器DDIM 少步更新按分数排序Top-1 轨迹输出场景条件 zCascade Decoder噪声轨迹锚点先验场景条件 zCascade Decoder噪声轨迹锚点先验loop[约 2 步去噪]截断加噪 / 采样当前噪声轨迹BEV Agent分数 去噪坐标 / DDIM选最高分轨迹主结果NAVSIM navtestResNet-34DiffusionDrive88.1 PDMSNC 98.2 / DAC 96.2 / TTC 94.7 / Comf 100 / EP 82.2。相对 Transfuser4.1 PDMS。相对 Hydra-MDP8192 锚 额外监督 后处理仍1.6 PDMS且本文无后处理。相对 VADv2 8192 锚锚点数约400× 减少PDMS7.2。消融抓重点解码器交互无 spatial/agent 交互会严重掉点加 cascade 再涨。去噪步1 步已 87.92 步 88.1再加步收益很小。级联层1→2 层有增益4 层略升但更贵。采样条数10→20 提升明显40 略升。先验多锚点锚定分布明显优于单条状态外推先验附录。nuScenes 开环接 SparseDriveAvg L20.57 mAvg 碰撞率0.08%FPS 8.2相对 VAD 更快更准注意开环指标局限。局限诚实NAVSIM 仍是非反应式仿真不等于真车闭环。主结果依赖 Transfuser 感知解码器能力受上游特征质量约束。Mode diversity 是作者自定义指标跨论文对比要当心定义。7. 要点总结驾驶扩散的关键不是「堆更多 DDIM 步」而是更好的起点锚定先验 更短的日程。约 20 个可变形锚点 生成头可以打赢数千死词表。级联解码器把「看 BEV / 看车」写进每一步去噪比裸 UNet 头更适合交通。读榜只看 PDMS 不够还要看多样性可视化与 FPS。8. 开放问题锚点跨域附录 CARLA 用 NAVSIM 锚边界在哪极端新行为是否仍覆盖不足与 Flow Matching / 整流流规划头比截断扩散是否仍是延迟最优若上游改为纯视觉 Sparse 表征级联解码器超参要怎么重扫top-k 多样轨迹如何接入下游「规则重打分 / 世界模型选轨」管线相关https://github.com/hustvl/DiffusionDrive
一句话定位把机器人里的动作扩散搬到端到端自动驾驶不从纯噪声慢慢洗 20 步而是从「K-Means 驾驶锚点附近的小噪声」起步用级联 Transformer 解码器2 步去噪出多条合理轨迹在 NAVSIM 上同骨干 ResNet-34 报到88.1 PDMS、约45 FPS。本页概念卡方法DiffusionDrive · 截断扩散策略 · 锚定高斯分布 · 级联扩散解码器评测NAVSIM · PDMS · Mode Diversity Score · 开环 L2/碰撞率对照基线端到端自动驾驶 · VAD / VADv2 · SparseDrive · Diffusion / Diffusion Policy · DDIM · NavDP1. 背景概念给新人端到端自动驾驶End-to-End AD相机/雷达直接出未来轨迹中间感知可学可不显式见 端到端自动驾驶。多模态规划multi-mode planning同一路口「直行 / 换道」都可能合理单条回归容易「平均成离谱中间线」。Diffusion Policy动作扩散策略用扩散模型生成连续动作机器人操作很强但默认要多步去噪。见 Diffusion-Model-扩散模型。DDIM少步采样技巧DiffusionDrive 推理仍用它但起点被截断。见 DDIM。NAVSIM / PDMS规划向伪闭环评测与加权安全分比纯开环 L2 更看「能不能开」。见 NAVSIM、PDMS-预测驱动模型评分。BEV鸟瞰特征解码器按轨迹坐标去做可变形注意力查询。见 BEV。技术线感知融合Transfuser / SparseDrive→生成式多模态规划头本文→ NAVSIM 打分。问题旧做法三条路都别扭单轨迹回归Transfuser / UniAD / VAD一个 ego-query 吐一条线 → 抹掉不确定性。超大固定词表VADv2 8192 锚覆盖靠堆数量出词表就僵算力也贵。原版扩散把 Diffusion Policy UNet 接到 Transfuser质量略升但20 步把 FPS 从 ~60 打到 ~7且多噪声样本去噪后挤在一起mode collapse。生活类比导航 App 若每次只给你「平均路线」或让你从 8000 条预制路线里点选或从白噪声慢慢「洗」出路线洗 20 轮——要么呆板要么慢。设定任务传感器 → 未来路点序列NAVSIM4 秒、8 个路点。主榜NAVSIMnavtest相机LiDARResNet-34 对齐 Transfuser。辅榜nuScenes 开环 L2 / 碰撞率接在 SparseDrive 上。贡献作者自称首次系统把扩散决策接到实时端到端驾驶并提出截断扩散缓解塌缩与算力。级联扩散解码器增强与场景条件交互。NAVSIM 88.1 PDMS 新高同骨干45 FPS。定性证明 top-k 轨迹多样且合理换道、避让等。3. 核心创新点截断扩散策略训练噪声日程截断如 50/1000推理从锚定分布起步只去噪 2 步 → 相对 vanilla 约10× 步数减少。锚定高斯分布K-Means 先验锚点~20当噪声中心用生成能力覆盖动作空间不必 8192 死词表。级联扩散解码器可变形 BEV 交互 agent cross-attn 层内级联细化比 UNet 头更轻、更准。推理灵活度训练锚点数与推理采样数可解耦10/20/40按算力调多样性。4.1 从 Transfuser 到 DiffusionDrive路线图变体规划头步数PDMS多样性D\mathcal{D}DFPSTransfuserMLP 回归184.00%60Transfuser_DPUNet 原版扩散2084.611%7Transfuser_TDUNet 截断285.770%27DiffusionDrive级联 Decoder 截断288.174%454.2 截断扩散训练锚点训练集轨迹 K-Means。只在截断区间加噪。解码器同时输出分类分与去噪轨迹。正样本离 GT 最近的锚点对应轨迹损失 正样本 L1 重构 λ\lambdaλBCE。4.3 推理从锚定高斯采若干条噪声轨迹。每步解码器预测分数与坐标 → DDIM 更新到下一步。默认 2 步取最高分轨迹评测。去噪步之间共享级联解码器参数。4.4 解码器一层在干什么噪声轨迹坐标 → deformable spatial cross-attnBEV→ agent/map cross-attn → FFN → timestep modulation → MLPscore offset→ 作为下一 cascade 层输入。4.5 实现要点NAVSIM骨干与感知对齐 TransfuserResNet-34前视拼接 1024×256 栅格化 BEV LiDAR。锚点 20训练截断 50/1000推理 2 步级联 2 层。100 epoch8×4090batch 512AdamW6×10−46\times 10^{-4}6×10−4无测试增强、无后处理。5. 整体框架Mermaid共享参数再进相机感知模块如 TransfuserLiDARBEV 特征Agent QueryK-Means 锚点锚定高斯加噪级联扩散解码器DDIM 少步更新按分数排序Top-1 轨迹输出场景条件 zCascade Decoder噪声轨迹锚点先验场景条件 zCascade Decoder噪声轨迹锚点先验loop[约 2 步去噪]截断加噪 / 采样当前噪声轨迹BEV Agent分数 去噪坐标 / DDIM选最高分轨迹主结果NAVSIM navtestResNet-34DiffusionDrive88.1 PDMSNC 98.2 / DAC 96.2 / TTC 94.7 / Comf 100 / EP 82.2。相对 Transfuser4.1 PDMS。相对 Hydra-MDP8192 锚 额外监督 后处理仍1.6 PDMS且本文无后处理。相对 VADv2 8192 锚锚点数约400× 减少PDMS7.2。消融抓重点解码器交互无 spatial/agent 交互会严重掉点加 cascade 再涨。去噪步1 步已 87.92 步 88.1再加步收益很小。级联层1→2 层有增益4 层略升但更贵。采样条数10→20 提升明显40 略升。先验多锚点锚定分布明显优于单条状态外推先验附录。nuScenes 开环接 SparseDriveAvg L20.57 mAvg 碰撞率0.08%FPS 8.2相对 VAD 更快更准注意开环指标局限。局限诚实NAVSIM 仍是非反应式仿真不等于真车闭环。主结果依赖 Transfuser 感知解码器能力受上游特征质量约束。Mode diversity 是作者自定义指标跨论文对比要当心定义。7. 要点总结驾驶扩散的关键不是「堆更多 DDIM 步」而是更好的起点锚定先验 更短的日程。约 20 个可变形锚点 生成头可以打赢数千死词表。级联解码器把「看 BEV / 看车」写进每一步去噪比裸 UNet 头更适合交通。读榜只看 PDMS 不够还要看多样性可视化与 FPS。8. 开放问题锚点跨域附录 CARLA 用 NAVSIM 锚边界在哪极端新行为是否仍覆盖不足与 Flow Matching / 整流流规划头比截断扩散是否仍是延迟最优若上游改为纯视觉 Sparse 表征级联解码器超参要怎么重扫top-k 多样轨迹如何接入下游「规则重打分 / 世界模型选轨」管线相关https://github.com/hustvl/DiffusionDrive
