端到端自动驾驶最近两年火到什么程度大家有目共睹。但真正能把多传感器数据用好、又能在规划控制层直接出结果的架构方案其实掰着指头也数得过来。Multi-Modal Fusion Transformer for End-to-End Autonomous Driving 这篇论文就是绕不开的典型代表它把 Transformer 搬进了自动驾驶的多模态融合链路用一个统一的注意力框架同时处理视觉、激光雷达和 HD 地图信息最后直接输出轨迹决策。简单说这是一篇少有的“从传感器进、控制量出”全链路打通的文章值得每个做感知决策的朋友读一遍。这篇论文解决的痛点很明确传统模块化方案里感知、预测、规划各管各的中间接口一多信息就一层层打折。而端到端思路又常常把融合做得很简单直接 concat 特征模态之间的交互关系根本没有建模。作者的做法是用 Transformer 的自注意力和交叉注意力机制把不同模态放到同一个特征空间里去对齐。我建议所有正在搞多模态融合、端到端规划、或者被“感知结果怎么传给下游”困扰的朋友仔细看这篇它把很多模棱两可的设计选择讲得比较清晰。1. 端到端自动驾驶为什么需要多模态融合1.1 传统模块化路线的瓶颈先理清背景。传统自动驾驶系统一般是感知、预测、规划、控制四个模块串联每个模块都由人工定义接口。感知模块输出目标框和语义分割图预测模块基于这些历史轨迹预测其他交通参与者的未来位置规划模块再根据预测结果去搜索一条安全轨迹最后控制模块追踪这条轨迹。这个链路用了很多年问题也暴露得很明显。第一是误差传导感知漏检一个行人后面预测规划全跟着出错而且没有一个环节能把感知层丢失的信息找回来。第二是接口表达能力有限感知结果必须落到“目标框”“车道线”这种结构化表示里但很多对驾驶有用的信息比如路面纹理、远处车辆的刹车灯、旁边大车的行驶姿态很难用框和线完整表达。第三是规则覆盖不住长尾场景规划层依赖手写规则和搜索算法遇到没见过的交互场景规则库再大也有疏漏的时候。我打个比方传统方案像工厂流水线每个工位只负责一道工序每道工序都按固定规格交接。一旦上游加工偏差一点下游拿到的是坏料却不自知最后组装出来的产品自然问题百出。这也是为什么业界近几年越来越愿意尝试端到端路线——不设定那么多中间表示让模型自己决定从原始输入里提取什么、怎么用。1.2 摄像头、激光雷达和地图是怎么互补的那为什么要强调多模态因为单一传感器都有明显缺陷自动驾驶又是个“安全冗余永远不够”的场景。摄像头信息最丰富纹理、颜色、语义都有但它是 2D 观测没有直接深度暗光、逆光、雨雾天性能掉得厉害。激光雷达能直接给精确深度对空间几何关系非常敏感但点云是稀疏的没有颜色和纹理信息远处物体反射弱恶劣天气下噪声也大。HD 地图提供的是道路结构的先验知识比如车道线几何、路口拓扑、限速等但它只描述静态环境对动态障碍物完全无能为力。表格对比一下更直观模态强项弱项在端到端系统中的作用摄像头语义丰富、纹理清晰无深度、受光照影响提供语义与远处目标信息激光雷达精确深度、空间几何稀疏、无纹理、成本高提供可靠的 3D 结构与近距障碍物信息HD 地图车道拓扑先验静态、无法反映动态变化提供道路结构约束与导航意图三种模态放到一起恰好能互相补短板。但问题来了怎么让模型同时利用好这些异构信息直接把图像特征和点云特征拼到一起送给后面的网络是最粗暴的做法模型很难学会跨模态的细粒度对齐。这篇论文给出的思路就是让 Transformer 的注意力机制去动态决定“每个位置需要参考哪个模态的信息”这比人工拼接要高明得多。1.3 Transformer 凭什么承接融合任务Transformer 最初来自自然语言处理最核心的自注意力机制本质上是让序列里的每个元素和所有其他元素做信息交互交互强度通过学习得到。这个特性放到多模态融合里非常契合图像特征、点云特征、地图特征都可以看成不同的“序列”注意力机制可以让视觉特征主动去查询激光雷达特征里对齐的空间信息也可以让地图特征引导模型关注某些车道区域。换成 CNN 来做会怎么样也可以做融合但 CNN 依赖卷积核的局部感受野跨模态的信息交互需要堆很多层卷积才能把感受野撑大而且卷积核是固定权重对不同空间位置都用同一套融合模式。Transformer 的注意力权重是输入相关的模型在路口和高速上可以采用完全不同的融合策略这种灵活性正是驾驶场景需要的。这里还有一个重要的设计动机端到端模型直接输出控制或轨迹中间没有任何人工规则兜底模型的表达能力必须足够强。Transformer 的大模型容量和长程建模能力正好匹配“从原始传感器输入到驾驶决策”这种高复杂度映射。论文选择 Transformer 不是追热点而是这个结构确实能承担更多上下文建模的职责。2. 融合 Transformer 的具体架构怎么搭2.1 传感器输入怎么变成 TokenTransformer 处理的是序列数据所以第一步得把图像、点云、地图这三种异构输入都转成 token 序列也就是一组带有位置信息的特征向量。图像的常见做法是先用 CNN 骨干网络提取 2D 特征图比如将输入图缩放到某一分辨率后经过骨干网络得到通道数为 C、高为 H、宽为 W 的特征图再把它展平成 H×W 个 C 维向量。每个向量对应原图的一个区域相当于一个视觉 token。展平之后还要加上位置编码否则模型不知道这些 token 在原图上的相对位置关系。位置编码可以用固定的正弦编码也可以用可学习的参数论文里用可学习位置编码更常见因为驾驶场景里某些固定位置比如正前方、左右两侧确实有先验重要性。激光雷达点云的处理比图像复杂一些。最常用的方法是把点云划分成体素或者柱状区域每个区域内用 PointNet 之类的网络提取局部特征再把所有非空区域的特征组合成 token 序列。点云 token 的一个显著特点是稀疏性——大量区域是空的不需要计算。Transformer 在稀疏 token 上的计算效率也会直接影响整个模型的训练速度。HD 地图的表示则可以按关注的区域切成向量或者把车道线、道路边界等语义元素编码成 token。地图信息本身就是结构化的编码起来比点云更容易关键是让它和视觉、点云 token 在特征维度上对齐才能进入后续的注意力计算。三种模态各自 token 化之后维度可能不一样、空间粒度可能不一样论文里通常会统一映射到相同的特征维度再加上模态类型编码让模型知道每个 token 来自哪个传感器。这一步是后续融合能够成立的前提。2.2 跨模态注意力交互是融合的核心token 化之后怎么融合才是重头戏。论文里的融合 Transformer 一般包含自注意力层和交叉注意力层这两种层在结构里各司其职。自注意力层在各个模态内部使用让同一种模态的不同区域先做一轮信息交换。比如图像分支内部的 token 之间互相看可以把车辆检测、车道检测、交通标志识别的中间特征彼此增强。这个步骤的主要作用是让每个模态的内部表示更完整、更一致。交叉注意力层是本篇论文的精华它让一种模态的 token 作为查询Query去另一种模态的 token 序列里检索信息Key 和 Value。比如模型可以把激光雷达 token 作为 Query去图像 token 里找对应的纹理和语义信息反过来图像 token 也可以去查询点云的空间深度信息。这个交互过程是双向的模型在训练过程中会自己学会什么场景下该更信任哪种模态。我举个具体例子解释一下 Query、Key、Value 的关系假设你在人堆里找朋友你会先盯着一个特征比如他穿的红衣服这个特征就是 Query所有人身上穿的衣服颜色就是 Key衣服对应的整张脸和体型就是 Value。你拿着红色这个 Query 去和每个人的 Key 比对匹配度越高就从这个人的 Value 里提取越多信息。跨模态注意力就是这个过程图像 token 里的“红色车辆区域”作为 Query去激光雷达 token 里找空间位置匹配的障碍物特征再把激光雷达给的深度信息融合进来最终这个 token 既知道“那里有辆车”又知道“这辆车距离我多远”。考虑到自动驾驶的安全性要求只做单向交互是不够的论文通常会在 Transformer 层之间交替使用双向交叉注意力。这样做的好处是融合不偏科视觉信息能帮助点云理解边界细节点云也能矫正视觉的深度误差。整个融合 Transformer 的层数可以叠加到六层甚至更厚感受野从局部逐步扩展到全场景。2.3 控制输出怎么解码融合之后的特征到底用来产生什么是端到端架构里最影响工程质量的选择。这篇论文的做法是让模型输出未来的轨迹点而不是直接输出方向盘转角或油门刹车。轨迹点选择一般是在自车坐标系下预测未来 2 到 4 秒内的 8 到 16 个路径点每个点包含横纵向位置也可以附带速度。这个输出表示有很强的好处轨迹点可以直接和周围障碍物做碰撞检测兼容传统安全校验模块同时因为输出的是连续坐标损失函数可以用 L1 或 L2 距离直接回归训练比较稳定。还有一类做法是输出离散的控制动作比如预定义几组不同转向和速度的组合让模型做分类。分类任务往往比回归任务好训练但控制精度受限急刹车或大转向这种连续变化很难用离散动作表达。轨迹点回归则保留了精细控制的可能性也更容易结合目标车道、行驶速度等约束。解码部分的设计也值得注意融合后的特征序列要先汇聚成固定大小的上下文向量通常用注意力池化或者取特殊分类 token。然后在解码端设计成自回归预测先预测第一个轨迹点再把轨迹点作为额外输入预测下一个点。这个过程和自然语言生成类似模型在预测每个新点时都能看到已经预测出的历史轨迹轨迹整体的平滑性有明显提升。3. 训练、数据与评测中的门道3.1 数据来源和标签从哪来端到端模型的训练需要大量的“传感器输入 专家驾驶行为”配对数据。最直接的来源是路测车队采集由专业驾驶员在实际道路上开车记录摄像头、激光雷达数据以及方向盘转角、刹车和油门踏板信号。路测数据成本高而且很难覆盖长尾场景。所以论文里通常会结合仿真环境生成数据在虚拟城市里批量跑各种交通流和天气组合。用仿真数据训练、真实数据微调是这条技术路线里很常见的模式。需要注意的是仿真和真实世界之间存在渲染差异、物理引擎差异直接加载仿真预训练模型到真实车上性能会打折必须做域适应。指挥信号的粒度也有讲究。如果只用方向盘转角这种低层次控制信号做标签模型学到的是“模仿驾驶员的手”而不是“理解驾驶意图”。更合理的做法是给模型提供高层次意图标签比如目标车道、期望速度然后让模型自己规划具体轨迹。这样模型学到的策略更容易泛化也更容易在不同车辆底盘之间迁移。3.2 评测指标和消融实验怎么读端到端驾驶模型的评测不能只看“跑不跑得动”。在仿真环境里常见指标包括任务完成率、路线完成度、碰撞率和驾驶得分把规则性、安全性、舒适性加权综合。其中碰撞率必须有但单独看碰撞率很容易被误导——一个模型如果全城龟速爬行碰到障碍物就停车碰撞率可能很低但它的路线完成度会非常难看。所以必须把碰撞率、完成率、效率类指标放到一起综合判断。消融实验是读论文时最该仔细看的部分。这篇论文通常会展式设计几种对照方案单模态只用摄像头、只用激光雷达多模态简单拼接特征以及完整的融合 Transformer。对照结果一般会说明两个问题第一多模态确实比单模态强尤其在下雨、夜间等单模态失效场景第二注意力融合比简单拼接效果好尤其在被其他车辆遮挡、需要靠车道线先验补全场景理解的时候。如果你复现论文消融实验别偷懒跳过。跑一遍完整模型和基线模型你才能真正理解注意力融合在哪些场景里贡献最大这对后续修改网络结构特别有帮助。3.3 训练配置里的可复现细节端到端 Transformer 模型对算力的要求不低。图像骨干网络如果分辨率放到 512×1024激光雷达点云又保留完整帧单次前向计算量会非常大。论文里常用的训练配置是多卡分布式训练配合混合精度把显存占用和训练速度同时优化。我建议复现时先从小分辨率、降采样点云开始确认整个代码链路通顺再逐步加大数据规模。训练超参数里比较关键的一项是损失函数的权重配比。轨迹回归损失、碰撞约束损失、辅助语义损失往往同时存在如果权重配比不合理模型会过度关注某一个任务导致整体驾驶行为异常。实践中可以先让轨迹回归损失主导再逐步引入辅助约束效果比一开始就配平要好。学习率的设置在这个项目里也比普通视觉任务更敏感建议用带 warmup 的余弦衰减前期避免梯度爆炸。值得注意的还有数据增强策略。图像做随机裁剪、色彩抖动、翻转都常见但点云就不能随便翻转——翻转之后车道线方向、交通规则全都变了模型会学到错误的几何关系。这类细微差别只有实际跑过训练才知道坑在哪。4. 从论文到落地实际工程里要面对的坑4.1 多传感器标定和时间同步比想象中麻烦论文里默认摄像头、激光雷达都完成了时空对齐但真实工程里这一步反而是最容易出乱子的环节。摄像头和激光雷达外参标定差一两个像素融合出来的深度就可能偏好几米各传感器的时间戳没有严格同步高速行驶时同一个障碍物在不同模态里可能位置差十几米。处理方式上工程落地会在融合模块前面加一个预处理层外参做在线矫正利用车道线等静态特征实时估计标定误差时间同步上会做传感器时钟同步校准同时根据自车运动模型对短时延做运动补偿。这些在论文里往往一笔带过但实际占的调试工作量非常大几乎每个多模态项目都要在这里踩一轮坑。另外不同传感器的延迟也不一样。摄像头曝光需要时间激光雷达的扫描是一圈一圈转出来的如果直接把当前帧的所有模态一股脑送进 Transformer模型输入里的“同一时刻”实际上是错位的。严谨的做法是拿到每个传感器的采集时刻统一变换到一个基准时刻再做 token 化。这个细节直接影响融合质量值得花时间打磨。4.2 端到端系统的安全边界怎么守纯端到端方案最大的争议在于可解释性差模型通过一个复杂的注意力矩阵做决策很难解释“为什么在这里刹车”。直接去掉所有传统模块上真实车一旦出现分布外场景比如施工改道、交警手势模型行为不可预测这是很大的安全隐患。我看到的现实落地路线大多是渐进式的。不是一步到位替换全链路而是把端到端模型作为规划层的核心候选保留一层独立的规则安全层随时对模型输出的轨迹做碰撞检查和边界约束。模型输出轨迹后安全层如果检测到碰撞风险可以直接修剪轨迹或触发降级策略。这样既保留了端到端模型的学习能力又守住了安全底线。在仿真里做安全性评测时光靠一套标准场景也不够。我会额外构造一批对抗场景——突然横穿的行人、遮挡后冒出的车辆、极端天气下的低能见度专门看模型在这些情况下的失败模式。这种评测比单纯刷完成率更有价值能找到系统真正的薄弱环节。4.3 读这篇论文的几条实操心得第一别急着只看结论先画图。把论文里的整体架构图自己重新画一遍每一个张量维度变化都标注清楚。画图的过程中你会发现自己对 token 化、维度对齐、Query 来自哪个分支这些细节是否真的理解了。第二把消融实验当成上帝视角来读。论文作者做过的每一组对照实验都相当于在告诉你“什么设计是必要的、什么设计是锦上添花”。我复现时习惯把消融实验的结论整理成一个映射表直接指导后续的模型瘦身和性能优化。第三尽量把多模态融合和传统下游模块的关系想清楚。端到端不等于完全抛弃传统算法它更多是改变了信息传递的粒度。理解了这一点你会发现这篇论文里很多设计都可以用在你自己的混合架构里比如在感知和规划之间加一个带注意力的融合层效果往往比堆模型更明显。最后再分享一个小技巧如果资源有限跑不了完整仿真评测可以把模型在几个开源驾驶数据集上的预训练权重拿来做少量真实数据的微调观察损失曲线和注意力可视化结果。注意力图能直观展示模型融合了什么信息比如在路口是否同时关注了目标车道、红绿灯和左侧来车。这个可视化检查我每次跑完训练都会做一遍相当于给模型做了个“体检”能提前发现很多指标上看不出来的隐患。
端到端自动驾驶最近两年火到什么程度大家有目共睹。但真正能把多传感器数据用好、又能在规划控制层直接出结果的架构方案其实掰着指头也数得过来。Multi-Modal Fusion Transformer for End-to-End Autonomous Driving 这篇论文就是绕不开的典型代表它把 Transformer 搬进了自动驾驶的多模态融合链路用一个统一的注意力框架同时处理视觉、激光雷达和 HD 地图信息最后直接输出轨迹决策。简单说这是一篇少有的“从传感器进、控制量出”全链路打通的文章值得每个做感知决策的朋友读一遍。这篇论文解决的痛点很明确传统模块化方案里感知、预测、规划各管各的中间接口一多信息就一层层打折。而端到端思路又常常把融合做得很简单直接 concat 特征模态之间的交互关系根本没有建模。作者的做法是用 Transformer 的自注意力和交叉注意力机制把不同模态放到同一个特征空间里去对齐。我建议所有正在搞多模态融合、端到端规划、或者被“感知结果怎么传给下游”困扰的朋友仔细看这篇它把很多模棱两可的设计选择讲得比较清晰。1. 端到端自动驾驶为什么需要多模态融合1.1 传统模块化路线的瓶颈先理清背景。传统自动驾驶系统一般是感知、预测、规划、控制四个模块串联每个模块都由人工定义接口。感知模块输出目标框和语义分割图预测模块基于这些历史轨迹预测其他交通参与者的未来位置规划模块再根据预测结果去搜索一条安全轨迹最后控制模块追踪这条轨迹。这个链路用了很多年问题也暴露得很明显。第一是误差传导感知漏检一个行人后面预测规划全跟着出错而且没有一个环节能把感知层丢失的信息找回来。第二是接口表达能力有限感知结果必须落到“目标框”“车道线”这种结构化表示里但很多对驾驶有用的信息比如路面纹理、远处车辆的刹车灯、旁边大车的行驶姿态很难用框和线完整表达。第三是规则覆盖不住长尾场景规划层依赖手写规则和搜索算法遇到没见过的交互场景规则库再大也有疏漏的时候。我打个比方传统方案像工厂流水线每个工位只负责一道工序每道工序都按固定规格交接。一旦上游加工偏差一点下游拿到的是坏料却不自知最后组装出来的产品自然问题百出。这也是为什么业界近几年越来越愿意尝试端到端路线——不设定那么多中间表示让模型自己决定从原始输入里提取什么、怎么用。1.2 摄像头、激光雷达和地图是怎么互补的那为什么要强调多模态因为单一传感器都有明显缺陷自动驾驶又是个“安全冗余永远不够”的场景。摄像头信息最丰富纹理、颜色、语义都有但它是 2D 观测没有直接深度暗光、逆光、雨雾天性能掉得厉害。激光雷达能直接给精确深度对空间几何关系非常敏感但点云是稀疏的没有颜色和纹理信息远处物体反射弱恶劣天气下噪声也大。HD 地图提供的是道路结构的先验知识比如车道线几何、路口拓扑、限速等但它只描述静态环境对动态障碍物完全无能为力。表格对比一下更直观模态强项弱项在端到端系统中的作用摄像头语义丰富、纹理清晰无深度、受光照影响提供语义与远处目标信息激光雷达精确深度、空间几何稀疏、无纹理、成本高提供可靠的 3D 结构与近距障碍物信息HD 地图车道拓扑先验静态、无法反映动态变化提供道路结构约束与导航意图三种模态放到一起恰好能互相补短板。但问题来了怎么让模型同时利用好这些异构信息直接把图像特征和点云特征拼到一起送给后面的网络是最粗暴的做法模型很难学会跨模态的细粒度对齐。这篇论文给出的思路就是让 Transformer 的注意力机制去动态决定“每个位置需要参考哪个模态的信息”这比人工拼接要高明得多。1.3 Transformer 凭什么承接融合任务Transformer 最初来自自然语言处理最核心的自注意力机制本质上是让序列里的每个元素和所有其他元素做信息交互交互强度通过学习得到。这个特性放到多模态融合里非常契合图像特征、点云特征、地图特征都可以看成不同的“序列”注意力机制可以让视觉特征主动去查询激光雷达特征里对齐的空间信息也可以让地图特征引导模型关注某些车道区域。换成 CNN 来做会怎么样也可以做融合但 CNN 依赖卷积核的局部感受野跨模态的信息交互需要堆很多层卷积才能把感受野撑大而且卷积核是固定权重对不同空间位置都用同一套融合模式。Transformer 的注意力权重是输入相关的模型在路口和高速上可以采用完全不同的融合策略这种灵活性正是驾驶场景需要的。这里还有一个重要的设计动机端到端模型直接输出控制或轨迹中间没有任何人工规则兜底模型的表达能力必须足够强。Transformer 的大模型容量和长程建模能力正好匹配“从原始传感器输入到驾驶决策”这种高复杂度映射。论文选择 Transformer 不是追热点而是这个结构确实能承担更多上下文建模的职责。2. 融合 Transformer 的具体架构怎么搭2.1 传感器输入怎么变成 TokenTransformer 处理的是序列数据所以第一步得把图像、点云、地图这三种异构输入都转成 token 序列也就是一组带有位置信息的特征向量。图像的常见做法是先用 CNN 骨干网络提取 2D 特征图比如将输入图缩放到某一分辨率后经过骨干网络得到通道数为 C、高为 H、宽为 W 的特征图再把它展平成 H×W 个 C 维向量。每个向量对应原图的一个区域相当于一个视觉 token。展平之后还要加上位置编码否则模型不知道这些 token 在原图上的相对位置关系。位置编码可以用固定的正弦编码也可以用可学习的参数论文里用可学习位置编码更常见因为驾驶场景里某些固定位置比如正前方、左右两侧确实有先验重要性。激光雷达点云的处理比图像复杂一些。最常用的方法是把点云划分成体素或者柱状区域每个区域内用 PointNet 之类的网络提取局部特征再把所有非空区域的特征组合成 token 序列。点云 token 的一个显著特点是稀疏性——大量区域是空的不需要计算。Transformer 在稀疏 token 上的计算效率也会直接影响整个模型的训练速度。HD 地图的表示则可以按关注的区域切成向量或者把车道线、道路边界等语义元素编码成 token。地图信息本身就是结构化的编码起来比点云更容易关键是让它和视觉、点云 token 在特征维度上对齐才能进入后续的注意力计算。三种模态各自 token 化之后维度可能不一样、空间粒度可能不一样论文里通常会统一映射到相同的特征维度再加上模态类型编码让模型知道每个 token 来自哪个传感器。这一步是后续融合能够成立的前提。2.2 跨模态注意力交互是融合的核心token 化之后怎么融合才是重头戏。论文里的融合 Transformer 一般包含自注意力层和交叉注意力层这两种层在结构里各司其职。自注意力层在各个模态内部使用让同一种模态的不同区域先做一轮信息交换。比如图像分支内部的 token 之间互相看可以把车辆检测、车道检测、交通标志识别的中间特征彼此增强。这个步骤的主要作用是让每个模态的内部表示更完整、更一致。交叉注意力层是本篇论文的精华它让一种模态的 token 作为查询Query去另一种模态的 token 序列里检索信息Key 和 Value。比如模型可以把激光雷达 token 作为 Query去图像 token 里找对应的纹理和语义信息反过来图像 token 也可以去查询点云的空间深度信息。这个交互过程是双向的模型在训练过程中会自己学会什么场景下该更信任哪种模态。我举个具体例子解释一下 Query、Key、Value 的关系假设你在人堆里找朋友你会先盯着一个特征比如他穿的红衣服这个特征就是 Query所有人身上穿的衣服颜色就是 Key衣服对应的整张脸和体型就是 Value。你拿着红色这个 Query 去和每个人的 Key 比对匹配度越高就从这个人的 Value 里提取越多信息。跨模态注意力就是这个过程图像 token 里的“红色车辆区域”作为 Query去激光雷达 token 里找空间位置匹配的障碍物特征再把激光雷达给的深度信息融合进来最终这个 token 既知道“那里有辆车”又知道“这辆车距离我多远”。考虑到自动驾驶的安全性要求只做单向交互是不够的论文通常会在 Transformer 层之间交替使用双向交叉注意力。这样做的好处是融合不偏科视觉信息能帮助点云理解边界细节点云也能矫正视觉的深度误差。整个融合 Transformer 的层数可以叠加到六层甚至更厚感受野从局部逐步扩展到全场景。2.3 控制输出怎么解码融合之后的特征到底用来产生什么是端到端架构里最影响工程质量的选择。这篇论文的做法是让模型输出未来的轨迹点而不是直接输出方向盘转角或油门刹车。轨迹点选择一般是在自车坐标系下预测未来 2 到 4 秒内的 8 到 16 个路径点每个点包含横纵向位置也可以附带速度。这个输出表示有很强的好处轨迹点可以直接和周围障碍物做碰撞检测兼容传统安全校验模块同时因为输出的是连续坐标损失函数可以用 L1 或 L2 距离直接回归训练比较稳定。还有一类做法是输出离散的控制动作比如预定义几组不同转向和速度的组合让模型做分类。分类任务往往比回归任务好训练但控制精度受限急刹车或大转向这种连续变化很难用离散动作表达。轨迹点回归则保留了精细控制的可能性也更容易结合目标车道、行驶速度等约束。解码部分的设计也值得注意融合后的特征序列要先汇聚成固定大小的上下文向量通常用注意力池化或者取特殊分类 token。然后在解码端设计成自回归预测先预测第一个轨迹点再把轨迹点作为额外输入预测下一个点。这个过程和自然语言生成类似模型在预测每个新点时都能看到已经预测出的历史轨迹轨迹整体的平滑性有明显提升。3. 训练、数据与评测中的门道3.1 数据来源和标签从哪来端到端模型的训练需要大量的“传感器输入 专家驾驶行为”配对数据。最直接的来源是路测车队采集由专业驾驶员在实际道路上开车记录摄像头、激光雷达数据以及方向盘转角、刹车和油门踏板信号。路测数据成本高而且很难覆盖长尾场景。所以论文里通常会结合仿真环境生成数据在虚拟城市里批量跑各种交通流和天气组合。用仿真数据训练、真实数据微调是这条技术路线里很常见的模式。需要注意的是仿真和真实世界之间存在渲染差异、物理引擎差异直接加载仿真预训练模型到真实车上性能会打折必须做域适应。指挥信号的粒度也有讲究。如果只用方向盘转角这种低层次控制信号做标签模型学到的是“模仿驾驶员的手”而不是“理解驾驶意图”。更合理的做法是给模型提供高层次意图标签比如目标车道、期望速度然后让模型自己规划具体轨迹。这样模型学到的策略更容易泛化也更容易在不同车辆底盘之间迁移。3.2 评测指标和消融实验怎么读端到端驾驶模型的评测不能只看“跑不跑得动”。在仿真环境里常见指标包括任务完成率、路线完成度、碰撞率和驾驶得分把规则性、安全性、舒适性加权综合。其中碰撞率必须有但单独看碰撞率很容易被误导——一个模型如果全城龟速爬行碰到障碍物就停车碰撞率可能很低但它的路线完成度会非常难看。所以必须把碰撞率、完成率、效率类指标放到一起综合判断。消融实验是读论文时最该仔细看的部分。这篇论文通常会展式设计几种对照方案单模态只用摄像头、只用激光雷达多模态简单拼接特征以及完整的融合 Transformer。对照结果一般会说明两个问题第一多模态确实比单模态强尤其在下雨、夜间等单模态失效场景第二注意力融合比简单拼接效果好尤其在被其他车辆遮挡、需要靠车道线先验补全场景理解的时候。如果你复现论文消融实验别偷懒跳过。跑一遍完整模型和基线模型你才能真正理解注意力融合在哪些场景里贡献最大这对后续修改网络结构特别有帮助。3.3 训练配置里的可复现细节端到端 Transformer 模型对算力的要求不低。图像骨干网络如果分辨率放到 512×1024激光雷达点云又保留完整帧单次前向计算量会非常大。论文里常用的训练配置是多卡分布式训练配合混合精度把显存占用和训练速度同时优化。我建议复现时先从小分辨率、降采样点云开始确认整个代码链路通顺再逐步加大数据规模。训练超参数里比较关键的一项是损失函数的权重配比。轨迹回归损失、碰撞约束损失、辅助语义损失往往同时存在如果权重配比不合理模型会过度关注某一个任务导致整体驾驶行为异常。实践中可以先让轨迹回归损失主导再逐步引入辅助约束效果比一开始就配平要好。学习率的设置在这个项目里也比普通视觉任务更敏感建议用带 warmup 的余弦衰减前期避免梯度爆炸。值得注意的还有数据增强策略。图像做随机裁剪、色彩抖动、翻转都常见但点云就不能随便翻转——翻转之后车道线方向、交通规则全都变了模型会学到错误的几何关系。这类细微差别只有实际跑过训练才知道坑在哪。4. 从论文到落地实际工程里要面对的坑4.1 多传感器标定和时间同步比想象中麻烦论文里默认摄像头、激光雷达都完成了时空对齐但真实工程里这一步反而是最容易出乱子的环节。摄像头和激光雷达外参标定差一两个像素融合出来的深度就可能偏好几米各传感器的时间戳没有严格同步高速行驶时同一个障碍物在不同模态里可能位置差十几米。处理方式上工程落地会在融合模块前面加一个预处理层外参做在线矫正利用车道线等静态特征实时估计标定误差时间同步上会做传感器时钟同步校准同时根据自车运动模型对短时延做运动补偿。这些在论文里往往一笔带过但实际占的调试工作量非常大几乎每个多模态项目都要在这里踩一轮坑。另外不同传感器的延迟也不一样。摄像头曝光需要时间激光雷达的扫描是一圈一圈转出来的如果直接把当前帧的所有模态一股脑送进 Transformer模型输入里的“同一时刻”实际上是错位的。严谨的做法是拿到每个传感器的采集时刻统一变换到一个基准时刻再做 token 化。这个细节直接影响融合质量值得花时间打磨。4.2 端到端系统的安全边界怎么守纯端到端方案最大的争议在于可解释性差模型通过一个复杂的注意力矩阵做决策很难解释“为什么在这里刹车”。直接去掉所有传统模块上真实车一旦出现分布外场景比如施工改道、交警手势模型行为不可预测这是很大的安全隐患。我看到的现实落地路线大多是渐进式的。不是一步到位替换全链路而是把端到端模型作为规划层的核心候选保留一层独立的规则安全层随时对模型输出的轨迹做碰撞检查和边界约束。模型输出轨迹后安全层如果检测到碰撞风险可以直接修剪轨迹或触发降级策略。这样既保留了端到端模型的学习能力又守住了安全底线。在仿真里做安全性评测时光靠一套标准场景也不够。我会额外构造一批对抗场景——突然横穿的行人、遮挡后冒出的车辆、极端天气下的低能见度专门看模型在这些情况下的失败模式。这种评测比单纯刷完成率更有价值能找到系统真正的薄弱环节。4.3 读这篇论文的几条实操心得第一别急着只看结论先画图。把论文里的整体架构图自己重新画一遍每一个张量维度变化都标注清楚。画图的过程中你会发现自己对 token 化、维度对齐、Query 来自哪个分支这些细节是否真的理解了。第二把消融实验当成上帝视角来读。论文作者做过的每一组对照实验都相当于在告诉你“什么设计是必要的、什么设计是锦上添花”。我复现时习惯把消融实验的结论整理成一个映射表直接指导后续的模型瘦身和性能优化。第三尽量把多模态融合和传统下游模块的关系想清楚。端到端不等于完全抛弃传统算法它更多是改变了信息传递的粒度。理解了这一点你会发现这篇论文里很多设计都可以用在你自己的混合架构里比如在感知和规划之间加一个带注意力的融合层效果往往比堆模型更明显。最后再分享一个小技巧如果资源有限跑不了完整仿真评测可以把模型在几个开源驾驶数据集上的预训练权重拿来做少量真实数据的微调观察损失曲线和注意力可视化结果。注意力图能直观展示模型融合了什么信息比如在路口是否同时关注了目标车道、红绿灯和左侧来车。这个可视化检查我每次跑完训练都会做一遍相当于给模型做了个“体检”能提前发现很多指标上看不出来的隐患。
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
