在自动驾驶的多传感器配置中相机是唯一能够同时提供稠密语义信息的传感器。激光雷达给出精确的三维点云但无法告诉你前方那个物体是行人还是垃圾桶毫米波雷达能全天候测速测距但分辨率低到几乎无法区分相邻车道。相机则不同它输出的是一幅包含颜色、纹理、轮廓的完整图像算法可以直接从中提取“穿红色衣服的外卖骑手正在朝右前方移动”这类高层语义。更关键的是成本。一颗车规级800万像素8MP前视相机的模组成本远低于一颗激光雷达所以相机成为了从L1 到 L4 几乎所有自动驾驶方案中不可或缺的传感器。但相机的短板同样明显依赖光照测距靠算法脑补在逆光、暴雨、夜间等场景下性能会急剧下降。1.相机类型相机类型的选择首先取决于它要完成的任务。单目摄像头是前视感知的主力选手。它只有一个镜头通过图像处理算法估算深度信息成本低、数据量相对较小。在量产车型中单目前视相机通常承担车道线检测、交通标志识别、前方车辆与行人识别等任务。但对距离的判断本质上是猜——依赖物体在画面中的大小、位置以及帧间运动来反推深度精度天然受限受光照和纹理影响较大。双目摄像头用两个镜头模拟人眼的视差原理直接生成深度图。理论上这比单目猜深度要可靠得多适合中近距离的障碍物探测和距离测量。但代价也很明显两个镜头必须保持严格的空间关系任何微小的位移或旋转偏差都会直接破坏视差测量的准确性车辆振动、温度变化都会成为挑战。此外图像匹配和深度图生成的计算量很大对算力要求高。因此双目方案在实际量产中并不算主流。多目摄像头如三目方案通过多个不同焦距的镜头覆盖不同距离的视野——广角看近处盲区长焦看远处目标。它的问题在于系统复杂、数据融合难度大对多路相机的同步和标定要求很高。鱼眼摄像头的视场角通常超过180°专为近距离大范围监测设计。环视系统泊车、低速盲区监测几乎全部使用鱼眼镜头四个鱼眼相机分别安装在车辆前、后、左、右拼接出 360° 全景鸟瞰视图。缺点是畸变校正复杂深度感知能力有限。2.核心参数相机参数表上有一长串数字但真正决定感知能力的主要是以下几个。分辨率决定能看多远、看多细。200 万像素2MP相机的有效探测距离约 120 米而 800 万像素8MP可以推到 250 米。对于高速 NOA 场景远处的小目标锥桶、事故车辆、掉落的货物必须在足够早的距离上被识别8MP 前视相机因此成为 L2 的主流配置。以中高配方案为例当前量产智驾车型的典型相机配置是1-2 颗 8MP 前视 4 颗 3MP 侧视 4 颗 3MP 环视 1-2 颗舱内 DMS总计约 11 颗。帧率影响对运动物体的捕捉能力。30fps 是车载相机最常用的规格足以满足正常驾驶场景下对行人、车辆的检测需求。更高的帧率60fps在极端场景下有一定价值但会增加数据带宽和算力负担。动态范围决定相机在大光比场景下的表现。隧道出口的强光、对向车辆的远光灯、日落时的逆光——这些场景中画面最亮和最暗区域的亮度差可能远超普通传感器的处理能力。车载相机通常要求 120dB 的动态范围这是行业普遍采用的规格。低照度性能是相机的夜视能力。行业内常用的参考值是0.1 lux大致相当于月光明亮的夜晚。但需要注意这个数值没有统一评价标准不同厂商测试条件可能不同选型时不能只看纸面数字。3.两个容易被忽视的重点1全局快门vs 卷帘快门为什么自动驾驶感知更倾向全局快门这是相机选型中最容易被忽视、但对自动驾驶却至关重要的一项。卷帘快门Rolling Shutter 通过逐行扫描的方式从上到下曝光像素每一行的曝光时间存在微小的时间差。这种工作方式在拍摄静态或低速场景时没有问题但在高速运动场景中会产生果冻效应Jello Effect——画面中的物体会出现倾斜、弯曲或拖影。对于自动驾驶来说果冻效应是一个安全问题。当车辆以120km/h 行驶时按30fps计算每帧移动约1.1米。卷帘快门的逐行曝光会让同一帧图像中不同行的像素对应不同的时刻导致运动物体的形状发生畸变。更隐蔽的问题是LED 闪烁现代交通信号灯、车辆尾灯大量使用 LEDLED 以高频通常 100Hz 以上脉冲闪烁卷帘快门的逐行曝光会与 LED 闪烁频率产生干涉形成明暗相间的“条带”严重时甚至会让整个 LED 光源在图像中消失。全局快门Global Shutter 的所有像素在同一时刻曝光、同一时刻读取从根本上消除了果冻效应和 LED 频闪条带问题。在需要精确运动捕捉和同步曝光的感知场景中如高速前视感知、驾驶员监控 DMS全局快门是首选方案。代价是全局快门的像素结构更复杂、成本更高、低光照灵敏度通常略低于同规格卷帘快门但在自动驾驶的安全要求面前这个代价是必须接受的。2LED 闪烁抑制LFM一个容易被忽略的关键能力如果相机没有LFMLight Flicker Mitigation能力可能出现的失效包括红灯在图像中时隐时现、前车刹车灯被误判为熄灭、电子路牌内容无法识别。这些问题在城市 NOA 场景中尤其致命——误判信号灯状态可能导致车辆闯红灯。LFM 的实现方式通常结合了多曝光 HDR 融合和专用信号处理电路传感器以不同曝光时间拍摄多帧LFM 电路逐像素识别闪烁区域并施加校正因子最终合成一幅无闪烁的 HDR 图像。选型时需要确认相机模组是否支持 LFM以及支持的闪烁频率范围。4.相机与雷达相机不是万能的理解它的定位需要看其他传感器在做什么。激光雷达LiDAR通过激光束扫描生成高精度三维点云测距精度可达厘米级且不受光照影响。夜间、隧道等场景中激光雷达的可靠性远高于相机。但它成本高且无法获取颜色和纹理信息——它知道前方有一个物体但不知道那是行人还是广告牌。毫米波雷达利用电磁波测速测距全天候工作雨雾天气中可靠性最高。但分辨率极低对静止物体的检测能力弱无法识别障碍物细节。相机在感知链路中承担的角色更接近理解而非测量。激光雷达能告诉你前方50 米处有一个边长 0.5 米的立方体毫米波雷达能告诉你它的径向速度是 30km/h但只有相机能告诉你——那是一块写着前方施工的临时指示牌而且表面被泥水糊住了一半。交通标志的文字、行人手势的意图、信号灯的颜色与形状这些信息只能从图像中获得。在 BEV 和 Occupancy Network 架构下相机数据甚至可以部分替代激光雷达的功能——通过算法从图像中重建三维场景这就是纯视觉路线的逻辑基础。但纯视觉的物理短板是真实存在的大太阳逆光、暴雨起雾、深夜无路灯相机的视力直接打对折对不规则障碍物倒地大树、反光玻璃的识别容易出现大脑卡壳。融合感知路线因此主张不把鸡蛋放在一个篮子里——用激光雷达补三维精度用毫米波雷达补全天候能力相机则专注于它最擅长的事理解这个世界是什么。两种路线长期并存本质上是因为没有一种传感器能在所有维度上胜出。选型的核心问题不是哪个最好而是在成本约束下用哪些传感器的组合来覆盖足够多的场景。5.结尾自动驾驶相机的选型是一个在多重约束下求解的过程分辨率要够看远处帧率要够抓动态动态范围和低照度要够应对恶劣光照全局快门和LFM 要够保证信号灯和运动物体的可靠识别。而这一切都要和激光雷达、毫米波雷达的成本与分工放在一起考虑。理解了这些约束才能进入下一层问题相机拍到的图像如何经过标定、传输、处理变成自动驾驶系统可以使用的感知输入。说明1.文章参考公开报道并借助AI工具进行整理和分析如有不妥之处欢迎指正。2.部分市场数据基于行业估算、发布以及官方报道具体精确数据请以权威机构为准。3.欢迎长期追踪边缘AI的朋友一起探讨。
在自动驾驶的多传感器配置中相机是唯一能够同时提供稠密语义信息的传感器。激光雷达给出精确的三维点云但无法告诉你前方那个物体是行人还是垃圾桶毫米波雷达能全天候测速测距但分辨率低到几乎无法区分相邻车道。相机则不同它输出的是一幅包含颜色、纹理、轮廓的完整图像算法可以直接从中提取“穿红色衣服的外卖骑手正在朝右前方移动”这类高层语义。更关键的是成本。一颗车规级800万像素8MP前视相机的模组成本远低于一颗激光雷达所以相机成为了从L1 到 L4 几乎所有自动驾驶方案中不可或缺的传感器。但相机的短板同样明显依赖光照测距靠算法脑补在逆光、暴雨、夜间等场景下性能会急剧下降。1.相机类型相机类型的选择首先取决于它要完成的任务。单目摄像头是前视感知的主力选手。它只有一个镜头通过图像处理算法估算深度信息成本低、数据量相对较小。在量产车型中单目前视相机通常承担车道线检测、交通标志识别、前方车辆与行人识别等任务。但对距离的判断本质上是猜——依赖物体在画面中的大小、位置以及帧间运动来反推深度精度天然受限受光照和纹理影响较大。双目摄像头用两个镜头模拟人眼的视差原理直接生成深度图。理论上这比单目猜深度要可靠得多适合中近距离的障碍物探测和距离测量。但代价也很明显两个镜头必须保持严格的空间关系任何微小的位移或旋转偏差都会直接破坏视差测量的准确性车辆振动、温度变化都会成为挑战。此外图像匹配和深度图生成的计算量很大对算力要求高。因此双目方案在实际量产中并不算主流。多目摄像头如三目方案通过多个不同焦距的镜头覆盖不同距离的视野——广角看近处盲区长焦看远处目标。它的问题在于系统复杂、数据融合难度大对多路相机的同步和标定要求很高。鱼眼摄像头的视场角通常超过180°专为近距离大范围监测设计。环视系统泊车、低速盲区监测几乎全部使用鱼眼镜头四个鱼眼相机分别安装在车辆前、后、左、右拼接出 360° 全景鸟瞰视图。缺点是畸变校正复杂深度感知能力有限。2.核心参数相机参数表上有一长串数字但真正决定感知能力的主要是以下几个。分辨率决定能看多远、看多细。200 万像素2MP相机的有效探测距离约 120 米而 800 万像素8MP可以推到 250 米。对于高速 NOA 场景远处的小目标锥桶、事故车辆、掉落的货物必须在足够早的距离上被识别8MP 前视相机因此成为 L2 的主流配置。以中高配方案为例当前量产智驾车型的典型相机配置是1-2 颗 8MP 前视 4 颗 3MP 侧视 4 颗 3MP 环视 1-2 颗舱内 DMS总计约 11 颗。帧率影响对运动物体的捕捉能力。30fps 是车载相机最常用的规格足以满足正常驾驶场景下对行人、车辆的检测需求。更高的帧率60fps在极端场景下有一定价值但会增加数据带宽和算力负担。动态范围决定相机在大光比场景下的表现。隧道出口的强光、对向车辆的远光灯、日落时的逆光——这些场景中画面最亮和最暗区域的亮度差可能远超普通传感器的处理能力。车载相机通常要求 120dB 的动态范围这是行业普遍采用的规格。低照度性能是相机的夜视能力。行业内常用的参考值是0.1 lux大致相当于月光明亮的夜晚。但需要注意这个数值没有统一评价标准不同厂商测试条件可能不同选型时不能只看纸面数字。3.两个容易被忽视的重点1全局快门vs 卷帘快门为什么自动驾驶感知更倾向全局快门这是相机选型中最容易被忽视、但对自动驾驶却至关重要的一项。卷帘快门Rolling Shutter 通过逐行扫描的方式从上到下曝光像素每一行的曝光时间存在微小的时间差。这种工作方式在拍摄静态或低速场景时没有问题但在高速运动场景中会产生果冻效应Jello Effect——画面中的物体会出现倾斜、弯曲或拖影。对于自动驾驶来说果冻效应是一个安全问题。当车辆以120km/h 行驶时按30fps计算每帧移动约1.1米。卷帘快门的逐行曝光会让同一帧图像中不同行的像素对应不同的时刻导致运动物体的形状发生畸变。更隐蔽的问题是LED 闪烁现代交通信号灯、车辆尾灯大量使用 LEDLED 以高频通常 100Hz 以上脉冲闪烁卷帘快门的逐行曝光会与 LED 闪烁频率产生干涉形成明暗相间的“条带”严重时甚至会让整个 LED 光源在图像中消失。全局快门Global Shutter 的所有像素在同一时刻曝光、同一时刻读取从根本上消除了果冻效应和 LED 频闪条带问题。在需要精确运动捕捉和同步曝光的感知场景中如高速前视感知、驾驶员监控 DMS全局快门是首选方案。代价是全局快门的像素结构更复杂、成本更高、低光照灵敏度通常略低于同规格卷帘快门但在自动驾驶的安全要求面前这个代价是必须接受的。2LED 闪烁抑制LFM一个容易被忽略的关键能力如果相机没有LFMLight Flicker Mitigation能力可能出现的失效包括红灯在图像中时隐时现、前车刹车灯被误判为熄灭、电子路牌内容无法识别。这些问题在城市 NOA 场景中尤其致命——误判信号灯状态可能导致车辆闯红灯。LFM 的实现方式通常结合了多曝光 HDR 融合和专用信号处理电路传感器以不同曝光时间拍摄多帧LFM 电路逐像素识别闪烁区域并施加校正因子最终合成一幅无闪烁的 HDR 图像。选型时需要确认相机模组是否支持 LFM以及支持的闪烁频率范围。4.相机与雷达相机不是万能的理解它的定位需要看其他传感器在做什么。激光雷达LiDAR通过激光束扫描生成高精度三维点云测距精度可达厘米级且不受光照影响。夜间、隧道等场景中激光雷达的可靠性远高于相机。但它成本高且无法获取颜色和纹理信息——它知道前方有一个物体但不知道那是行人还是广告牌。毫米波雷达利用电磁波测速测距全天候工作雨雾天气中可靠性最高。但分辨率极低对静止物体的检测能力弱无法识别障碍物细节。相机在感知链路中承担的角色更接近理解而非测量。激光雷达能告诉你前方50 米处有一个边长 0.5 米的立方体毫米波雷达能告诉你它的径向速度是 30km/h但只有相机能告诉你——那是一块写着前方施工的临时指示牌而且表面被泥水糊住了一半。交通标志的文字、行人手势的意图、信号灯的颜色与形状这些信息只能从图像中获得。在 BEV 和 Occupancy Network 架构下相机数据甚至可以部分替代激光雷达的功能——通过算法从图像中重建三维场景这就是纯视觉路线的逻辑基础。但纯视觉的物理短板是真实存在的大太阳逆光、暴雨起雾、深夜无路灯相机的视力直接打对折对不规则障碍物倒地大树、反光玻璃的识别容易出现大脑卡壳。融合感知路线因此主张不把鸡蛋放在一个篮子里——用激光雷达补三维精度用毫米波雷达补全天候能力相机则专注于它最擅长的事理解这个世界是什么。两种路线长期并存本质上是因为没有一种传感器能在所有维度上胜出。选型的核心问题不是哪个最好而是在成本约束下用哪些传感器的组合来覆盖足够多的场景。5.结尾自动驾驶相机的选型是一个在多重约束下求解的过程分辨率要够看远处帧率要够抓动态动态范围和低照度要够应对恶劣光照全局快门和LFM 要够保证信号灯和运动物体的可靠识别。而这一切都要和激光雷达、毫米波雷达的成本与分工放在一起考虑。理解了这些约束才能进入下一层问题相机拍到的图像如何经过标定、传输、处理变成自动驾驶系统可以使用的感知输入。说明1.文章参考公开报道并借助AI工具进行整理和分析如有不妥之处欢迎指正。2.部分市场数据基于行业估算、发布以及官方报道具体精确数据请以权威机构为准。3.欢迎长期追踪边缘AI的朋友一起探讨。
