做自动驾驶仿真做得久了你会发现在 Carla 里往车上怼四个相机实在是太容易了难的是把四路画面拼成一张像样的鸟瞰图。这个系列写到第 5 篇正好到了最实用的环节四路相机标定与 BEV 环视拼接。先说明白这篇博文解决什么问题。你手里有一辆装了四路相机的 Carla 车前后左右各一个但四路图像各有各的朝向、各有各的视野你想把它们合成一张以车为中心、从上往下看的环视俯视图。直接扔进拼接库里是不行的四路画面的像素到地面坐标完全没有对齐关系硬拼只会得到一张花脸。所以必须先标定再做逆透视变换最后融合输出。这篇讲的就是这套完整 pipeline 怎么在 Carla 里落地适合正在用仿真验证 BEV 感知算法、做自动泊车演示或者想提前跑通量产环视链路的同学参考。1. 项目思路拆解标定的分层与仿真环境的特殊性很多人第一次接触 BEV 拼接时的第一反应是Carla 里相机是我自己摆的内外参都是已知数还有标定的必要吗这个问题非常关键直接决定了你这套流程做完能不能迁移到真实系统上。在 Carla 里拿现成真值做拼接当然可以但你会错过整个标定流程中最容易出错的环节——坐标系管理和外参估计。真车上四路相机装完外参都是不知道的标定板摆在哪里、相机相对于车体旋转了多少全靠算法解出来。所以我的做法是即使在 Carla 里也完全按照外参未知的方式来走一遍标定先解出近似值再和真实值对比验证误差。这样仿真里的代码、流程和鲁棒性问题到了实车上基本可以复用。1.1 需求拆解从四路画面到一张鸟瞰图要过三关这套需求拆开来看其实只有三件事。第一件内外参标定拿到每个相机的内参矩阵 K 和畸变系数以及每个相机相对车体坐标系的旋转 R 和平移 T。第二件逆透视变换利用标定结果把每个相机的透视图像映射到以车辆为中心的地面平面上得到俯视视角的局部图。第三件融合拼接把四张局部图在重叠区域做加权融合消除亮度差和拼接缝输出一整张 BEV 图。三个环节层层依赖内参不准外参就别想准外参不准IPM 出来的图一定是歪的IPM 不齐融合阶段再做多少平滑都是白搭。所以标定环节花的时间占比最大这是正常的。我见过很多人在融合上反复调参最后发现问题是外参偏了一两度方向从一开始就错了。1.2 仿真环境下的标定和真车标定有什么不一样这里把仿真和真车标定的差异讲透。真车标定需要一个物理标定板、一个能放稳标定板的场地而且只能通过图像特征反推参数误差水平受光照、板面平整度、相机畸变影响很大。Carla 里做标定最大的优势是可控板子可以精确摆放在世界坐标系任意位置没有光照干扰没有机械安装误差甚至可以直接读 ground truth。但仿真有个隐藏的坑Carla 的传感器模型是理想化的。默认的sensor.camera.rgb是针孔模型畸变系数基本等于零这反而让你练习不到畸变矫正这一环。如果目标是复现真实环视效果要么后期自己给图像加畸变模型要么先接受理想针孔模型把标定、IPM、拼接的整个链路跑通再逐步引入仿真噪声。我推荐后者先把主流程跑通比什么都重要。1.3 标定思路预览和手眼标定、九点标定有什么关系查资料时你肯定会碰到几个容易混淆的词张正友标定法、九点标定、手眼标定、lidar imu 标定。这里先做个区分后面就不乱了。张正友标定法用棋盘格或者圆点标定板从多个视角估算相机内参和畸变。本项目中内参标定就用的这个思路只不过在 Carla 里也可以用真值反推验证。九点标定通常在 2D 平面做像素坐标到机械坐标的映射用 9 个已知点拟合一个单应矩阵。如果你只关心地面平面上的映射九点法其实可以直接替代完整的外参求解。手眼标定解决相机跟机械臂或车体之间固定变换关系的求解问题数学上解 AXXB。四路相机相对于车体的外参本质上就是手眼关系只不过机械臂变成了车体。lidar imu 标定和本项目无关但同一个标定框架下的参考它是求解两个传感器坐标系之间的刚体变换。一句话总结你看到的所有标定方法内核都是求坐标系之间的变换关系区别只在于用什么观测数据来求。本项目里我们用棋盘格特征加 PnP 求解相机到车体的外参是手眼标定的简化版因为车体坐标系可以由 Carla 直接读取。2. Carla 环视传感器配置与坐标系避坑指南进入实操前先把传感器配置和坐标系这两件基础的、但容易栽跟头的事情搞定。传感器装不好后面标定出来的外参十有八九是错的。2.1 四路相机布局设计位置、角度、FOV 怎么选量产车上四路相机的布局规律很简单尽量对称视野尽量覆盖车身四周尽量安装在靠近车身边缘的位置。Carla 里同样适用。我用的是一组经过验证的配置相机位置相对车体 (x, y, z)朝向 (pitch, yaw, roll)作用前视(2.0, 0.0, 1.4)(0, 0, 0)覆盖车前方和引擎盖区域后视(-2.4, 0.0, 1.4)(0, 180, 0)覆盖车后方和后备箱区域左视(0.0, 1.0, 1.2)(0, -90, 0)覆盖车身左侧和侧前方右视(0.0, -1.0, 1.2)(0, 90, 0)覆盖车身右侧和侧前方几个选型细节值得展开。相机高度我控制在 1.2 到 1.4 米之间。高度太高近处地面在图像里被压缩得太厉害IPM 之后的有效分辨率会下降高度太低车身遮挡范围变大侧向视野会被车门遮挡。1.2 到 1.4 是一个在仿真和实车上都比较均衡的范围。俯仰角默认 0 度即可。因为 BEV 是靠 IPM 强行投影到地面的即使相机水平朝前也能把前方 10 米处的地面映射到图上。不需要为了拍地面把相机刻意压低压低会造成近处视野畸变增加、远处地面信息丢失。FOV和真实环视方案一样鱼眼镜头是常用配置但 Carla 内置的 rgb 相机本质上是针孔模型FOV 设得太大图像边缘会出现明显径向拉伸虽然能模拟出类似鱼眼的透视效果但并不是严格意义上的鱼眼畸变模型。我的经验是先用 90 到 100 度的 FOV 跑通流程后面如果要模拟鱼眼再走自定义畸变路线。下面是 Carla Python API 中配置四路相机的核心代码。注意sensor挂载点、relative_position和relative_rotation三个参数要写对。import carla def add_surround_cameras(vehicle, world, bp_lib, image_size(1280, 720)): 为车辆添加四路环视相机返回 sensor actor 列表 sensors [] cam_bp bp_lib.find(sensor.camera.rgb) # 图像尺寸与目标 BEV 精度有关1280x720 足够用 cam_bp.set_attribute(image_size_x, str(image_size[0])) cam_bp.set_attribute(image_size_y, str(image_size[1])) # FOV 先给 100 度兼顾视野宽度和边缘畸变 cam_bp.set_attribute(fov, 100) # 四路相机的相对位置与朝向 configs [ # 名称, 相对位置(x, y, z), 相对旋转(pitch, yaw, roll) (front, carla.Location(x2.0, y0.0, z1.4), carla.Rotation(0, 0, 0)), (rear, carla.Location(x-2.4, y0.0, z1.4), carla.Rotation(0, 180, 0)), (left, carla.Location(x0.0, y1.0, z1.2), carla.Rotation(0, -90, 0)), (right, carla.Location(x0.0, y-1.0, z1.2), carla.Rotation(0, 90, 0)), ] for name, rel_loc, rel_rot in configs: sensor world.spawn_actor( cam_bp, carla.Transform(rel_loc, rel_rot), attach_tovehicle ) # 用名称标记结果方便后面读取外参时做对应 sensor.attributes[role_name] name sensors.append(sensor) return sensors2.2 Carla 坐标系和常规视觉坐标系的三个坑做 BEV 拼接时外参标定和坐标变换贯穿始终而 Carla 的坐标系约定和常见的视觉坐标系之间有三处不一致搞混任何一个都会让拼接结果鬼畜。第一个坑是方向约定。Carla 使用 UE 的左手坐标系X 向前Y 向右Z 向上。而常见的计算机视觉坐标系是右手系Z 向前X 向右Y 向下。你算旋转矩阵之前必须先明确定义否则矩阵的符号很容易出错。我的习惯是所有标定和拼接计算都统一转成惯性右手系也就是 X 向前Y 向左Z 向上的定义和真实车辆坐标系保持一致。定义好之后再写代码每一步变换都带上注释。第二个坑是姿态角定义。Carla 的Rotation三个分量分别是 pitch、yaw、roll旋转顺序是 YXZ和 ROS 里常见的 RPY 旋转顺序不一样。当你需要把 Carla 的欧拉角转成旋转矩阵时建议直接读actor.get_transform()返回的矩阵。用carla.Transform自带的 API 做转换不要自己从欧拉角推通用公式容易踩顺序的坑。第三个坑是 Z 轴方向。Carla 世界坐标系的 Z 向上这没问题但当你构造cv2.solvePnP的输入点时习惯用视觉坐标系的人容易把 y 和 z 对调。有一阵子我的标定结果误差忽大忽小最后发现就是棋盘格角点在车体系下的坐标取值时错把 Carla 的 y 放到了 PnP 的 z 上。所以我在代码里强制加了一个转换函数保证输入 PnP 的是车体右手系坐标。def carla_rotation_to_matrix(rotation): 将 Carla Rotation 转换到惯用右手系旋转矩阵。 实际直接使用 Carla 提供的方法避免手工推导欧拉角顺序。 transform carla.Transform(carla.Location(0, 0, 0), rotation) mat transform.get_matrix() return np.array(mat)[:3, :3]2.3 内参获取真值读取和独立标定两条路都给出内参是标定的第一步。在 Carla 里内参本质上由图像分辨率、FOV 和相机模型三者决定。已知 FOV 和分辨率可以按针孔模型直接算出来。import numpy as np def compute_intrinsics_from_fov(width, height, fov_degrees): 根据 FOV 和分辨率计算针孔相机内参矩阵 fov_rad np.deg2rad(fov_degrees) f (width / 2.0) / np.tan(fov_rad / 2.0) # 理想针孔模型的像素中心在图像中心 K np.array([ [f, 0, width / 2.0], [0, f, height / 2.0], [0, 0, 1] ], dtypenp.float64) return K这是理想情况。如果想让整个流程完整仿真真实标定的动作可以在 Carla 场景里放置一个棋盘格用多视角图像跑一遍张正友法调用 OpenCV 的cv2.calibrateCamera。这样做的好处是你的代码从第一步开始就和真实标定流程一致后续换到真实图像时不需要改任何结构。张正友法跑出来的内参结果理论上会和直接按 FOV 算出来的一致但会因为角点检测亚像素精度、图像分辨率、镜头畸变等因素有极小的误差。对比参考值和计算值通常误差在 0.1 像素以内这是一个很好的 sanity check。如果误差偏大优先检查图像序列的覆盖范围棋盘格需要在画面中呈现不同的距离和角度保证标定过成功有足够的约束条件。3. 核心标定流程落地棋盘格、solvePnP 与外参求解这一章节是全文的重头戏。完成布局和内参之后你要把 Image 里的棋盘格特征和三维参考点配对解出每个相机的车体坐标系外参。3.1 在 Carla 里摆一个标定板并采集多视角图像Carla 本身不直接提供标定板的 model但你可以用 UE 的 static mesh 功能导入一个棋盘格纹理的平面物体。最方便的办法是通过carla.BlueprintLibrary找一个立方体或者平面模型设置材质贴图为棋盘格纹理。另一个办法是纯粹用编程方式生成创建一个carla.Actor并挂上sensor.camera.rgb对准标定板但这样需要手动渲染一帧图并用 OpenCV 画棋盘稍微绕一些。我更推荐用材质贴图的方式。制作一张棋盘格的 PNG 图内角点 9x6每格边长在 Carla 的世界单位里对应 0.5 米这样标定板足够大在 10 米外也能看清楚。把这个模型放到车前固定位置用四路相机各拍 20 帧不同角度保存图片列表用于后续处理。采集图像时注意三点。第一标定板的位置必须在相机视野中间区域不要贴太边。第二四路相机的安装位置差异很大后视相机要能看到摆在前方的板子需要板子摆得离车足够远。第三采集期间车辆和标定板都不能动只动相机视角的话会让外参求解的约束失效。代码示例读取静态场景图片找角点。import cv2 import numpy as np # 棋盘格内角点数实际棋盘是 (91)x(61) 的网格 pattern_size (9, 6) def detect_chessboard_corners(image_path, visualizeFalse): 从图像中检测棋盘格角点返回亚像素角点坐标 img cv2.imread(image_path) gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) ret, corners cv2.findChessboardCorners(gray, pattern_size, None) if ret: # 亚像素精确化这一步很关键直接影响 PnP 精度 criteria (cv2.TERM_CRITERIA_EPS cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001) corners_subpix cv2.cornerSubPix(gray, corners, (11, 11), (-1, -1), criteria) if visualize: vis cv2.drawChessboardCorners(img.copy(), pattern_size, corners_subpix, ret) cv2.imshow(corners, vis) cv2.waitKey(0) return corners_subpix return None3.2 用张正友标定法求解内参的实操细节在仿真里做张正友标定方法论和真车完全一致但流程会顺畅很多。准备好至少 15 到 20 张不同视角的棋盘格图像角点检测结果输入到cv2.calibrateCamera即可。值得展开的是标定图像的选择策略。张正友法对角点覆盖范围要求很高不是随便拍 20 张就能用。我总结了一个三原则棋盘格在画面中的占比要变化从占据 30% 到占据 70%覆盖不同尺度。棋盘格相对相机的偏转角度要变化左右偏、上下偏都来几张保证外参观测条件充分。棋盘格尽量覆盖图像中心和四个角区域避免角点全部集中在画面中央。在 Carla 里实现这三个原则最快的方式是让车辆静止用脚本控制标定板模型沿弧线移动每移动一段距离拍一帧。或者反过来固定标定板控制车辆的朝向变化。两种方式效果等价。cv2.calibrateCamera的输出包含内参矩阵、畸变系数、以及每一帧的外参即标定板相对相机的外参。这一步的内参结果要存下来后面的 solvePnP 也需要用到内参不能省。3.3 关键一步solvePnP 求相机到车体外参 R、T外参标定这一步是整个流程里最值得慢下来想清楚的地方。想象一下真实场景标定板摆在车旁边你可能知道标定板相对车辆坐标系的位置因为画过线也可能完全不知道。知道位置的情况可以直接用板上的 3D 点配对图像 2D 点解 PnP一次求解相机相对车体的位姿。不知道位置的情况就得靠多次观察求解手眼标定问题或者先做九点标定建立地面映射再反推外参。在 Carla 里通常我们走已知位置这条路。步骤如下获取标定板内角点的三维坐标。如果你做了一个 9x6 的内角点棋盘每格长 0.5 米那么角点的车体坐标就是以车体坐标系原点的三维点阵列(i*0.5, j*0.5, 0)再通过车体到标定板的平移和旋转变换一次。从图像中检测出对应的 2D 角点。调用cv2.solvePnP输入三维点和二维点以及内参输出旋转向量rvec和平移向量tvec。旋转向量转成旋转矩阵就得到了相机坐标系相对车体坐标系的变换T_car_cam。下面给出一段可直接跑的示例代码。这里我们假设标定板在车体坐标系下的位姿由board_pos和board_rot给出。import cv2 import numpy as np def solve_camera_extrinsic(K, obj_points_img, pattern_size(9, 6), square_len0.5): 通过 solvePnP 求解相机到车体坐标系的旋转和平移。 参数: K: 内参矩阵 obj_points_img: 棋盘格角点的像素坐标 pattern_size: 棋盘格内角点数 square_len: 棋盘格方格边长单位米 返回: R_car_cam, t_car_cam # 创建棋盘格在标准坐标系中的三维坐标点Z0平面 objp np.zeros((pattern_size[0] * pattern_size[1], 3), np.float32) objp[:, :2] np.mgrid[0:pattern_size[0], 0:pattern_size[1]].T.reshape(-1, 2) objp[:, :2] * square_len # 注意这里 objp 是标定板自带坐标系不是车体坐标系。 # 需要通过标定板相对车体的变换把 objp 转换到车体坐标。 # 实际使用时替换为车体坐标系中的坐标 # car_objp board_transform(objp, board_pos, board_rot) success, rvec, tvec cv2.solvePnP(car_objp, obj_points_img, K, None) # 旋转向量 - 旋转矩阵 R_car_cam, _ cv2.Rodrigues(rvec) t_car_cam tvec.reshape(3, 1) return R_car_cam, t_car_cam这里有一个很容易被忽略的问题solvePnP 解出来的相机外参严格定义是标定板坐标系到相机坐标系的变换而不是车体坐标系到相机坐标系的变换。只有当标定板坐标系和车体坐标系重合或已知两者变换时才能直接用。很多人拿着标定板随手一放然后硬套R_car_cam,最后拼出来的 BEV 图是歪的就是栽在这个坐标系对应关系上。正确的做法是把标定板自身坐标系下的角点坐标先变换到车体坐标系然后再用 PnP。在 Carla 里这个方法非常容易验证因为车辆的 transform 你知道标定板的 transform 你也知道随便一核对就能确认外参是否准确。3.4 怎么验证外参解对了算重投影误差和 ground truth 对比外参解出来之后别急着往下走先做两个验证。第一个是重投影误差验证。把标定板 3D 角点用解出的外参投影到图像上算投影点和检测角点的像素距离。正常情况下平均误差应该在 1 像素以内。如果误差到了 5 像素说明棋盘格三维坐标给错了或者外参求解时标定板位置数据不对。第二个是所有相机的一致性验证。用四路相机同时观察到同一块标定板时解出来的外参是各自独立的但如果车辆和标定板都静止那么任意两个相机外参组合出来的相对变换应该和实际布局一致。比如前视相机和左视相机的相对旋转角度应该接近 90 度。这个验证能发现某个相机的外参系统性偏差。最后还有一个绝佳的仿真检定方式直接把解出来的外参和 Carla 里读取到的真实外参做对比。获取方式很简单在配置传感器时记下你传入的relative_position和relative_rotation那就是 ground truth。解完外参之后算一下误差。# 以 ground truth 和标定结果对比 true_transform carla.Transform( carla.Location(x2.0, y0.0, z1.4), carla.Rotation(0, 0, 0) ) true_mat carla_rotation_to_matrix(true_transform.rotation) print(pose error:, np.linalg.norm(R_car_cam - true_mat))这一步跑通了你对外参的理解就稳了。我自己第一次跑通时误差在 1e-3 量级那种感觉就跟上学时候把物理实验误差压到 1% 以内一样舒服。4. BEV 拼接实现IPM 变换、坐标映射与融合权重外参拿到手下一步就是把四路图像拉成 Birds Eye View。这部分数学上虽然不复杂但工程细节非常多。4.1 逆透视变换 IPM地面假设与单应矩阵计算BEV 环视的基本假设是地面是平面且我们只关注地面上的物体。在这个假设下相机图像和地面平面之间是一个单应变换Homography可以用一个 3x3 矩阵描述。从相机图像到地面的映射可以这样推导。相机成像公式是[ u, v, 1 ]^T K * [R_car_cam | t_car_cam] * [X, Y, Z, 1]^T其中(X, Y, Z)是车体坐标系下的三维点。既然假设地面平面那么 Z 0。展开后(u, v)和(X, Y)之间就是一个 3x3 矩阵的关系这个矩阵就是 IPM 单应矩阵。代码里实现这个映射有现成的方案但有一点要说明直接用cv2.getPerspectiveTransform需要你手工找对应点比较麻烦且不通用。更可靠的方式是自己构造映射表格。推荐做法是先确定输出的 BEV 图像覆盖范围。比如车辆前后左右各覆盖 10 米分辨率 0.05 米一个像素那么 BEV 图像就是 400x400 像素因为 10 米 / 0.05 米 200双侧就是 400。然后遍历 BEV 图像每个像素坐标换算成车体坐标系的地面坐标再用相机内外参投影到相机图像平面得到采样坐标表。最后对原始图像做cv2.remap采样。这个流程的好处是你可以自由控制 BEV 输出的范围、分辨率不需要为不同相机单独找点。下面给一个单相机的示例def compute_remap_for_camera(K, R_car_cam, t_car_cam, bev_range10.0, bev_res0.05, img_size(1280, 720)): 生成从 BEV 图像坐标到相机图像坐标的采样表 # BEV 图像尺寸 bev_width int(bev_range * 2 / bev_res) bev_height bev_width map_x np.zeros((bev_height, bev_width), dtypenp.float32) map_y np.zeros((bev_height, bev_width), dtypenp.float32) # 旋转矩阵和平移向量车体系 - 相机系 R_cam_car R_car_cam.T t_cam_car -R_cam_car t_car_cam for row in range(bev_height): for col in range(bev_width): # BEV 图像坐标 - 车体地面坐标 x (col - bev_width/2) * bev_res y (row - bev_height/2) * bev_res z 0.0 # 车体系 - 相机系 p_cam R_cam_car np.array([x, y, z]) t_cam_car.flatten() if p_cam[2] 0.0: map_x[row, col] -1 map_y[row, col] -1 continue # 相机系 - 像素坐标 p_img K p_cam u p_img[0] / p_img[2] v p_img[1] / p_img[2] if 0 u img_size[0] and 0 v img_size[1]: map_x[row, col] u map_y[row, col] v else: map_x[row, col] -1 map_y[row, col] -1 return map_x, map_y这段代码看上去简单但有两个地方容易出错。第一个是R_cam_car的方向。R_car_cam是从车体系到相机系的旋转你如果直接用它会把地面点投影到相机周围乱七八糟的位置。需要做一次转置变成R_cam_car平移向量也要对称变换。很多第一次做 IPM 的人都会在这里被卡一晚上我有过这个经历。第二个是无效像素标记。图像外的点以及相机后方的点p_cam[2] 0不能参与投影。统一赋值为 -1cv2.remap会把这些位置填充成默认值避免出现随机像素噪点。4.2 四路拼接坐标映射、重叠区域与空洞处理单个相机做好 IPM 之后四路拼接反而变成一个横向拼接问题。你需要统一的 BEV 坐标系然后让每路相机往这张大图上画属于自己的区域。推荐的坐标系定义是BEV 图像的正中心就是车辆中心图像 x 轴向右y 轴向下像素间距与实际地面距离成正比。在这个定义下每个相机生成的局部 BEV 图只需要通过一个平移偏移量挪到全局图上的对应位置即可。偏移量可以直接算出来。比如前视相机覆盖范围在 [0, 10m] 的 y 区域那么在 BEV 大图上它应该放在中心的上前方偏移为(0, bev_half_height)左视相机覆盖范围在 [-10m, 0] 的 x 区域放在中心的左侧偏移为(-bev_half_width, 0)。用 OpenCV 的cv2.remap生成每个相机的局部 BEV 图后做一个简单的拷贝粘贴。重叠区域交给融合模块处理非重叠区域直接覆盖。空洞处理是另一个工程细节。当车辆周围有障碍物比如旁边停着一辆车相机照不到障碍物背后的地面拼接出的 BEV 就会产生一个空洞。对于算法演示来说这个位置通常填黑色如果要做可视化也可以做空穴填补。但真实量产环视系统很少做空洞填补因为盲区就是盲区硬补反而会误导下游算法。4.3 融合权重从简单均值到距离加权重叠区域的融合直接决定最终图像质量。用均值融合最简单但效果一般因为不同相机的视角、曝光差异会造成明显的拼接缝。在实际项目中我强烈推荐用距离加权融合。设计思路是每个输出像素来自哪个相机如果落在重叠区哪个相机离这个地面点更近谁的权重就更高。因为近处相机的透视畸变更小、分辨率更高对地面点的估计也更可靠。这样拼接缝不再是硬切而是一个自然过渡。具体实现时为每个相机制作一张权重图。对 BEV 图像中每个像素计算该像素对应的地面点到相机的距离距离越小权重越大。归一化之后把四张局部 BEV 图和对应的权重图加权求和。这样拼接出来的效果比固定权重自然得多。我在 Carla 的停车场场景里实测左边停了一排车、右边是开阔地的情况下距离加权能把车侧方位的畸变控制得很好拼接缝肉眼几乎不可见。5. 常见问题与排查技巧实录最后这部分我把自己在 Carla 环视项目里踩过的坑和排查思路整理成速查表。如果你跑的过程中遇到诡异现象翻这里比重新读一遍原理更管用。5.1 拼接错位排查清单从外参下手还是从映射下手拼接错位的根因通常只有一个外参不对或映射方向不对但排查路径有讲究。如果错位规律是近处对准、远处错位优先检查相机俯仰角外参。近处地面点对俯仰角不敏感远处非常敏感0.5 度的误差在 10 米外就会有 0.8 米左右的偏差。如果错位规律是四个方向都向中心偏移或向外扩散优先检查平移向量的尺度。可能是你在solvePnP时把棋盘格方格的边长单位搞错了Carla 里标定板显示是 0.5 米单位如果你的square_len0.5不小心写成了0.05那解出来的tvec缩放就差了 10 倍BEV 图全部向内收缩。如果只有一个方向错位优先检查该相机外参的旋转矩阵是否少了某个轴的翻转。比如左右视相机绕 x 轴的旋转没处理好就会导致图像左右颠倒。5.2 图像黑边、畸变、光照不均的工程处理黑边主要来自cv2.remap采样时无效区域未正确处理。检查两点一是map_x和map_y中无效像素是否已经赋值为 -1二是融合过程中权重图在非覆盖区域是否为 0。两条都正确的话黑边只会在 BEV 图边缘出现属于正常现象。如果出现在图像中间多半是外参误差导致映射区域偏移。光照不均问题很有意思。Carla 的天气和光照设置里地面的亮度会因为相机朝向不同而有明显差异。比如正对太阳的相机把地面照得白花花背对太阳的相机看到的地面偏暗直接拼出来就能看到一块亮一块暗。解决办法有两个第一个是把 Carla 的场景光照固定关掉自动曝光。第二个是在融合阶段做曝光补偿。局部 BEV 图之间做亮度直方图匹配简单但有效。用cv2.matchHistograms可以快速把四路图的亮度分布拉齐到同一水平。5.3 一个完整的标定与拼接流程代码骨架最后给一段整合的流程骨架方便你在项目里直接搭框架。这不是一个可以直接复制运行的工程但把中间的关键环节都串起来了。# 完整流程伪代码骨架 def run_carla_bev_pipeline(): # 1. 连接 Carla 并获取世界 client carla.Client(localhost, 2000) world client.get_world() bp_lib world.get_blueprint_library() # 2. 创建车辆并添加四路相机 vehicle world.spawn_actor(bp_lib.filter(vehicle.tesla.model3)[0], carla.Transform(...)) sensors add_surround_cameras(vehicle, world, bp_lib) # 3. 采集棋盘格图像并提取角点 # 假设你已经拍摄了多帧标注板图像 # 4. 内参标定张正友法或者按 FOV 直接计算 K compute_intrinsics_from_fov(1280, 720, 100) # 5. 外参标定solvePnP R_car_cam, t_car_cam solve_camera_extrinsic(K, corners_2d, ...) # 6. 生成 BEV 采样图 map_x, map_y compute_remap_for_camera(K, R_car_cam, t_car_cam) # 7. 实时图像流中循环remap - 融合 - 输出 while True: frames get_sensor_frames(sensors) bev_frames [] for i, frame in enumerate(frames): bev cv2.remap(frame, map_x[i], map_y[i], cv2.INTER_LINEAR) bev_frames.append(bev) merged fuse_bev(bev_frames, weights) # 显示或后续处理落到最后聊点个人体会。这套流程我在 Carla 里完整跑通的次数不算少最大的感受是标定和拼接这两件事难点压根不在数学上而在坐标系管理和流程验证上。只要你在每一步都明确当前坐标是哪个坐标系、旋转矩阵的方向是什么、平移向量有没有缩放整个链路就不会有太大的偏差。反过来任何一个环节坐标系搞混后面排查的时间往往会超过重写的时间。还有一个实用的建议在 Carla 里做仿真时一定要利用好 ground truth 做自动验证。每次标定完都对比一下解算的外参和 Carla 真实外参的误差超了就回头查原因。这个习惯能帮你稳固吃到仿真环境带来的红利将来切到真实数据时排查思路和工具链都是现成的。四路相机 BEV 环视拼接这件事说难确实有门槛说简单也不过是内参加外参加单应变换的流程。把前 60% 的路标定走扎实后面 40% 的拼接就是水到渠成的事。祝各位跑通之后BEV 图干净得能当桌面壁纸。
做自动驾驶仿真做得久了你会发现在 Carla 里往车上怼四个相机实在是太容易了难的是把四路画面拼成一张像样的鸟瞰图。这个系列写到第 5 篇正好到了最实用的环节四路相机标定与 BEV 环视拼接。先说明白这篇博文解决什么问题。你手里有一辆装了四路相机的 Carla 车前后左右各一个但四路图像各有各的朝向、各有各的视野你想把它们合成一张以车为中心、从上往下看的环视俯视图。直接扔进拼接库里是不行的四路画面的像素到地面坐标完全没有对齐关系硬拼只会得到一张花脸。所以必须先标定再做逆透视变换最后融合输出。这篇讲的就是这套完整 pipeline 怎么在 Carla 里落地适合正在用仿真验证 BEV 感知算法、做自动泊车演示或者想提前跑通量产环视链路的同学参考。1. 项目思路拆解标定的分层与仿真环境的特殊性很多人第一次接触 BEV 拼接时的第一反应是Carla 里相机是我自己摆的内外参都是已知数还有标定的必要吗这个问题非常关键直接决定了你这套流程做完能不能迁移到真实系统上。在 Carla 里拿现成真值做拼接当然可以但你会错过整个标定流程中最容易出错的环节——坐标系管理和外参估计。真车上四路相机装完外参都是不知道的标定板摆在哪里、相机相对于车体旋转了多少全靠算法解出来。所以我的做法是即使在 Carla 里也完全按照外参未知的方式来走一遍标定先解出近似值再和真实值对比验证误差。这样仿真里的代码、流程和鲁棒性问题到了实车上基本可以复用。1.1 需求拆解从四路画面到一张鸟瞰图要过三关这套需求拆开来看其实只有三件事。第一件内外参标定拿到每个相机的内参矩阵 K 和畸变系数以及每个相机相对车体坐标系的旋转 R 和平移 T。第二件逆透视变换利用标定结果把每个相机的透视图像映射到以车辆为中心的地面平面上得到俯视视角的局部图。第三件融合拼接把四张局部图在重叠区域做加权融合消除亮度差和拼接缝输出一整张 BEV 图。三个环节层层依赖内参不准外参就别想准外参不准IPM 出来的图一定是歪的IPM 不齐融合阶段再做多少平滑都是白搭。所以标定环节花的时间占比最大这是正常的。我见过很多人在融合上反复调参最后发现问题是外参偏了一两度方向从一开始就错了。1.2 仿真环境下的标定和真车标定有什么不一样这里把仿真和真车标定的差异讲透。真车标定需要一个物理标定板、一个能放稳标定板的场地而且只能通过图像特征反推参数误差水平受光照、板面平整度、相机畸变影响很大。Carla 里做标定最大的优势是可控板子可以精确摆放在世界坐标系任意位置没有光照干扰没有机械安装误差甚至可以直接读 ground truth。但仿真有个隐藏的坑Carla 的传感器模型是理想化的。默认的sensor.camera.rgb是针孔模型畸变系数基本等于零这反而让你练习不到畸变矫正这一环。如果目标是复现真实环视效果要么后期自己给图像加畸变模型要么先接受理想针孔模型把标定、IPM、拼接的整个链路跑通再逐步引入仿真噪声。我推荐后者先把主流程跑通比什么都重要。1.3 标定思路预览和手眼标定、九点标定有什么关系查资料时你肯定会碰到几个容易混淆的词张正友标定法、九点标定、手眼标定、lidar imu 标定。这里先做个区分后面就不乱了。张正友标定法用棋盘格或者圆点标定板从多个视角估算相机内参和畸变。本项目中内参标定就用的这个思路只不过在 Carla 里也可以用真值反推验证。九点标定通常在 2D 平面做像素坐标到机械坐标的映射用 9 个已知点拟合一个单应矩阵。如果你只关心地面平面上的映射九点法其实可以直接替代完整的外参求解。手眼标定解决相机跟机械臂或车体之间固定变换关系的求解问题数学上解 AXXB。四路相机相对于车体的外参本质上就是手眼关系只不过机械臂变成了车体。lidar imu 标定和本项目无关但同一个标定框架下的参考它是求解两个传感器坐标系之间的刚体变换。一句话总结你看到的所有标定方法内核都是求坐标系之间的变换关系区别只在于用什么观测数据来求。本项目里我们用棋盘格特征加 PnP 求解相机到车体的外参是手眼标定的简化版因为车体坐标系可以由 Carla 直接读取。2. Carla 环视传感器配置与坐标系避坑指南进入实操前先把传感器配置和坐标系这两件基础的、但容易栽跟头的事情搞定。传感器装不好后面标定出来的外参十有八九是错的。2.1 四路相机布局设计位置、角度、FOV 怎么选量产车上四路相机的布局规律很简单尽量对称视野尽量覆盖车身四周尽量安装在靠近车身边缘的位置。Carla 里同样适用。我用的是一组经过验证的配置相机位置相对车体 (x, y, z)朝向 (pitch, yaw, roll)作用前视(2.0, 0.0, 1.4)(0, 0, 0)覆盖车前方和引擎盖区域后视(-2.4, 0.0, 1.4)(0, 180, 0)覆盖车后方和后备箱区域左视(0.0, 1.0, 1.2)(0, -90, 0)覆盖车身左侧和侧前方右视(0.0, -1.0, 1.2)(0, 90, 0)覆盖车身右侧和侧前方几个选型细节值得展开。相机高度我控制在 1.2 到 1.4 米之间。高度太高近处地面在图像里被压缩得太厉害IPM 之后的有效分辨率会下降高度太低车身遮挡范围变大侧向视野会被车门遮挡。1.2 到 1.4 是一个在仿真和实车上都比较均衡的范围。俯仰角默认 0 度即可。因为 BEV 是靠 IPM 强行投影到地面的即使相机水平朝前也能把前方 10 米处的地面映射到图上。不需要为了拍地面把相机刻意压低压低会造成近处视野畸变增加、远处地面信息丢失。FOV和真实环视方案一样鱼眼镜头是常用配置但 Carla 内置的 rgb 相机本质上是针孔模型FOV 设得太大图像边缘会出现明显径向拉伸虽然能模拟出类似鱼眼的透视效果但并不是严格意义上的鱼眼畸变模型。我的经验是先用 90 到 100 度的 FOV 跑通流程后面如果要模拟鱼眼再走自定义畸变路线。下面是 Carla Python API 中配置四路相机的核心代码。注意sensor挂载点、relative_position和relative_rotation三个参数要写对。import carla def add_surround_cameras(vehicle, world, bp_lib, image_size(1280, 720)): 为车辆添加四路环视相机返回 sensor actor 列表 sensors [] cam_bp bp_lib.find(sensor.camera.rgb) # 图像尺寸与目标 BEV 精度有关1280x720 足够用 cam_bp.set_attribute(image_size_x, str(image_size[0])) cam_bp.set_attribute(image_size_y, str(image_size[1])) # FOV 先给 100 度兼顾视野宽度和边缘畸变 cam_bp.set_attribute(fov, 100) # 四路相机的相对位置与朝向 configs [ # 名称, 相对位置(x, y, z), 相对旋转(pitch, yaw, roll) (front, carla.Location(x2.0, y0.0, z1.4), carla.Rotation(0, 0, 0)), (rear, carla.Location(x-2.4, y0.0, z1.4), carla.Rotation(0, 180, 0)), (left, carla.Location(x0.0, y1.0, z1.2), carla.Rotation(0, -90, 0)), (right, carla.Location(x0.0, y-1.0, z1.2), carla.Rotation(0, 90, 0)), ] for name, rel_loc, rel_rot in configs: sensor world.spawn_actor( cam_bp, carla.Transform(rel_loc, rel_rot), attach_tovehicle ) # 用名称标记结果方便后面读取外参时做对应 sensor.attributes[role_name] name sensors.append(sensor) return sensors2.2 Carla 坐标系和常规视觉坐标系的三个坑做 BEV 拼接时外参标定和坐标变换贯穿始终而 Carla 的坐标系约定和常见的视觉坐标系之间有三处不一致搞混任何一个都会让拼接结果鬼畜。第一个坑是方向约定。Carla 使用 UE 的左手坐标系X 向前Y 向右Z 向上。而常见的计算机视觉坐标系是右手系Z 向前X 向右Y 向下。你算旋转矩阵之前必须先明确定义否则矩阵的符号很容易出错。我的习惯是所有标定和拼接计算都统一转成惯性右手系也就是 X 向前Y 向左Z 向上的定义和真实车辆坐标系保持一致。定义好之后再写代码每一步变换都带上注释。第二个坑是姿态角定义。Carla 的Rotation三个分量分别是 pitch、yaw、roll旋转顺序是 YXZ和 ROS 里常见的 RPY 旋转顺序不一样。当你需要把 Carla 的欧拉角转成旋转矩阵时建议直接读actor.get_transform()返回的矩阵。用carla.Transform自带的 API 做转换不要自己从欧拉角推通用公式容易踩顺序的坑。第三个坑是 Z 轴方向。Carla 世界坐标系的 Z 向上这没问题但当你构造cv2.solvePnP的输入点时习惯用视觉坐标系的人容易把 y 和 z 对调。有一阵子我的标定结果误差忽大忽小最后发现就是棋盘格角点在车体系下的坐标取值时错把 Carla 的 y 放到了 PnP 的 z 上。所以我在代码里强制加了一个转换函数保证输入 PnP 的是车体右手系坐标。def carla_rotation_to_matrix(rotation): 将 Carla Rotation 转换到惯用右手系旋转矩阵。 实际直接使用 Carla 提供的方法避免手工推导欧拉角顺序。 transform carla.Transform(carla.Location(0, 0, 0), rotation) mat transform.get_matrix() return np.array(mat)[:3, :3]2.3 内参获取真值读取和独立标定两条路都给出内参是标定的第一步。在 Carla 里内参本质上由图像分辨率、FOV 和相机模型三者决定。已知 FOV 和分辨率可以按针孔模型直接算出来。import numpy as np def compute_intrinsics_from_fov(width, height, fov_degrees): 根据 FOV 和分辨率计算针孔相机内参矩阵 fov_rad np.deg2rad(fov_degrees) f (width / 2.0) / np.tan(fov_rad / 2.0) # 理想针孔模型的像素中心在图像中心 K np.array([ [f, 0, width / 2.0], [0, f, height / 2.0], [0, 0, 1] ], dtypenp.float64) return K这是理想情况。如果想让整个流程完整仿真真实标定的动作可以在 Carla 场景里放置一个棋盘格用多视角图像跑一遍张正友法调用 OpenCV 的cv2.calibrateCamera。这样做的好处是你的代码从第一步开始就和真实标定流程一致后续换到真实图像时不需要改任何结构。张正友法跑出来的内参结果理论上会和直接按 FOV 算出来的一致但会因为角点检测亚像素精度、图像分辨率、镜头畸变等因素有极小的误差。对比参考值和计算值通常误差在 0.1 像素以内这是一个很好的 sanity check。如果误差偏大优先检查图像序列的覆盖范围棋盘格需要在画面中呈现不同的距离和角度保证标定过成功有足够的约束条件。3. 核心标定流程落地棋盘格、solvePnP 与外参求解这一章节是全文的重头戏。完成布局和内参之后你要把 Image 里的棋盘格特征和三维参考点配对解出每个相机的车体坐标系外参。3.1 在 Carla 里摆一个标定板并采集多视角图像Carla 本身不直接提供标定板的 model但你可以用 UE 的 static mesh 功能导入一个棋盘格纹理的平面物体。最方便的办法是通过carla.BlueprintLibrary找一个立方体或者平面模型设置材质贴图为棋盘格纹理。另一个办法是纯粹用编程方式生成创建一个carla.Actor并挂上sensor.camera.rgb对准标定板但这样需要手动渲染一帧图并用 OpenCV 画棋盘稍微绕一些。我更推荐用材质贴图的方式。制作一张棋盘格的 PNG 图内角点 9x6每格边长在 Carla 的世界单位里对应 0.5 米这样标定板足够大在 10 米外也能看清楚。把这个模型放到车前固定位置用四路相机各拍 20 帧不同角度保存图片列表用于后续处理。采集图像时注意三点。第一标定板的位置必须在相机视野中间区域不要贴太边。第二四路相机的安装位置差异很大后视相机要能看到摆在前方的板子需要板子摆得离车足够远。第三采集期间车辆和标定板都不能动只动相机视角的话会让外参求解的约束失效。代码示例读取静态场景图片找角点。import cv2 import numpy as np # 棋盘格内角点数实际棋盘是 (91)x(61) 的网格 pattern_size (9, 6) def detect_chessboard_corners(image_path, visualizeFalse): 从图像中检测棋盘格角点返回亚像素角点坐标 img cv2.imread(image_path) gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) ret, corners cv2.findChessboardCorners(gray, pattern_size, None) if ret: # 亚像素精确化这一步很关键直接影响 PnP 精度 criteria (cv2.TERM_CRITERIA_EPS cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001) corners_subpix cv2.cornerSubPix(gray, corners, (11, 11), (-1, -1), criteria) if visualize: vis cv2.drawChessboardCorners(img.copy(), pattern_size, corners_subpix, ret) cv2.imshow(corners, vis) cv2.waitKey(0) return corners_subpix return None3.2 用张正友标定法求解内参的实操细节在仿真里做张正友标定方法论和真车完全一致但流程会顺畅很多。准备好至少 15 到 20 张不同视角的棋盘格图像角点检测结果输入到cv2.calibrateCamera即可。值得展开的是标定图像的选择策略。张正友法对角点覆盖范围要求很高不是随便拍 20 张就能用。我总结了一个三原则棋盘格在画面中的占比要变化从占据 30% 到占据 70%覆盖不同尺度。棋盘格相对相机的偏转角度要变化左右偏、上下偏都来几张保证外参观测条件充分。棋盘格尽量覆盖图像中心和四个角区域避免角点全部集中在画面中央。在 Carla 里实现这三个原则最快的方式是让车辆静止用脚本控制标定板模型沿弧线移动每移动一段距离拍一帧。或者反过来固定标定板控制车辆的朝向变化。两种方式效果等价。cv2.calibrateCamera的输出包含内参矩阵、畸变系数、以及每一帧的外参即标定板相对相机的外参。这一步的内参结果要存下来后面的 solvePnP 也需要用到内参不能省。3.3 关键一步solvePnP 求相机到车体外参 R、T外参标定这一步是整个流程里最值得慢下来想清楚的地方。想象一下真实场景标定板摆在车旁边你可能知道标定板相对车辆坐标系的位置因为画过线也可能完全不知道。知道位置的情况可以直接用板上的 3D 点配对图像 2D 点解 PnP一次求解相机相对车体的位姿。不知道位置的情况就得靠多次观察求解手眼标定问题或者先做九点标定建立地面映射再反推外参。在 Carla 里通常我们走已知位置这条路。步骤如下获取标定板内角点的三维坐标。如果你做了一个 9x6 的内角点棋盘每格长 0.5 米那么角点的车体坐标就是以车体坐标系原点的三维点阵列(i*0.5, j*0.5, 0)再通过车体到标定板的平移和旋转变换一次。从图像中检测出对应的 2D 角点。调用cv2.solvePnP输入三维点和二维点以及内参输出旋转向量rvec和平移向量tvec。旋转向量转成旋转矩阵就得到了相机坐标系相对车体坐标系的变换T_car_cam。下面给出一段可直接跑的示例代码。这里我们假设标定板在车体坐标系下的位姿由board_pos和board_rot给出。import cv2 import numpy as np def solve_camera_extrinsic(K, obj_points_img, pattern_size(9, 6), square_len0.5): 通过 solvePnP 求解相机到车体坐标系的旋转和平移。 参数: K: 内参矩阵 obj_points_img: 棋盘格角点的像素坐标 pattern_size: 棋盘格内角点数 square_len: 棋盘格方格边长单位米 返回: R_car_cam, t_car_cam # 创建棋盘格在标准坐标系中的三维坐标点Z0平面 objp np.zeros((pattern_size[0] * pattern_size[1], 3), np.float32) objp[:, :2] np.mgrid[0:pattern_size[0], 0:pattern_size[1]].T.reshape(-1, 2) objp[:, :2] * square_len # 注意这里 objp 是标定板自带坐标系不是车体坐标系。 # 需要通过标定板相对车体的变换把 objp 转换到车体坐标。 # 实际使用时替换为车体坐标系中的坐标 # car_objp board_transform(objp, board_pos, board_rot) success, rvec, tvec cv2.solvePnP(car_objp, obj_points_img, K, None) # 旋转向量 - 旋转矩阵 R_car_cam, _ cv2.Rodrigues(rvec) t_car_cam tvec.reshape(3, 1) return R_car_cam, t_car_cam这里有一个很容易被忽略的问题solvePnP 解出来的相机外参严格定义是标定板坐标系到相机坐标系的变换而不是车体坐标系到相机坐标系的变换。只有当标定板坐标系和车体坐标系重合或已知两者变换时才能直接用。很多人拿着标定板随手一放然后硬套R_car_cam,最后拼出来的 BEV 图是歪的就是栽在这个坐标系对应关系上。正确的做法是把标定板自身坐标系下的角点坐标先变换到车体坐标系然后再用 PnP。在 Carla 里这个方法非常容易验证因为车辆的 transform 你知道标定板的 transform 你也知道随便一核对就能确认外参是否准确。3.4 怎么验证外参解对了算重投影误差和 ground truth 对比外参解出来之后别急着往下走先做两个验证。第一个是重投影误差验证。把标定板 3D 角点用解出的外参投影到图像上算投影点和检测角点的像素距离。正常情况下平均误差应该在 1 像素以内。如果误差到了 5 像素说明棋盘格三维坐标给错了或者外参求解时标定板位置数据不对。第二个是所有相机的一致性验证。用四路相机同时观察到同一块标定板时解出来的外参是各自独立的但如果车辆和标定板都静止那么任意两个相机外参组合出来的相对变换应该和实际布局一致。比如前视相机和左视相机的相对旋转角度应该接近 90 度。这个验证能发现某个相机的外参系统性偏差。最后还有一个绝佳的仿真检定方式直接把解出来的外参和 Carla 里读取到的真实外参做对比。获取方式很简单在配置传感器时记下你传入的relative_position和relative_rotation那就是 ground truth。解完外参之后算一下误差。# 以 ground truth 和标定结果对比 true_transform carla.Transform( carla.Location(x2.0, y0.0, z1.4), carla.Rotation(0, 0, 0) ) true_mat carla_rotation_to_matrix(true_transform.rotation) print(pose error:, np.linalg.norm(R_car_cam - true_mat))这一步跑通了你对外参的理解就稳了。我自己第一次跑通时误差在 1e-3 量级那种感觉就跟上学时候把物理实验误差压到 1% 以内一样舒服。4. BEV 拼接实现IPM 变换、坐标映射与融合权重外参拿到手下一步就是把四路图像拉成 Birds Eye View。这部分数学上虽然不复杂但工程细节非常多。4.1 逆透视变换 IPM地面假设与单应矩阵计算BEV 环视的基本假设是地面是平面且我们只关注地面上的物体。在这个假设下相机图像和地面平面之间是一个单应变换Homography可以用一个 3x3 矩阵描述。从相机图像到地面的映射可以这样推导。相机成像公式是[ u, v, 1 ]^T K * [R_car_cam | t_car_cam] * [X, Y, Z, 1]^T其中(X, Y, Z)是车体坐标系下的三维点。既然假设地面平面那么 Z 0。展开后(u, v)和(X, Y)之间就是一个 3x3 矩阵的关系这个矩阵就是 IPM 单应矩阵。代码里实现这个映射有现成的方案但有一点要说明直接用cv2.getPerspectiveTransform需要你手工找对应点比较麻烦且不通用。更可靠的方式是自己构造映射表格。推荐做法是先确定输出的 BEV 图像覆盖范围。比如车辆前后左右各覆盖 10 米分辨率 0.05 米一个像素那么 BEV 图像就是 400x400 像素因为 10 米 / 0.05 米 200双侧就是 400。然后遍历 BEV 图像每个像素坐标换算成车体坐标系的地面坐标再用相机内外参投影到相机图像平面得到采样坐标表。最后对原始图像做cv2.remap采样。这个流程的好处是你可以自由控制 BEV 输出的范围、分辨率不需要为不同相机单独找点。下面给一个单相机的示例def compute_remap_for_camera(K, R_car_cam, t_car_cam, bev_range10.0, bev_res0.05, img_size(1280, 720)): 生成从 BEV 图像坐标到相机图像坐标的采样表 # BEV 图像尺寸 bev_width int(bev_range * 2 / bev_res) bev_height bev_width map_x np.zeros((bev_height, bev_width), dtypenp.float32) map_y np.zeros((bev_height, bev_width), dtypenp.float32) # 旋转矩阵和平移向量车体系 - 相机系 R_cam_car R_car_cam.T t_cam_car -R_cam_car t_car_cam for row in range(bev_height): for col in range(bev_width): # BEV 图像坐标 - 车体地面坐标 x (col - bev_width/2) * bev_res y (row - bev_height/2) * bev_res z 0.0 # 车体系 - 相机系 p_cam R_cam_car np.array([x, y, z]) t_cam_car.flatten() if p_cam[2] 0.0: map_x[row, col] -1 map_y[row, col] -1 continue # 相机系 - 像素坐标 p_img K p_cam u p_img[0] / p_img[2] v p_img[1] / p_img[2] if 0 u img_size[0] and 0 v img_size[1]: map_x[row, col] u map_y[row, col] v else: map_x[row, col] -1 map_y[row, col] -1 return map_x, map_y这段代码看上去简单但有两个地方容易出错。第一个是R_cam_car的方向。R_car_cam是从车体系到相机系的旋转你如果直接用它会把地面点投影到相机周围乱七八糟的位置。需要做一次转置变成R_cam_car平移向量也要对称变换。很多第一次做 IPM 的人都会在这里被卡一晚上我有过这个经历。第二个是无效像素标记。图像外的点以及相机后方的点p_cam[2] 0不能参与投影。统一赋值为 -1cv2.remap会把这些位置填充成默认值避免出现随机像素噪点。4.2 四路拼接坐标映射、重叠区域与空洞处理单个相机做好 IPM 之后四路拼接反而变成一个横向拼接问题。你需要统一的 BEV 坐标系然后让每路相机往这张大图上画属于自己的区域。推荐的坐标系定义是BEV 图像的正中心就是车辆中心图像 x 轴向右y 轴向下像素间距与实际地面距离成正比。在这个定义下每个相机生成的局部 BEV 图只需要通过一个平移偏移量挪到全局图上的对应位置即可。偏移量可以直接算出来。比如前视相机覆盖范围在 [0, 10m] 的 y 区域那么在 BEV 大图上它应该放在中心的上前方偏移为(0, bev_half_height)左视相机覆盖范围在 [-10m, 0] 的 x 区域放在中心的左侧偏移为(-bev_half_width, 0)。用 OpenCV 的cv2.remap生成每个相机的局部 BEV 图后做一个简单的拷贝粘贴。重叠区域交给融合模块处理非重叠区域直接覆盖。空洞处理是另一个工程细节。当车辆周围有障碍物比如旁边停着一辆车相机照不到障碍物背后的地面拼接出的 BEV 就会产生一个空洞。对于算法演示来说这个位置通常填黑色如果要做可视化也可以做空穴填补。但真实量产环视系统很少做空洞填补因为盲区就是盲区硬补反而会误导下游算法。4.3 融合权重从简单均值到距离加权重叠区域的融合直接决定最终图像质量。用均值融合最简单但效果一般因为不同相机的视角、曝光差异会造成明显的拼接缝。在实际项目中我强烈推荐用距离加权融合。设计思路是每个输出像素来自哪个相机如果落在重叠区哪个相机离这个地面点更近谁的权重就更高。因为近处相机的透视畸变更小、分辨率更高对地面点的估计也更可靠。这样拼接缝不再是硬切而是一个自然过渡。具体实现时为每个相机制作一张权重图。对 BEV 图像中每个像素计算该像素对应的地面点到相机的距离距离越小权重越大。归一化之后把四张局部 BEV 图和对应的权重图加权求和。这样拼接出来的效果比固定权重自然得多。我在 Carla 的停车场场景里实测左边停了一排车、右边是开阔地的情况下距离加权能把车侧方位的畸变控制得很好拼接缝肉眼几乎不可见。5. 常见问题与排查技巧实录最后这部分我把自己在 Carla 环视项目里踩过的坑和排查思路整理成速查表。如果你跑的过程中遇到诡异现象翻这里比重新读一遍原理更管用。5.1 拼接错位排查清单从外参下手还是从映射下手拼接错位的根因通常只有一个外参不对或映射方向不对但排查路径有讲究。如果错位规律是近处对准、远处错位优先检查相机俯仰角外参。近处地面点对俯仰角不敏感远处非常敏感0.5 度的误差在 10 米外就会有 0.8 米左右的偏差。如果错位规律是四个方向都向中心偏移或向外扩散优先检查平移向量的尺度。可能是你在solvePnP时把棋盘格方格的边长单位搞错了Carla 里标定板显示是 0.5 米单位如果你的square_len0.5不小心写成了0.05那解出来的tvec缩放就差了 10 倍BEV 图全部向内收缩。如果只有一个方向错位优先检查该相机外参的旋转矩阵是否少了某个轴的翻转。比如左右视相机绕 x 轴的旋转没处理好就会导致图像左右颠倒。5.2 图像黑边、畸变、光照不均的工程处理黑边主要来自cv2.remap采样时无效区域未正确处理。检查两点一是map_x和map_y中无效像素是否已经赋值为 -1二是融合过程中权重图在非覆盖区域是否为 0。两条都正确的话黑边只会在 BEV 图边缘出现属于正常现象。如果出现在图像中间多半是外参误差导致映射区域偏移。光照不均问题很有意思。Carla 的天气和光照设置里地面的亮度会因为相机朝向不同而有明显差异。比如正对太阳的相机把地面照得白花花背对太阳的相机看到的地面偏暗直接拼出来就能看到一块亮一块暗。解决办法有两个第一个是把 Carla 的场景光照固定关掉自动曝光。第二个是在融合阶段做曝光补偿。局部 BEV 图之间做亮度直方图匹配简单但有效。用cv2.matchHistograms可以快速把四路图的亮度分布拉齐到同一水平。5.3 一个完整的标定与拼接流程代码骨架最后给一段整合的流程骨架方便你在项目里直接搭框架。这不是一个可以直接复制运行的工程但把中间的关键环节都串起来了。# 完整流程伪代码骨架 def run_carla_bev_pipeline(): # 1. 连接 Carla 并获取世界 client carla.Client(localhost, 2000) world client.get_world() bp_lib world.get_blueprint_library() # 2. 创建车辆并添加四路相机 vehicle world.spawn_actor(bp_lib.filter(vehicle.tesla.model3)[0], carla.Transform(...)) sensors add_surround_cameras(vehicle, world, bp_lib) # 3. 采集棋盘格图像并提取角点 # 假设你已经拍摄了多帧标注板图像 # 4. 内参标定张正友法或者按 FOV 直接计算 K compute_intrinsics_from_fov(1280, 720, 100) # 5. 外参标定solvePnP R_car_cam, t_car_cam solve_camera_extrinsic(K, corners_2d, ...) # 6. 生成 BEV 采样图 map_x, map_y compute_remap_for_camera(K, R_car_cam, t_car_cam) # 7. 实时图像流中循环remap - 融合 - 输出 while True: frames get_sensor_frames(sensors) bev_frames [] for i, frame in enumerate(frames): bev cv2.remap(frame, map_x[i], map_y[i], cv2.INTER_LINEAR) bev_frames.append(bev) merged fuse_bev(bev_frames, weights) # 显示或后续处理落到最后聊点个人体会。这套流程我在 Carla 里完整跑通的次数不算少最大的感受是标定和拼接这两件事难点压根不在数学上而在坐标系管理和流程验证上。只要你在每一步都明确当前坐标是哪个坐标系、旋转矩阵的方向是什么、平移向量有没有缩放整个链路就不会有太大的偏差。反过来任何一个环节坐标系搞混后面排查的时间往往会超过重写的时间。还有一个实用的建议在 Carla 里做仿真时一定要利用好 ground truth 做自动验证。每次标定完都对比一下解算的外参和 Carla 真实外参的误差超了就回头查原因。这个习惯能帮你稳固吃到仿真环境带来的红利将来切到真实数据时排查思路和工具链都是现成的。四路相机 BEV 环视拼接这件事说难确实有门槛说简单也不过是内参加外参加单应变换的流程。把前 60% 的路标定走扎实后面 40% 的拼接就是水到渠成的事。祝各位跑通之后BEV 图干净得能当桌面壁纸。
)
