第6期做了语义分割第5期做了BEV拼接这期把它们融合起来——把语义分割结果投影到BEV鸟瞰图上让整张图既能看到哪里是什么又能看到在哪里。1 为什么要把两者融合单独使用融合后BEV知道位置不知道是什么位置 语义全都有分割知道是什么是单视角360度鸟瞰 像素级语义信息割裂要来回切换一张图看懂整个场景融合后的BEV语义图直接能看到路面在哪、车道线在哪、哪些区域可通行、障碍物是什么——这是自动驾驶场景理解的核心能力。2 整体流程启动环境前几期一样 ↓ 发布四路相机图像TCP桥接 ↓ 语义分割SegFormer / YOLOPv2 ↓ 分割结果投影到BEV ↓ 融合成360度鸟瞰语义图第一步到第四步准备阶段环境启动、ROS Bridge、TCP图像传输跟之前一样# 终端1-3启动环境 Carla ROS Bridge# 终端4发布相机图像cd/opt/carla_ws python tcp_bridge/tcp_bridge_server_multi_camera_py2.py# 四路环视第五步启动语义BEV方案一SegFormer BEVcd/opt/carla_ws/sim_workspace/image_seg python image_seg_segformer_bev_online.pySegFormer 做语义分割结果投影到 BEV 鸟瞰图。方案二YOLOPv2 BEVcd/opt/carla_ws/sim_workspace/image_seg python image_seg_yolopv2_bev_online.pyYOLOPv2 是三合一模型检测车道线可行驶区域投影到BEV后效果更好。3 实现原理四路相机图像 ↓ 语义分割模型 每路的分割图每个像素路面/车道线/车/人/建筑 ↓ 单应矩阵投影第5期标定的 四路分割图 → BEV鸟瞰视角 ↓ 拼接融合 360度BEV语义图关键复用第5期标定好的 H 矩阵把分割结果不是原始图像投影到 BEV融合成一张完整的鸟瞰语义图。4 实测效果两个模型都能跑通整体效果都不是很好不过只是测试一个通路思路的demo如果要实现好的效果可以这样直接在BEV的图像上进行标注训练模型这样的效果是最好的。7_BEV语义分割的融合5 下一期下一期将讲相机和激光点云的融合如何将激光点云投影到图像上进行显示。往期回顾Carla仿真系列6_实时图像语义分割SegFormer 和 YOLOPv2 实测对比Carla仿真系列5_Carla 四路相机标定与BEV环视拼接Carla仿真系列4_在 Carla 的 Tesla 上装 4 路摄像头并创建网格为环视拼接做准备Carla仿真系列3_Carla 仿真中跑通 YOLOv8 实时目标检测Carla仿真系列2_Carla 仿真中批量添加 NPC让场景动起来Carla仿真系列1_Carla ROS 仿真环境从零搭建跑通完整数据流如果本文对你有帮助欢迎点赞、关注、收藏。遇到问题可以评论区留言交流也欢迎转发给需要的朋友。
第6期做了语义分割第5期做了BEV拼接这期把它们融合起来——把语义分割结果投影到BEV鸟瞰图上让整张图既能看到哪里是什么又能看到在哪里。1 为什么要把两者融合单独使用融合后BEV知道位置不知道是什么位置 语义全都有分割知道是什么是单视角360度鸟瞰 像素级语义信息割裂要来回切换一张图看懂整个场景融合后的BEV语义图直接能看到路面在哪、车道线在哪、哪些区域可通行、障碍物是什么——这是自动驾驶场景理解的核心能力。2 整体流程启动环境前几期一样 ↓ 发布四路相机图像TCP桥接 ↓ 语义分割SegFormer / YOLOPv2 ↓ 分割结果投影到BEV ↓ 融合成360度鸟瞰语义图第一步到第四步准备阶段环境启动、ROS Bridge、TCP图像传输跟之前一样# 终端1-3启动环境 Carla ROS Bridge# 终端4发布相机图像cd/opt/carla_ws python tcp_bridge/tcp_bridge_server_multi_camera_py2.py# 四路环视第五步启动语义BEV方案一SegFormer BEVcd/opt/carla_ws/sim_workspace/image_seg python image_seg_segformer_bev_online.pySegFormer 做语义分割结果投影到 BEV 鸟瞰图。方案二YOLOPv2 BEVcd/opt/carla_ws/sim_workspace/image_seg python image_seg_yolopv2_bev_online.pyYOLOPv2 是三合一模型检测车道线可行驶区域投影到BEV后效果更好。3 实现原理四路相机图像 ↓ 语义分割模型 每路的分割图每个像素路面/车道线/车/人/建筑 ↓ 单应矩阵投影第5期标定的 四路分割图 → BEV鸟瞰视角 ↓ 拼接融合 360度BEV语义图关键复用第5期标定好的 H 矩阵把分割结果不是原始图像投影到 BEV融合成一张完整的鸟瞰语义图。4 实测效果两个模型都能跑通整体效果都不是很好不过只是测试一个通路思路的demo如果要实现好的效果可以这样直接在BEV的图像上进行标注训练模型这样的效果是最好的。7_BEV语义分割的融合5 下一期下一期将讲相机和激光点云的融合如何将激光点云投影到图像上进行显示。往期回顾Carla仿真系列6_实时图像语义分割SegFormer 和 YOLOPv2 实测对比Carla仿真系列5_Carla 四路相机标定与BEV环视拼接Carla仿真系列4_在 Carla 的 Tesla 上装 4 路摄像头并创建网格为环视拼接做准备Carla仿真系列3_Carla 仿真中跑通 YOLOv8 实时目标检测Carla仿真系列2_Carla 仿真中批量添加 NPC让场景动起来Carla仿真系列1_Carla ROS 仿真环境从零搭建跑通完整数据流如果本文对你有帮助欢迎点赞、关注、收藏。遇到问题可以评论区留言交流也欢迎转发给需要的朋友。
