5 分钟上手 HybridNets：自动驾驶感知三合一模型的环境搭建与图片推理新手教程

5 分钟上手 HybridNets自动驾驶感知三合一模型的环境搭建与图片推理新手教程【免费下载链接】HybridNetsHybridNets: End-to-End Perception Network项目地址: https://gitcode.com/gh_mirrors/hy/HybridNetsHybridNets 是一个端到端自动驾驶感知网络End-to-End Perception Network用一个模型同时完成交通目标检测、可行驶区域分割与车道线检测三大任务并已在 BDD100K 数据集上取得检测与车道线任务的 SOTA 成绩。本文是面向新手的 HybridNets 环境搭建与图片推理完整教程从获取源码、安装依赖、下载权重到用一条命令跑通真实道路图片推理全程 5 分钟即可出结果无需编写任何业务代码。HybridNets 是什么一套网络搞定三大感知任务 传统自动驾驶方案往往需要目标检测、语义分割、车道线识别多套模型配合部署复杂、算力开销大。HybridNets 的创新之处在于端到端多任务融合共享同一个骨干网络Backbone通过检测头和分割头并行输出三大感知结果交通目标检测识别车辆、行人、交通灯、交通标志等可行驶区域分割判断车辆可以通行的道路区域车道线检测提取车道边界辅助车辆保持车道在 BDD100K 公开数据集上HybridNets 的表现非常亮眼感知任务关键指标成绩交通目标检测mAP0.5 / Recall77.3% / 92.8%可行驶区域分割Drivable mIoU90.5%车道线检测Accuracy / IoU85.4% / 31.6%更难得的是它足够轻量可以在嵌入式设备上实时运行这也是它受到自动驾驶研究者青睐的重要原因。环境搭建5 分钟快速准备 HybridNets 运行环境 ⚙️第 1 步获取源码并安装依赖HybridNets 基于 Python 和 PyTorch 开发环境要求很简单Python 3.7、PyTorch 1.10有 NVIDIA GPU 体验更佳纯 CPU 也能推理只是速度慢一些。git clone https://gitcode.com/gh_mirrors/hy/HybridNets cd HybridNets pip install -r requirements.txt依赖清单集中在 requirements.txt主要包括 PyTorch、OpenCV、timm、efficientnet_pytorch、albumentations 等常用库安装过程一般不会遇到坑。如果网络较慢可以给 pip 加国内镜像源加速。第 2 步下载预训练权重模型权重需要单独下载从项目的 Release 页面获取hybridnets.pth放入项目根目录下的weights/文件夹即可文件夹不存在就手动创建。这个权重已经在 BDD100K 上完成训练覆盖目标检测 可行驶区域 车道线三个任务下载后即可直接用于图片推理无需自己训练。第 3 步验证环境是否就绪python hybridnets_test.py --help如果能正常打印出全部参数说明说明环境已经就绪可以进入下一步了图片推理一条命令体验 HybridNets 三合一效果 ️环境就绪后用下面这条命令对demo/image目录下的示例图片进行推理python hybridnets_test.py -w weights/hybridnets.pth --source demo/image --output demo_result --imshow False --imwrite True命令结束后带检测框、可行驶区域和车道线的结果图会保存到demo_result/文件夹实现真正的开箱即用。推理入口脚本为 hybridnets_test.py常用参数说明如下参数作用默认值-w预训练权重路径weights/hybridnets.pth--source待推理图片文件夹demo/image--output结果输出文件夹demo_result--conf_thresh检测置信度阈值0.25--show_det只输出目标检测结果False--show_seg只输出分割结果False--float16使用半精度加速推理True推理结果里黄色矩形框是交通目标检测绿色区域是可行驶区域红色线条是车道线——三个任务的结果叠加在同一张图上感知效果一目了然想单独查看某一任务的输出也很简单加上--show_det True或--show_seg True参数即可分别导出检测图和分割图。任务类别、检测目标等配置集中在 projects/bdd100k.yml例如obj_list控制检测类别默认carseg_list控制分割类别road和lane改这里就能定制推理目标。进阶玩法视频推理、ONNX 导出与 ROS 部署 视频推理换一行命令即可对demo/video目录下的视频逐帧推理非常适合感受模型的实时性python hybridnets_test_videos.py -w weights/hybridnets.pth --source demo/video --output demo_resultONNX 导出需要部署到生产环境时可通过 export.py 把模型导出为 ONNX 格式同时生成后处理所需的 anchor 文件python export.py -w weights/hybridnets.pth --width 640 --height 384ROS 部署项目还提供了完整的 C ROS 包ros/ 目录包含基于 ONNX Runtime 的检测器实现可直接接入机器人或无人车平台做路径规划。训练与验证想在自己的数据集上微调可以参照 train.py 和 val.py多 GPU 训练则使用train_ddp.py。训练前只需把数据集路径和超参数写进项目配置文件即可。新手常见问题 Q1没有 GPU 能跑吗可以。给命令加上--cuda False即可用 CPU 推理但速度会明显变慢建议至少准备一块入门级 GPU如 4GB 显存即可流畅运行默认配置。Q2为什么只检测到了车没有行人默认配置obj_list只包含car一类。将 projects/bdd100k.yml 中的obj_list改为 BDD100K 的全部 10 类person、rider、truck、bus 等再配合对应权重即可识别更多目标。Q3如何测试推理速度在图片推理命令末尾加上--speed_test True脚本会自动进行 10 次推理并输出单张图片的耗时和 FPS方便你评估模型在目标设备上的实时性。Q4输出结果太乱、框太多调高--conf_thresh例如 0.5只保留高置信度的检测结果画面会更干净。至此你已经完成了 HybridNets 从环境搭建到图片推理、再到视频推理的完整上手流程。这个三合一的自动驾驶感知模型无论是学术研究还是工程落地都非常值得一试。赶紧动手跑通你的第一张自动驾驶感知图吧【免费下载链接】HybridNetsHybridNets: End-to-End Perception Network项目地址: https://gitcode.com/gh_mirrors/hy/HybridNets创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考