做过多年的目标检测项目最近把一套基于YOLOv8的固体废物识别检测系统完整跑通了。从训练数据标注、模型训练、评估调优到最后的UI界面集成和打包整个流程走下来踩了不少坑也攒下了一些可以复用的经验。这套系统本质上是一个目标检测应用输入一张垃圾照片或者打开摄像头界面会实时标出每个固体废物的类别、位置框和置信度支持图片、视频、摄像头几种不同输入方式。因为选的是YOLOv8深度学习框架配合自制的YOLO格式数据集和Python项目源码整体可控性比较强既适合作为深度学习入门项目也可以改造成工业分拣、环卫管理、垃圾分类教育等场景的原型系统。做这个东西最深的体会是模型训练只是其中一个环节数据质量、界面交互、工程打包这些“杂活”加起来往往比调参更花时间。我把整个项目的设计思路、数据、训练、UI集成以及踩坑记录都整理在下面希望能给正在做类似目标检测系统的人一点参考。1. 项目整体设计与核心思路1.1 这个系统到底在解决什么问题固体废物识别说白了就是让电脑能判断画面里哪个区域是垃圾、是什么垃圾、垃圾在哪里。传统做法用颜色阈值、形状特征、边缘检测这类图像处理方法对纯色背景下的单一物体还能凑合用换成真实场景就完全失控。塑料瓶有不同颜色纸张有不同纹理玻璃反光金属表面还可能带着标签这些都不是手工特征能搞定的。这个项目把问题定义成“目标检测”任务而不是“图像分类”。图像分类只会告诉你整个图片里有没有垃圾但不会告诉你垃圾在哪个位置。在实际使用场景中位置信息非常关键摄像头扫过一片区域需要知道是哪一堆垃圾、在画面左边还是右边、这个垃圾占多大面积。目标检测在分类之外额外输出一个边界框把定位和分类一次完成。我把检测类别定成六大类塑料、纸张、玻璃、金属、织物、厨余垃圾。这个类别数量比较适中既覆盖了常见生活垃圾又不会因为类别过细导致训练难度激增。类别太多很容易出现混淆比如纸盒和纸张、玻璃瓶和玻璃碎片在边界模糊的情况下连人都未必分得清。真做项目时建议克制一点宁可类别少保证每个类别的样本量充足。1.2 为什么选择YOLOv8而不是其他算法选择检测算法时我主要比较了Faster R-CNN、YOLOv5、YOLOv8以及一些轻量级的分类网络。Faster R-CNN精度不错但推理速度太慢一张640x640的图片在普通显卡上可能要跑几十毫秒甚至更久做成摄像头实时识别时经常掉帧而且代码逻辑也重对新手不友好。YOLOv5非常成熟资料也多用了很久但和YOLOv8相比YOLOv8在训练方式、数据增强、损失函数和模型结构上都做了调整同等规模下精度和速度都有提升而且官方封装做得比较好几行代码就能加载模型和导出部署格式省掉大量工程对接时间。选择YOLOv8还有一个很现实的原因它的生态完整训练命令、评估命令、模型导出命令都是统一的不需要自己拼搭一堆脚本。模型权重也分成n、s、m、l、x几个版本我这种普通配置的机器可以选s或m先用小模型跑通流程再根据精度需求切换大模型。当然YOLOv8不是万能的。如果场景极度单一只用检测一种物体一个图像分类网络会更轻如果是边缘设备可能还需要配合模型量化。但对固体废物识别这种类别多、背景复杂的场景YOLOv8是一个性价比很高的起点。1.3 系统功能模块划分整个系统在结构上分成四个相对独立的模块数据模块、训练模块、推理模块、界面模块。数据模块负责整理数据集和配置文件训练模块负责模型训练和评估推理模块负责加载模型并输出检测结果界面模块负责把结果展示给用户。这四个模块的边界一定要清晰。我见过很多项目把模型加载、检测、画框、显示逻辑全写在一个文件里短期内跑得通一旦要换模型格式或者调整界面就哪哪都要改。我实际开发时是写了一个检测器类把模型加载、推理、结果解析都封装好UI只负责调用接口数据集部分更独立只有一份data.yaml文件训练脚本和推理脚本都从同一份配置读取避免类别顺序不一致。模块化还有一个好处调试效率高。模型训练阶段根本不需要启动界面用命令行就能完成所有实验界面调试阶段也不用重新训练用导出好的模型文件直接测。这两部分工作完全可以并行推进。2. 数据准备与YOLO数据集构建2.1 固体废物图像数据的获取思路数据集是整个系统最容易翻车的环节。模型能不能识别准确七成靠数据三成靠模型。我一开始图省事只找了一些网络公开数据结果训练后放到真实场景里测误检漏检一堆。后来认真总结了一下问题出在公开数据的图像内容太“干净”背景单一、物体完整、光照均匀而实际场景里垃圾往往是堆叠的、部分遮挡的、光线杂乱的。做这个项目时我建议从三个渠道凑数据一是公开数据网上有不少垃圾图像数据集可以直接下载但使用前必须检查类别和标注格式是否统一二是自己拍照把家里的、办公室的、学校走廊的垃圾桶拍一遍尽量多覆盖不同光线、角度、背景三是数据增强这个放到后面细说。自己采集数据时一定要记录来源不要把不同画质、不同尺寸的图像混在一起不去管它。部分公开数据集里的图片是手机竖屏拍摄分辨率很高有些则是网上爬来的缩略图模糊得厉害。训练前我统一做了清洗删除分辨率低于300像素的、完全模糊的、标注框明显对不上的图片。清洗这一关虽然耗时但远比后面训练时反复调参有效。另外建议类别不要一开始就上太多。之前一位朋友非要做十几个类别结果标注量翻倍模型反而在相似类别上互相打架。起步阶段把常见类别控制在五到八类够用就行。2.2 标注工具与标注规范标注是纯手工活但手工不等于乱标。我用的是开源图像标注工具LabelImg操作简单矩形框拖一下就行导出格式可以直接保存成YOLO需要的txt文件。也见过有人用Labelme那个更偏向多边形标注做目标检测的话有点过度除非做实例分割否则选矩形框标注就够。YOLO格式的标注文件需要满足严格规范每行一个目标内容是“类别编号 中心点x坐标 中心点y坐标 框宽度 框高度”并且所有坐标都除以图片宽高做了归一化。例如一张宽1920、高1080的图片某个目标框左上角在(480, 270)右下角在(1440, 810)那么中心点坐标是(960, 540)归一化后是(0.5, 0.5)宽960归一化0.5高540归一化0.5这一行就是“0 0.5 0.5 0.5 0.5”。标注规范这部分容易忽略我重点提醒几点一是框要紧贴目标物体不要留太多背景也不要把目标截掉一部分二是对于堆叠在一起的垃圾优先标注完整的、未被遮挡的目标严重遮挡的宁可不标也不要裁一半三是类别混淆时比如纸袋和塑料袋按照项目定义的标准执行如果视觉上确实很难区分建议合并成一个类别四是标注完成后要随机抽查让第二个人看一遍单个目标的错误标注在训练时会被放大。2.3 数据增强与格式整理数据增强是用来对抗过拟合和场景单一最直接的手段。固体废物的训练数据很容易出现场景一致性过高比如自己在办公室拍的几十张照片都是同一种灯光、同一个桌面。如果直接训练模型会把背景当作特征换到户外就失效。我用的增强手段包括水平翻转、小幅旋转、亮度对比度调整、颜色扰动、随机裁剪、mosaic拼接。YOLOv8训练时就内置了mosaic增强会把四张图拼成一张相当于在混合背景中学习目标特征非常有用。但要注意训练后期如果mosaic增强太强模型可能学不到真实物体的尺度关系一般到训练最后几十个epoch可以关掉。增强不是越多越好。旋转角度超过30度的话垃圾的语义特征会被破坏比如一个矿泉水瓶竖着带盖子倒转180度就很奇怪。亮度调整幅度太大会把黑色塑料袋和深色背景混在一起。我一般旋转控制在正负15度亮度变化在正负20%色相偏移在正负5%这样一个经验值能让增强后的图像仍然保留可识别的物体特征。格式整理上所有图像统一命名或用文件夹分类都行关键是data.yaml里的路径、类别顺序要和标注文件完全对应。类别顺序一旦写错整个训练就白费了。我习惯把类别顺序固定下来塑料0、纸张1、玻璃2、金属3、织物4、厨余5之后所有配置文件都沿用这个顺序。2.4 类别平衡与训练集验证集划分类别不平衡是固体废物数据里非常常见的问题。塑料瓶和纸箱好找照片一大堆金属罐和织物相对少玻璃瓶也容易和塑料瓶混淆。类别悬殊会导致模型偏向于“多数类”少数类精度很难上去。解决手段有以下几种第一补充数据对少数类多拍多找第二对少数类做更强的数据增强第三计算类别权重在损失函数中给少数类更大惩罚。我实际项目里主要用前两种方法效果最直观。统计一下各类别数量如果某一类少于总样本量的10%就要想办法扩大。训练集、验证集、测试集划分也有讲究。不要随便把整个文件夹按比例截成三段那样同一次连拍的照片可能同时出现在训练和验证里带来的精度虚高没有意义。我按场景来划分一批照片里包含了同一个小区的多个垃圾桶就把同一个场景的照片尽量放在同一个子集里防止“分割泄漏”。通常按8:1:1划分训练集用于训练验证集用于调参和早停测试集只用来做最终评估测试集不要反复去看否则也会变相参与调参。3. YOLOv8模型训练与调优3.1 环境搭建与依赖安装环境搭建是很多人第一步就卡住的地方。我的建议是用虚拟环境管理Python版本不要直接在系统Python里装依赖否则后面装PyTorch会牵扯系统环境非常容易出问题。我用的是Anaconda创建独立环境Python版本选了3.10。PyTorch版本必须和CUDA匹配否则GPU完全用不上。先确认自己的显卡驱动能支持的CUDA版本然后安装对应版本的PyTorch再安装YOLOv8的第三方库。安装完以后在Python里跑一下检测命令能正常加载模型并看到测试图片的检测结果环境就算通了。安装命令上我没有加任何加速镜像正常网络条件下都能装。重点是不要图省事用CPU版PyTorch训练除非你只是想验证代码流程。CPU训练一个几百张图片的小数据集可能都要两个小时GPU只需要几分钟差距非常大。3.2 训练参数选择与计算训练参数里最重要的四个是模型版本、输入尺寸、批大小、训练轮数。模型版本我选了YOLOv8s作为主力。你的显存不大时s是性价比最优选择比n精度更高比m训练快不少。如果验证集上精度不够再换成m提升。输入尺寸imgsz默认640单尺度。如果你的目标物体普遍很小可以考虑把输入尺寸设成800甚至960更大的输入保留更多小目标细节但显存占用和训练时间都会增加。如果画面里的垃圾都是又近又大的目标384或512会更轻快。固体废物场景里常有小目标比如远处的烟头、碎玻璃我保留640比较稳妥。批大小和显存直接相关。经验值8GB显存YOLOv8simgsz640batch可以跑1616GB显存可以跑32甚至更大。训练时如果显存溢出会报OOM错误降低batch即可。初学者对batch不用太纠结只要不OOM大一点的batch通常更稳定。训练轮数epochs不要一开始就设300。我正常先设100配合早停patience20。如果损失还在下降就到100轮且验证集没有明显退化再继续增加。训练轮数不是越多越好模型在后期很容易从“记忆特征”变成“死记样本”反而让泛化能力下降。训练命令大致如下yolo train datadata.yaml modelyolov8s.pt epochs100 imgsz640 batch16 device0训练完后在项目目录下会生成权重文件best.pt和last.pt。best.pt是验证集表现最好的一次权重部署时用它。3.3 训练过程监控与评估指标训练不要只看loss下降就以为成功。我主要看这几个指标训练损失、验证损失、精确率Precision、召回率Recall、mAP50、mAP50-95。Precision和Recall是一对矛盾指标。Precision意味着模型预测的框里有多少是正确定位Recall意味着真实的垃圾中有多少被找出来。在固体废物检测系统里我宁愿牺牲一点Precision也要把Recall拉高因为漏掉一个垃圾比多一个误检更麻烦。可以通过降低置信度阈值来提升召回但代价是界面上会出现更多“这个不是垃圾”的框。mAP50表示IoU阈值为0.5时的平均精度通俗说就是大概位置框对了就行这是工程上更喜欢看的指标。mAP50-95则从0.5到0.95取多个IoU阈值平均更严格。如果两者差距大说明模型框的位置不够精确存在“框倒是框对了但边缘歪了”的情况。训练过程还要盯一下验证损失是否回弹。如果验证损失在后期反而上升说明已经过拟合早停机制一般会触发。这时候不要继续训练可以回到上一轮的状态或者降低学习率。YOLOv8默认带学习率衰减但如果你觉得过拟合可以手动减少epoch数或者加强数据增强。训练结束后我会运行一行评估命令在测试集上看结果然后保存预测图片。这一步不能省mAP再高也可能在具体某个类别上崩掉只有看可视化结果才能定位问题类别。3.4 模型导出与部署准备训练出的best.pt文件可以直接在Python里加载推理但UI项目如果要部署给用户推荐导出成ONNX格式。ONNX不依赖深度学习训练框架加载速度更快也方便用ONNXRuntime在更多设备上跑。导出命令非常简单yolo export modelbest.pt formatonnx imgsz640导出时要注意输入尺寸要和训练一致如果训练时imgsz是800导出也应该是800。动态批处理可以用动态输入但UI推理一般固定batch为1所以可以不开启动态。如果你的显卡是NVIDIA还可以进一步导出TensorRT格式推理速度能再提升不少但TensorRT部署复杂度要高一些。我在当前UI项目里使用更通用的ONNX既能保证识别速度又不会把环境绑定得太窄。4. UI界面与系统集成4.1 界面功能设计检测模型本身只是引擎用户体验要靠界面去承载。我选的界面框架是PySide6相比Tkinter它的控件更现代做摄像头显示、图片预览、参数调节都比较顺手。当然也可以用Tkinter但后续想要漂亮的布局或自定义绘制时会比较吃力。整个界面功能包括四块图片检测区、摄像头检测区、结果信息区、控制区。图片检测区放一个大的QLabel显示当前图片和检测结果摄像头检测区启动后实时刷新画面结果信息区显示每个目标的类别、置信度和坐标还会用柱状图统计当前画面里每一类垃圾的数量控制区放加载模型按钮、选择图片按钮、摄像头打开/关闭按钮、置信度阈值滑块。置信度阈值滑块是我做进去以后觉得非常实用的功能。实际场景中系统在不同光线条件下置信度分布差别很大白天效果好晚上误检多。有了滑块用户可以自己调节0.3到0.7之间的阈值不用每次改代码重启。这个功能看起来简单但现场使用体验提升非常明显。4.2 后端推理逻辑实现后端推理我封装成一个Detector类顶层只暴露两个方法一个是图片路径推理predict_image一个是摄像头帧推理predict_frame。类内部负责加载模型、预处理图像、执行推理、解析结果、画框。核心解析逻辑处理的是模型返回的结果。YOLOv8推理结果里boxes.data每行包含五个关键值边界框左上角x、左上角y、右下角x、右下角y、置信度、类别编号。然后我用OpenCV的rectangle画框用putText写类别和置信度。这里有一个细节特别容易踩坑OpenCV图像默认是BGR顺序而Qt的QLabel显示需要用RGB顺序。直接把cv2的图扔给Qt控件会出现颜色偏蓝的问题。我是在转换为QImage前做一次cv2.cvtColor(img, cv2.COLOR_BGR2RGB)。推理调用我做了超时保护摄像头循环中如果模型推理卡住界面不能一起卡死。所以推理和界面显示是分开的界面主线程只负责刷新控件推理放到子线程执行。4.3 实时检测与摄像头采集摄像头实时检测是UI项目里最容易出性能问题的环节。OpenCV的VideoCapture(0)打开默认摄像头读取视频帧直接丢给模型推理。模型推理一次几百毫秒如果每帧都推理界面就会肉眼可见地卡顿。我采用的方式是控制推理频率比如每读取3帧只推理1帧其余帧直接丢弃并保留上一帧的检测结果。这样既保证画面流畅又不会让模型负担过重。如果你需要更高实时性还可以把输入尺寸降到448或者用ONNX Runtime的FP16精度推理。摄像头采集用的是后台线程在线程循环中读帧、推理、发送信号给主线程更新QLabel。关闭时要记得释放摄像头资源和线程事件循环否则下次打开摄像头会出现设备被占用的问题。摄像头索引方面笔记本自带摄像头是0外接摄像头可能是1没有画面时切换索引排查即可。4.4 打包发布与性能优化项目做完如果只是自己调试用Python直接跑没问题。如果要发给其他人使用就需要用PyInstaller打包成可执行文件。打包过程有几个必踩的坑。第一是模型文件路径开发时用相对路径打包后的工作目录变了经常找不到best.onnx。我采用的是把模型文件放到项目根目录下的models文件夹并在代码里基于当前文件路径动态拼接绝对路径不要用相对路径。第二是PyInstaller打包时不会自动收集PySide6所有依赖启动后会报插件找不到需要额外添加--collect-all PySide6或使用spec文件。第三是OpenCV和ONNXRuntime这样的动态库也要一并打包命令行加--hidden-import可以快速解决。性能优化方面打包成ONNX后推理仍有优化空间。我在设备上测试640输入一张图用CPU推理约300毫秒虽然可接受但为了更流畅我在界面上加了“检测结果分辨率”选项可以选用448输入来减少推理时间。同时检测到置信度低于阈值的框直接丢弃不在图上画框和文字减少绘制负担。UI集成做成以后整个系统的使用流程才算是闭环。图片检测、摄像头实时检测、疑似垃圾标记、结果统计基本能满足一个固体废物识别原型系统的主要需求。5. 常见问题与排查技巧实录5.1 数据相关坑数据阶段最容易出问题是YOLO标注文件错位。我遇到过图片和txt一一对应但txt里的类别编号和data.yaml里的类别顺序对不上。检查方法很直接随意挑一张训练集图片把标注框画出来看类别名称对不对。不要只检查一两张至少抽查五十张重点看容易混淆的类别。另一个常见坑是训练集里混入了损坏图片或者全黑图片。这种图片加载时不会立刻报错但会对loss产生奇怪影响。训练前写个脚本检查每个图片能否正常读取读取失败的直接剔除。中文路径问题也值得单独提。建议整个项目路径、图片路径、模型文件路径都不要出现中文和空格。某些库在路径处理上会编码出错轻则警告重则找不到模型文件。5.2 训练相关坑训练时经常遇到loss显示为nan。原因一般是学习率过大、数据里有非预期值、或模型从零开始训练时梯度爆炸。解决方法先确认数据标注坐标没有大于1或小于0再降低学习率或使用预训练权重而不是yolov8s.yaml去训练。训练过拟合在数据量不够时非常常见。特征表现为训练集mAP接近99%验证集却只有70%。我一般从三个方向解决增加数据增强强度、增加数据量、减少训练轮数。先不要想着换大模型大模型在数据少时过拟合更严重换成小模型反而可能更稳。用YOLOv8训练时还容易忽视预训练权重的作用。直接从头训练需要大量数据借助在通用数据集上预训练的权重能显著提升收敛速度和最终精度。即使你的场景和通用目标不太一样迁移学习的收益仍然明显。5.3 UI与推理相关坑UI界面显示图片全黑或偏色十有八九是色彩空间没有转换。OpenCV读进来是BGRQLabel显示需要RGB转换后就好了。如果Play按钮点了就开始转圈通常是推理过程没有放到子线程。界面卡死是UI开发最大的问题没有任何借口不做线程分离。摄像头打不开的原因很多。常见有摄像头被已结束未释放的前一次进程占用、索引不对、权限不足。排查顺序是先跑一个纯OpenCV摄像头读取脚本确认设备本身能打开再回到项目里排查线程和索引问题。ONNX模型推理时会遇到输出维度不一致的问题。YOLOv8导出ONNX默认输出是1x84x8400格式需要自己解析。如果直接套用旧版YOLOv5的后处理逻辑会出现奇怪的维度报错。建议用官方配套的导出和推理方式不要自己写复杂的后处理。5.4 部署相关坑PyInstaller打包后经常报模块找不到或插件缺失。我遇到最典型的是Qt平台插件xcb缺失在有些Linux系统下一运行就弹错。解决方式是确认打包时--collect-all PySide6并且在代码里写清楚插件目录路径。模型文件被打包后是否要一起塞进可执行文件也需要考虑。我最终是让程序从exe同级目录下读取models文件夹而不是打包进exe内部。因为ONNX模型几十MB每次塞进exe会导致启动速度变慢而且用户想换模型版本时也会很麻烦。为了避免部署后调试困难我在代码里加了一个日志文件记录模型加载、图像读取、推理耗时、异常信息。现场跑出问题直接看日志比远程猜要快得多。下面整理一个快速排查表适合项目跑不动时对照。现象最可能原因快速处理训练loss为nan标注越界或学习率过高检查坐标归一化降低学习率验证集mAP低数据量不足或类别不平衡补充数据增强少数类界面显示偏色BGR与RGB未转换显示前用cvtColor转换摄像头打开失败索引错误或占用初始化后打印cap.isOpened()打包后找不到模型路径写死基于程序路径动态拼接ONNX推理报维度错误输出解析不匹配用官方配套后处理最后再分享一个自己养成的习惯。模型训练完不要急着做界面先把验证集里的预测结果批量画出来用眼睛逐张看一遍。很多问题从指标上完全看不出来但看图片一眼就能发现某个金属罐被反复识别成塑料瓶某个玻璃瓶在深色背景下完全不显示框。固体废物识别这种场景现场环境远比训练集复杂早一点发现数据短板比后期上线被用户吐槽要划算得多。这套系统从数据清洗到界面打包我前后调整了三轮花时间最多的恰恰是最不起眼的标注检查和可视化验证但也是这两步真正决定了最后的效果。
做过多年的目标检测项目最近把一套基于YOLOv8的固体废物识别检测系统完整跑通了。从训练数据标注、模型训练、评估调优到最后的UI界面集成和打包整个流程走下来踩了不少坑也攒下了一些可以复用的经验。这套系统本质上是一个目标检测应用输入一张垃圾照片或者打开摄像头界面会实时标出每个固体废物的类别、位置框和置信度支持图片、视频、摄像头几种不同输入方式。因为选的是YOLOv8深度学习框架配合自制的YOLO格式数据集和Python项目源码整体可控性比较强既适合作为深度学习入门项目也可以改造成工业分拣、环卫管理、垃圾分类教育等场景的原型系统。做这个东西最深的体会是模型训练只是其中一个环节数据质量、界面交互、工程打包这些“杂活”加起来往往比调参更花时间。我把整个项目的设计思路、数据、训练、UI集成以及踩坑记录都整理在下面希望能给正在做类似目标检测系统的人一点参考。1. 项目整体设计与核心思路1.1 这个系统到底在解决什么问题固体废物识别说白了就是让电脑能判断画面里哪个区域是垃圾、是什么垃圾、垃圾在哪里。传统做法用颜色阈值、形状特征、边缘检测这类图像处理方法对纯色背景下的单一物体还能凑合用换成真实场景就完全失控。塑料瓶有不同颜色纸张有不同纹理玻璃反光金属表面还可能带着标签这些都不是手工特征能搞定的。这个项目把问题定义成“目标检测”任务而不是“图像分类”。图像分类只会告诉你整个图片里有没有垃圾但不会告诉你垃圾在哪个位置。在实际使用场景中位置信息非常关键摄像头扫过一片区域需要知道是哪一堆垃圾、在画面左边还是右边、这个垃圾占多大面积。目标检测在分类之外额外输出一个边界框把定位和分类一次完成。我把检测类别定成六大类塑料、纸张、玻璃、金属、织物、厨余垃圾。这个类别数量比较适中既覆盖了常见生活垃圾又不会因为类别过细导致训练难度激增。类别太多很容易出现混淆比如纸盒和纸张、玻璃瓶和玻璃碎片在边界模糊的情况下连人都未必分得清。真做项目时建议克制一点宁可类别少保证每个类别的样本量充足。1.2 为什么选择YOLOv8而不是其他算法选择检测算法时我主要比较了Faster R-CNN、YOLOv5、YOLOv8以及一些轻量级的分类网络。Faster R-CNN精度不错但推理速度太慢一张640x640的图片在普通显卡上可能要跑几十毫秒甚至更久做成摄像头实时识别时经常掉帧而且代码逻辑也重对新手不友好。YOLOv5非常成熟资料也多用了很久但和YOLOv8相比YOLOv8在训练方式、数据增强、损失函数和模型结构上都做了调整同等规模下精度和速度都有提升而且官方封装做得比较好几行代码就能加载模型和导出部署格式省掉大量工程对接时间。选择YOLOv8还有一个很现实的原因它的生态完整训练命令、评估命令、模型导出命令都是统一的不需要自己拼搭一堆脚本。模型权重也分成n、s、m、l、x几个版本我这种普通配置的机器可以选s或m先用小模型跑通流程再根据精度需求切换大模型。当然YOLOv8不是万能的。如果场景极度单一只用检测一种物体一个图像分类网络会更轻如果是边缘设备可能还需要配合模型量化。但对固体废物识别这种类别多、背景复杂的场景YOLOv8是一个性价比很高的起点。1.3 系统功能模块划分整个系统在结构上分成四个相对独立的模块数据模块、训练模块、推理模块、界面模块。数据模块负责整理数据集和配置文件训练模块负责模型训练和评估推理模块负责加载模型并输出检测结果界面模块负责把结果展示给用户。这四个模块的边界一定要清晰。我见过很多项目把模型加载、检测、画框、显示逻辑全写在一个文件里短期内跑得通一旦要换模型格式或者调整界面就哪哪都要改。我实际开发时是写了一个检测器类把模型加载、推理、结果解析都封装好UI只负责调用接口数据集部分更独立只有一份data.yaml文件训练脚本和推理脚本都从同一份配置读取避免类别顺序不一致。模块化还有一个好处调试效率高。模型训练阶段根本不需要启动界面用命令行就能完成所有实验界面调试阶段也不用重新训练用导出好的模型文件直接测。这两部分工作完全可以并行推进。2. 数据准备与YOLO数据集构建2.1 固体废物图像数据的获取思路数据集是整个系统最容易翻车的环节。模型能不能识别准确七成靠数据三成靠模型。我一开始图省事只找了一些网络公开数据结果训练后放到真实场景里测误检漏检一堆。后来认真总结了一下问题出在公开数据的图像内容太“干净”背景单一、物体完整、光照均匀而实际场景里垃圾往往是堆叠的、部分遮挡的、光线杂乱的。做这个项目时我建议从三个渠道凑数据一是公开数据网上有不少垃圾图像数据集可以直接下载但使用前必须检查类别和标注格式是否统一二是自己拍照把家里的、办公室的、学校走廊的垃圾桶拍一遍尽量多覆盖不同光线、角度、背景三是数据增强这个放到后面细说。自己采集数据时一定要记录来源不要把不同画质、不同尺寸的图像混在一起不去管它。部分公开数据集里的图片是手机竖屏拍摄分辨率很高有些则是网上爬来的缩略图模糊得厉害。训练前我统一做了清洗删除分辨率低于300像素的、完全模糊的、标注框明显对不上的图片。清洗这一关虽然耗时但远比后面训练时反复调参有效。另外建议类别不要一开始就上太多。之前一位朋友非要做十几个类别结果标注量翻倍模型反而在相似类别上互相打架。起步阶段把常见类别控制在五到八类够用就行。2.2 标注工具与标注规范标注是纯手工活但手工不等于乱标。我用的是开源图像标注工具LabelImg操作简单矩形框拖一下就行导出格式可以直接保存成YOLO需要的txt文件。也见过有人用Labelme那个更偏向多边形标注做目标检测的话有点过度除非做实例分割否则选矩形框标注就够。YOLO格式的标注文件需要满足严格规范每行一个目标内容是“类别编号 中心点x坐标 中心点y坐标 框宽度 框高度”并且所有坐标都除以图片宽高做了归一化。例如一张宽1920、高1080的图片某个目标框左上角在(480, 270)右下角在(1440, 810)那么中心点坐标是(960, 540)归一化后是(0.5, 0.5)宽960归一化0.5高540归一化0.5这一行就是“0 0.5 0.5 0.5 0.5”。标注规范这部分容易忽略我重点提醒几点一是框要紧贴目标物体不要留太多背景也不要把目标截掉一部分二是对于堆叠在一起的垃圾优先标注完整的、未被遮挡的目标严重遮挡的宁可不标也不要裁一半三是类别混淆时比如纸袋和塑料袋按照项目定义的标准执行如果视觉上确实很难区分建议合并成一个类别四是标注完成后要随机抽查让第二个人看一遍单个目标的错误标注在训练时会被放大。2.3 数据增强与格式整理数据增强是用来对抗过拟合和场景单一最直接的手段。固体废物的训练数据很容易出现场景一致性过高比如自己在办公室拍的几十张照片都是同一种灯光、同一个桌面。如果直接训练模型会把背景当作特征换到户外就失效。我用的增强手段包括水平翻转、小幅旋转、亮度对比度调整、颜色扰动、随机裁剪、mosaic拼接。YOLOv8训练时就内置了mosaic增强会把四张图拼成一张相当于在混合背景中学习目标特征非常有用。但要注意训练后期如果mosaic增强太强模型可能学不到真实物体的尺度关系一般到训练最后几十个epoch可以关掉。增强不是越多越好。旋转角度超过30度的话垃圾的语义特征会被破坏比如一个矿泉水瓶竖着带盖子倒转180度就很奇怪。亮度调整幅度太大会把黑色塑料袋和深色背景混在一起。我一般旋转控制在正负15度亮度变化在正负20%色相偏移在正负5%这样一个经验值能让增强后的图像仍然保留可识别的物体特征。格式整理上所有图像统一命名或用文件夹分类都行关键是data.yaml里的路径、类别顺序要和标注文件完全对应。类别顺序一旦写错整个训练就白费了。我习惯把类别顺序固定下来塑料0、纸张1、玻璃2、金属3、织物4、厨余5之后所有配置文件都沿用这个顺序。2.4 类别平衡与训练集验证集划分类别不平衡是固体废物数据里非常常见的问题。塑料瓶和纸箱好找照片一大堆金属罐和织物相对少玻璃瓶也容易和塑料瓶混淆。类别悬殊会导致模型偏向于“多数类”少数类精度很难上去。解决手段有以下几种第一补充数据对少数类多拍多找第二对少数类做更强的数据增强第三计算类别权重在损失函数中给少数类更大惩罚。我实际项目里主要用前两种方法效果最直观。统计一下各类别数量如果某一类少于总样本量的10%就要想办法扩大。训练集、验证集、测试集划分也有讲究。不要随便把整个文件夹按比例截成三段那样同一次连拍的照片可能同时出现在训练和验证里带来的精度虚高没有意义。我按场景来划分一批照片里包含了同一个小区的多个垃圾桶就把同一个场景的照片尽量放在同一个子集里防止“分割泄漏”。通常按8:1:1划分训练集用于训练验证集用于调参和早停测试集只用来做最终评估测试集不要反复去看否则也会变相参与调参。3. YOLOv8模型训练与调优3.1 环境搭建与依赖安装环境搭建是很多人第一步就卡住的地方。我的建议是用虚拟环境管理Python版本不要直接在系统Python里装依赖否则后面装PyTorch会牵扯系统环境非常容易出问题。我用的是Anaconda创建独立环境Python版本选了3.10。PyTorch版本必须和CUDA匹配否则GPU完全用不上。先确认自己的显卡驱动能支持的CUDA版本然后安装对应版本的PyTorch再安装YOLOv8的第三方库。安装完以后在Python里跑一下检测命令能正常加载模型并看到测试图片的检测结果环境就算通了。安装命令上我没有加任何加速镜像正常网络条件下都能装。重点是不要图省事用CPU版PyTorch训练除非你只是想验证代码流程。CPU训练一个几百张图片的小数据集可能都要两个小时GPU只需要几分钟差距非常大。3.2 训练参数选择与计算训练参数里最重要的四个是模型版本、输入尺寸、批大小、训练轮数。模型版本我选了YOLOv8s作为主力。你的显存不大时s是性价比最优选择比n精度更高比m训练快不少。如果验证集上精度不够再换成m提升。输入尺寸imgsz默认640单尺度。如果你的目标物体普遍很小可以考虑把输入尺寸设成800甚至960更大的输入保留更多小目标细节但显存占用和训练时间都会增加。如果画面里的垃圾都是又近又大的目标384或512会更轻快。固体废物场景里常有小目标比如远处的烟头、碎玻璃我保留640比较稳妥。批大小和显存直接相关。经验值8GB显存YOLOv8simgsz640batch可以跑1616GB显存可以跑32甚至更大。训练时如果显存溢出会报OOM错误降低batch即可。初学者对batch不用太纠结只要不OOM大一点的batch通常更稳定。训练轮数epochs不要一开始就设300。我正常先设100配合早停patience20。如果损失还在下降就到100轮且验证集没有明显退化再继续增加。训练轮数不是越多越好模型在后期很容易从“记忆特征”变成“死记样本”反而让泛化能力下降。训练命令大致如下yolo train datadata.yaml modelyolov8s.pt epochs100 imgsz640 batch16 device0训练完后在项目目录下会生成权重文件best.pt和last.pt。best.pt是验证集表现最好的一次权重部署时用它。3.3 训练过程监控与评估指标训练不要只看loss下降就以为成功。我主要看这几个指标训练损失、验证损失、精确率Precision、召回率Recall、mAP50、mAP50-95。Precision和Recall是一对矛盾指标。Precision意味着模型预测的框里有多少是正确定位Recall意味着真实的垃圾中有多少被找出来。在固体废物检测系统里我宁愿牺牲一点Precision也要把Recall拉高因为漏掉一个垃圾比多一个误检更麻烦。可以通过降低置信度阈值来提升召回但代价是界面上会出现更多“这个不是垃圾”的框。mAP50表示IoU阈值为0.5时的平均精度通俗说就是大概位置框对了就行这是工程上更喜欢看的指标。mAP50-95则从0.5到0.95取多个IoU阈值平均更严格。如果两者差距大说明模型框的位置不够精确存在“框倒是框对了但边缘歪了”的情况。训练过程还要盯一下验证损失是否回弹。如果验证损失在后期反而上升说明已经过拟合早停机制一般会触发。这时候不要继续训练可以回到上一轮的状态或者降低学习率。YOLOv8默认带学习率衰减但如果你觉得过拟合可以手动减少epoch数或者加强数据增强。训练结束后我会运行一行评估命令在测试集上看结果然后保存预测图片。这一步不能省mAP再高也可能在具体某个类别上崩掉只有看可视化结果才能定位问题类别。3.4 模型导出与部署准备训练出的best.pt文件可以直接在Python里加载推理但UI项目如果要部署给用户推荐导出成ONNX格式。ONNX不依赖深度学习训练框架加载速度更快也方便用ONNXRuntime在更多设备上跑。导出命令非常简单yolo export modelbest.pt formatonnx imgsz640导出时要注意输入尺寸要和训练一致如果训练时imgsz是800导出也应该是800。动态批处理可以用动态输入但UI推理一般固定batch为1所以可以不开启动态。如果你的显卡是NVIDIA还可以进一步导出TensorRT格式推理速度能再提升不少但TensorRT部署复杂度要高一些。我在当前UI项目里使用更通用的ONNX既能保证识别速度又不会把环境绑定得太窄。4. UI界面与系统集成4.1 界面功能设计检测模型本身只是引擎用户体验要靠界面去承载。我选的界面框架是PySide6相比Tkinter它的控件更现代做摄像头显示、图片预览、参数调节都比较顺手。当然也可以用Tkinter但后续想要漂亮的布局或自定义绘制时会比较吃力。整个界面功能包括四块图片检测区、摄像头检测区、结果信息区、控制区。图片检测区放一个大的QLabel显示当前图片和检测结果摄像头检测区启动后实时刷新画面结果信息区显示每个目标的类别、置信度和坐标还会用柱状图统计当前画面里每一类垃圾的数量控制区放加载模型按钮、选择图片按钮、摄像头打开/关闭按钮、置信度阈值滑块。置信度阈值滑块是我做进去以后觉得非常实用的功能。实际场景中系统在不同光线条件下置信度分布差别很大白天效果好晚上误检多。有了滑块用户可以自己调节0.3到0.7之间的阈值不用每次改代码重启。这个功能看起来简单但现场使用体验提升非常明显。4.2 后端推理逻辑实现后端推理我封装成一个Detector类顶层只暴露两个方法一个是图片路径推理predict_image一个是摄像头帧推理predict_frame。类内部负责加载模型、预处理图像、执行推理、解析结果、画框。核心解析逻辑处理的是模型返回的结果。YOLOv8推理结果里boxes.data每行包含五个关键值边界框左上角x、左上角y、右下角x、右下角y、置信度、类别编号。然后我用OpenCV的rectangle画框用putText写类别和置信度。这里有一个细节特别容易踩坑OpenCV图像默认是BGR顺序而Qt的QLabel显示需要用RGB顺序。直接把cv2的图扔给Qt控件会出现颜色偏蓝的问题。我是在转换为QImage前做一次cv2.cvtColor(img, cv2.COLOR_BGR2RGB)。推理调用我做了超时保护摄像头循环中如果模型推理卡住界面不能一起卡死。所以推理和界面显示是分开的界面主线程只负责刷新控件推理放到子线程执行。4.3 实时检测与摄像头采集摄像头实时检测是UI项目里最容易出性能问题的环节。OpenCV的VideoCapture(0)打开默认摄像头读取视频帧直接丢给模型推理。模型推理一次几百毫秒如果每帧都推理界面就会肉眼可见地卡顿。我采用的方式是控制推理频率比如每读取3帧只推理1帧其余帧直接丢弃并保留上一帧的检测结果。这样既保证画面流畅又不会让模型负担过重。如果你需要更高实时性还可以把输入尺寸降到448或者用ONNX Runtime的FP16精度推理。摄像头采集用的是后台线程在线程循环中读帧、推理、发送信号给主线程更新QLabel。关闭时要记得释放摄像头资源和线程事件循环否则下次打开摄像头会出现设备被占用的问题。摄像头索引方面笔记本自带摄像头是0外接摄像头可能是1没有画面时切换索引排查即可。4.4 打包发布与性能优化项目做完如果只是自己调试用Python直接跑没问题。如果要发给其他人使用就需要用PyInstaller打包成可执行文件。打包过程有几个必踩的坑。第一是模型文件路径开发时用相对路径打包后的工作目录变了经常找不到best.onnx。我采用的是把模型文件放到项目根目录下的models文件夹并在代码里基于当前文件路径动态拼接绝对路径不要用相对路径。第二是PyInstaller打包时不会自动收集PySide6所有依赖启动后会报插件找不到需要额外添加--collect-all PySide6或使用spec文件。第三是OpenCV和ONNXRuntime这样的动态库也要一并打包命令行加--hidden-import可以快速解决。性能优化方面打包成ONNX后推理仍有优化空间。我在设备上测试640输入一张图用CPU推理约300毫秒虽然可接受但为了更流畅我在界面上加了“检测结果分辨率”选项可以选用448输入来减少推理时间。同时检测到置信度低于阈值的框直接丢弃不在图上画框和文字减少绘制负担。UI集成做成以后整个系统的使用流程才算是闭环。图片检测、摄像头实时检测、疑似垃圾标记、结果统计基本能满足一个固体废物识别原型系统的主要需求。5. 常见问题与排查技巧实录5.1 数据相关坑数据阶段最容易出问题是YOLO标注文件错位。我遇到过图片和txt一一对应但txt里的类别编号和data.yaml里的类别顺序对不上。检查方法很直接随意挑一张训练集图片把标注框画出来看类别名称对不对。不要只检查一两张至少抽查五十张重点看容易混淆的类别。另一个常见坑是训练集里混入了损坏图片或者全黑图片。这种图片加载时不会立刻报错但会对loss产生奇怪影响。训练前写个脚本检查每个图片能否正常读取读取失败的直接剔除。中文路径问题也值得单独提。建议整个项目路径、图片路径、模型文件路径都不要出现中文和空格。某些库在路径处理上会编码出错轻则警告重则找不到模型文件。5.2 训练相关坑训练时经常遇到loss显示为nan。原因一般是学习率过大、数据里有非预期值、或模型从零开始训练时梯度爆炸。解决方法先确认数据标注坐标没有大于1或小于0再降低学习率或使用预训练权重而不是yolov8s.yaml去训练。训练过拟合在数据量不够时非常常见。特征表现为训练集mAP接近99%验证集却只有70%。我一般从三个方向解决增加数据增强强度、增加数据量、减少训练轮数。先不要想着换大模型大模型在数据少时过拟合更严重换成小模型反而可能更稳。用YOLOv8训练时还容易忽视预训练权重的作用。直接从头训练需要大量数据借助在通用数据集上预训练的权重能显著提升收敛速度和最终精度。即使你的场景和通用目标不太一样迁移学习的收益仍然明显。5.3 UI与推理相关坑UI界面显示图片全黑或偏色十有八九是色彩空间没有转换。OpenCV读进来是BGRQLabel显示需要RGB转换后就好了。如果Play按钮点了就开始转圈通常是推理过程没有放到子线程。界面卡死是UI开发最大的问题没有任何借口不做线程分离。摄像头打不开的原因很多。常见有摄像头被已结束未释放的前一次进程占用、索引不对、权限不足。排查顺序是先跑一个纯OpenCV摄像头读取脚本确认设备本身能打开再回到项目里排查线程和索引问题。ONNX模型推理时会遇到输出维度不一致的问题。YOLOv8导出ONNX默认输出是1x84x8400格式需要自己解析。如果直接套用旧版YOLOv5的后处理逻辑会出现奇怪的维度报错。建议用官方配套的导出和推理方式不要自己写复杂的后处理。5.4 部署相关坑PyInstaller打包后经常报模块找不到或插件缺失。我遇到最典型的是Qt平台插件xcb缺失在有些Linux系统下一运行就弹错。解决方式是确认打包时--collect-all PySide6并且在代码里写清楚插件目录路径。模型文件被打包后是否要一起塞进可执行文件也需要考虑。我最终是让程序从exe同级目录下读取models文件夹而不是打包进exe内部。因为ONNX模型几十MB每次塞进exe会导致启动速度变慢而且用户想换模型版本时也会很麻烦。为了避免部署后调试困难我在代码里加了一个日志文件记录模型加载、图像读取、推理耗时、异常信息。现场跑出问题直接看日志比远程猜要快得多。下面整理一个快速排查表适合项目跑不动时对照。现象最可能原因快速处理训练loss为nan标注越界或学习率过高检查坐标归一化降低学习率验证集mAP低数据量不足或类别不平衡补充数据增强少数类界面显示偏色BGR与RGB未转换显示前用cvtColor转换摄像头打开失败索引错误或占用初始化后打印cap.isOpened()打包后找不到模型路径写死基于程序路径动态拼接ONNX推理报维度错误输出解析不匹配用官方配套后处理最后再分享一个自己养成的习惯。模型训练完不要急着做界面先把验证集里的预测结果批量画出来用眼睛逐张看一遍。很多问题从指标上完全看不出来但看图片一眼就能发现某个金属罐被反复识别成塑料瓶某个玻璃瓶在深色背景下完全不显示框。固体废物识别这种场景现场环境远比训练集复杂早一点发现数据短板比后期上线被用户吐槽要划算得多。这套系统从数据清洗到界面打包我前后调整了三轮花时间最多的恰恰是最不起眼的标注检查和可视化验证但也是这两步真正决定了最后的效果。
