简介一套基于YOLOv8/v10/v5深度学习框架的海洋生物检测系统完整项目源码面向人工智能类毕业设计及水下生态监测、水产养殖智能化等场景可实现海胆、海参、扇贝、海星四类目标的同时识别与定位。压缩包内含2000个文件以1984个txt标注/配置数据为主体另有Python界面逻辑与训练脚本、XML配置、样式表、开发文档等辅助文件整体大小453.36MB目录结构层次分明便于按模块查阅与二次开发。系统自带PyQt5可视化界面支持图片、视频和实时摄像头三种检测输入集成目标计数、置信度显示、结果保存等实用功能同时给出数据集准备、模型训练评估以及YOLOv5n、YOLOv8n、YOLOv10n三种模型性能对比的完整代码方案。目前已有68人浏览学习适合需要毕业设计完整案例或希望快速搭建水下生物检测原型的开发者参考使用。1. 视频监控里捞不到的海参为什么换YOLOv8就能自动检测水下摄像机拍到的一帧画面里海参和岩石几乎一个颜色小螃蟹藏在沙泥里只露半个壳海胆在阴影里轮廓模糊。人工盯着屏幕看监控十分钟就疲劳漏检率比想象中高得多。这套基于深度学习的海洋生物检测系统核心就是 YOLOv8 加一批水下生物图像让模型自动框出画面里每一条鱼、每一只海参、每一个扇贝的位置和类别。YOLOv8 不是为海洋生物设计的但在这类任务里它是性价比最高的选择。它有单阶段的推理速度能在边缘设备上实时跑训练代码开箱即用又有 anchor-free 的检测头对水下常见的小目标和密集目标比老版本更友好。把模型输出接上计数逻辑就能变成自动计数、大小估算、物种统计的入口工具。这篇笔记面向两类人一类是做水产养殖监测、海洋牧场巡检或水下机器人视觉系统的工程师想快速搭一个能跑的检测流程另一类是拿这类题目做课设或毕设需要把完整链路跑通并讲出原理。下面按「结构选型 → 数据准备 → 训练调参 → 避坑 → 部署」的顺序把整个落地路径拆开。2. 从网络结构到选型YOLOv8 凭什么能扛住水下检测任务2.1 C2f、SPPF 和 Anchor-FreeYOLOv8 的三个关键改动YOLOv8 的骨架和 YOLOv5 一脉相承都来自 CSPDarknet但把原本的 C3 模块换成了 C2f。C2f 的核心是增加了一条跨层梯度流输入先经过一个卷积拆成两支一支直接往前走另一支通过若干 Bottleneck 串起来最后把各层输出拼接再卷积。这个设计让梯度能更顺畅地回传到浅层对水下这种纹理特征弱、依赖中层语义的目标有实际帮助。海参和海底岩石的区别往往不是颜色而是局部纹理结构C2f 在这种场景下的特征表达能力比 C3 更充分。检测头从 anchor-based 换成了 anchor-free。YOLOv5 需要预设一组 anchor 框的尺寸鱼大、贝类小预设不合适就得重新聚类水下数据YOLOv8 直接预测每个位置到目标框四边的距离省掉了聚类这一步。实际收益是你不用为每一类水下目标单独调 anchor模型初始化更干净小目标的回归也更直接——因为 anchor-free 迫使网络在目标中心附近的高分辨率特征图上找目标而不是依赖预设框和 ground truth 的 IoU 匹配。SPPF 部分沿用 YOLOv5做多尺度特征池化后拼接保证 80×80、40×40、20×20 三条输出支路分别负责小、中、大目标。水下场景的典型分布是小鱼苗和虾多在小目标支路大螃蟹、章鱼在中到大目标支路。三路输出配合损失函数让同一个模型能覆盖从几厘米的虾苗到几十厘米的鳐鱼。损失函数由分类 BCE Loss、回归 CIoU Loss 和 DFLDistribution Focal Loss三部分组成。DFL 的作用是把边界框的回归从单点估计变成分布估计对边界不清晰的目标更稳。水下图像普遍存在边缘模糊——螃蟹在泥沙里只露半个轮廓DFL 输出的分布能表达这种不确定性最终框出来比硬回归更贴边界。2.2 模型规模与预训练权重从 n 到 x 怎么选YOLOv8 按深度和宽度分成 n / s / m / l / x 五档。选择依据很简单看你的部署目标和显存预算。如果用 GPU 服务器训练、只做离线识别开场直接用 v8m参数和精度均衡如果后续要部署到 Jetson 这类边缘设备训练 v8s 或 v8n推理时间能控制住。不要一上来就训练 v8x——水下数据集通常只有几千张到一两万张v8x 容易过拟合训练时间却长好几倍得不偿失。预训练权重是必须用的。虽然 COCO 里没有海参和海胆但 COCO 预训练模型已经学会了通用的边缘、纹理和形状特征迁移到水下任务后收敛速度和精度都好很多。常见做法是下载对应的 .pt 权重用modelyolov8m.pt这样的方式让训练脚本自动加载 COCO 权重而不是从随机权重开始。这里有个容易误用的选择数据量决定模型档位。水下数据集少于 2000 张时用 v8s 大概率比 v8m 表现好超过 5000 张且类别差异大v8m 的精度优势才明显。某公司做海洋牧场监测时训练集只有 1200 张标注图v8m 明显过拟合验证集 mAP 反而比 v8s 低 3 个点。换回 v8s 后 mAP 稳定在 0.72 附近。3. 数据准备把水下图像变成 YOLOv8 能读懂的标注文件3.1 标注工具与类别命名开工前先统一标准训练 YOLOv8 的第一步不是跑代码而是把数据整理成它认识的格式。YOLOv8 的标注是每个图像对应一个 .txt 文本文件文件名和图像名一致内容每一行是一个目标class_id x_center y_center width height。四个坐标值都归一化到 01 之间不是像素值这一点必须记住。标注工具常见选择是 LabelImg 或 CVAT。个人做数据集用 LabelImg 足够单机运行、无依赖配置团队协作或者图像量大用 CVAT 部署一个标注服务多人并行效率高。标注前先把类别清单列死在配置文件里不要一边标一边加类别否则容易出现类别 ID 错位——某公司遇到过标到一半在列表中间插了一类后面所有 ID 都偏移排查花了一整天。水下图像的标注难度比常规目标更高有两种情况要提前定标准第一海参半埋在沙子里只露出一部分框应该框整个可见轮廓还是完整身体建议框完整身体的最大可见范围标注时参考前后帧因为视频帧里它能完整露出来。第二多个海胆挤在一起互相重叠两个目标的框重叠面积超过 60% 时建议合并成一个目标再标避免模型学到「同一种东西出现两个互相重叠的框」。3.2 VOC 转 YOLO 格式坐标归一化与转换脚本很多公开数据集和标注工具默认输出 VOC 格式的 XML里面是xmin ymin xmax ymax的像素坐标。YOLO 需要的是归一化后的中心点坐标加宽高。转换前先确认图像实际尺寸——不要从 XML 的size标签里读宽高要从图像文件本身读因为有的数据集在标注后做过缩放处理XML 里的尺寸字段可能过期导致转出来的坐标全部偏移。下面是我常用的转换脚本兼容 VOC 和 YOLO 两种标注import os import cv2 import xml.etree.ElementTree as ET def voc_to_yolo(xml_path, img_dir, out_dir, class_list): if not os.path.exists(out_dir): os.makedirs(out_dir) for xml_file in os.listdir(xml_path): if not xml_file.endswith(.xml): continue img_name os.path.splitext(xml_file)[0] .jpg img cv2.imread(os.path.join(img_dir, img_name)) if img is None: print(f[warn] image not found: {img_name}) continue h, w img.shape[:2] # 从图像文件读取真实宽高而不是 XML 里的 size tree ET.parse(os.path.join(xml_path, xml_file)) root tree.getroot() lines [] for obj in root.iter(object): cls obj.find(name).text if cls not in class_list: continue class_id class_list.index(cls) bndbox obj.find(bndbox) xmin float(bndbox.find(xmin).text) ymin float(bndbox.find(ymin).text) xmax float(bndbox.find(xmax).text) ymax float(bndbox.find(ymax).text) # 坐标越界保护标注时偶尔会把框拖出图像边缘 xmin max(0.0, min(xmin, w - 1)) ymin max(0.0, min(ymin, h - 1)) xmax max(0.0, min(xmax, w - 1)) ymax max(0.0, min(ymax, h - 1)) x_center (xmin xmax) / 2.0 / w y_center (ymin ymax) / 2.0 / h box_w (xmax - xmin) / w box_h (ymax - ymin) / h lines.append(f{class_id} {x_center:.6f} {y_center:.6f} {box_w:.6f} {box_h:.6f}) out_name os.path.splitext(xml_file)[0] .txt with open(os.path.join(out_dir, out_name), w) as f: f.write(\n.join(lines))脚本逻辑有两处关键宽高取自cv2.imread读到的真实图像尺寸避免 XML 元数据过期坐标做了clamp到有效区间的保护防止某次标注手抖把框拖出图像边界生成大于 1 的归一化坐标。class_list是类别清单顺序一旦定下就不要改训练和推理阶段必须使用同一个清单。转换前的目录结构建议直接按 YOLO 的规范组织省得后面再搬文件dataset/ ├── images/ │ ├── train/ # 存放训练图像 │ └── val/ # 存放验证图像 ├── labels/ │ ├── train/ # 存放对应的标注 txt │ └── val/ └── data.yaml # 训练配置文件划分训练集和验证集时视频数据要按片段切不能随机打散到帧级别。水下视频相邻帧几乎一样随机划分会让同一段内容的帧同时出现在训练集和验证集里验证指标会虚高部署到新视频时直接「翻车」。4. 训练与调参让模型在 GPU 上真正跑起来4.1 最小训练配置data.yaml 与目录结构YOLOv8 的训练入口是yolo命令它靠一个 data.yaml 文件告诉训练器数据在哪、有几类。data.yaml 的路径建议写绝对路径因为不同版本 YOLO 对相对路径的解析规则不一致用绝对路径能少踩一个不必要的坑。# data.yaml path: /home/user/marine_dataset # 数据集根目录绝对路径 train: images/train # 相对 path 的训练图像目录 val: images/val # 相对 path 的验证图像目录 names: 0: sea_cucumber # 海参 1: sea_urchin # 海胆 2: crab # 螃蟹 3: scallop # 扇贝 4: fish # 鱼类path是数据集根目录train和val是相对于path的子目录。names是类别清单顺序必须和标注 txt 里的 class_id 严格对应。这里最常见的错误是类名写错或顺序不对模型训练完在验证集上输出混乱的预测类别检查起来非常痛苦。YOLO 有几个预置类别名在推理时会触发自动映射比如 person、car 等 COCO 类名所以自己数据集的类名尽量不要和 COCO 类名重复防止混淆。配置文件准备好之后最小训练命令是yolo detect train \ datadata.yaml \ modelyolov8s.pt \ epochs120 \ imgsz640 \ batch16 \ device0modelyolov8s.pt会被当作两用参数如果文件存在加载它作为预训练权重继续训练如果不存在脚本下载它并同时把它的网络结构作为模型骨架。关键点在这里——epochs120是常规起步值水下数据量少时 100 个 epoch 足够让验证 mAP 收敛batch16在 12GB 显存上跑 v8s 640 分辨率是安全的device0指定第一块 GPU如果是 CPU 训练速度会慢几十倍不推荐。4.2 关键训练参数epochs、batch-size、imgsz 与 lr0训练时最该花时间调的是四个参数epochs、batch-size、imgsz、lr0。这四个参数决定了训练是收敛还是发散也是新手最容易乱改的地方。epochs用早停机制控制就行。YOLOv8 默认开了早停patience默认是 100意思是验证集 mAP 在 100 个 epoch 内没有提升就停止训练。数据量 2000 张以下时一般 6090 个 epoch 就到顶了所以epochs120是安全的数据量超过 5000 张可以放到 200。不是数量越大越好过长的训练会过拟合验证集 mAP 反而下滑。imgsz是输入分辨率默认 640。水下小目标占比大时这个参数是最值得动的。把imgsz从 640 提到 960小目标在特征图上的像素覆盖变大mAP50 通常能提升 35 个点代价是显存占用和推理时间双双上涨。12GB 显存跑 v8s 960 分辨率batch 要降到 824GB 显存可以保持 batch 16。如果你发现跑起来显存溢出CUDA out of memory优先降低 batch不要优先降低 imgsz——imgsz 对小目标的影响远大于 batch。lr0是初始学习率默认 0.01。这个值在通用目标检测上表现好但水下数据集不够大、噪声较多时0.01 经常造成 loss 震荡。数据量少于 1500 张时我一般会把lr0降到 0.0010.002收敛更稳最终精度反而更高。训练过程中打开cos_lrTrue默认就是学习率按余弦曲线从初值降到接近 0后段自动微调。batch受显存限制越大越好因为大 batch 能稳定梯度。但要记住一个原则batch 变小时学习率也应该跟着降否则梯度噪声变大照样发散。训练时打开ampTrue用混合精度显存占用减半速度明显提升如果你的显卡是旧一代架构混合精度偶尔会溢出此时关掉 amp 再试。还有一个数据增强参数容易被忽略mosaic默认打开它把四张图拼成一张训练能提高了模型对遮挡和上下文的鲁棒性。但水下图像里目标稀疏、背景统一四张图拼接后目标可能被切掉一半造成大量低质量标签。出现了验证集正常、训练集 loss 一直在高位波动的情况可以把mosaic降到 0.5 甚至 0精度有提升。5. 海洋检测特别避坑loss 不降、小目标漏检的排查实录5.1 现象一训练集 loss 持续下降验证集 mAP 却卡住不动这是水下项目最常见的「玄学现场」。loss 曲线正常下行看着一切顺利验证集 mAP 从第 20 个 epoch 开始就停在 0.6 附近怎么调参数都上不去。原因是数据划分方式错了。水下数据的来源通常是几段连续视频抽帧相邻帧之间的背景和目标几乎一样。如果随机划分 train/val同一段视频的帧会同时出现在两边模型「背」住了这些几乎相同的画面验证集表现虚高——但一旦部署到一段新视频上立刻打回原形mAP 暴跌。反过来说如果划分不随机而是按顺序切模型可能恰好没见过某个角度的目标验证集又偏低。解决方法是按视频切片划分。把每段视频生成的所有帧放进同一个集合一整个片段进训练集就全进训练集进验证集就全进验证集。一个常见做法是先把视频按拍摄时间分成若干段然后按 8:2 的比例随机分配段落到训练和验证。这样保证验证集里的画面真正「没见过」指标才有参考价值。5.2 现象二大螃蟹一个不漏小鱼苗和大虾全部漏检模型训练完测下来20cm 以上的螃蟹、章鱼检测得很稳但 35cm 的小鱼苗几乎全部漏掉偶尔框出来置信度也只有 0.3 左右。这类问题在海洋生物检测里几乎必然遇到因为水下目标尺寸跨度大同一个小目标在 640 分辨率下可能只占十几个像素。原因是 imgsz 太小导致小目标在特征图上丢失。YOLOv8 有 80×80、40×40、20×20 三条输出支路20cm 的鱼在 640 分辨率下足够落到 40×40 支路但 5cm 的鱼苗在 80×80 支路也只覆盖 8×8 像素左右特征太少检测器学不到稳定的模式。解决思路从简单到复杂排第一步把 imgsz 提到 960配合 batch 减半观察小鱼苗能否检出第二步做切图训练把每张 1080p 图像切成四块 640×640 的 patch让小鱼苗在 patch 里占更大的比例第三步如果还是不行使用 SAHI 式切片推理推理时同样切图这样可以避免训练和推理尺度不一致。实际操作中imgsz 提升到 960 往往已经解决了大半问题。5.3 现象三训练中途 loss 变成 NaN模型直接报废训练到第 15 个 epoch控制台开始刷 NaN损失值变成非数字所有指标归零。这种故障在 AMP 开启、学习率偏高时最容易触发。原因是混合精度下的梯度溢出。AMP 把部分运算压缩成 fp16如果学习率过大或梯度幅值过大fp16 表示不了那么大的数字范围就会溢出为 NaN。轻则当前 epoch 报废重则模型权重全部变成 NaN要重新开始训练。解决方法是分两步降级先在训练命令里加上ampFalse关闭混合精度重启训练——一般能恢复如果关了 AMP 仍然 NaN把lr0降到 0.001同时把batch减半。两个修改一起做基本都能救回来。如果是训练后期才出现 NaN直接回滚到最近的正常 checkpoint 继续训练比从头再跑一遍省时间。5.4 现象四训练集用白平衡好的图片实测视频全是蓝绿色调模型在精心整理的数据集上验证 mAP 很好看一到现场部署识别率明显变差。检查后发现公开数据集的图像大多做过白平衡处理颜色接近自然光而实际水下视频没有校正整帧偏蓝绿海参和背景的对比度大幅下降。原因是训练分布和测试分布不一致模型学到了「颜色」这种不该依赖的捷径。此时需要把预处理环节拉回到同一套流程训练前和推理前都做白平衡校正用相同的算法处理全部图片。不要只在推理时校正、训练时不校——那等于让模型在另一个色彩空间里学习。同等的关键步骤是训练时打开色彩抖动增强hsv_h、hsv_s、hsv_v 参数人工制造颜色扰动强迫模型不要依赖颜色信息这样到了真实的水下环境里识别鲁棒性会好很多。6. 部署前的最后一公里模型轻量化与实拍视频验证训练完成后的权重是 PyTorch 格式直接跑在 Python 环境里推理速度不够特别是要上无人机、水下机器人这类算力受限的设备。我一般会先导出 ONNX再做 TensorRT 加速只留下推理引擎去掉训练代码速度提升通常在三到五倍。yolo export modelbest.pt formatonnx opset12 simplifyTrueformatonnx导出的 ONNX 文件可以直接跑 ONNX RuntimesimplifyTrue会启用一个简化器去掉计算图里的冗余节点推理时能省一些延迟。导出前确认你的训练时imgsz和导出时的imgsz一致否则模型尺寸和输入分辨率不匹配推理后会得到错位的框。TensorRT 加速是部署的最后一步。常见做法是先把 ONNX 转成 TensorRT engine指定fp16True让推理走半精度显存占用和延迟都下降。之后在设备上跑推理时用 engine 文件替代 .pt 权重。转换需要几分钟强烈建议在部署机上完成不要在开发机上转好再拷贝因为 TensorRT engine 跟显卡架构绑定跨设备不通用。部署完成后一定要做实拍验证而且要按场景分三条录制白天自然光下、混浊水质下、夜间补光下。每条视频抽帧后逐一记录漏检数和误检数。某次项目里模型在白天场景 mAP 高达 0.85夜间补光场景直接掉到 0.4就是因为训练集里夜间样本太少。补了 200 张夜间图像重训后夜间 mAP 恢复到 0.7。另一个验证技巧是可视化预测结果的置信度热力图而不是只看 mAP 数字。跑一遍推理输出每帧的置信度分布。大量目标的置信度集中在 0.3 以下时说明模型对这类目标的特征是犹豫的调优方向是把对应类别的样本补充进训练集而不是盲调 NMS 阈值。置信度集中在 0.75 以上但仍有漏检则说明目标密度太高导致重叠框抑制错误此时调整max_det和 NMS IoU 阈值比增强数据更有效。我现在的固定习惯是每调一次参数就固定训练种子确保结果可复现训练完立刻做切片推理和实拍验证两步不把 mAP 当唯一决策依据。这个流程是从一次失败的项目里学来的——当时模型验证集指标漂亮部署到客户现场后漏检惨重排查了一周才发现是数据划分的问题。把验证流程前置之后再没出过类似的交付事故。希望这篇笔记能帮你在海洋生物检测这条路上少走几段弯路。本文还有配套的精品资源点击获取
简介一套基于YOLOv8/v10/v5深度学习框架的海洋生物检测系统完整项目源码面向人工智能类毕业设计及水下生态监测、水产养殖智能化等场景可实现海胆、海参、扇贝、海星四类目标的同时识别与定位。压缩包内含2000个文件以1984个txt标注/配置数据为主体另有Python界面逻辑与训练脚本、XML配置、样式表、开发文档等辅助文件整体大小453.36MB目录结构层次分明便于按模块查阅与二次开发。系统自带PyQt5可视化界面支持图片、视频和实时摄像头三种检测输入集成目标计数、置信度显示、结果保存等实用功能同时给出数据集准备、模型训练评估以及YOLOv5n、YOLOv8n、YOLOv10n三种模型性能对比的完整代码方案。目前已有68人浏览学习适合需要毕业设计完整案例或希望快速搭建水下生物检测原型的开发者参考使用。1. 视频监控里捞不到的海参为什么换YOLOv8就能自动检测水下摄像机拍到的一帧画面里海参和岩石几乎一个颜色小螃蟹藏在沙泥里只露半个壳海胆在阴影里轮廓模糊。人工盯着屏幕看监控十分钟就疲劳漏检率比想象中高得多。这套基于深度学习的海洋生物检测系统核心就是 YOLOv8 加一批水下生物图像让模型自动框出画面里每一条鱼、每一只海参、每一个扇贝的位置和类别。YOLOv8 不是为海洋生物设计的但在这类任务里它是性价比最高的选择。它有单阶段的推理速度能在边缘设备上实时跑训练代码开箱即用又有 anchor-free 的检测头对水下常见的小目标和密集目标比老版本更友好。把模型输出接上计数逻辑就能变成自动计数、大小估算、物种统计的入口工具。这篇笔记面向两类人一类是做水产养殖监测、海洋牧场巡检或水下机器人视觉系统的工程师想快速搭一个能跑的检测流程另一类是拿这类题目做课设或毕设需要把完整链路跑通并讲出原理。下面按「结构选型 → 数据准备 → 训练调参 → 避坑 → 部署」的顺序把整个落地路径拆开。2. 从网络结构到选型YOLOv8 凭什么能扛住水下检测任务2.1 C2f、SPPF 和 Anchor-FreeYOLOv8 的三个关键改动YOLOv8 的骨架和 YOLOv5 一脉相承都来自 CSPDarknet但把原本的 C3 模块换成了 C2f。C2f 的核心是增加了一条跨层梯度流输入先经过一个卷积拆成两支一支直接往前走另一支通过若干 Bottleneck 串起来最后把各层输出拼接再卷积。这个设计让梯度能更顺畅地回传到浅层对水下这种纹理特征弱、依赖中层语义的目标有实际帮助。海参和海底岩石的区别往往不是颜色而是局部纹理结构C2f 在这种场景下的特征表达能力比 C3 更充分。检测头从 anchor-based 换成了 anchor-free。YOLOv5 需要预设一组 anchor 框的尺寸鱼大、贝类小预设不合适就得重新聚类水下数据YOLOv8 直接预测每个位置到目标框四边的距离省掉了聚类这一步。实际收益是你不用为每一类水下目标单独调 anchor模型初始化更干净小目标的回归也更直接——因为 anchor-free 迫使网络在目标中心附近的高分辨率特征图上找目标而不是依赖预设框和 ground truth 的 IoU 匹配。SPPF 部分沿用 YOLOv5做多尺度特征池化后拼接保证 80×80、40×40、20×20 三条输出支路分别负责小、中、大目标。水下场景的典型分布是小鱼苗和虾多在小目标支路大螃蟹、章鱼在中到大目标支路。三路输出配合损失函数让同一个模型能覆盖从几厘米的虾苗到几十厘米的鳐鱼。损失函数由分类 BCE Loss、回归 CIoU Loss 和 DFLDistribution Focal Loss三部分组成。DFL 的作用是把边界框的回归从单点估计变成分布估计对边界不清晰的目标更稳。水下图像普遍存在边缘模糊——螃蟹在泥沙里只露半个轮廓DFL 输出的分布能表达这种不确定性最终框出来比硬回归更贴边界。2.2 模型规模与预训练权重从 n 到 x 怎么选YOLOv8 按深度和宽度分成 n / s / m / l / x 五档。选择依据很简单看你的部署目标和显存预算。如果用 GPU 服务器训练、只做离线识别开场直接用 v8m参数和精度均衡如果后续要部署到 Jetson 这类边缘设备训练 v8s 或 v8n推理时间能控制住。不要一上来就训练 v8x——水下数据集通常只有几千张到一两万张v8x 容易过拟合训练时间却长好几倍得不偿失。预训练权重是必须用的。虽然 COCO 里没有海参和海胆但 COCO 预训练模型已经学会了通用的边缘、纹理和形状特征迁移到水下任务后收敛速度和精度都好很多。常见做法是下载对应的 .pt 权重用modelyolov8m.pt这样的方式让训练脚本自动加载 COCO 权重而不是从随机权重开始。这里有个容易误用的选择数据量决定模型档位。水下数据集少于 2000 张时用 v8s 大概率比 v8m 表现好超过 5000 张且类别差异大v8m 的精度优势才明显。某公司做海洋牧场监测时训练集只有 1200 张标注图v8m 明显过拟合验证集 mAP 反而比 v8s 低 3 个点。换回 v8s 后 mAP 稳定在 0.72 附近。3. 数据准备把水下图像变成 YOLOv8 能读懂的标注文件3.1 标注工具与类别命名开工前先统一标准训练 YOLOv8 的第一步不是跑代码而是把数据整理成它认识的格式。YOLOv8 的标注是每个图像对应一个 .txt 文本文件文件名和图像名一致内容每一行是一个目标class_id x_center y_center width height。四个坐标值都归一化到 01 之间不是像素值这一点必须记住。标注工具常见选择是 LabelImg 或 CVAT。个人做数据集用 LabelImg 足够单机运行、无依赖配置团队协作或者图像量大用 CVAT 部署一个标注服务多人并行效率高。标注前先把类别清单列死在配置文件里不要一边标一边加类别否则容易出现类别 ID 错位——某公司遇到过标到一半在列表中间插了一类后面所有 ID 都偏移排查花了一整天。水下图像的标注难度比常规目标更高有两种情况要提前定标准第一海参半埋在沙子里只露出一部分框应该框整个可见轮廓还是完整身体建议框完整身体的最大可见范围标注时参考前后帧因为视频帧里它能完整露出来。第二多个海胆挤在一起互相重叠两个目标的框重叠面积超过 60% 时建议合并成一个目标再标避免模型学到「同一种东西出现两个互相重叠的框」。3.2 VOC 转 YOLO 格式坐标归一化与转换脚本很多公开数据集和标注工具默认输出 VOC 格式的 XML里面是xmin ymin xmax ymax的像素坐标。YOLO 需要的是归一化后的中心点坐标加宽高。转换前先确认图像实际尺寸——不要从 XML 的size标签里读宽高要从图像文件本身读因为有的数据集在标注后做过缩放处理XML 里的尺寸字段可能过期导致转出来的坐标全部偏移。下面是我常用的转换脚本兼容 VOC 和 YOLO 两种标注import os import cv2 import xml.etree.ElementTree as ET def voc_to_yolo(xml_path, img_dir, out_dir, class_list): if not os.path.exists(out_dir): os.makedirs(out_dir) for xml_file in os.listdir(xml_path): if not xml_file.endswith(.xml): continue img_name os.path.splitext(xml_file)[0] .jpg img cv2.imread(os.path.join(img_dir, img_name)) if img is None: print(f[warn] image not found: {img_name}) continue h, w img.shape[:2] # 从图像文件读取真实宽高而不是 XML 里的 size tree ET.parse(os.path.join(xml_path, xml_file)) root tree.getroot() lines [] for obj in root.iter(object): cls obj.find(name).text if cls not in class_list: continue class_id class_list.index(cls) bndbox obj.find(bndbox) xmin float(bndbox.find(xmin).text) ymin float(bndbox.find(ymin).text) xmax float(bndbox.find(xmax).text) ymax float(bndbox.find(ymax).text) # 坐标越界保护标注时偶尔会把框拖出图像边缘 xmin max(0.0, min(xmin, w - 1)) ymin max(0.0, min(ymin, h - 1)) xmax max(0.0, min(xmax, w - 1)) ymax max(0.0, min(ymax, h - 1)) x_center (xmin xmax) / 2.0 / w y_center (ymin ymax) / 2.0 / h box_w (xmax - xmin) / w box_h (ymax - ymin) / h lines.append(f{class_id} {x_center:.6f} {y_center:.6f} {box_w:.6f} {box_h:.6f}) out_name os.path.splitext(xml_file)[0] .txt with open(os.path.join(out_dir, out_name), w) as f: f.write(\n.join(lines))脚本逻辑有两处关键宽高取自cv2.imread读到的真实图像尺寸避免 XML 元数据过期坐标做了clamp到有效区间的保护防止某次标注手抖把框拖出图像边界生成大于 1 的归一化坐标。class_list是类别清单顺序一旦定下就不要改训练和推理阶段必须使用同一个清单。转换前的目录结构建议直接按 YOLO 的规范组织省得后面再搬文件dataset/ ├── images/ │ ├── train/ # 存放训练图像 │ └── val/ # 存放验证图像 ├── labels/ │ ├── train/ # 存放对应的标注 txt │ └── val/ └── data.yaml # 训练配置文件划分训练集和验证集时视频数据要按片段切不能随机打散到帧级别。水下视频相邻帧几乎一样随机划分会让同一段内容的帧同时出现在训练集和验证集里验证指标会虚高部署到新视频时直接「翻车」。4. 训练与调参让模型在 GPU 上真正跑起来4.1 最小训练配置data.yaml 与目录结构YOLOv8 的训练入口是yolo命令它靠一个 data.yaml 文件告诉训练器数据在哪、有几类。data.yaml 的路径建议写绝对路径因为不同版本 YOLO 对相对路径的解析规则不一致用绝对路径能少踩一个不必要的坑。# data.yaml path: /home/user/marine_dataset # 数据集根目录绝对路径 train: images/train # 相对 path 的训练图像目录 val: images/val # 相对 path 的验证图像目录 names: 0: sea_cucumber # 海参 1: sea_urchin # 海胆 2: crab # 螃蟹 3: scallop # 扇贝 4: fish # 鱼类path是数据集根目录train和val是相对于path的子目录。names是类别清单顺序必须和标注 txt 里的 class_id 严格对应。这里最常见的错误是类名写错或顺序不对模型训练完在验证集上输出混乱的预测类别检查起来非常痛苦。YOLO 有几个预置类别名在推理时会触发自动映射比如 person、car 等 COCO 类名所以自己数据集的类名尽量不要和 COCO 类名重复防止混淆。配置文件准备好之后最小训练命令是yolo detect train \ datadata.yaml \ modelyolov8s.pt \ epochs120 \ imgsz640 \ batch16 \ device0modelyolov8s.pt会被当作两用参数如果文件存在加载它作为预训练权重继续训练如果不存在脚本下载它并同时把它的网络结构作为模型骨架。关键点在这里——epochs120是常规起步值水下数据量少时 100 个 epoch 足够让验证 mAP 收敛batch16在 12GB 显存上跑 v8s 640 分辨率是安全的device0指定第一块 GPU如果是 CPU 训练速度会慢几十倍不推荐。4.2 关键训练参数epochs、batch-size、imgsz 与 lr0训练时最该花时间调的是四个参数epochs、batch-size、imgsz、lr0。这四个参数决定了训练是收敛还是发散也是新手最容易乱改的地方。epochs用早停机制控制就行。YOLOv8 默认开了早停patience默认是 100意思是验证集 mAP 在 100 个 epoch 内没有提升就停止训练。数据量 2000 张以下时一般 6090 个 epoch 就到顶了所以epochs120是安全的数据量超过 5000 张可以放到 200。不是数量越大越好过长的训练会过拟合验证集 mAP 反而下滑。imgsz是输入分辨率默认 640。水下小目标占比大时这个参数是最值得动的。把imgsz从 640 提到 960小目标在特征图上的像素覆盖变大mAP50 通常能提升 35 个点代价是显存占用和推理时间双双上涨。12GB 显存跑 v8s 960 分辨率batch 要降到 824GB 显存可以保持 batch 16。如果你发现跑起来显存溢出CUDA out of memory优先降低 batch不要优先降低 imgsz——imgsz 对小目标的影响远大于 batch。lr0是初始学习率默认 0.01。这个值在通用目标检测上表现好但水下数据集不够大、噪声较多时0.01 经常造成 loss 震荡。数据量少于 1500 张时我一般会把lr0降到 0.0010.002收敛更稳最终精度反而更高。训练过程中打开cos_lrTrue默认就是学习率按余弦曲线从初值降到接近 0后段自动微调。batch受显存限制越大越好因为大 batch 能稳定梯度。但要记住一个原则batch 变小时学习率也应该跟着降否则梯度噪声变大照样发散。训练时打开ampTrue用混合精度显存占用减半速度明显提升如果你的显卡是旧一代架构混合精度偶尔会溢出此时关掉 amp 再试。还有一个数据增强参数容易被忽略mosaic默认打开它把四张图拼成一张训练能提高了模型对遮挡和上下文的鲁棒性。但水下图像里目标稀疏、背景统一四张图拼接后目标可能被切掉一半造成大量低质量标签。出现了验证集正常、训练集 loss 一直在高位波动的情况可以把mosaic降到 0.5 甚至 0精度有提升。5. 海洋检测特别避坑loss 不降、小目标漏检的排查实录5.1 现象一训练集 loss 持续下降验证集 mAP 却卡住不动这是水下项目最常见的「玄学现场」。loss 曲线正常下行看着一切顺利验证集 mAP 从第 20 个 epoch 开始就停在 0.6 附近怎么调参数都上不去。原因是数据划分方式错了。水下数据的来源通常是几段连续视频抽帧相邻帧之间的背景和目标几乎一样。如果随机划分 train/val同一段视频的帧会同时出现在两边模型「背」住了这些几乎相同的画面验证集表现虚高——但一旦部署到一段新视频上立刻打回原形mAP 暴跌。反过来说如果划分不随机而是按顺序切模型可能恰好没见过某个角度的目标验证集又偏低。解决方法是按视频切片划分。把每段视频生成的所有帧放进同一个集合一整个片段进训练集就全进训练集进验证集就全进验证集。一个常见做法是先把视频按拍摄时间分成若干段然后按 8:2 的比例随机分配段落到训练和验证。这样保证验证集里的画面真正「没见过」指标才有参考价值。5.2 现象二大螃蟹一个不漏小鱼苗和大虾全部漏检模型训练完测下来20cm 以上的螃蟹、章鱼检测得很稳但 35cm 的小鱼苗几乎全部漏掉偶尔框出来置信度也只有 0.3 左右。这类问题在海洋生物检测里几乎必然遇到因为水下目标尺寸跨度大同一个小目标在 640 分辨率下可能只占十几个像素。原因是 imgsz 太小导致小目标在特征图上丢失。YOLOv8 有 80×80、40×40、20×20 三条输出支路20cm 的鱼在 640 分辨率下足够落到 40×40 支路但 5cm 的鱼苗在 80×80 支路也只覆盖 8×8 像素左右特征太少检测器学不到稳定的模式。解决思路从简单到复杂排第一步把 imgsz 提到 960配合 batch 减半观察小鱼苗能否检出第二步做切图训练把每张 1080p 图像切成四块 640×640 的 patch让小鱼苗在 patch 里占更大的比例第三步如果还是不行使用 SAHI 式切片推理推理时同样切图这样可以避免训练和推理尺度不一致。实际操作中imgsz 提升到 960 往往已经解决了大半问题。5.3 现象三训练中途 loss 变成 NaN模型直接报废训练到第 15 个 epoch控制台开始刷 NaN损失值变成非数字所有指标归零。这种故障在 AMP 开启、学习率偏高时最容易触发。原因是混合精度下的梯度溢出。AMP 把部分运算压缩成 fp16如果学习率过大或梯度幅值过大fp16 表示不了那么大的数字范围就会溢出为 NaN。轻则当前 epoch 报废重则模型权重全部变成 NaN要重新开始训练。解决方法是分两步降级先在训练命令里加上ampFalse关闭混合精度重启训练——一般能恢复如果关了 AMP 仍然 NaN把lr0降到 0.001同时把batch减半。两个修改一起做基本都能救回来。如果是训练后期才出现 NaN直接回滚到最近的正常 checkpoint 继续训练比从头再跑一遍省时间。5.4 现象四训练集用白平衡好的图片实测视频全是蓝绿色调模型在精心整理的数据集上验证 mAP 很好看一到现场部署识别率明显变差。检查后发现公开数据集的图像大多做过白平衡处理颜色接近自然光而实际水下视频没有校正整帧偏蓝绿海参和背景的对比度大幅下降。原因是训练分布和测试分布不一致模型学到了「颜色」这种不该依赖的捷径。此时需要把预处理环节拉回到同一套流程训练前和推理前都做白平衡校正用相同的算法处理全部图片。不要只在推理时校正、训练时不校——那等于让模型在另一个色彩空间里学习。同等的关键步骤是训练时打开色彩抖动增强hsv_h、hsv_s、hsv_v 参数人工制造颜色扰动强迫模型不要依赖颜色信息这样到了真实的水下环境里识别鲁棒性会好很多。6. 部署前的最后一公里模型轻量化与实拍视频验证训练完成后的权重是 PyTorch 格式直接跑在 Python 环境里推理速度不够特别是要上无人机、水下机器人这类算力受限的设备。我一般会先导出 ONNX再做 TensorRT 加速只留下推理引擎去掉训练代码速度提升通常在三到五倍。yolo export modelbest.pt formatonnx opset12 simplifyTrueformatonnx导出的 ONNX 文件可以直接跑 ONNX RuntimesimplifyTrue会启用一个简化器去掉计算图里的冗余节点推理时能省一些延迟。导出前确认你的训练时imgsz和导出时的imgsz一致否则模型尺寸和输入分辨率不匹配推理后会得到错位的框。TensorRT 加速是部署的最后一步。常见做法是先把 ONNX 转成 TensorRT engine指定fp16True让推理走半精度显存占用和延迟都下降。之后在设备上跑推理时用 engine 文件替代 .pt 权重。转换需要几分钟强烈建议在部署机上完成不要在开发机上转好再拷贝因为 TensorRT engine 跟显卡架构绑定跨设备不通用。部署完成后一定要做实拍验证而且要按场景分三条录制白天自然光下、混浊水质下、夜间补光下。每条视频抽帧后逐一记录漏检数和误检数。某次项目里模型在白天场景 mAP 高达 0.85夜间补光场景直接掉到 0.4就是因为训练集里夜间样本太少。补了 200 张夜间图像重训后夜间 mAP 恢复到 0.7。另一个验证技巧是可视化预测结果的置信度热力图而不是只看 mAP 数字。跑一遍推理输出每帧的置信度分布。大量目标的置信度集中在 0.3 以下时说明模型对这类目标的特征是犹豫的调优方向是把对应类别的样本补充进训练集而不是盲调 NMS 阈值。置信度集中在 0.75 以上但仍有漏检则说明目标密度太高导致重叠框抑制错误此时调整max_det和 NMS IoU 阈值比增强数据更有效。我现在的固定习惯是每调一次参数就固定训练种子确保结果可复现训练完立刻做切片推理和实拍验证两步不把 mAP 当唯一决策依据。这个流程是从一次失败的项目里学来的——当时模型验证集指标漂亮部署到客户现场后漏检惨重排查了一周才发现是数据划分的问题。把验证流程前置之后再没出过类似的交付事故。希望这篇笔记能帮你在海洋生物检测这条路上少走几段弯路。本文还有配套的精品资源点击获取
