我前段时间帮一个海洋牧场项目做了套鱼群监测系统核心目标就一件事对着水下视频画面把游来游去的鱼实时框出来、数清楚、分好类。前后折腾了三个多月踩了不少坑也总结出一套相对完整的流程。今天这篇就把整个“基于图像处理的海洋渔场鱼类多目标检测系统算法研究”从头到尾拆开讲一遍包括技术选型、数据怎么搞、模型怎么调、部署要注意什么以及我实测下来最实用的避坑经验给正要碰这一方向的朋友做个参考。这个方向说通俗点就是用计算机视觉替代人眼和人工计数在渔场养殖、渔业资源调查、渔获物分拣这些场景里自动识别画面中的鱼。它特别适合这几类人来读一是搞水产养殖信息化的人二是做视觉检测算法刚入门的研究生三是想落地一套轻量级检测系统的嵌入式工程师。我会尽量把原理和实操都写透即使你之前没做过目标检测跟着走也能把思路理顺。1. 整体设计思路拆解为什么必须走这条技术路线1.1 需求分析检测任务真正的难点在哪先说我对这个项目核心难点的理解。很多人一听“鱼类检测”第一反应是拿个通用目标检测模型怼上去就行但真正到了海洋渔场场景里你会发现完全不是那么回事。水下环境是最大的变数。可见光在水里传播会快速衰减红光损失最明显所以水下画面普遍偏蓝绿色。悬浮颗粒和浮游生物会造成散射让画面像起了层雾。自然光角度一变整个画面的亮度和对比度就跟着大幅波动。渔场的水质也会随季节、潮汐、投喂情况变化同一条水域不同时间段拍的图像风格可能差得十万八千里。目标本身的形态特点决定了检测难度。鱼不是静止的刚性物体它游动时身体会弯曲尾巴会摆动不同角度下轮廓差异巨大。鱼群经常密集聚集个体之间互相遮挡重叠严重。不同鱼种之间外形相似度又高比如很多人工养殖的经济鱼种从背侧看轮廓几乎一样只能靠纹理、斑点、体型比例这些细节区分。检测目标种类多且大小差异大。渔场里常见鱼种从小型鱼苗到成熟大鱼体长跨度可能超过一个数量级。相机安装距离不同鱼在画面中的像素尺寸也从几十像素到几百像素不等。这种多尺度问题直接影响锚框设计和小目标召回率。1.2 技术选型对比从传统图像处理到深度学习做这个项目的时候我先把市场上主流的技术路线摆出来逐一对比过分成了三个梯队。第一梯队是传统图像处理方法。比如边缘检测加轮廓提取、颜色直方图匹配、帧差法、背景建模、分水岭分割等等。这类方法的优势是计算量小、可解释性强、不需要标注数据但缺点非常致命泛化能力差。水下光照一变、水质一变阈值就得重新调而且对密集重叠的目标基本无能为力。到我做项目这个阶段传统方法只适合做辅助比如ROI区域的粗提取作为主检测方案是不现实的。第二梯队是经典深度学习检测框架。两阶段的代表是Faster R-CNN一阶段的代表是SSD和YOLO系列早期版本。Faster R-CNN精度高但速度慢在实时视频场景里帧率撑不起来SSD对多尺度支持不好小目标漏检严重。当时YOLOv5已经非常成熟速度和精度的平衡性最好生态也完善。第三梯队是端到端的Transforme检测器比如DETR和RT-DETR。这类模型把目标检测重新定义为集合预测问题不需要手工设计锚框和NMS后处理结构简洁但是工程落地需要更新的推理框架在资源受限的嵌入式设备上部署不是特别顺手。最后我给这个项目定的路线是以YOLO系列为骨干做模型定制配一套完整的数据增强和训练优化管道。这个选择不是单纯因为哪个模型分值高而是综合考虑了算法性能、训练难度、部署便利度、社区生态之后的均衡解。1.3 为什么YOLO系和Anchor-Free模型更契合渔场场景YOLO系模型在渔场这类场景里的优势我用一句话总结实时性要求高、目标尺度变化大、部署设备性能有限这三个条件叠在一起基本就把两阶段检测器排除了。在目标检测的模型家族里YOLO系列一直走锚框(anchor)路线。锚框的意义在于把“哪里可能有物体”这个先验信息直接喂给模型。渔场图像里鱼群密集、尺度悬殊合理设置的锚框能让模型收敛更快、定位更稳。不过锚框的尺寸设计必须基于真实数据统计不能照搬COCO数据集的默认值。我后面会在训练部分详细说怎么用K-Means聚类去统计自己数据集的最优锚框。近年来YOLO系也开始引入Anchor-Free设计比如YOLOv8在部分输出层就不再依赖锚框。Anchor-Free模型通过直接在特征图上预测目标中心点和宽高减少了锚框相关的超参数对形态变化大的目标其实更友好。鱼在水里的姿态让每一帧的目标框其宽高比波动很大Anchor-Free的中心点加尺寸回归结构对这种波动天然不那么敏感。所以我的最终推荐方案是拿YOLOv8系列作为基线根据渔场实际场景在颈部网络和注意力模块上做轻量化改造再用自己的水下鱼类数据集训练。这条路的可复现性很高后文里我给出的所有训练细节都是在这套框架下实测过的。2. 数据工程海洋场景下的数据集构建与标注2.1 图像来源与采集策略公开数据集不够用我必须说一句可能你不爱听的话做渔场鱼类检测千万别指望只靠公开数据集就能训练出一个可落地模型。公开的水下鱼类数据集确实有几个比如带标注的珊瑚礁监测影像、北美某些渔业机构开放档案等。但这些数据集大多拍摄于清澈海域目标鱼种、拍摄机位、光照条件都和实际渔场不同。直接在这些数据上训练的模型拿到渔场实拍画面里一测mAP往往掉得惨不忍睹。这就是领域偏移问题。我采用的做法是“公开数据集打底、实拍数据做主、合成数据做补充”三层数据策略。第一层是公开数据集主要用于模型预热。先让模型学会通用特征提取能力从ImageNet预训练权重初始化之后再用鱼类公开数据微调一个粗版本。第二层是实拍数据。我在渔场部署了实验相机分别在早上、中午、傍晚、夜间补光四种条件下采集视频覆盖阴天、晴天、水浑、水清四种水质状态。然后按帧抽图抽图间隔根据视频中鱼群游动速度调整。鱼游得快就每10帧抽一帧游得慢就每25帧抽一帧避免连续帧太相似造成数据冗余。第三层是合成数据。这一招很多人忽略但我实测非常管用。通过渲染引擎把鱼类三维模型放进模拟水下场景加入体积散射、景深模糊、噪声等效果批量生成训练图像。合成数据虽然分布和真实照片不完全一样但能把“鱼的各种姿态、各种遮挡程度”这些真实数据里难采集的极端情况补全。2.2 标注规范多目标检测的标注不该只画框多目标检测的标注看起来就是个框但里面细节极多。我整理了自己项目里实际执行的标注规范给做这块的人直接参考。标注工具用的是LabelImg配合自定义脚本输出格式统一为YOLO的txt格式类别ID从0开始递增。关键点是必须定义清楚“什么算一个有效目标”。我和标注团队定了几个硬性规则鱼体完整可见且长度大于20像素的标注为一个完整目标框鱼体被遮挡但可见部分超过50%的允许标注框按可见部分画出被遮挡超过50%但仍能确定身份的标注为“遮挡样本”并单独在属性里打标记只有半个头或一片尾巴露出来的不标。这个规则听起来简单实际操作时却是分歧最大的地方。两个人标同一张密集鱼群图标出来的目标数可能差30%。所以我要求每张图双人标注第三人仲裁不合格的图退回重标。标注框还有一个值得注意的技巧稍微加一点外扩边距。鱼尾和鱼鳍是半透明且边缘模糊的如果框卡得太死模型学到的特征会缺少周围背景信息。工程上一般把标注框外扩2%~5%的像素让模型能看到一点点周边上下文实测能减少漏检。2.3 数据增强模拟水下光照变化比什么都重要很多通用目标检测教程里的数据增强都是随机翻转、亮度抖动这些基础操作但对水下鱼类检测来说最关键的增强是模拟水体对光学的影响。我在增强管道里配置了这几类操作都是实测过有效性的色彩通道扰动。在RGB通道上分别做独立偏移和增益高频时我会加大蓝色和绿色通道的扰动范围抑制红色通道的扰动范围。这一步是让模型学会克服水下红光衰减不会把水体颜色误判成鱼体颜色。对比度和亮度同变。水下图像整体对比度偏低我用多个不同强度档位做对比度变换有些图拉得更锐利有些图继续压暗这样模型在低对比度图像上的鲁棒性提升非常明显。模拟悬浮颗粒。随机往图上叠加大小不一、半透明、带模糊的小圆点效果类似水中浮游生物可以在图像层面模拟散射。拼接增强Mosaic和多尺度训练。把四张图随机缩放拼接成一张训练图同时按0.5到1.5的随机倍率缩放输入尺寸让模型在同一批数据里看到各种尺度下的鱼。削减一半增强。训练初始阶段我不开重增强先用基础增强跑几十轮让模型稳定下来后面再逐步叠加高难度的增强避免训练初期梯度过于震荡。3. 模型训练与优化让算法在渔业数据上真正收敛3.1 训练策略与超参数从预训练权重开始逐步推进训练阶段我给一个可以直接抄作业的流程。第一步加载在ImageNet或COCO上预训练过的YOLOv8权重冻结骨干网络参数只训练检测头和颈部网络。这一阶段我用较低的输入分辨率640x640学习率设置在0.001跑50个epoch。目标是把随机初始化的检测头快速拉到一个“能干活”的状态同时不至于破坏骨干网络已经学到的通用特征。第二步解冻全部网络层进入全参数微调阶段。输入分辨率提升到960x960学习率降到0.0001使用余弦退火调度器跑80个epoch。这一阶段模型会大量学习鱼类特有的纹理特征和姿态特征同时也是过拟合最容易出现的阶段所以我配合了早停策略验证集mAP连续15个epoch不升就停止。第三步用真实渔场场景的困难样本做最后冲刺。把白天光照剧烈变化、水质浑浊、鱼群高密度重叠这些最难的数据集中抽出来用小学习率0.00001再微调20轮。这一步能帮模型聚焦解决真正影响上线的难点。我还要专门说一个参数批次大小。水下鱼类数据集的图像风格差异很大为了让每个batch里同时包含不同光照、不同水质、不同鱼种的样本批次至少要设到16。如果你显存有限优先降低输入分辨率而不是降低批次因为高对比度的多样性对模型泛化的影响远大于单张图的分辨率。3.2 损失函数与困难样本挖掘容易被忽视的两个精度瓶颈YOLO系列自带CIoU损失做目标框回归分类用的BCE损失。默认配置就能跑起来但要让精度再上一个台阶我做了两处修改。第一处对目标框回归损失加一点尺度权重。鱼在画面里小了同样的几个像素偏移在IOU上造成的损失波动会被放大。我给小目标框的回归损失乘了一个1.2的权重系数让模型更侧重修正小目标的定位误差。这个改动在小目标比例高的渔场数据上mAP能提升1到2个点。第二处引入基于Focal Loss思想的困难样本加权。水下鱼群场景天生有大量难样本比如被遮挡大半的鱼、颜色与环境融为一体的鱼。标准交叉熵会被大量易分类的背景样本主导难样本的梯度被稀释。我按Focal Loss的思路对分类损失做了重新加权让模型每次梯度更新时更加关注那些置信度徘徊在0.4~0.7之间的纠结样本。实测下来这种细节上的修正比单纯增大模型体积有效得多。还有一个工程细节是OHEM式的困难样本挖掘。我每个epoch会统计非背景预测框里分类置信度偏低的样本把它们的loss做成一个小列表在下个epoch用加权方式重复参与反向传播。代码就是几十行的事但困难样本的过拟合被明显改善。训练完成之后我先用验证集做基准测试然后专门跑一段真实渔场视频做可视化测评。我发现一个现象离线指标mAP其实不能完全反映在线表现。某个模型在验证集上mAP达到了89.5%但放到一段鱼群高速游动的视频里大量鱼在帧间被重复计数或者短暂跟丢这个体验只有在真实场景里跑一遍才知道。所以我建议每个做这个方向的朋友从第一天起就必须留一份真实视频作为主观验收样本不能只看mAP。3.3 多目标检测的计数与关联逻辑检测完才是刚开始严格来说这个项目不只做检测还要在检测的基础上完成渔场统计计数。多目标检测给出每一帧的目标框之后还需要一套跟踪关联逻辑来避免重复计数。我在项目里用的是ByteTrack它的思路是把高置信度框和低置信度框分开处理利用两者之间的运动一致性来维持轨迹。常规的朴素方法只保留高置信度框做跟踪因为直觉上低置信度框就是误检。但渔场鱼群密集一条鱼被同伴遮挡时检测框置信度骤降如果直接丢弃轨迹会断计数就会漏。ByteTrack这种给低置信度框留一个二次配对机会的设计对密集目标场景特别友好。实现时还需要做两个适配。第一鱼游动是自由曲线不是线性匀速运动跟踪算法里用卡尔曼滤波做运动预测时过程噪声我调得比行人跟踪高不少。第二检测器每一帧都会输出大量疑似鱼的候选框跟踪器里最大轨迹丢失容忍帧数我设为25帧意思是目标在画面里短暂消失25帧内继续保留轨迹超过25帧才判定真的离开或漏检。这两个参数的调优直接决定了“计数”这个上层应用的误差大小。4. 实际部署从高性能服务器到边缘设备的不完全妥协4.1 推理框架选型与模型压缩帧率和精度的权衡渔场场景里最常用的部署设备有两类一类是机房里的GPU服务器处理离线历史视频另一类就是岸基或船载的边缘设备比如带GPU的嵌入式工控机处理实时视频流。两类设备的性能差异很大模型不能一套方案通吃。在GPU服务器上我直接用TensorRT做推理加速。YOLOv8模型导出为ONNX再过TensorRT的FP16精度优化速度能比原版PyTorch推理快三到五倍。实测一块中等偏上性能的GPU卡就能实时处理六路1080p视频流完全满足需求。边缘设备上通常就要做模型量化。把权重从FP32压到INT8体积缩小约四倍推理速度加快大约两到三倍代价是精度损失。我在这个项目里测得mAP掉大约1.5个百分点整体在可接受范围内。但如果目标是小鱼苗或半透明水母这种本身检测难度就很高的目标量化后的漏检率会明显上升我建议这类目标保留FP16模型或者给检测器设置更高的置信度下限做补偿。注意TensorRT版本和CUDA版本必须严格匹配这是部署踩坑的重灾区。如果经常出现导出后的模型在推理时报错大半几率是版本不兼容造成的。4.2 后处理细节NMS参数和类别过滤的工程调整模型输出的一堆候选框不是最终答案后处理的参数直接影响最终可视化效果和计数精度。我在项目里调了三个关键参数。置信度阈值。设太高容易漏检小目标设太低会引入大量误检。我通过分析验证集上不同阈值对应的F1曲线找到的最佳点是0.35。这个值会在鱼群密集时段适当调高到0.4换来更干净的计数结果。NMS的IoU阈值。默认值是0.45我测下来在鱼群场景里偏紧。因为鱼重叠太多两个相邻的相邻目标如果IoU超过0.45就被合并了结果好几条鱼被框成一个框。我把阈值放宽到0.55允许更多交叉重叠的框保留下来代价是偶尔出现同一目标两次检测但跟踪模块的轨迹关联可以消除这个副作用。类别过滤。如果目标只是“数鱼”不要求区分具体鱼种我会把所有非鱼类误检类别直接屏蔽掉只保留鱼类类别输出。4.3 模型更新的闭环机制数据漂移不可忽视模型部署上线不是终点。渔场的水质会随季节变化鱼的体型会随生长周期变化几个月前训练的数据在半年后可能已经不符合现实分布。我建立了一套“异常样本回流-人工复核-定期增量训练”的闭环机制。具体做法是在推理服务里专门记录置信度在0.3到0.6之间的“犹豫样本”每周导出一批让相关人员快速过一眼把其中有价值的难例重新导入训练集。每月用增量数据做一次快速微调每季度做一次完整重训。这套机制虽然听起来繁琐但在长周期渔业监测项目中是保证模型有效性的关键。5. 常见问题与排查技巧实录这部分我把项目里真实遇到、网上又不太容易查到解决方案的问题整理成表每条都是实际踩坑后总结的。问题现象可能原因排查思路与解决方案小目标鱼苗几乎全部漏检输入分辨率太低或锚框尺寸与目标不匹配统计标注框尺寸分布用聚类算法重算锚框训练和推理统一使用高分辨率输入比如960以上低对比度时段误检率飙升训练集中夜晚和阴天样本占比太低采集并补充恶劣光照样本增强通道里提高对比度和亮度变换强度密集鱼群目标框反复跳变跟踪算法运动模型不适合鱼类随机游动调高卡尔曼滤波过程噪声降低检测置信度阈值增加用于跟踪关联的候选框数量部署端推理速度比预期慢很多模型FLOPs太高或没有做模型量化用TensorRT加速评估在边缘设备上用INT8量化模型在公开数据集上精测很高实拍视频表现差领域偏移公开数据与真实渔场场景分布差距大重新采集同场景数据做迁移微调用合成数据补充极端姿态和遮挡样本不同鱼种易混淆类别间特征区分度不足增加数据量尤其是不同姿态的样本尝试在标签层面增加细粒度分类分支5.1 小目标和鱼苗检测的专项改进小目标检测是这个项目里难度最大的一块我做了很多实验才拼出一条相对有效的方案。第一个改动是高分辨率推理。训练时输入分辨率从640提到960推理时同样用960。分辨率提升带来的是小目标像素覆盖数增加特征图上的响应更强。代价是推理时间增加但TensorRT优化后完全能接受。第二个改动是特征金字塔增强。YOLOv8默认就有FPNPAN结构但针对小目标我在高分辨率特征图分支上多设计了一层细粒度特征融合把低层空间细节信息直接送进检测头。这一步对小鱼苗的召回率帮助最大。第三个改动是测试时增强TTA。推理时对同一帧做多个尺度的推理再把结果融合。视频分析场景里TTA很耗时间所以我只把TTA用在离线分析模式实时流里不用。实际项目里这套组合拳把小鱼苗的召回率从57%提到了约72%虽然离完美还很远但已经能支撑相关业务量的统计需求。5.2 水质剧烈变化时的模型健壮性海洋水质变化往往是突发的比如暴雨后泥沙涌入、赤潮带来水体浊度骤升。这种极端变化发生前模型完全没见过。我推荐的办法是在推理链路里加一个水质感知模块。用一组简单的统计特征比如图像的蓝色通道均值、灰度方差、高频能量占比判定当前画面的水质属于清澈、一般还是浑浊三类模式。不同模式下自动切换不同的置信度阈值和后处理参数。浑浊模式下适当调低置信度阈值因为目标边缘被散射模糊模型输出置信度整体偏低如果还用高阈值就全漏了。另外预处理阶段加一个轻量的水下图像增强算法也非常有价值。这个增强不必复杂用白平衡校正加自适应直方图均衡就很有效。增强后的图像在输入模型之前把对比度拉高让低能见度场景下的检测成功率提升一大截。5.3 夜间补光场景的针对性训练渔场夜间监测常用白光或红外补光。白光补光下水体散射严重光柱区域过曝阴影区域过暗同一帧画面曝光差异很大。这会导致模型在亮区和暗区的检测行为完全不同。我的做法是训练时对这部分图像做局部曝光增强随机选取图像的一块区域做独立的亮度调整模拟补光灯不均匀分布。另外把红外图像统一转为灰度图参与训练避免模型去学红外图像里的颜色信息因为这个信息实际场景里并不稳定。夜间模式我最终单独训练了一个模型与白天模型自动切换。虽然增加了训练和运维成本但换来的是夜间识别稳定性的显著提升。最后再分享一个小技巧关于模型剪枝和蒸馏我这次项目没有用但给后续优化留了接口。如果未来要把模型压到更低功耗的设备上可以训练一个大的Teacher模型生成软标签再蒸馏给一个小Student模型。这种方案往往比直接拿小模型硬训练效果更好。这个项目做完之后我一直强调一个理念在渔场环境里做目标检测算法只是一半功夫另一半在数据和工程细节上。转换一下思路与其花大量精力去堆模型参数量不如回头把数据管线上那些不显眼的地方做扎实。一次精准的标注规范、一套贴近水下光学特性的数据增强、一个合理的部署阈值调整带来的平均精度提升往往比换一个更大的骨干网络更明显。希望这套从数据到部署的完整链路能帮你少走几段弯路。
我前段时间帮一个海洋牧场项目做了套鱼群监测系统核心目标就一件事对着水下视频画面把游来游去的鱼实时框出来、数清楚、分好类。前后折腾了三个多月踩了不少坑也总结出一套相对完整的流程。今天这篇就把整个“基于图像处理的海洋渔场鱼类多目标检测系统算法研究”从头到尾拆开讲一遍包括技术选型、数据怎么搞、模型怎么调、部署要注意什么以及我实测下来最实用的避坑经验给正要碰这一方向的朋友做个参考。这个方向说通俗点就是用计算机视觉替代人眼和人工计数在渔场养殖、渔业资源调查、渔获物分拣这些场景里自动识别画面中的鱼。它特别适合这几类人来读一是搞水产养殖信息化的人二是做视觉检测算法刚入门的研究生三是想落地一套轻量级检测系统的嵌入式工程师。我会尽量把原理和实操都写透即使你之前没做过目标检测跟着走也能把思路理顺。1. 整体设计思路拆解为什么必须走这条技术路线1.1 需求分析检测任务真正的难点在哪先说我对这个项目核心难点的理解。很多人一听“鱼类检测”第一反应是拿个通用目标检测模型怼上去就行但真正到了海洋渔场场景里你会发现完全不是那么回事。水下环境是最大的变数。可见光在水里传播会快速衰减红光损失最明显所以水下画面普遍偏蓝绿色。悬浮颗粒和浮游生物会造成散射让画面像起了层雾。自然光角度一变整个画面的亮度和对比度就跟着大幅波动。渔场的水质也会随季节、潮汐、投喂情况变化同一条水域不同时间段拍的图像风格可能差得十万八千里。目标本身的形态特点决定了检测难度。鱼不是静止的刚性物体它游动时身体会弯曲尾巴会摆动不同角度下轮廓差异巨大。鱼群经常密集聚集个体之间互相遮挡重叠严重。不同鱼种之间外形相似度又高比如很多人工养殖的经济鱼种从背侧看轮廓几乎一样只能靠纹理、斑点、体型比例这些细节区分。检测目标种类多且大小差异大。渔场里常见鱼种从小型鱼苗到成熟大鱼体长跨度可能超过一个数量级。相机安装距离不同鱼在画面中的像素尺寸也从几十像素到几百像素不等。这种多尺度问题直接影响锚框设计和小目标召回率。1.2 技术选型对比从传统图像处理到深度学习做这个项目的时候我先把市场上主流的技术路线摆出来逐一对比过分成了三个梯队。第一梯队是传统图像处理方法。比如边缘检测加轮廓提取、颜色直方图匹配、帧差法、背景建模、分水岭分割等等。这类方法的优势是计算量小、可解释性强、不需要标注数据但缺点非常致命泛化能力差。水下光照一变、水质一变阈值就得重新调而且对密集重叠的目标基本无能为力。到我做项目这个阶段传统方法只适合做辅助比如ROI区域的粗提取作为主检测方案是不现实的。第二梯队是经典深度学习检测框架。两阶段的代表是Faster R-CNN一阶段的代表是SSD和YOLO系列早期版本。Faster R-CNN精度高但速度慢在实时视频场景里帧率撑不起来SSD对多尺度支持不好小目标漏检严重。当时YOLOv5已经非常成熟速度和精度的平衡性最好生态也完善。第三梯队是端到端的Transforme检测器比如DETR和RT-DETR。这类模型把目标检测重新定义为集合预测问题不需要手工设计锚框和NMS后处理结构简洁但是工程落地需要更新的推理框架在资源受限的嵌入式设备上部署不是特别顺手。最后我给这个项目定的路线是以YOLO系列为骨干做模型定制配一套完整的数据增强和训练优化管道。这个选择不是单纯因为哪个模型分值高而是综合考虑了算法性能、训练难度、部署便利度、社区生态之后的均衡解。1.3 为什么YOLO系和Anchor-Free模型更契合渔场场景YOLO系模型在渔场这类场景里的优势我用一句话总结实时性要求高、目标尺度变化大、部署设备性能有限这三个条件叠在一起基本就把两阶段检测器排除了。在目标检测的模型家族里YOLO系列一直走锚框(anchor)路线。锚框的意义在于把“哪里可能有物体”这个先验信息直接喂给模型。渔场图像里鱼群密集、尺度悬殊合理设置的锚框能让模型收敛更快、定位更稳。不过锚框的尺寸设计必须基于真实数据统计不能照搬COCO数据集的默认值。我后面会在训练部分详细说怎么用K-Means聚类去统计自己数据集的最优锚框。近年来YOLO系也开始引入Anchor-Free设计比如YOLOv8在部分输出层就不再依赖锚框。Anchor-Free模型通过直接在特征图上预测目标中心点和宽高减少了锚框相关的超参数对形态变化大的目标其实更友好。鱼在水里的姿态让每一帧的目标框其宽高比波动很大Anchor-Free的中心点加尺寸回归结构对这种波动天然不那么敏感。所以我的最终推荐方案是拿YOLOv8系列作为基线根据渔场实际场景在颈部网络和注意力模块上做轻量化改造再用自己的水下鱼类数据集训练。这条路的可复现性很高后文里我给出的所有训练细节都是在这套框架下实测过的。2. 数据工程海洋场景下的数据集构建与标注2.1 图像来源与采集策略公开数据集不够用我必须说一句可能你不爱听的话做渔场鱼类检测千万别指望只靠公开数据集就能训练出一个可落地模型。公开的水下鱼类数据集确实有几个比如带标注的珊瑚礁监测影像、北美某些渔业机构开放档案等。但这些数据集大多拍摄于清澈海域目标鱼种、拍摄机位、光照条件都和实际渔场不同。直接在这些数据上训练的模型拿到渔场实拍画面里一测mAP往往掉得惨不忍睹。这就是领域偏移问题。我采用的做法是“公开数据集打底、实拍数据做主、合成数据做补充”三层数据策略。第一层是公开数据集主要用于模型预热。先让模型学会通用特征提取能力从ImageNet预训练权重初始化之后再用鱼类公开数据微调一个粗版本。第二层是实拍数据。我在渔场部署了实验相机分别在早上、中午、傍晚、夜间补光四种条件下采集视频覆盖阴天、晴天、水浑、水清四种水质状态。然后按帧抽图抽图间隔根据视频中鱼群游动速度调整。鱼游得快就每10帧抽一帧游得慢就每25帧抽一帧避免连续帧太相似造成数据冗余。第三层是合成数据。这一招很多人忽略但我实测非常管用。通过渲染引擎把鱼类三维模型放进模拟水下场景加入体积散射、景深模糊、噪声等效果批量生成训练图像。合成数据虽然分布和真实照片不完全一样但能把“鱼的各种姿态、各种遮挡程度”这些真实数据里难采集的极端情况补全。2.2 标注规范多目标检测的标注不该只画框多目标检测的标注看起来就是个框但里面细节极多。我整理了自己项目里实际执行的标注规范给做这块的人直接参考。标注工具用的是LabelImg配合自定义脚本输出格式统一为YOLO的txt格式类别ID从0开始递增。关键点是必须定义清楚“什么算一个有效目标”。我和标注团队定了几个硬性规则鱼体完整可见且长度大于20像素的标注为一个完整目标框鱼体被遮挡但可见部分超过50%的允许标注框按可见部分画出被遮挡超过50%但仍能确定身份的标注为“遮挡样本”并单独在属性里打标记只有半个头或一片尾巴露出来的不标。这个规则听起来简单实际操作时却是分歧最大的地方。两个人标同一张密集鱼群图标出来的目标数可能差30%。所以我要求每张图双人标注第三人仲裁不合格的图退回重标。标注框还有一个值得注意的技巧稍微加一点外扩边距。鱼尾和鱼鳍是半透明且边缘模糊的如果框卡得太死模型学到的特征会缺少周围背景信息。工程上一般把标注框外扩2%~5%的像素让模型能看到一点点周边上下文实测能减少漏检。2.3 数据增强模拟水下光照变化比什么都重要很多通用目标检测教程里的数据增强都是随机翻转、亮度抖动这些基础操作但对水下鱼类检测来说最关键的增强是模拟水体对光学的影响。我在增强管道里配置了这几类操作都是实测过有效性的色彩通道扰动。在RGB通道上分别做独立偏移和增益高频时我会加大蓝色和绿色通道的扰动范围抑制红色通道的扰动范围。这一步是让模型学会克服水下红光衰减不会把水体颜色误判成鱼体颜色。对比度和亮度同变。水下图像整体对比度偏低我用多个不同强度档位做对比度变换有些图拉得更锐利有些图继续压暗这样模型在低对比度图像上的鲁棒性提升非常明显。模拟悬浮颗粒。随机往图上叠加大小不一、半透明、带模糊的小圆点效果类似水中浮游生物可以在图像层面模拟散射。拼接增强Mosaic和多尺度训练。把四张图随机缩放拼接成一张训练图同时按0.5到1.5的随机倍率缩放输入尺寸让模型在同一批数据里看到各种尺度下的鱼。削减一半增强。训练初始阶段我不开重增强先用基础增强跑几十轮让模型稳定下来后面再逐步叠加高难度的增强避免训练初期梯度过于震荡。3. 模型训练与优化让算法在渔业数据上真正收敛3.1 训练策略与超参数从预训练权重开始逐步推进训练阶段我给一个可以直接抄作业的流程。第一步加载在ImageNet或COCO上预训练过的YOLOv8权重冻结骨干网络参数只训练检测头和颈部网络。这一阶段我用较低的输入分辨率640x640学习率设置在0.001跑50个epoch。目标是把随机初始化的检测头快速拉到一个“能干活”的状态同时不至于破坏骨干网络已经学到的通用特征。第二步解冻全部网络层进入全参数微调阶段。输入分辨率提升到960x960学习率降到0.0001使用余弦退火调度器跑80个epoch。这一阶段模型会大量学习鱼类特有的纹理特征和姿态特征同时也是过拟合最容易出现的阶段所以我配合了早停策略验证集mAP连续15个epoch不升就停止。第三步用真实渔场场景的困难样本做最后冲刺。把白天光照剧烈变化、水质浑浊、鱼群高密度重叠这些最难的数据集中抽出来用小学习率0.00001再微调20轮。这一步能帮模型聚焦解决真正影响上线的难点。我还要专门说一个参数批次大小。水下鱼类数据集的图像风格差异很大为了让每个batch里同时包含不同光照、不同水质、不同鱼种的样本批次至少要设到16。如果你显存有限优先降低输入分辨率而不是降低批次因为高对比度的多样性对模型泛化的影响远大于单张图的分辨率。3.2 损失函数与困难样本挖掘容易被忽视的两个精度瓶颈YOLO系列自带CIoU损失做目标框回归分类用的BCE损失。默认配置就能跑起来但要让精度再上一个台阶我做了两处修改。第一处对目标框回归损失加一点尺度权重。鱼在画面里小了同样的几个像素偏移在IOU上造成的损失波动会被放大。我给小目标框的回归损失乘了一个1.2的权重系数让模型更侧重修正小目标的定位误差。这个改动在小目标比例高的渔场数据上mAP能提升1到2个点。第二处引入基于Focal Loss思想的困难样本加权。水下鱼群场景天生有大量难样本比如被遮挡大半的鱼、颜色与环境融为一体的鱼。标准交叉熵会被大量易分类的背景样本主导难样本的梯度被稀释。我按Focal Loss的思路对分类损失做了重新加权让模型每次梯度更新时更加关注那些置信度徘徊在0.4~0.7之间的纠结样本。实测下来这种细节上的修正比单纯增大模型体积有效得多。还有一个工程细节是OHEM式的困难样本挖掘。我每个epoch会统计非背景预测框里分类置信度偏低的样本把它们的loss做成一个小列表在下个epoch用加权方式重复参与反向传播。代码就是几十行的事但困难样本的过拟合被明显改善。训练完成之后我先用验证集做基准测试然后专门跑一段真实渔场视频做可视化测评。我发现一个现象离线指标mAP其实不能完全反映在线表现。某个模型在验证集上mAP达到了89.5%但放到一段鱼群高速游动的视频里大量鱼在帧间被重复计数或者短暂跟丢这个体验只有在真实场景里跑一遍才知道。所以我建议每个做这个方向的朋友从第一天起就必须留一份真实视频作为主观验收样本不能只看mAP。3.3 多目标检测的计数与关联逻辑检测完才是刚开始严格来说这个项目不只做检测还要在检测的基础上完成渔场统计计数。多目标检测给出每一帧的目标框之后还需要一套跟踪关联逻辑来避免重复计数。我在项目里用的是ByteTrack它的思路是把高置信度框和低置信度框分开处理利用两者之间的运动一致性来维持轨迹。常规的朴素方法只保留高置信度框做跟踪因为直觉上低置信度框就是误检。但渔场鱼群密集一条鱼被同伴遮挡时检测框置信度骤降如果直接丢弃轨迹会断计数就会漏。ByteTrack这种给低置信度框留一个二次配对机会的设计对密集目标场景特别友好。实现时还需要做两个适配。第一鱼游动是自由曲线不是线性匀速运动跟踪算法里用卡尔曼滤波做运动预测时过程噪声我调得比行人跟踪高不少。第二检测器每一帧都会输出大量疑似鱼的候选框跟踪器里最大轨迹丢失容忍帧数我设为25帧意思是目标在画面里短暂消失25帧内继续保留轨迹超过25帧才判定真的离开或漏检。这两个参数的调优直接决定了“计数”这个上层应用的误差大小。4. 实际部署从高性能服务器到边缘设备的不完全妥协4.1 推理框架选型与模型压缩帧率和精度的权衡渔场场景里最常用的部署设备有两类一类是机房里的GPU服务器处理离线历史视频另一类就是岸基或船载的边缘设备比如带GPU的嵌入式工控机处理实时视频流。两类设备的性能差异很大模型不能一套方案通吃。在GPU服务器上我直接用TensorRT做推理加速。YOLOv8模型导出为ONNX再过TensorRT的FP16精度优化速度能比原版PyTorch推理快三到五倍。实测一块中等偏上性能的GPU卡就能实时处理六路1080p视频流完全满足需求。边缘设备上通常就要做模型量化。把权重从FP32压到INT8体积缩小约四倍推理速度加快大约两到三倍代价是精度损失。我在这个项目里测得mAP掉大约1.5个百分点整体在可接受范围内。但如果目标是小鱼苗或半透明水母这种本身检测难度就很高的目标量化后的漏检率会明显上升我建议这类目标保留FP16模型或者给检测器设置更高的置信度下限做补偿。注意TensorRT版本和CUDA版本必须严格匹配这是部署踩坑的重灾区。如果经常出现导出后的模型在推理时报错大半几率是版本不兼容造成的。4.2 后处理细节NMS参数和类别过滤的工程调整模型输出的一堆候选框不是最终答案后处理的参数直接影响最终可视化效果和计数精度。我在项目里调了三个关键参数。置信度阈值。设太高容易漏检小目标设太低会引入大量误检。我通过分析验证集上不同阈值对应的F1曲线找到的最佳点是0.35。这个值会在鱼群密集时段适当调高到0.4换来更干净的计数结果。NMS的IoU阈值。默认值是0.45我测下来在鱼群场景里偏紧。因为鱼重叠太多两个相邻的相邻目标如果IoU超过0.45就被合并了结果好几条鱼被框成一个框。我把阈值放宽到0.55允许更多交叉重叠的框保留下来代价是偶尔出现同一目标两次检测但跟踪模块的轨迹关联可以消除这个副作用。类别过滤。如果目标只是“数鱼”不要求区分具体鱼种我会把所有非鱼类误检类别直接屏蔽掉只保留鱼类类别输出。4.3 模型更新的闭环机制数据漂移不可忽视模型部署上线不是终点。渔场的水质会随季节变化鱼的体型会随生长周期变化几个月前训练的数据在半年后可能已经不符合现实分布。我建立了一套“异常样本回流-人工复核-定期增量训练”的闭环机制。具体做法是在推理服务里专门记录置信度在0.3到0.6之间的“犹豫样本”每周导出一批让相关人员快速过一眼把其中有价值的难例重新导入训练集。每月用增量数据做一次快速微调每季度做一次完整重训。这套机制虽然听起来繁琐但在长周期渔业监测项目中是保证模型有效性的关键。5. 常见问题与排查技巧实录这部分我把项目里真实遇到、网上又不太容易查到解决方案的问题整理成表每条都是实际踩坑后总结的。问题现象可能原因排查思路与解决方案小目标鱼苗几乎全部漏检输入分辨率太低或锚框尺寸与目标不匹配统计标注框尺寸分布用聚类算法重算锚框训练和推理统一使用高分辨率输入比如960以上低对比度时段误检率飙升训练集中夜晚和阴天样本占比太低采集并补充恶劣光照样本增强通道里提高对比度和亮度变换强度密集鱼群目标框反复跳变跟踪算法运动模型不适合鱼类随机游动调高卡尔曼滤波过程噪声降低检测置信度阈值增加用于跟踪关联的候选框数量部署端推理速度比预期慢很多模型FLOPs太高或没有做模型量化用TensorRT加速评估在边缘设备上用INT8量化模型在公开数据集上精测很高实拍视频表现差领域偏移公开数据与真实渔场场景分布差距大重新采集同场景数据做迁移微调用合成数据补充极端姿态和遮挡样本不同鱼种易混淆类别间特征区分度不足增加数据量尤其是不同姿态的样本尝试在标签层面增加细粒度分类分支5.1 小目标和鱼苗检测的专项改进小目标检测是这个项目里难度最大的一块我做了很多实验才拼出一条相对有效的方案。第一个改动是高分辨率推理。训练时输入分辨率从640提到960推理时同样用960。分辨率提升带来的是小目标像素覆盖数增加特征图上的响应更强。代价是推理时间增加但TensorRT优化后完全能接受。第二个改动是特征金字塔增强。YOLOv8默认就有FPNPAN结构但针对小目标我在高分辨率特征图分支上多设计了一层细粒度特征融合把低层空间细节信息直接送进检测头。这一步对小鱼苗的召回率帮助最大。第三个改动是测试时增强TTA。推理时对同一帧做多个尺度的推理再把结果融合。视频分析场景里TTA很耗时间所以我只把TTA用在离线分析模式实时流里不用。实际项目里这套组合拳把小鱼苗的召回率从57%提到了约72%虽然离完美还很远但已经能支撑相关业务量的统计需求。5.2 水质剧烈变化时的模型健壮性海洋水质变化往往是突发的比如暴雨后泥沙涌入、赤潮带来水体浊度骤升。这种极端变化发生前模型完全没见过。我推荐的办法是在推理链路里加一个水质感知模块。用一组简单的统计特征比如图像的蓝色通道均值、灰度方差、高频能量占比判定当前画面的水质属于清澈、一般还是浑浊三类模式。不同模式下自动切换不同的置信度阈值和后处理参数。浑浊模式下适当调低置信度阈值因为目标边缘被散射模糊模型输出置信度整体偏低如果还用高阈值就全漏了。另外预处理阶段加一个轻量的水下图像增强算法也非常有价值。这个增强不必复杂用白平衡校正加自适应直方图均衡就很有效。增强后的图像在输入模型之前把对比度拉高让低能见度场景下的检测成功率提升一大截。5.3 夜间补光场景的针对性训练渔场夜间监测常用白光或红外补光。白光补光下水体散射严重光柱区域过曝阴影区域过暗同一帧画面曝光差异很大。这会导致模型在亮区和暗区的检测行为完全不同。我的做法是训练时对这部分图像做局部曝光增强随机选取图像的一块区域做独立的亮度调整模拟补光灯不均匀分布。另外把红外图像统一转为灰度图参与训练避免模型去学红外图像里的颜色信息因为这个信息实际场景里并不稳定。夜间模式我最终单独训练了一个模型与白天模型自动切换。虽然增加了训练和运维成本但换来的是夜间识别稳定性的显著提升。最后再分享一个小技巧关于模型剪枝和蒸馏我这次项目没有用但给后续优化留了接口。如果未来要把模型压到更低功耗的设备上可以训练一个大的Teacher模型生成软标签再蒸馏给一个小Student模型。这种方案往往比直接拿小模型硬训练效果更好。这个项目做完之后我一直强调一个理念在渔场环境里做目标检测算法只是一半功夫另一半在数据和工程细节上。转换一下思路与其花大量精力去堆模型参数量不如回头把数据管线上那些不显眼的地方做扎实。一次精准的标注规范、一套贴近水下光学特性的数据增强、一个合理的部署阈值调整带来的平均精度提升往往比换一个更大的骨干网络更明显。希望这套从数据到部署的完整链路能帮你少走几段弯路。
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
