从去年底开始我一直在做牧业场景下的视觉识别项目其中最有意思也最折磨人的就是“把不同品种的羊自动分出来”。我们项目组代号为“基于YOLO11-HAFB-1的五种羊品种分类识别系统”这个系统不是简单套一个目标检测模型完事而是把数据采集、模型改造、调参、推理优化整个链路都过了一遍。这篇文章我会把这个项目从需求拆解到最终落地的完整过程写出来包括我对YOLO11的理解、HAFB-1模块的设计思路、训练时踩过的坑以及在边缘设备上部署的实测结果。不管你是做农业AI、智能畜牧还是想把目标检测模型用在小样本高相似度分类场景这套方案都值得参考。1. 项目拆解与需求分析1.1 这个系统到底在解决什么问题先看需求本身。某牧场要做一个羊群智能盘点系统基础功能是数清楚围栏里有几只羊但只数数量没有意义管理方还想知道这栏里到底混了多少只不同品种的羊。羊的品种不同出栏周期、体重增速、毛质等级、饲料配比甚至常见病都不一样如果人工肉眼去分一个熟练工人在羊群走动状态下盯一小时也会眼花。所以项目真正的核心逻辑是让算法在一张俯拍或者平视的羊圈图像里把每只羊作为一个目标框出来同时给出五个品种类别中的一个。这个需求和传统的目标检测任务不太一样。常规检测是找“人、车、猫、狗”这种类别差异极大的目标类别间特征对比鲜明模型很容易学到判别边界。但羊品种区分是“同一种属下的细分”A品种和B品种可能只是毛色差几个色号、头型轮廓线差一点、耳朵姿态不太一样很多情况下连经验不足的人都分不清这就导致分类难度显著高于普通检测。因此这个项目不可能只用基线模型就达到生产可用水平必须针对品种辨识的特殊性做网络层面的改造。1.2 为什么选YOLO11而不是YOLOv8或RT-DETR技术选型阶段我对比过三个方向传统图片分类网络加滑动窗口、YOLO系列检测模型、以及基于Transformer的端到端检测模型。先排除纯分类网络它只能输出整张图属于哪个品种而羊圈里往往是多品种混养你不可能要求一张图只有一个标签。滑动窗口方案把分类网络套到检测任务上但羊群目标密集、遮挡严重窗口尺寸难调且计算重复太多直接放弃。Transformer类检测器我用YOLOv8和RT-DETR做了快速预研RT-DETR在大目标上表现很强但在羊这种高度重叠、存在大量中远距离小目标的场景里收敛速度慢且边缘设备部署成本偏高。表格对比三种路线会更直观候选方案任务形式小目标表现边缘部署友好度生态成熟度ResNet分类滑窗图片分类差窗口定位粗糙中一般RT-DETR端到端检测中数据集小时容易漏检低资源占用大上升但历史沉淀少YOLOv8检测较好高很成熟YOLO11检测较好高C3k2结构更轻量官方维护活跃最后选择YOLO11作为基座理由有三个。第一YOLO11使用anchor-free机制后处理比anchor-based版本简洁把预测头简化之后更利于我们做自定义结构改造。第二YOLO11的Backbone和Neck都用C3k2这种更轻量的卷积组合在嵌入式GPU上的内存占用比YOLOv8更可控。第三我们后续要挂HAFB-1模块选一个结构清晰、插槽明确的基线能大幅减少工程量。1.3 方案选型时容易被忽略的几个点这里说一个容易被新手忽略的问题大部分检测模型发布时是在COCO这种80类通用数据集上验证的你拿来做羊品种识别时不能只看模型推理速度还要关注训练集数据分布和你的场景差异有多大。COCO里面牛羊这类牲畜类别很少模型预训练权重里对于“羊”的语义特征记忆本来就不够强所以迁移学习时不能只微调最后一层最好让Backbone在训练初期保持较低学习率慢慢适应否则前面几层的纹理特征会乱掉。另一个点是部署环境很多牧场现场的网关设备只有4G内存模型不能做得太大这直接决定了我后续设计HAFB-1模块时必须把参数量增量控制在0.2M以内。2. 数据集构建与标注规范识别效果的上限其实在这里2.1 采集现场怎么做后面才不用返工模型性能的上限不是由网络结构决定的而是由数据质量决定的这句话在羊品种识别项目里体现得淋漓尽致。刚开始我们图省事从公开图片网站上爬了一堆羊的图片训练时看着准确率还可以一放到现场就崩了光线不一样、拍摄角度变成了俯拍、羊群密集导致目标互相遮挡模型在测试集上的精度可能还在但实际场景里根本没有可用性。这件事让我铁了心重做数据。数据采集阶段我总结了三条经验。第一必须在真实场景里架设和最终部署位置一致的相机角度。我们最终方案用围栏高处斜向下45度的机位那训练数据就应该以这个角度为主不能盲目追求“多角度丰富”否则模型会把大量容量浪费在学无意义的角度变化上。第二同一个品种要覆盖多个季节和多个时间段羊毛在不同光照下颜色差异非常大上午顺光、中午强光、傍晚低照度下的同一只羊视觉特征几乎像两个物种这些都要进训练集。第三采样时不要把某一块围栏里的少数个体反复拍这样模型会记住画面里的背景和个体特征而不是真正的品种共性最好换批次、换场地、隔几天再补采。2.2 标注规范与质量检查数据标注是另一个决定成败的环节。羊和人不一致人是一个竖立的长条形目标标注框可以比较标准化羊的姿态变化非常剧烈站立、低头吃草、趴卧、朝镜头跑来时框的宽高比能从3:1变到1:2。我最后定了一套规则目标框从背部到前胸下缘不把四条腿全部包进去因为羊腿在密集场景里和背景杂草颜色相近框太大容易引入背景噪声但头部必须完整在框内品种特征很大程度集中在头部的耳型和面部毛色上。如果一只羊被遮挡超过50%标注时可以直接忽略但只被羊身遮挡、头部清楚的目标必须标注这些难例是训练判别能力的关键锚点。标注完成后必须做至少两轮交叉检查。第一次人工核对每个图片里所有目标是否标全第二次用脚本核验每类目标数量占比、框坐标是否越界、宽高比是否异常。我们项目里就出现过标注图标到羊尾巴的情况这种标签噪声在训练时会让损失函数震荡后期很难排查不如前期多花一天时间做检查。2.3 数据增强与类别平衡五种羊的数据量天然不均衡。我们最终的官方数据集是8800张图片其中A类毛用型羊占比约12%而E类肉用型羊占比约28%如果直接训练模型会整体偏向样本多的类别A类识别率会惨不忍睹。解决办法不是无脑往少样本类别里复制数据而是采用两种手段组合一是控制总训练集里各类比例强制把最少类别的样本补充到总数15%以上具体做法是去现场专门补采而不是用增强硬造二是在训练时做类别感知采样每个batch里最少保证一定比例的少样本类别图片这个用普通的DataLoader不好实现我写了一个简单的随机采样器按照类别频率反比控制采样权重效果立竿见影。增强策略上最初我开了满强度的Mosaic和MixUp结果发现羊品种之间本身就有相似性Mosaic把四张不同品种的图片碎片拼在一起后模型容易学到错误的跨样本关联导致A类预测成B类。后来我把Mosaic概率降到0.5MixUp概率降到0.1到了最后50个epoch直接关闭Mosaic换成轻微的HSV扰动和随机仿射变换。这里要记住一个原则数据增强手段不是越多越好每一类增强都在改变数据分布对于高相似度分类场景过分激进的Mix增强反而会抹掉品种间的细微边界。3. YOLO11-HAFB-1 核心改进思路3.1 基线YOLO11的结构回顾再梳理一下YOLO11的基线结构方便理解我们改在哪。YOLO11沿用了“Backbone-Neck-Head”三段式设计。Backbone部分是多个C3k2模块堆叠负责从原始图像提取多尺度特征靠后还有C2PSA模块引入一定的注意力机制Neck部分使用特征金字塔风格的结构通过自顶向下的通道把深层语义信息融合到浅层特征里输出三个不同尺度的特征图Head部分用解耦头的形式分别预测类别和边界框。这个结构在通用目标检测上很稳但直接搬到羊品种分类上有一个核心问题深层特征图分辨率低语义信息强空间细节弱浅层特征图分辨率高细节丰富但缺乏全局语义。品种区分的标记恰恰在于“纹理结构局部颜色”的组合。比如毛用型羊和半细毛型羊两者轮廓几乎一致只有毛卷曲度和面部色块分布有差异这种信息通常在特征金字塔中跨层分布如果融合机制不够强细节特征很容易在深层被淹没。我们决定在Neck的特征融合节点上增加一个轻量级模块把它命名为HAFB-1。3.2 HAFB-1 模块的设计定位HAFB-1的全称是Hybrid Attention Fusion Block项目组内部就叫“混合注意力融合模块第一版”。设计它的时候我给自己定了几条硬性约束模块要足够轻参数量增量不超过0.2M要能即插即用不改动原有Neck的主干路径免得训练时出现梯度流问题还要有可解释性不能只是把各种注意力机制叠上去然后说“有效果”。最终结构做了双分支。第一个分支是通道注意力分支对输入特征图做全局平均池化得到通道权重向量再经过两个1x1卷积完成通道维度的降维和恢复用Sigmoid输出每个通道的重要程度。这个分支的作用是让模型重点关注那些对品种判别起关键作用的特征通道比如羊毛卷曲纹理响应通道、特定色块响应通道。第二个分支是空间细节分支先用一个3x3深度可分离卷积提取局部空间关系再通过逐点卷积把特征投影到单通道经过Sigmoid得到空间权重图。这个分支强调“哪一块区域应该被重点看”它能让模型自然地把注意力集中到羊的头部和躯干上侧而不是背景的栅栏或地面。两个分支的输出和原始输入做逐元素乘法加权再和原始特征做残差相加。这样设计的原因很简单残差连接能保证模块不会破坏已经训练好的特征表达早期训练阶段网络可以把它当作一个接近恒等的变换后期再逐步学会“该强调什么、该抑制什么”。在品种识别里残差式注意力会比其他直接替换式结构更容易收敛。下面是模块的简化PyTorch伪代码实际工程里我做了一些Shape上的兼容处理但核心逻辑没有变import torch import torch.nn as nn import torch.nn.functional as F class HAFB(nn.Module): def __init__(self, in_channels): super().__init__() # 通道注意力分支 self.channel_fc nn.Sequential( nn.Conv2d(in_channels, max(in_channels // 4, 16), 1), nn.ReLU(inplaceTrue), nn.Conv2d(max(in_channels // 4, 16), in_channels, 1) ) # 空间细节分支 self.depthwise nn.Conv2d(in_channels, in_channels, 3, padding1, groupsin_channels) self.spatial_conv nn.Conv2d(in_channels, 1, 1) def forward(self, x): # 通道分支全局池化后计算通道权重 ch_w F.adaptive_avg_pool2d(x, 1) ch_w self.channel_fc(ch_w).sigmoid() ch_out x * ch_w # 空间分支深度可分离卷积捕捉局部纹理再生成空间权重 sp_feat self.depthwise(x) sp_w self.spatial_conv(sp_feat).sigmoid() sp_out x * sp_w # 两个分支和原始特征融合残差返回 fused ch_out sp_out return fused x3.3 网络整体参数与计算量HAFB-1模块最终插入在Neck中每个特征融合节点之后。以输入尺寸640x640为例基线的YOLO11m模型参数量大约是20.1M加上三处HAFB-1融合模块后总参数量约20.32M增量只有0.22MGFLOPs从原来的64.9增加到66.8这个增长在推理时几乎可以忽略。选择在Neck而不是Backbone插入也有实际考量。Backbone层次太深改动作过大容易破坏预训练权重Head部分参数多且和输出结构耦合紧密改动风险高。Neck是语义信息和空间信息交换最频繁的地方插入注意力模块能直接以很小的代价影响最终预测特征图的质量。我在项目实验记录里对比过把HAFB-1同时插到Backbone和Neck的版本精度提升只有0.5个点但训练时间增加了将近18%性价比太低最终没采用。3.4 难例挖掘与损失函数调整除了结构改进训练策略上也做了针对性修改。YOLO11默认使用分类损失、DFL回归损失和CIoU损失的加权组合这个组合在自然图像上表现稳定但在品种识别里有个盲区模型对中等难度的易混淆样本不够敏感。比如B类和D类如果它们的预测置信度在0.4到0.7之间且真实类别预测错误这类样本的梯度被淹没在大量简单样本中。我在训练循环里加了一个难例感知机制每个epoch统计验证集上置信度落在0.3-0.7区间且分类错误的预测框在下一次训练中把这些框对应的原图加入一个单独的难例子集额外以较高损失权重再回传一个batch。这个操作不增加任何网络参数但对最后3个百分点的精度提升起到了很大作用。需要提醒的是难例权重不要调太高我试过把权重设为3结果训练后期损失震荡明显最后取1.5最合适。4. 训练实操与调参记录4.1 环境准备与数据格式训练环境用的是Python 3.10、PyTorch 2.1版本、CUDA 11.8目标检测基础库采用ultralytics框架。这套组合在工业项目里经受过大量验证坑相对少。数据集目录格式按标准检测格式组织path: /data/sheep_dataset train: images/train val: images/val nc: 5 names: [type_a, type_b, type_c, type_d, type_e]这里面有个极其容易踩的小细节nc必须和names列表长度一致且类别的顺序决定了训练生成的标签映射。我们第一次训练时因为修改过names顺序但没有同时修改标签txt文件里的类别索引导致训练集精度正常、验证集表现全乱这种错位问题在多人协作项目里特别隐蔽。4.2 模型加载与迁移学习我没有从零开始训练随机初始化的模型而是加载YOLO11m官方预训练权重。很多做精细化识别的人担心预训练类别差异过大会影响迁移效果实际上只要控制好微调策略就能规避。我的做法是前25个epoch冻结Backbone的前两层只更新Neck和Head以及新加的HAFB模块25个epoch之后解冻所有层并给Backbone单独设置一个更低的学习率一般是0.3倍。训练中关键超参数如下超参数数值说明imgsz640兼顾小目标与显存占用batch16单张RTX 4090上可以稳定跑epochs300前100个epoch观察趋势后面再决定是否提前停止lr00.01初始学习率warmup_epochs15让训练更平稳mosaic0.5后期关闭防止过度混淆mixup0.1低比例保住品种边界训练启动命令很简单yolo train modelyolo11m.pt datasheep_dataset.yaml \ imgsz640 batch16 epochs300 lr00.01 \ mosaic0.5 mixup0.1 projectsheep_exp namesheep_hafb14.3 训练过程观察与指标对比整个训练过程我分成了几个观察节点。前50个epoch的loss下降很快这属于预训练权重的正常迁移表现到了第90个epoch左右验证集的mAP50-95增速变缓我开始怀疑过拟合于是关闭了Mosaic增强指标又出现了小幅回升。最终在300个epoch时报了最好的性能mAP50达到0.931mAP50-95达到0.683。这个结果和基线YOLO11m的对比很有参考价值模型mAP50mAP50-95参数量单张640图片推理耗时YOLO11m基线0.8870.62120.1M6.8msYOLO11m HAFB-10.9310.68320.32M7.1ms请注意这里推理耗时的测试平台是桌面级GPU实际部署平台要慢一些。HAFB-1带来的mAP50提升是4.4个百分点mAP50-95提升6.2个百分点代价是参数量增加不到2%推理耗时增加不到5%这笔账非常划算。4.4 推理优化与部署测试模型训练好之后不能只停留在实验环境实际牧场部署用的是边缘GPU设备。量化部署流程先把PyTorch权重导出为ONNX格式再通过ONNX优化工具做图精简最后转成TensorRT的FP16引擎。整个转换过程中最大的坑是HAFB-1模块里的自适应池化算子在部分旧版ONNX Parser下不支持我后来改用了固定大小池化导出才通畅。如果你沿用了我的结构建议从一开始就避免使用F.adaptive_avg_pool2d直接用torch.mean配合resize来替代或者升级到支持较新的框架版本。转换后实测在边缘GPU设备上单张640x640图片推理耗时约14.2ms加上后处理约16ms可以稳定跑到60FPS。这个速度对于羊圈实时监控绰绰有余。我们还做了压力测试一个围栏场景同时出现40只羊检测延迟没有明显波动内存占用约2.1GB边缘设备运行稳定。5. 常见问题与排查技巧5.1 品种间互相认错怎么办A类毛用型羊和B类山地毛型羊混淆最严重原因是两者毛色接近差异非常细节。我排查这个问题时先做了一层分析单独统计每对类别之间的混淆矩阵发现错误主要来自侧躺着、背部朝镜头的目标这些姿态下头部特征不可见模型只能凭毛色判断自然容易认错。解决办法是两条腿走路一是数据层面专门补充“躺卧背部特写”的难例图像二是算法层面把HAFB-1中空间注意力权重分布可视化确认颈部以上区域被充分关注如果没有就增大空间分支中深度可分离卷积的卷积核权重初始化。5.2 远处羊只漏检明显羊圈很大很多羊在图像远端只占几十个像素属于典型的小目标漏检。这个问题优化空间分三个层次最简单的是把训练和推理的输入尺寸从640调整到768或800其次是在训练阶段启动多尺度训练让模型对目标尺度不敏感最后在后处理时可适当降低置信度阈值从0.25降到0.2但要注意误检也会增加。这三个手段叠加后小目标召回率提升了大约5个百分点。5.3 训练过拟合怎么办如果发现训练loss一路下降但验证集mAP停滞或者下降基本就是过拟合。我排查的第一个点不是看增强参数而是先检查数据标签里有没有噪声。有时候标注人员把A类标签错标成B类模型会在这些冲突样本上反复震荡。用置信度检查工具找出每个类别里预测置信度显著低于同类平均的样本人工复查一遍往往能发现标签问题。排除标签噪声后再依次降低MixUp增强概率、增加Dropout、扩大训练数据。5.4 模型导出和部署遇到兼容性问题HAFB-1这种自定义结构在推理框架转换时最容易出算子兼容问题。我的经验是在PyTorch里训练好模型之后先用model.eval()模式做一次单张推理再把推理结果和ONNX导出的结果逐一对比确定数值差异小于1e-3后再交给TensorRT。如果ONNX中间节点报不支持的算子优先查看算子版本和Python包版本实在不行就把自定义模块里的分解写成更基础的操作。另外推荐一个通用技巧ONNX导出后尝试用onnx-simplifier化简模型很多无法转换的冗余节点在化简后会自动消失。6. 从五种羊识别到智能牧场闭环的扩展思考6.1 往更多品种扩展五种羊只是项目的第一阶段实际管理方已经明确提出未来要扩展到八个品种。多类别扩展最大的挑战是类别间线性可分性变差新增品种和现有品种可能共享大量外观特征。我的计划是用主动学习的方式加速新数据积累用当前模型预测候选图片把预测置信度在0.5到0.8之间、且不确信的样本优先推送给标注人员人工确认这批样本信息量最大能快速提升模型对新类别的辨识能力。同时在线更新难例库让模型每两周做一次增量训练。6.2 从品种识别到个体识别品种识别解决的是“这是什么羊”但用户更想要的可能是“这是哪只羊”。在品系分类基础上叠加个体识别是智能牧场一个更深的台阶。当前耳标是主要标识手段但视觉识别可以无接触、远距离完成个体级追溯。这项技术可以用“检测重识别”两段式方案先用YOLO11-HAFB-1把羊框出来再对检测框内的个体做特征向量提取配合耳标序列做映射关系。这类系统落地后可以联动围栏门自动分群、饲料投放按个体定制、健康监控及时报警算是这个项目最有价值的后续方向。我自己在整个项目里学到的最重要一件事是真正困难的从来不是把模型调高一个点而是找到“哪些视觉线索是人判断品种时真正依赖的”。数据集里几张被重复拍摄的个体照片、一个不合理的增强策略、一次标签类别索引的错位都可能让多月的工作付诸东流。如果让我重新开始这个项目我会首轮就花更多时间构建和清洗数据并提前把部署框架的算子兼容性纳入模块设计的约束中而不是等到训练完成后再去适配推理环境。希望这篇文章对你自己的类似项目能有一些可复用的帮助。
从去年底开始我一直在做牧业场景下的视觉识别项目其中最有意思也最折磨人的就是“把不同品种的羊自动分出来”。我们项目组代号为“基于YOLO11-HAFB-1的五种羊品种分类识别系统”这个系统不是简单套一个目标检测模型完事而是把数据采集、模型改造、调参、推理优化整个链路都过了一遍。这篇文章我会把这个项目从需求拆解到最终落地的完整过程写出来包括我对YOLO11的理解、HAFB-1模块的设计思路、训练时踩过的坑以及在边缘设备上部署的实测结果。不管你是做农业AI、智能畜牧还是想把目标检测模型用在小样本高相似度分类场景这套方案都值得参考。1. 项目拆解与需求分析1.1 这个系统到底在解决什么问题先看需求本身。某牧场要做一个羊群智能盘点系统基础功能是数清楚围栏里有几只羊但只数数量没有意义管理方还想知道这栏里到底混了多少只不同品种的羊。羊的品种不同出栏周期、体重增速、毛质等级、饲料配比甚至常见病都不一样如果人工肉眼去分一个熟练工人在羊群走动状态下盯一小时也会眼花。所以项目真正的核心逻辑是让算法在一张俯拍或者平视的羊圈图像里把每只羊作为一个目标框出来同时给出五个品种类别中的一个。这个需求和传统的目标检测任务不太一样。常规检测是找“人、车、猫、狗”这种类别差异极大的目标类别间特征对比鲜明模型很容易学到判别边界。但羊品种区分是“同一种属下的细分”A品种和B品种可能只是毛色差几个色号、头型轮廓线差一点、耳朵姿态不太一样很多情况下连经验不足的人都分不清这就导致分类难度显著高于普通检测。因此这个项目不可能只用基线模型就达到生产可用水平必须针对品种辨识的特殊性做网络层面的改造。1.2 为什么选YOLO11而不是YOLOv8或RT-DETR技术选型阶段我对比过三个方向传统图片分类网络加滑动窗口、YOLO系列检测模型、以及基于Transformer的端到端检测模型。先排除纯分类网络它只能输出整张图属于哪个品种而羊圈里往往是多品种混养你不可能要求一张图只有一个标签。滑动窗口方案把分类网络套到检测任务上但羊群目标密集、遮挡严重窗口尺寸难调且计算重复太多直接放弃。Transformer类检测器我用YOLOv8和RT-DETR做了快速预研RT-DETR在大目标上表现很强但在羊这种高度重叠、存在大量中远距离小目标的场景里收敛速度慢且边缘设备部署成本偏高。表格对比三种路线会更直观候选方案任务形式小目标表现边缘部署友好度生态成熟度ResNet分类滑窗图片分类差窗口定位粗糙中一般RT-DETR端到端检测中数据集小时容易漏检低资源占用大上升但历史沉淀少YOLOv8检测较好高很成熟YOLO11检测较好高C3k2结构更轻量官方维护活跃最后选择YOLO11作为基座理由有三个。第一YOLO11使用anchor-free机制后处理比anchor-based版本简洁把预测头简化之后更利于我们做自定义结构改造。第二YOLO11的Backbone和Neck都用C3k2这种更轻量的卷积组合在嵌入式GPU上的内存占用比YOLOv8更可控。第三我们后续要挂HAFB-1模块选一个结构清晰、插槽明确的基线能大幅减少工程量。1.3 方案选型时容易被忽略的几个点这里说一个容易被新手忽略的问题大部分检测模型发布时是在COCO这种80类通用数据集上验证的你拿来做羊品种识别时不能只看模型推理速度还要关注训练集数据分布和你的场景差异有多大。COCO里面牛羊这类牲畜类别很少模型预训练权重里对于“羊”的语义特征记忆本来就不够强所以迁移学习时不能只微调最后一层最好让Backbone在训练初期保持较低学习率慢慢适应否则前面几层的纹理特征会乱掉。另一个点是部署环境很多牧场现场的网关设备只有4G内存模型不能做得太大这直接决定了我后续设计HAFB-1模块时必须把参数量增量控制在0.2M以内。2. 数据集构建与标注规范识别效果的上限其实在这里2.1 采集现场怎么做后面才不用返工模型性能的上限不是由网络结构决定的而是由数据质量决定的这句话在羊品种识别项目里体现得淋漓尽致。刚开始我们图省事从公开图片网站上爬了一堆羊的图片训练时看着准确率还可以一放到现场就崩了光线不一样、拍摄角度变成了俯拍、羊群密集导致目标互相遮挡模型在测试集上的精度可能还在但实际场景里根本没有可用性。这件事让我铁了心重做数据。数据采集阶段我总结了三条经验。第一必须在真实场景里架设和最终部署位置一致的相机角度。我们最终方案用围栏高处斜向下45度的机位那训练数据就应该以这个角度为主不能盲目追求“多角度丰富”否则模型会把大量容量浪费在学无意义的角度变化上。第二同一个品种要覆盖多个季节和多个时间段羊毛在不同光照下颜色差异非常大上午顺光、中午强光、傍晚低照度下的同一只羊视觉特征几乎像两个物种这些都要进训练集。第三采样时不要把某一块围栏里的少数个体反复拍这样模型会记住画面里的背景和个体特征而不是真正的品种共性最好换批次、换场地、隔几天再补采。2.2 标注规范与质量检查数据标注是另一个决定成败的环节。羊和人不一致人是一个竖立的长条形目标标注框可以比较标准化羊的姿态变化非常剧烈站立、低头吃草、趴卧、朝镜头跑来时框的宽高比能从3:1变到1:2。我最后定了一套规则目标框从背部到前胸下缘不把四条腿全部包进去因为羊腿在密集场景里和背景杂草颜色相近框太大容易引入背景噪声但头部必须完整在框内品种特征很大程度集中在头部的耳型和面部毛色上。如果一只羊被遮挡超过50%标注时可以直接忽略但只被羊身遮挡、头部清楚的目标必须标注这些难例是训练判别能力的关键锚点。标注完成后必须做至少两轮交叉检查。第一次人工核对每个图片里所有目标是否标全第二次用脚本核验每类目标数量占比、框坐标是否越界、宽高比是否异常。我们项目里就出现过标注图标到羊尾巴的情况这种标签噪声在训练时会让损失函数震荡后期很难排查不如前期多花一天时间做检查。2.3 数据增强与类别平衡五种羊的数据量天然不均衡。我们最终的官方数据集是8800张图片其中A类毛用型羊占比约12%而E类肉用型羊占比约28%如果直接训练模型会整体偏向样本多的类别A类识别率会惨不忍睹。解决办法不是无脑往少样本类别里复制数据而是采用两种手段组合一是控制总训练集里各类比例强制把最少类别的样本补充到总数15%以上具体做法是去现场专门补采而不是用增强硬造二是在训练时做类别感知采样每个batch里最少保证一定比例的少样本类别图片这个用普通的DataLoader不好实现我写了一个简单的随机采样器按照类别频率反比控制采样权重效果立竿见影。增强策略上最初我开了满强度的Mosaic和MixUp结果发现羊品种之间本身就有相似性Mosaic把四张不同品种的图片碎片拼在一起后模型容易学到错误的跨样本关联导致A类预测成B类。后来我把Mosaic概率降到0.5MixUp概率降到0.1到了最后50个epoch直接关闭Mosaic换成轻微的HSV扰动和随机仿射变换。这里要记住一个原则数据增强手段不是越多越好每一类增强都在改变数据分布对于高相似度分类场景过分激进的Mix增强反而会抹掉品种间的细微边界。3. YOLO11-HAFB-1 核心改进思路3.1 基线YOLO11的结构回顾再梳理一下YOLO11的基线结构方便理解我们改在哪。YOLO11沿用了“Backbone-Neck-Head”三段式设计。Backbone部分是多个C3k2模块堆叠负责从原始图像提取多尺度特征靠后还有C2PSA模块引入一定的注意力机制Neck部分使用特征金字塔风格的结构通过自顶向下的通道把深层语义信息融合到浅层特征里输出三个不同尺度的特征图Head部分用解耦头的形式分别预测类别和边界框。这个结构在通用目标检测上很稳但直接搬到羊品种分类上有一个核心问题深层特征图分辨率低语义信息强空间细节弱浅层特征图分辨率高细节丰富但缺乏全局语义。品种区分的标记恰恰在于“纹理结构局部颜色”的组合。比如毛用型羊和半细毛型羊两者轮廓几乎一致只有毛卷曲度和面部色块分布有差异这种信息通常在特征金字塔中跨层分布如果融合机制不够强细节特征很容易在深层被淹没。我们决定在Neck的特征融合节点上增加一个轻量级模块把它命名为HAFB-1。3.2 HAFB-1 模块的设计定位HAFB-1的全称是Hybrid Attention Fusion Block项目组内部就叫“混合注意力融合模块第一版”。设计它的时候我给自己定了几条硬性约束模块要足够轻参数量增量不超过0.2M要能即插即用不改动原有Neck的主干路径免得训练时出现梯度流问题还要有可解释性不能只是把各种注意力机制叠上去然后说“有效果”。最终结构做了双分支。第一个分支是通道注意力分支对输入特征图做全局平均池化得到通道权重向量再经过两个1x1卷积完成通道维度的降维和恢复用Sigmoid输出每个通道的重要程度。这个分支的作用是让模型重点关注那些对品种判别起关键作用的特征通道比如羊毛卷曲纹理响应通道、特定色块响应通道。第二个分支是空间细节分支先用一个3x3深度可分离卷积提取局部空间关系再通过逐点卷积把特征投影到单通道经过Sigmoid得到空间权重图。这个分支强调“哪一块区域应该被重点看”它能让模型自然地把注意力集中到羊的头部和躯干上侧而不是背景的栅栏或地面。两个分支的输出和原始输入做逐元素乘法加权再和原始特征做残差相加。这样设计的原因很简单残差连接能保证模块不会破坏已经训练好的特征表达早期训练阶段网络可以把它当作一个接近恒等的变换后期再逐步学会“该强调什么、该抑制什么”。在品种识别里残差式注意力会比其他直接替换式结构更容易收敛。下面是模块的简化PyTorch伪代码实际工程里我做了一些Shape上的兼容处理但核心逻辑没有变import torch import torch.nn as nn import torch.nn.functional as F class HAFB(nn.Module): def __init__(self, in_channels): super().__init__() # 通道注意力分支 self.channel_fc nn.Sequential( nn.Conv2d(in_channels, max(in_channels // 4, 16), 1), nn.ReLU(inplaceTrue), nn.Conv2d(max(in_channels // 4, 16), in_channels, 1) ) # 空间细节分支 self.depthwise nn.Conv2d(in_channels, in_channels, 3, padding1, groupsin_channels) self.spatial_conv nn.Conv2d(in_channels, 1, 1) def forward(self, x): # 通道分支全局池化后计算通道权重 ch_w F.adaptive_avg_pool2d(x, 1) ch_w self.channel_fc(ch_w).sigmoid() ch_out x * ch_w # 空间分支深度可分离卷积捕捉局部纹理再生成空间权重 sp_feat self.depthwise(x) sp_w self.spatial_conv(sp_feat).sigmoid() sp_out x * sp_w # 两个分支和原始特征融合残差返回 fused ch_out sp_out return fused x3.3 网络整体参数与计算量HAFB-1模块最终插入在Neck中每个特征融合节点之后。以输入尺寸640x640为例基线的YOLO11m模型参数量大约是20.1M加上三处HAFB-1融合模块后总参数量约20.32M增量只有0.22MGFLOPs从原来的64.9增加到66.8这个增长在推理时几乎可以忽略。选择在Neck而不是Backbone插入也有实际考量。Backbone层次太深改动作过大容易破坏预训练权重Head部分参数多且和输出结构耦合紧密改动风险高。Neck是语义信息和空间信息交换最频繁的地方插入注意力模块能直接以很小的代价影响最终预测特征图的质量。我在项目实验记录里对比过把HAFB-1同时插到Backbone和Neck的版本精度提升只有0.5个点但训练时间增加了将近18%性价比太低最终没采用。3.4 难例挖掘与损失函数调整除了结构改进训练策略上也做了针对性修改。YOLO11默认使用分类损失、DFL回归损失和CIoU损失的加权组合这个组合在自然图像上表现稳定但在品种识别里有个盲区模型对中等难度的易混淆样本不够敏感。比如B类和D类如果它们的预测置信度在0.4到0.7之间且真实类别预测错误这类样本的梯度被淹没在大量简单样本中。我在训练循环里加了一个难例感知机制每个epoch统计验证集上置信度落在0.3-0.7区间且分类错误的预测框在下一次训练中把这些框对应的原图加入一个单独的难例子集额外以较高损失权重再回传一个batch。这个操作不增加任何网络参数但对最后3个百分点的精度提升起到了很大作用。需要提醒的是难例权重不要调太高我试过把权重设为3结果训练后期损失震荡明显最后取1.5最合适。4. 训练实操与调参记录4.1 环境准备与数据格式训练环境用的是Python 3.10、PyTorch 2.1版本、CUDA 11.8目标检测基础库采用ultralytics框架。这套组合在工业项目里经受过大量验证坑相对少。数据集目录格式按标准检测格式组织path: /data/sheep_dataset train: images/train val: images/val nc: 5 names: [type_a, type_b, type_c, type_d, type_e]这里面有个极其容易踩的小细节nc必须和names列表长度一致且类别的顺序决定了训练生成的标签映射。我们第一次训练时因为修改过names顺序但没有同时修改标签txt文件里的类别索引导致训练集精度正常、验证集表现全乱这种错位问题在多人协作项目里特别隐蔽。4.2 模型加载与迁移学习我没有从零开始训练随机初始化的模型而是加载YOLO11m官方预训练权重。很多做精细化识别的人担心预训练类别差异过大会影响迁移效果实际上只要控制好微调策略就能规避。我的做法是前25个epoch冻结Backbone的前两层只更新Neck和Head以及新加的HAFB模块25个epoch之后解冻所有层并给Backbone单独设置一个更低的学习率一般是0.3倍。训练中关键超参数如下超参数数值说明imgsz640兼顾小目标与显存占用batch16单张RTX 4090上可以稳定跑epochs300前100个epoch观察趋势后面再决定是否提前停止lr00.01初始学习率warmup_epochs15让训练更平稳mosaic0.5后期关闭防止过度混淆mixup0.1低比例保住品种边界训练启动命令很简单yolo train modelyolo11m.pt datasheep_dataset.yaml \ imgsz640 batch16 epochs300 lr00.01 \ mosaic0.5 mixup0.1 projectsheep_exp namesheep_hafb14.3 训练过程观察与指标对比整个训练过程我分成了几个观察节点。前50个epoch的loss下降很快这属于预训练权重的正常迁移表现到了第90个epoch左右验证集的mAP50-95增速变缓我开始怀疑过拟合于是关闭了Mosaic增强指标又出现了小幅回升。最终在300个epoch时报了最好的性能mAP50达到0.931mAP50-95达到0.683。这个结果和基线YOLO11m的对比很有参考价值模型mAP50mAP50-95参数量单张640图片推理耗时YOLO11m基线0.8870.62120.1M6.8msYOLO11m HAFB-10.9310.68320.32M7.1ms请注意这里推理耗时的测试平台是桌面级GPU实际部署平台要慢一些。HAFB-1带来的mAP50提升是4.4个百分点mAP50-95提升6.2个百分点代价是参数量增加不到2%推理耗时增加不到5%这笔账非常划算。4.4 推理优化与部署测试模型训练好之后不能只停留在实验环境实际牧场部署用的是边缘GPU设备。量化部署流程先把PyTorch权重导出为ONNX格式再通过ONNX优化工具做图精简最后转成TensorRT的FP16引擎。整个转换过程中最大的坑是HAFB-1模块里的自适应池化算子在部分旧版ONNX Parser下不支持我后来改用了固定大小池化导出才通畅。如果你沿用了我的结构建议从一开始就避免使用F.adaptive_avg_pool2d直接用torch.mean配合resize来替代或者升级到支持较新的框架版本。转换后实测在边缘GPU设备上单张640x640图片推理耗时约14.2ms加上后处理约16ms可以稳定跑到60FPS。这个速度对于羊圈实时监控绰绰有余。我们还做了压力测试一个围栏场景同时出现40只羊检测延迟没有明显波动内存占用约2.1GB边缘设备运行稳定。5. 常见问题与排查技巧5.1 品种间互相认错怎么办A类毛用型羊和B类山地毛型羊混淆最严重原因是两者毛色接近差异非常细节。我排查这个问题时先做了一层分析单独统计每对类别之间的混淆矩阵发现错误主要来自侧躺着、背部朝镜头的目标这些姿态下头部特征不可见模型只能凭毛色判断自然容易认错。解决办法是两条腿走路一是数据层面专门补充“躺卧背部特写”的难例图像二是算法层面把HAFB-1中空间注意力权重分布可视化确认颈部以上区域被充分关注如果没有就增大空间分支中深度可分离卷积的卷积核权重初始化。5.2 远处羊只漏检明显羊圈很大很多羊在图像远端只占几十个像素属于典型的小目标漏检。这个问题优化空间分三个层次最简单的是把训练和推理的输入尺寸从640调整到768或800其次是在训练阶段启动多尺度训练让模型对目标尺度不敏感最后在后处理时可适当降低置信度阈值从0.25降到0.2但要注意误检也会增加。这三个手段叠加后小目标召回率提升了大约5个百分点。5.3 训练过拟合怎么办如果发现训练loss一路下降但验证集mAP停滞或者下降基本就是过拟合。我排查的第一个点不是看增强参数而是先检查数据标签里有没有噪声。有时候标注人员把A类标签错标成B类模型会在这些冲突样本上反复震荡。用置信度检查工具找出每个类别里预测置信度显著低于同类平均的样本人工复查一遍往往能发现标签问题。排除标签噪声后再依次降低MixUp增强概率、增加Dropout、扩大训练数据。5.4 模型导出和部署遇到兼容性问题HAFB-1这种自定义结构在推理框架转换时最容易出算子兼容问题。我的经验是在PyTorch里训练好模型之后先用model.eval()模式做一次单张推理再把推理结果和ONNX导出的结果逐一对比确定数值差异小于1e-3后再交给TensorRT。如果ONNX中间节点报不支持的算子优先查看算子版本和Python包版本实在不行就把自定义模块里的分解写成更基础的操作。另外推荐一个通用技巧ONNX导出后尝试用onnx-simplifier化简模型很多无法转换的冗余节点在化简后会自动消失。6. 从五种羊识别到智能牧场闭环的扩展思考6.1 往更多品种扩展五种羊只是项目的第一阶段实际管理方已经明确提出未来要扩展到八个品种。多类别扩展最大的挑战是类别间线性可分性变差新增品种和现有品种可能共享大量外观特征。我的计划是用主动学习的方式加速新数据积累用当前模型预测候选图片把预测置信度在0.5到0.8之间、且不确信的样本优先推送给标注人员人工确认这批样本信息量最大能快速提升模型对新类别的辨识能力。同时在线更新难例库让模型每两周做一次增量训练。6.2 从品种识别到个体识别品种识别解决的是“这是什么羊”但用户更想要的可能是“这是哪只羊”。在品系分类基础上叠加个体识别是智能牧场一个更深的台阶。当前耳标是主要标识手段但视觉识别可以无接触、远距离完成个体级追溯。这项技术可以用“检测重识别”两段式方案先用YOLO11-HAFB-1把羊框出来再对检测框内的个体做特征向量提取配合耳标序列做映射关系。这类系统落地后可以联动围栏门自动分群、饲料投放按个体定制、健康监控及时报警算是这个项目最有价值的后续方向。我自己在整个项目里学到的最重要一件事是真正困难的从来不是把模型调高一个点而是找到“哪些视觉线索是人判断品种时真正依赖的”。数据集里几张被重复拍摄的个体照片、一个不合理的增强策略、一次标签类别索引的错位都可能让多月的工作付诸东流。如果让我重新开始这个项目我会首轮就花更多时间构建和清洗数据并提前把部署框架的算子兼容性纳入模块设计的约束中而不是等到训练完成后再去适配推理环境。希望这篇文章对你自己的类似项目能有一些可复用的帮助。
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
