茶叶病虫害的识别在茶园管理里一直是个让人头疼的活儿。传统做法是靠有经验的老师傅下地巡园凭肉眼判断叶片上的病斑和虫口密度但这种方式受主观经验影响大不同人看同一片叶子可能给出完全不同的结论而且大面积茶园走一遍下来人力成本高得离谱。这两年我一直在折腾把视觉检测模型往农业场景里落地前后试过好几个版本最后用YOLOv8搭了一套茶叶病虫害目标检测系统从数据采集到模型训练再到推理部署跑通了整条链路。这篇文章就把我踩过的坑、调参的思路、以及实际部署时遇到的真实问题完整分享出来适合想用YOLOv8做农业检测的开发者、做智慧农业项目的同学以及任何想把目标检测模型落到真实场景里的人参考。1. 为什么茶叶病虫害检测值得单独做一套系统1.1 茶叶病虫害的检测难点到底在哪很多人觉得目标检测嘛无非就是标数据、训模型、调参跟检测猫狗没什么区别。但茶叶病虫害这个场景有几个非常特殊的难点直接决定了你不能拿通用数据集的经验直接套。第一个难点是目标尺度差异极大。茶小绿叶蝉这种害虫成虫体长也就两三毫米在整张茶园拍摄的图像里可能只占十几个像素而像茶饼病这种病害一片叶子上能形成直径一两厘米的圆形病斑两者在同一个画面里尺度差了将近一个数量级。YOLOv8默认的Anchor配置和特征金字塔结构对小目标的召回本身就偏弱如果不做针对性调整小虫子的漏检率会高得让你怀疑人生。第二个难点是类间相似度高。茶叶上常见的病害有茶饼病、茶炭疽病、茶白星病等早期症状都是叶片上出现褐色或灰白色的小斑点肉眼区分都要凑近了看模型要区分它们难度更大。虫害这边茶小绿叶蝉和茶蚜在低分辨率下几乎长得一样都是绿色小点。这就导致模型很容易在几个相似类别之间反复横跳置信度分布很分散。第三个难点是背景干扰严重。茶园图像里充满了枝条、老叶、枯叶、土壤、甚至采茶人的手这些背景元素的颜色和纹理跟病虫害目标有大量重叠。尤其是枯黄的叶片边缘跟炭疽病的病斑颜色非常接近模型很容易把枯叶误判成病害。第四个难点是数据标注成本高。茶叶病虫害的标注需要一定的植保专业知识普通标注员根本分不清茶饼病和炭疽病必须找懂行的人来标这就导致标注速度慢、成本高而且不同标注员之间的标准很难统一。1.2 YOLOv8在这个场景下的优势与局限YOLOv8相比前几代最大的改进在于C2f模块替代了C3模块梯度分流更充分特征复用效率更高同时它采用了解耦头结构分类和回归分支分开对多类别检测更友好另外它默认是Anchor-Free的省去了聚类Anchor的麻烦对小目标检测也有一定帮助。但优势归优势直接拿YOLOv8n或者YOLOv8s在茶叶病虫害数据集上跑效果往往不尽如人意。我实测下来YOLOv8n在自建的茶叶病虫害数据集上mAP50只有0.62左右主要问题集中在小目标漏检和相似类别混淆上。所以后面我做了大量的改进工作包括数据增强策略调整、特征融合层改造、损失函数优化等最终把mAP50拉到了0.87以上。这里要强调一个观点模型选型不是越新越好也不是越大越好而是要看你的场景需求。如果你只是做一个演示DemoYOLOv8n足够了但如果要真正部署到茶园边缘设备上做实时检测你需要在精度和速度之间找到一个平衡点这个后面会详细讲。2. 数据集构建从茶园采集到标注的完整流程2.1 图像采集的设备选择与拍摄规范数据是模型的上限这句话在农业检测场景里体现得淋漓尽致。我见过太多人随便拿手机拍几百张照片就开始训模型结果模型在真实场景里完全不能用。茶叶病虫害的图像采集有几个关键点必须注意。采集设备方面我建议用至少2000万像素的相机或者高分辨率工业相机因为小目标检测对图像分辨率极其敏感。手机也不是不能用但要注意关闭自动美颜和HDR这些功能会改变图像的真实色彩分布导致模型学到的颜色特征跟实际不符。如果条件允许最好用固定焦距的相机避免变焦带来的尺度不一致问题。拍摄高度和角度我建议采用俯拍和侧拍相结合的方式。俯拍能清晰看到叶片正面的病斑形态侧拍能捕捉到叶片背面的虫害情况很多害虫喜欢藏在叶背。拍摄高度控制在30到50厘米之间太远了小目标看不清太近了视野太窄一张图覆盖不了几片叶子。光照条件这是最容易被忽略但影响最大的因素。我建议在晴天上午9点到11点、下午3点到5点这两个时间段采集光线均匀且色温稳定。避免正午强光直射会产生过曝和硬阴影也避免阴雨天拍摄图像整体偏灰对比度低。如果必须在阴天采集后期要做白平衡校正。采集数量我的经验是每个类别至少需要500到800张有效图像注意是有效图像模糊的、重复的、目标太小的都要剔除。总共6到8个类别的话数据集规模在4000到6000张比较合适。如果某些类别特别难采集可以通过数据增强来扩充但增强不能替代真实数据。2.2 标注规范制定与质量控制标注是另一个大坑。茶叶病虫害的标注不能只画个框就完事必须制定详细的标注规范否则不同人标出来的数据一致性很差。我制定的标注规范大致是这样的边界框要紧贴目标边缘对于病斑框住整个病斑区域包括边缘的黄色晕圈对于害虫框住虫体本身不包括触角和足。遮挡处理如果目标被叶片遮挡超过50%标记为difficult训练时降低权重遮挡小于50%的正常标注。最小标注尺寸小于8×8像素的目标不标注因为这种目标即使标了模型也学不到有效特征反而引入噪声。质量控制方面我采用双人交叉验证的方式每个人标完之后由另一个人抽查20%的数据如果发现错误率超过5%整批数据返工。另外每标完一批数据我会随机抽50张图做可视化检查看看框的位置和类别是否正确。这个环节虽然费时间但能避免后面训练出问题再回头找原因的痛苦。2.3 数据增强策略的针对性设计通用数据增强方法比如随机翻转、旋转、缩放、色彩抖动在茶叶病虫害场景里有的有用有的反而有害。有用的增强随机水平翻转和垂直翻转因为叶片在自然状态下朝向是随机的随机旋转90度、180度、270度模拟不同拍摄角度Mosaic增强YOLOv8默认开启能有效提升小目标检测能力MixUp增强但要控制比例太高了会导致小目标被覆盖。需要谨慎使用的增强色彩抖动中的饱和度调整幅度不能太大因为病虫害的颜色特征是重要判别依据饱和度调过头了颜色就失真了亮度调整也要适度太暗了目标看不清太亮了过曝。我额外加的增强随机遮挡模拟叶片遮挡场景提升模型对遮挡目标的鲁棒性小目标过采样对包含小目标的图像提高采样概率让模型多见见小目标背景替换把目标抠出来贴到不同的茶园背景上增加背景多样性。这里给一个我实际使用的增强配置参考# YOLOv8数据增强配置data.yaml中的augment部分 hsv_h: 0.015 # 色调调整幅度不宜过大 hsv_s: 0.4 # 饱和度调整适中 hsv_v: 0.3 # 亮度调整适中 degrees: 90.0 # 旋转角度范围 translate: 0.1 # 平移比例 scale: 0.5 # 缩放比例 shear: 2.0 # 剪切幅度 perspective: 0.0 # 透视变换茶叶场景不建议用 flipud: 0.5 # 上下翻转概率 fliplr: 0.5 # 左右翻转概率 mosaic: 1.0 # Mosaic增强概率 mixup: 0.1 # MixUp增强概率不宜过高3. YOLOv8模型改造针对小目标和相似类别的优化3.1 骨干网络与特征融合层的调整思路YOLOv8默认的骨干网络是CSPDarknet结构配合C2f模块整体特征提取能力不错。但在茶叶病虫害场景下小目标检测需要更高分辨率的特征图所以我在Neck部分做了针对性改造。具体来说YOLOv8默认使用PAN-FPN结构融合P3、P4、P5三个尺度的特征。对于小目标检测P3特征图 stride 8已经不够用了我额外增加了一个P2特征层stride 4专门用于检测极小目标。这样特征金字塔变成了P2到P5四个尺度小目标的召回率明显提升。但增加P2层会带来计算量增加的问题P2特征图的分辨率是输入图像的1/4假设输入640×640P2特征图就是160×160计算量相当可观。为了平衡速度我把P2层的通道数压缩到原来的一半并且只在P2层做一次卷积就输出检测结果不再往上融合。另外我在Neck部分引入了BiFPN加权双向特征金字塔的思想给不同尺度的特征赋予可学习的权重让网络自己决定哪些尺度的特征更重要。实测下来这个改动让mAP50提升了约2.3个百分点。3.2 注意力机制的引入位置与效果对比注意力机制在目标检测里已经是标配了但加在哪里、加什么类型效果差异很大。我试过几种方案这里做个对比。注意力类型引入位置mAP50提升推理速度影响SE注意力骨干网络末端1.2%-3%CBAMNeck每个融合节点2.1%-8%ECAC2f模块内部1.5%-2%CA注意力P2和P3特征层2.8%-6%无注意力-基准基准最后我选择的是CACoordinate Attention注意力加在P2和P3特征层上。原因是CA注意力同时编码了通道关系和空间位置信息对小目标的定位特别有帮助。而且它的计算开销相对可控不像CBAM那样在每个融合节点都加会导致速度明显下降。这里要提醒一点注意力机制不是越多越好。我试过在骨干网络每一层都加注意力结果mAP反而下降了因为过多的注意力模块会导致梯度消失和过拟合。一般加2到3个位置就够了重点加在小目标特征层上。3.3 损失函数与正负样本分配策略优化YOLOv8默认使用TaskAlignedAssigner做正负样本分配配合CIoU Loss做边界框回归。这个组合在通用数据集上表现很好但在茶叶病虫害这种小目标密集的场景下有几个问题需要解决。第一个问题是小目标的IoU计算不稳定。小目标本身像素就少预测框稍微偏几个像素IoU就掉得很厉害导致正样本分配不稳定。我的解决方案是引入NWDNormalized Wasserstein Distance来替代部分IoU计算NWD对尺度不敏感小目标的距离度量更稳定。具体做法是在正负样本分配阶段用NWD在回归损失里用CIoU和NWD的加权组合。第二个问题是类别不平衡。茶叶病虫害数据集中某些病害样本多某些虫害样本少差距可能达到5:1。我采用了Focal Loss的思想对难分类样本加大权重同时结合类别权重平衡给样本少的类别更高的损失权重。第三个问题是回归损失对低质量样本过于敏感。我引入了WIoUWise-IoU损失它能动态调整不同质量样本的梯度权重让模型更关注中等质量的样本避免被极端样本带偏。改造后的损失函数配置大致如下# 损失函数配置 box_loss: WIoU # 边界框回归损失 cls_loss: FocalLoss # 分类损失gamma1.5 dfl_loss: DFL # 分布焦点损失 assigner: TaskAlignedAssigner # 正负样本分配 nwd_weight: 0.3 # NWD在分配阶段的权重4. 训练调参与实测效果分析4.1 超参数设置与训练策略YOLOv8的训练超参数有一大堆但真正影响大的就那么几个。我把我实际使用的配置和调参逻辑列出来。学习率初始学习率设为0.01采用余弦退火策略最终降到初始值的0.01倍。茶叶病虫害数据集不算特别大学习率太高容易震荡太低收敛慢。我试过0.02和0.005前者loss震荡明显后者收敛太慢0.01是比较合适的。Batch Size这个取决于你的显存。我用的是单卡24G显存输入640×640batch size设为16。如果显存不够可以用梯度累积来模拟大batch的效果。注意batch size太小会导致BN层统计量不准影响模型性能。训练轮数我设的是300轮但实际在200轮左右就基本收敛了。配合早停策略patience50如果50轮内验证集mAP没有提升就停止训练。这样既保证充分训练又避免过拟合。优化器YOLOv8默认用SGD动量0.937权重衰减0.0005。我也试过AdamW收敛更快但最终精度略低而且AdamW对学习率更敏感。如果数据集比较小建议用AdamW数据集大的话SGD更稳。预热策略前3轮做warmup学习率从0.001线性升到初始学习率避免训练初期梯度爆炸。4.2 训练过程中的典型问题与解决训练过程中我遇到了几个典型问题这里分享排查思路。问题一loss不下降或者下降很慢。首先检查数据标注有没有问题用可视化工具把标注框画出来看看然后检查学习率是不是太小再检查数据增强是不是太激进导致模型学不到有效特征。我遇到过一次loss不降最后发现是标注文件里的类别索引从1开始而不是从0开始导致所有标签都错位了。问题二验证集mAP震荡严重。这通常是batch size太小或者学习率太大导致的。可以尝试增大batch size、降低学习率、或者增加训练数据量。另外如果验证集和训练集分布差异大也会导致震荡需要检查数据划分是否合理。问题三小目标漏检严重。除了前面说的增加P2特征层还可以尝试提高输入分辨率比如从640提到800或者在小目标上做过采样。我实测把输入分辨率从640提到800小目标mAP提升了约4个百分点但推理速度下降了约30%。问题四相似类别混淆。茶饼病和炭疽病经常被搞混我的解决方案是引入对比学习的思想在损失函数里加一个类间距离约束让不同类别的特征在特征空间里尽量分开。具体做法是在分类头后面加一个特征嵌入层计算类间余弦相似度作为额外的损失项。4.3 消融实验与最终性能指标为了验证每个改进点的效果我做了消融实验结果如下模型配置mAP50mAP50-95参数量(M)推理速度(FPS)YOLOv8n基线0.6230.4123.2142P2特征层0.6810.4533.8118CA注意力0.7120.4784.1109WIoU损失0.7340.4964.1109对比学习约束0.7580.5214.3105数据增强优化0.7910.5484.3105输入分辨率8000.8340.5874.378模型集成0.8710.6128.642最终我选择的是输入分辨率800、不加模型集成的版本mAP50达到0.834推理速度78FPS在精度和速度之间取得了比较好的平衡。模型集成虽然精度更高但参数量翻倍、速度减半对于边缘部署来说不划算。这里要说明一下推理速度是在RTX 3060上测的实际部署到边缘设备比如Jetson系列上速度会下降不少需要做TensorRT加速和量化。5. 部署落地从服务器到边缘设备的工程实践5.1 模型导出与推理加速方案训练好的PyTorch模型不能直接部署到生产环境需要做格式转换和加速。我一般走ONNX → TensorRT这条路线。导出ONNX的时候有几个坑要注意动态轴设置如果部署时输入尺寸会变要把batch和height、width设为动态轴opset版本建议用opset 11或12兼容性比较好简化模型用onnx-simplifier做一下图优化去掉冗余节点。TensorRT加速方面FP16量化基本能带来1.5到2倍的速度提升精度损失很小mAP下降不到0.5个百分点。INT8量化速度更快但需要校准数据集而且精度损失可能达到2到3个百分点对于病虫害检测这种对精度要求高的场景我建议用FP16就够了。如果部署到Jetson这类边缘设备还可以用DeepStream做流水线优化把解码、推理、后处理都放到GPU上进一步降低延迟。5.2 边缘设备部署的实际性能表现我在Jetson Xavier NX上实测了部署效果。输入800×800FP16精度TensorRT加速后单帧推理时间约45毫秒换算下来约22FPS。这个速度对于实时检测来说够用了但如果要处理多路视频流就需要做模型裁剪或者降低输入分辨率。内存占用方面模型本身约8MB加上TensorRT引擎和运行时总共占用约500MB显存。Jetson Xavier NX有8GB显存跑一路检测绰绰有余。功耗方面Jetson Xavier NX在15W模式下就能跑不需要开最高功耗模式。这对于茶园里的太阳能供电设备来说很关键功耗越低太阳能板和电池的成本就越低。5.3 实际茶园环境中的误报与漏报分析实验室指标好看不代表实际场景好用。我把系统拿到真实茶园里跑了一周发现了不少问题。误报的主要来源枯黄的叶片边缘被误判为炭疽病这个问题最严重占了误报的60%以上土壤上的褐色斑块被误判为病斑采茶人的手被误判为害虫。针对这些问题我补充了大量负样本不含目标的茶园图像到训练集里让模型学会区分真正的目标和背景干扰。补充负样本后误报率下降了约40%。漏报的主要来源严重遮挡的目标比如藏在叶片背面的害虫光照过暗区域的目标运动模糊导致的目标模糊。对于遮挡问题我通过增加随机遮挡增强来提升模型鲁棒性对于光照问题我在预处理阶段加了自适应直方图均衡化对于运动模糊只能通过提高快门速度来解决这是采集端的问题。一个实用的技巧在实际部署时我加了一个时序滤波模块。因为视频流是连续的如果某一帧检测到了目标但前后几帧都没有那这个检测结果很可能是误报可以过滤掉。这个简单的后处理逻辑让误报率又下降了约25%。6. 几个容易被忽略但很关键的实操细节6.1 类别定义与标注粒度的取舍很多人一上来就把所有能看到的病虫害都定义成类别结果类别太多每个类别的样本都不够模型学不好。我的建议是先做粗粒度分类再做细粒度分类。第一版模型我只分了4个类别健康叶片、病害不分具体类型、虫害不分具体类型、其他。这样每个类别都有充足的样本模型能快速达到可用的精度。等第一版跑通之后再把病害细分为茶饼病、炭疽病、白星病把虫害细分为叶蝉、蚜虫、螨虫。这样分阶段推进风险可控而且每一版都有可用的产出。另外标注粒度也要考虑实际需求。如果只是做病虫害预警不需要精确到具体病害类型那粗粒度就够了如果要做精准施药指导那就需要细粒度分类。不要为了追求技术上的完美而过度标注标注成本是很高的。6.2 模型更新与数据闭环的建立模型部署之后不是就完事了真实场景的数据分布会随着季节、天气、茶树生长阶段而变化模型需要持续更新。我建立了一个数据闭环流程部署端定期把检测结果和对应的图像回传注意隐私和合规问题只回传图像数据人工审核误报和漏报的样本把确认错误的样本加入训练集定期重新训练模型。这个流程听起来简单但实际执行起来需要一套工具链支撑包括数据回传、自动标注、人工审核、版本管理等等。我的经验是每季度更新一次模型比较合适。太频繁了成本高太久了模型性能下降明显。更新的时候不要直接覆盖旧模型而是做A/B测试新模型在验证集上超过旧模型一定幅度比如2个百分点才上线。6.3 推理速度与精度的平衡策略在实际部署中精度和速度永远是一对矛盾。我的平衡策略是分级处理第一级用轻量模型YOLOv8n做快速筛查只判断有没有病虫害不区分具体类型。这一级速度很快可以在边缘设备上实时跑。第二级如果第一级检测到异常把对应的图像区域裁剪出来用大模型YOLOv8m或l做精细分类。这一级不需要实时可以异步处理。第三级对于置信度低的样本上传到云端用更大的模型或者模型集成做最终判断。这种分级策略的好处是大部分正常图像只需要过第一级计算量很小只有少数异常图像需要走完整流程整体效率很高。6.4 常见部署环境的适配经验不同的部署环境有不同的适配要点我整理了一个对照表部署环境推荐模型加速方案输入分辨率预期FPS服务器GPUYOLOv8m/lTensorRT FP16800100边缘设备YOLOv8n/sTensorRT FP1664020-40移动端YOLOv8nNCNN/MNN41610-20浏览器YOLOv8nONNX Runtime Web3205-15移动端部署要特别注意模型大小和内存占用YOLOv8n导出ONNX后约12MB量化后可以压到3MB左右。浏览器端部署受限于WebAssembly的性能输入分辨率要降得很低精度损失比较大适合做演示而不是生产。7. 写在最后的一些个人体会这套系统从立项到跑通前后花了大概四个月时间其中数据采集和标注占了将近一半的时间。如果让我重新做一遍我会在数据上投入更多精力因为模型结构再怎么改提升也就几个百分点但数据质量上去了效果是立竿见影的。另外不要迷信SOTA。我试过一些最新的检测模型在公开数据集上指标确实比YOLOv8高但在茶叶病虫害这个特定场景下优势并不明显反而因为结构复杂导致部署困难。YOLOv8的生态成熟、工具链完善、社区活跃遇到问题容易找到解决方案这些工程上的优势在实际项目中比几个百分点的精度提升更重要。最后说一个我踩过的坑不要等到模型完美了才部署。我一开始总想把mAP刷到0.9以上再上线结果拖了很久。后来想通了先部署一个0.75的版本收集真实场景的数据再迭代优化这样反而更快达到可用状态。真实场景的数据反馈比在实验室里调参有价值得多。
茶叶病虫害的识别在茶园管理里一直是个让人头疼的活儿。传统做法是靠有经验的老师傅下地巡园凭肉眼判断叶片上的病斑和虫口密度但这种方式受主观经验影响大不同人看同一片叶子可能给出完全不同的结论而且大面积茶园走一遍下来人力成本高得离谱。这两年我一直在折腾把视觉检测模型往农业场景里落地前后试过好几个版本最后用YOLOv8搭了一套茶叶病虫害目标检测系统从数据采集到模型训练再到推理部署跑通了整条链路。这篇文章就把我踩过的坑、调参的思路、以及实际部署时遇到的真实问题完整分享出来适合想用YOLOv8做农业检测的开发者、做智慧农业项目的同学以及任何想把目标检测模型落到真实场景里的人参考。1. 为什么茶叶病虫害检测值得单独做一套系统1.1 茶叶病虫害的检测难点到底在哪很多人觉得目标检测嘛无非就是标数据、训模型、调参跟检测猫狗没什么区别。但茶叶病虫害这个场景有几个非常特殊的难点直接决定了你不能拿通用数据集的经验直接套。第一个难点是目标尺度差异极大。茶小绿叶蝉这种害虫成虫体长也就两三毫米在整张茶园拍摄的图像里可能只占十几个像素而像茶饼病这种病害一片叶子上能形成直径一两厘米的圆形病斑两者在同一个画面里尺度差了将近一个数量级。YOLOv8默认的Anchor配置和特征金字塔结构对小目标的召回本身就偏弱如果不做针对性调整小虫子的漏检率会高得让你怀疑人生。第二个难点是类间相似度高。茶叶上常见的病害有茶饼病、茶炭疽病、茶白星病等早期症状都是叶片上出现褐色或灰白色的小斑点肉眼区分都要凑近了看模型要区分它们难度更大。虫害这边茶小绿叶蝉和茶蚜在低分辨率下几乎长得一样都是绿色小点。这就导致模型很容易在几个相似类别之间反复横跳置信度分布很分散。第三个难点是背景干扰严重。茶园图像里充满了枝条、老叶、枯叶、土壤、甚至采茶人的手这些背景元素的颜色和纹理跟病虫害目标有大量重叠。尤其是枯黄的叶片边缘跟炭疽病的病斑颜色非常接近模型很容易把枯叶误判成病害。第四个难点是数据标注成本高。茶叶病虫害的标注需要一定的植保专业知识普通标注员根本分不清茶饼病和炭疽病必须找懂行的人来标这就导致标注速度慢、成本高而且不同标注员之间的标准很难统一。1.2 YOLOv8在这个场景下的优势与局限YOLOv8相比前几代最大的改进在于C2f模块替代了C3模块梯度分流更充分特征复用效率更高同时它采用了解耦头结构分类和回归分支分开对多类别检测更友好另外它默认是Anchor-Free的省去了聚类Anchor的麻烦对小目标检测也有一定帮助。但优势归优势直接拿YOLOv8n或者YOLOv8s在茶叶病虫害数据集上跑效果往往不尽如人意。我实测下来YOLOv8n在自建的茶叶病虫害数据集上mAP50只有0.62左右主要问题集中在小目标漏检和相似类别混淆上。所以后面我做了大量的改进工作包括数据增强策略调整、特征融合层改造、损失函数优化等最终把mAP50拉到了0.87以上。这里要强调一个观点模型选型不是越新越好也不是越大越好而是要看你的场景需求。如果你只是做一个演示DemoYOLOv8n足够了但如果要真正部署到茶园边缘设备上做实时检测你需要在精度和速度之间找到一个平衡点这个后面会详细讲。2. 数据集构建从茶园采集到标注的完整流程2.1 图像采集的设备选择与拍摄规范数据是模型的上限这句话在农业检测场景里体现得淋漓尽致。我见过太多人随便拿手机拍几百张照片就开始训模型结果模型在真实场景里完全不能用。茶叶病虫害的图像采集有几个关键点必须注意。采集设备方面我建议用至少2000万像素的相机或者高分辨率工业相机因为小目标检测对图像分辨率极其敏感。手机也不是不能用但要注意关闭自动美颜和HDR这些功能会改变图像的真实色彩分布导致模型学到的颜色特征跟实际不符。如果条件允许最好用固定焦距的相机避免变焦带来的尺度不一致问题。拍摄高度和角度我建议采用俯拍和侧拍相结合的方式。俯拍能清晰看到叶片正面的病斑形态侧拍能捕捉到叶片背面的虫害情况很多害虫喜欢藏在叶背。拍摄高度控制在30到50厘米之间太远了小目标看不清太近了视野太窄一张图覆盖不了几片叶子。光照条件这是最容易被忽略但影响最大的因素。我建议在晴天上午9点到11点、下午3点到5点这两个时间段采集光线均匀且色温稳定。避免正午强光直射会产生过曝和硬阴影也避免阴雨天拍摄图像整体偏灰对比度低。如果必须在阴天采集后期要做白平衡校正。采集数量我的经验是每个类别至少需要500到800张有效图像注意是有效图像模糊的、重复的、目标太小的都要剔除。总共6到8个类别的话数据集规模在4000到6000张比较合适。如果某些类别特别难采集可以通过数据增强来扩充但增强不能替代真实数据。2.2 标注规范制定与质量控制标注是另一个大坑。茶叶病虫害的标注不能只画个框就完事必须制定详细的标注规范否则不同人标出来的数据一致性很差。我制定的标注规范大致是这样的边界框要紧贴目标边缘对于病斑框住整个病斑区域包括边缘的黄色晕圈对于害虫框住虫体本身不包括触角和足。遮挡处理如果目标被叶片遮挡超过50%标记为difficult训练时降低权重遮挡小于50%的正常标注。最小标注尺寸小于8×8像素的目标不标注因为这种目标即使标了模型也学不到有效特征反而引入噪声。质量控制方面我采用双人交叉验证的方式每个人标完之后由另一个人抽查20%的数据如果发现错误率超过5%整批数据返工。另外每标完一批数据我会随机抽50张图做可视化检查看看框的位置和类别是否正确。这个环节虽然费时间但能避免后面训练出问题再回头找原因的痛苦。2.3 数据增强策略的针对性设计通用数据增强方法比如随机翻转、旋转、缩放、色彩抖动在茶叶病虫害场景里有的有用有的反而有害。有用的增强随机水平翻转和垂直翻转因为叶片在自然状态下朝向是随机的随机旋转90度、180度、270度模拟不同拍摄角度Mosaic增强YOLOv8默认开启能有效提升小目标检测能力MixUp增强但要控制比例太高了会导致小目标被覆盖。需要谨慎使用的增强色彩抖动中的饱和度调整幅度不能太大因为病虫害的颜色特征是重要判别依据饱和度调过头了颜色就失真了亮度调整也要适度太暗了目标看不清太亮了过曝。我额外加的增强随机遮挡模拟叶片遮挡场景提升模型对遮挡目标的鲁棒性小目标过采样对包含小目标的图像提高采样概率让模型多见见小目标背景替换把目标抠出来贴到不同的茶园背景上增加背景多样性。这里给一个我实际使用的增强配置参考# YOLOv8数据增强配置data.yaml中的augment部分 hsv_h: 0.015 # 色调调整幅度不宜过大 hsv_s: 0.4 # 饱和度调整适中 hsv_v: 0.3 # 亮度调整适中 degrees: 90.0 # 旋转角度范围 translate: 0.1 # 平移比例 scale: 0.5 # 缩放比例 shear: 2.0 # 剪切幅度 perspective: 0.0 # 透视变换茶叶场景不建议用 flipud: 0.5 # 上下翻转概率 fliplr: 0.5 # 左右翻转概率 mosaic: 1.0 # Mosaic增强概率 mixup: 0.1 # MixUp增强概率不宜过高3. YOLOv8模型改造针对小目标和相似类别的优化3.1 骨干网络与特征融合层的调整思路YOLOv8默认的骨干网络是CSPDarknet结构配合C2f模块整体特征提取能力不错。但在茶叶病虫害场景下小目标检测需要更高分辨率的特征图所以我在Neck部分做了针对性改造。具体来说YOLOv8默认使用PAN-FPN结构融合P3、P4、P5三个尺度的特征。对于小目标检测P3特征图 stride 8已经不够用了我额外增加了一个P2特征层stride 4专门用于检测极小目标。这样特征金字塔变成了P2到P5四个尺度小目标的召回率明显提升。但增加P2层会带来计算量增加的问题P2特征图的分辨率是输入图像的1/4假设输入640×640P2特征图就是160×160计算量相当可观。为了平衡速度我把P2层的通道数压缩到原来的一半并且只在P2层做一次卷积就输出检测结果不再往上融合。另外我在Neck部分引入了BiFPN加权双向特征金字塔的思想给不同尺度的特征赋予可学习的权重让网络自己决定哪些尺度的特征更重要。实测下来这个改动让mAP50提升了约2.3个百分点。3.2 注意力机制的引入位置与效果对比注意力机制在目标检测里已经是标配了但加在哪里、加什么类型效果差异很大。我试过几种方案这里做个对比。注意力类型引入位置mAP50提升推理速度影响SE注意力骨干网络末端1.2%-3%CBAMNeck每个融合节点2.1%-8%ECAC2f模块内部1.5%-2%CA注意力P2和P3特征层2.8%-6%无注意力-基准基准最后我选择的是CACoordinate Attention注意力加在P2和P3特征层上。原因是CA注意力同时编码了通道关系和空间位置信息对小目标的定位特别有帮助。而且它的计算开销相对可控不像CBAM那样在每个融合节点都加会导致速度明显下降。这里要提醒一点注意力机制不是越多越好。我试过在骨干网络每一层都加注意力结果mAP反而下降了因为过多的注意力模块会导致梯度消失和过拟合。一般加2到3个位置就够了重点加在小目标特征层上。3.3 损失函数与正负样本分配策略优化YOLOv8默认使用TaskAlignedAssigner做正负样本分配配合CIoU Loss做边界框回归。这个组合在通用数据集上表现很好但在茶叶病虫害这种小目标密集的场景下有几个问题需要解决。第一个问题是小目标的IoU计算不稳定。小目标本身像素就少预测框稍微偏几个像素IoU就掉得很厉害导致正样本分配不稳定。我的解决方案是引入NWDNormalized Wasserstein Distance来替代部分IoU计算NWD对尺度不敏感小目标的距离度量更稳定。具体做法是在正负样本分配阶段用NWD在回归损失里用CIoU和NWD的加权组合。第二个问题是类别不平衡。茶叶病虫害数据集中某些病害样本多某些虫害样本少差距可能达到5:1。我采用了Focal Loss的思想对难分类样本加大权重同时结合类别权重平衡给样本少的类别更高的损失权重。第三个问题是回归损失对低质量样本过于敏感。我引入了WIoUWise-IoU损失它能动态调整不同质量样本的梯度权重让模型更关注中等质量的样本避免被极端样本带偏。改造后的损失函数配置大致如下# 损失函数配置 box_loss: WIoU # 边界框回归损失 cls_loss: FocalLoss # 分类损失gamma1.5 dfl_loss: DFL # 分布焦点损失 assigner: TaskAlignedAssigner # 正负样本分配 nwd_weight: 0.3 # NWD在分配阶段的权重4. 训练调参与实测效果分析4.1 超参数设置与训练策略YOLOv8的训练超参数有一大堆但真正影响大的就那么几个。我把我实际使用的配置和调参逻辑列出来。学习率初始学习率设为0.01采用余弦退火策略最终降到初始值的0.01倍。茶叶病虫害数据集不算特别大学习率太高容易震荡太低收敛慢。我试过0.02和0.005前者loss震荡明显后者收敛太慢0.01是比较合适的。Batch Size这个取决于你的显存。我用的是单卡24G显存输入640×640batch size设为16。如果显存不够可以用梯度累积来模拟大batch的效果。注意batch size太小会导致BN层统计量不准影响模型性能。训练轮数我设的是300轮但实际在200轮左右就基本收敛了。配合早停策略patience50如果50轮内验证集mAP没有提升就停止训练。这样既保证充分训练又避免过拟合。优化器YOLOv8默认用SGD动量0.937权重衰减0.0005。我也试过AdamW收敛更快但最终精度略低而且AdamW对学习率更敏感。如果数据集比较小建议用AdamW数据集大的话SGD更稳。预热策略前3轮做warmup学习率从0.001线性升到初始学习率避免训练初期梯度爆炸。4.2 训练过程中的典型问题与解决训练过程中我遇到了几个典型问题这里分享排查思路。问题一loss不下降或者下降很慢。首先检查数据标注有没有问题用可视化工具把标注框画出来看看然后检查学习率是不是太小再检查数据增强是不是太激进导致模型学不到有效特征。我遇到过一次loss不降最后发现是标注文件里的类别索引从1开始而不是从0开始导致所有标签都错位了。问题二验证集mAP震荡严重。这通常是batch size太小或者学习率太大导致的。可以尝试增大batch size、降低学习率、或者增加训练数据量。另外如果验证集和训练集分布差异大也会导致震荡需要检查数据划分是否合理。问题三小目标漏检严重。除了前面说的增加P2特征层还可以尝试提高输入分辨率比如从640提到800或者在小目标上做过采样。我实测把输入分辨率从640提到800小目标mAP提升了约4个百分点但推理速度下降了约30%。问题四相似类别混淆。茶饼病和炭疽病经常被搞混我的解决方案是引入对比学习的思想在损失函数里加一个类间距离约束让不同类别的特征在特征空间里尽量分开。具体做法是在分类头后面加一个特征嵌入层计算类间余弦相似度作为额外的损失项。4.3 消融实验与最终性能指标为了验证每个改进点的效果我做了消融实验结果如下模型配置mAP50mAP50-95参数量(M)推理速度(FPS)YOLOv8n基线0.6230.4123.2142P2特征层0.6810.4533.8118CA注意力0.7120.4784.1109WIoU损失0.7340.4964.1109对比学习约束0.7580.5214.3105数据增强优化0.7910.5484.3105输入分辨率8000.8340.5874.378模型集成0.8710.6128.642最终我选择的是输入分辨率800、不加模型集成的版本mAP50达到0.834推理速度78FPS在精度和速度之间取得了比较好的平衡。模型集成虽然精度更高但参数量翻倍、速度减半对于边缘部署来说不划算。这里要说明一下推理速度是在RTX 3060上测的实际部署到边缘设备比如Jetson系列上速度会下降不少需要做TensorRT加速和量化。5. 部署落地从服务器到边缘设备的工程实践5.1 模型导出与推理加速方案训练好的PyTorch模型不能直接部署到生产环境需要做格式转换和加速。我一般走ONNX → TensorRT这条路线。导出ONNX的时候有几个坑要注意动态轴设置如果部署时输入尺寸会变要把batch和height、width设为动态轴opset版本建议用opset 11或12兼容性比较好简化模型用onnx-simplifier做一下图优化去掉冗余节点。TensorRT加速方面FP16量化基本能带来1.5到2倍的速度提升精度损失很小mAP下降不到0.5个百分点。INT8量化速度更快但需要校准数据集而且精度损失可能达到2到3个百分点对于病虫害检测这种对精度要求高的场景我建议用FP16就够了。如果部署到Jetson这类边缘设备还可以用DeepStream做流水线优化把解码、推理、后处理都放到GPU上进一步降低延迟。5.2 边缘设备部署的实际性能表现我在Jetson Xavier NX上实测了部署效果。输入800×800FP16精度TensorRT加速后单帧推理时间约45毫秒换算下来约22FPS。这个速度对于实时检测来说够用了但如果要处理多路视频流就需要做模型裁剪或者降低输入分辨率。内存占用方面模型本身约8MB加上TensorRT引擎和运行时总共占用约500MB显存。Jetson Xavier NX有8GB显存跑一路检测绰绰有余。功耗方面Jetson Xavier NX在15W模式下就能跑不需要开最高功耗模式。这对于茶园里的太阳能供电设备来说很关键功耗越低太阳能板和电池的成本就越低。5.3 实际茶园环境中的误报与漏报分析实验室指标好看不代表实际场景好用。我把系统拿到真实茶园里跑了一周发现了不少问题。误报的主要来源枯黄的叶片边缘被误判为炭疽病这个问题最严重占了误报的60%以上土壤上的褐色斑块被误判为病斑采茶人的手被误判为害虫。针对这些问题我补充了大量负样本不含目标的茶园图像到训练集里让模型学会区分真正的目标和背景干扰。补充负样本后误报率下降了约40%。漏报的主要来源严重遮挡的目标比如藏在叶片背面的害虫光照过暗区域的目标运动模糊导致的目标模糊。对于遮挡问题我通过增加随机遮挡增强来提升模型鲁棒性对于光照问题我在预处理阶段加了自适应直方图均衡化对于运动模糊只能通过提高快门速度来解决这是采集端的问题。一个实用的技巧在实际部署时我加了一个时序滤波模块。因为视频流是连续的如果某一帧检测到了目标但前后几帧都没有那这个检测结果很可能是误报可以过滤掉。这个简单的后处理逻辑让误报率又下降了约25%。6. 几个容易被忽略但很关键的实操细节6.1 类别定义与标注粒度的取舍很多人一上来就把所有能看到的病虫害都定义成类别结果类别太多每个类别的样本都不够模型学不好。我的建议是先做粗粒度分类再做细粒度分类。第一版模型我只分了4个类别健康叶片、病害不分具体类型、虫害不分具体类型、其他。这样每个类别都有充足的样本模型能快速达到可用的精度。等第一版跑通之后再把病害细分为茶饼病、炭疽病、白星病把虫害细分为叶蝉、蚜虫、螨虫。这样分阶段推进风险可控而且每一版都有可用的产出。另外标注粒度也要考虑实际需求。如果只是做病虫害预警不需要精确到具体病害类型那粗粒度就够了如果要做精准施药指导那就需要细粒度分类。不要为了追求技术上的完美而过度标注标注成本是很高的。6.2 模型更新与数据闭环的建立模型部署之后不是就完事了真实场景的数据分布会随着季节、天气、茶树生长阶段而变化模型需要持续更新。我建立了一个数据闭环流程部署端定期把检测结果和对应的图像回传注意隐私和合规问题只回传图像数据人工审核误报和漏报的样本把确认错误的样本加入训练集定期重新训练模型。这个流程听起来简单但实际执行起来需要一套工具链支撑包括数据回传、自动标注、人工审核、版本管理等等。我的经验是每季度更新一次模型比较合适。太频繁了成本高太久了模型性能下降明显。更新的时候不要直接覆盖旧模型而是做A/B测试新模型在验证集上超过旧模型一定幅度比如2个百分点才上线。6.3 推理速度与精度的平衡策略在实际部署中精度和速度永远是一对矛盾。我的平衡策略是分级处理第一级用轻量模型YOLOv8n做快速筛查只判断有没有病虫害不区分具体类型。这一级速度很快可以在边缘设备上实时跑。第二级如果第一级检测到异常把对应的图像区域裁剪出来用大模型YOLOv8m或l做精细分类。这一级不需要实时可以异步处理。第三级对于置信度低的样本上传到云端用更大的模型或者模型集成做最终判断。这种分级策略的好处是大部分正常图像只需要过第一级计算量很小只有少数异常图像需要走完整流程整体效率很高。6.4 常见部署环境的适配经验不同的部署环境有不同的适配要点我整理了一个对照表部署环境推荐模型加速方案输入分辨率预期FPS服务器GPUYOLOv8m/lTensorRT FP16800100边缘设备YOLOv8n/sTensorRT FP1664020-40移动端YOLOv8nNCNN/MNN41610-20浏览器YOLOv8nONNX Runtime Web3205-15移动端部署要特别注意模型大小和内存占用YOLOv8n导出ONNX后约12MB量化后可以压到3MB左右。浏览器端部署受限于WebAssembly的性能输入分辨率要降得很低精度损失比较大适合做演示而不是生产。7. 写在最后的一些个人体会这套系统从立项到跑通前后花了大概四个月时间其中数据采集和标注占了将近一半的时间。如果让我重新做一遍我会在数据上投入更多精力因为模型结构再怎么改提升也就几个百分点但数据质量上去了效果是立竿见影的。另外不要迷信SOTA。我试过一些最新的检测模型在公开数据集上指标确实比YOLOv8高但在茶叶病虫害这个特定场景下优势并不明显反而因为结构复杂导致部署困难。YOLOv8的生态成熟、工具链完善、社区活跃遇到问题容易找到解决方案这些工程上的优势在实际项目中比几个百分点的精度提升更重要。最后说一个我踩过的坑不要等到模型完美了才部署。我一开始总想把mAP刷到0.9以上再上线结果拖了很久。后来想通了先部署一个0.75的版本收集真实场景的数据再迭代优化这样反而更快达到可用状态。真实场景的数据反馈比在实验室里调参有价值得多。
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
