简介一份面向农业信息化与智慧植保领域的图像处理技术应用资料系统梳理了茶叶害虫智能识别的完整流程。内容涵盖样本图像库构建、图像预处理、害虫自动定位、特征提取及分类器设计等关键环节适合研究者或工程师参考。文档从传统人工识别的局限切入对比了阈值分割、边缘检测与超像素聚类等定位方法的适用场景并强调了选用光照、尺度不变性特征的重要性。资料对SLIC超像素与DBSCAN聚类结合的分割策略、HSV颜色空间下的Otsu阈值分割、SIFT/ORB/HOG等特征描述算子以及SVM、随机森林等分类算法均有具体阐述可为开展类似农业害虫识别实验提供完整思路参考。压缩包内为1个docx文档文件体积约14KB便于快速浏览和按需引用。该资源已有55人学习适合正在寻找图像处理与农业应用结合案例的初学者或相关课题研究人员参考。1. 传统人工识别的瓶颈与图像处理识别流程茶叶害虫识别这事看起来是小问题做起来才知道水有多深。茶农靠经验肉眼识别需要蹲在茶园里一片叶子一片叶子地翻黑刺粉虱的若虫只有针尖大小茶蚜又躲在嫩芽背面一天下来脖子酸眼睛花漏检率还不低。更麻烦的是人工识别结果没法量化施药时只能凭感觉“整片田都打”农药浪费和残留问题都跟着来了。图像处理技术解决的不是“认得出”的问题而是“稳定、快速、可复现”地认出来。整套识别流程拆开看其实就两个阶段先用带标签的样本图像训练出一个分类器模型再用这个模型去预测新图像里的害虫类别。中间涉及样本库建立、预处理、定位、特征提取和分类器训练五个环节任何一个环节偷懒最终准确率都会直接给你颜色看。2. 样本库构建与图像预处理从正负样本到直方图均衡化2.1 正负样本的设计逻辑害虫智能识别模型本质上是监督学习样本库的质量决定模型上限。正样本是你要识别的害虫本身比如黑刺粉虱、茶蚜、茶小绿叶蝉每种害虫至少要覆盖幼虫、成虫、蛹等不同形态以及正面、侧面、背面等拍摄角度。这里有个工程细节田间拍摄时害虫姿态不可控所以正样本里一定要包含“残缺”样本——比如被叶片遮挡一半的虫体、逆光下只看得清轮廓的虫影。很多初学者只收集“标准照”模型一到真实茶园就完全失灵问题就出在样本多样性不足。负样本则是茶园里除了目标害虫之外的一切干扰物茶树叶、枯枝、杂草、土壤颗粒、水滴反光。负样本数量建议至少和正样本持平对于复杂背景场景负样本甚至要更多。因为分类器在训练时会倾向于把“没见过的东西”归为负类只有负样本足够丰富模型才能学会区分“像害虫但不是害虫”的边缘情况。2.2 图像裁剪与直方图均衡化的实现拿到原始图像后第一步是裁剪。正样本图像通常来自田间采集茶树叶片和背景占了大半画面直接送进特征提取器会让背景噪声淹没害虫本身的特征。我一般会用标注工具先框出害虫所在区域然后按x_min, y_min, x_max, y_max裁剪。如果是要构建训练集裁剪后的图像统一缩放到固定尺寸比如 224×224方便后续批量处理。直方图均衡化是预处理里性价比最高的操作。田间图像受光照影响极大——晴天中午的强光、阴天的散射光、早晚的低照度都会让同一只害虫的颜色分布完全不同。直方图均衡化能把像素灰度分布拉伸到整个动态范围相当于对光照做了一次归一化。用 OpenCV 实现很简单import cv2 def preprocess_image(img_path, output_size(224, 224)): # 读取图像 img cv2.imread(img_path) # 转换为灰度图用于直方图均衡化 gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) # 限制对比度自适应直方图均衡化 (CLAHE) clahe cv2.createCLAHE(clipLimit2.0, tileGridSize(8, 8)) enhanced_gray clahe.apply(gray) # 将增强后的灰度图转回三通道保留颜色信息 enhanced_img cv2.merge([enhanced_gray] * 3) # 尺寸归一化 resized cv2.resize(enhanced_img, output_size, interpolationcv2.INTER_AREA) return resized这段代码里有两个关键参数clipLimit2.0控制对比度增强的幅度值越大对比度越强但过大会导致噪声放大田间图像一般取值 1.53.0tileGridSize(8, 8)将图像分成 8×8 个小块分别做均衡化用来避免全局均衡化在明暗差异大的区域产生过曝或欠曝。INTER_AREA插值方法适合缩小图像能保留更多纹理细节。2.3 滤波去噪的选型建议田间图像常见的噪声来源是传感器热噪声和压缩伪影。中值滤波对椒盐噪声效果最好而且能保留边缘信息适合害虫这类轮廓特征明显的目标。但要注意滤波核尺寸别超过 5×5否则会把细小害虫的刚毛、触角等细节抹掉。高斯滤波适合高斯噪声但会模糊边缘如果后续要做边缘检测我建议慎用高斯或者用双边滤波替代。双边滤波在去噪的同时能保住边缘代价是计算量大离线处理无所谓实时性要求高的话就用中值滤波。3. 基于分割的害虫定位SLIC、DBSCAN 与 Otsu 阈值3.1 分割方法选型阈值、边缘还是区域害虫定位的本质是从复杂背景中分离出目标区域。最简单的思路是基于阈值的分割找个合适的灰度阈值把昆虫和背景拆开。但田间图像的灰度直方图往往没有明显的双峰全局阈值经常失效。边缘检测如 Canny对光照变化敏感而且茶叶叶片边缘和害虫边缘混杂在一起直接检测很容易得到一堆碎片。基于区域的方法如区域生长需要人工设定种子点自动化程度不够。实际工程中我更推荐组合方案先用超像素把图像分割成小块再用聚类算法把属于害虫的超像素合并这就是目前田间害虫定位的主流做法。3.2 SLIC 超像素 DBSCAN 聚类实现SLIC简单线性迭代聚类把图像分成紧凑、近似均匀的超像素块运行速度快而且能贴合边缘。DBSCAN 是一种基于密度的聚类算法它不需要预先指定类别数还能识别出噪声点非常适合超像素合并的场景。整个流程如下import cv2 import numpy as np from skimage.segmentation import slic from sklearn.cluster import DBSCAN def locate_pest(img, n_segments200, compactness20, eps8, min_samples10): # 转换为 Lab 颜色空间更符合人类感知 lab cv2.cvtColor(img, cv2.COLOR_BGR2LAB) # SLIC 超像素分割 segments slic(lab, n_segmentsn_segments, compactnesscompactness, sigma1, start_label0) # 计算每个超像素的均值颜色 (L, a, b) num_segments segments.max() 1 seg_features np.zeros((num_segments, 3)) for i in range(num_segments): mask (segments i) seg_features[i] lab[mask].mean(axis0) # DBSCAN 聚类 clustering DBSCAN(epseps, min_samplesmin_samples).fit(seg_features) # 取样本数最多的类作为害虫候选区域通常害虫在图像中占小部分 labels clustering.labels_ counts np.bincount(labels[labels 0]) target_cluster np.argmax(counts) # 生成掩膜 mask np.zeros(img.shape[:2], dtypenp.uint8) for i, label in enumerate(labels): if label target_cluster: mask[segments i] 255 return mask参数方面n_segments200是超像素数量图像越大需要的数量越多compactness20控制超像素的规则程度值越小越贴合物体边缘。DBSCAN 的eps是邻域半径超像素均值颜色作为特征时Lab 空间中eps8通常能较好区分害虫和叶片min_samples10表示形成稠密区域所需的最小样本数太小会把零散超像素合并进来太大则可能把害虫区域拆碎。这个方案跑下来茶小绿叶蝉这类体色与叶片接近的害虫也能获得相对完整的候选区域。3.3 Otsu 阈值在 HSV 颜色空间中的应用另一种实用的定位方案是把图像转到 HSV 空间利用害虫与叶片在色相上的差异做阈值分割。害虫体色多为黄褐色、深绿色或黑色茶树叶片则是翠绿色在 H 通道上往往能拉开距离。韩瑞珍的工作就是基于 HSV 颜色空间做 Otsu 分割思路很直接hsv cv2.cvtColor(img, cv2.COLOR_BGR2HSV) # 取 H 通道 h_channel hsv[:, :, 0] # Otsu 自动阈值分割 ret, mask cv2.threshold(h_channel, 0, 255, cv2.THRESH_BINARY_INV cv2.THRESH_OTSU) # 用形态学开运算去除小噪点 kernel cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (3, 3)) mask cv2.morphologyEx(mask, cv2.MORPH_OPEN, kernel, iterations1)注意这里用了THRESH_BINARY_INV因为害虫区域的 H 值通常比背景低在 OpenCV 的 H 范围 0-180 中绿色大约在 60 附近黄褐色在 20-30 附近。Otsu 会自动计算分割阈值不需要人工调整适合批量处理不同光照条件的图像。但 Otsu 假设直方图是双峰分布如果图像里土壤和枯枝颜色跟害虫太接近分割结果可能把土壤也包含进来所以通常还会加一个面积过滤只保留面积在一定范围内的连通区域过滤掉过大的背景块和过小的噪点。4. 特征描述子选择与分类器训练HOG、SURF 与 SVM4.1 特征提取从全局到局部害虫定位完成后得到的是包含害虫的局部图像或者掩膜区域。接下来要做的就是把图像内容转换成分类器能读懂的数值向量。常用的图像特征分三类颜色特征、纹理特征和形状特征。颜色特征最常用的是 HSV 颜色直方图它对光照有一定鲁棒性而且计算简单。纹理特征常用 LBP局部二值模式和 Gabor 滤波器能描述害虫翅膀的花纹和体表的细微结构。形状特征则包括轮廓的 Hu 矩、面积周长比、离心率等用来区分虫体和圆形叶片斑点。局部特征描述子方面SIFT 和 SURF 都有尺度和旋转不变性适合野外的多角度拍摄场景但 SIFT 计算量大在嵌入式设备上实时性不足。ORB 速度快很多但鲁棒性略差。HOG 特征描述的是梯度方向直方图对形状轮廓特别敏感而且对光照变化有一定容忍度是我做害虫识别时最常用的特征。张永玲等人把 HSV 颜色特征和 HOG 特征融合识别率比单独使用任何一种特征都高这个思路值得借鉴。下面是利用 OpenCV 提取 HOG 特征的示例def extract_hog_features(img, cell_size(8, 8), block_size(2, 2), bins9): # 图像转灰度并缩放到固定大小 gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) gray cv2.resize(gray, (64, 128)) # HOG 标准检测窗口 # 使用 OpenCV 的 HOGDescriptor win_size (64, 128) block_stride (8, 8) n_bins bins hog cv2.HOGDescriptor(win_size, (block_size[0]*cell_size[0], block_size[1]*cell_size[1]), block_stride, cell_size, n_bins) features hog.compute(gray) return features.flatten()这里win_size是检测窗口大小原图会缩放到这个尺寸。block_stride是块移动的步长步长越小特征维度越高计算量越大一般设为cell_size的大小即可。特征维度可以通过公式计算对于 64×128 的图像cell 为 8×8则有 8×16 个 cellblock 为 2×2则有 (8-1)×(16-1)105 个 block每个 block 有 4 个 cell × 9 个 bin 36 维特征总维度 105×363780 维。这个向量就可以直接喂给分类器。4.2 分类器对比与选择常用分类算法里SVM 在小样本、高维特征场景下表现稳定是害虫识别文献中出现频率最高的分类器。随机森林对特征工程要求低能处理非线性关系而且不容易过拟合。BP 神经网络需要大量数据且训练速度慢但模型表达能力强。AdaBoost 通过集成弱分类器提升精度在特征区分度不高时有效。分类器样本量要求训练速度识别精度适合场景SVM (RBF核)中等较快高特征维度高、样本中等随机森林大快中高特征噪声多、需要特征重要性BP神经网络大慢高数据充足、形态复杂AdaBoost中等中等中弱特征多、需要集成我建议先用 SVM RBF 核作为基线模型因为它对特征缩放敏感需要先做标准化。训练流程如下from sklearn.svm import SVC from sklearn.preprocessing import StandardScaler from sklearn.pipeline import make_pipeline from sklearn.model_selection import train_test_split from sklearn.metrics import classification_report def train_svm(features, labels): # 划分训练集和验证集按类别比例分层抽样 X_train, X_val, y_train, y_val train_test_split( features, labels, test_size0.2, stratifylabels, random_state42) # 标准化 SVM 管道 svm make_pipeline(StandardScaler(), SVC(kernelrbf, C1.0, gammascale, class_weightbalanced, probabilityTrue)) svm.fit(X_train, y_train) # 输出验证集结果 y_pred svm.predict(X_val) print(classification_report(y_val, y_pred, digits4)) return svmC1.0是惩罚系数C 越大对错分样本的惩罚越大容易过拟合田间数据建议在 0.110 之间用网格搜索调参。gammascale是 RBF 核的系数自动根据特征维度计算gamma越小模型越平滑越大模型越复杂。class_weightbalanced很关键因为不同害虫在茶园里的出现频率差异很大茶蚜可能比黑刺粉虱多得多如果不加这个参数分类器会倾向把样本量大的类别猜对小类别直接忽略。4.3 特征融合技巧单一特征往往不够。实际构造特征向量时我常用 HSV 颜色直方图 HOG 少量形状特征拼接成一个混合特征向量。注意融合之前要对各特征做归一化否则量纲差异大的特征会主导距离计算。SIFT/SURF 这类局部特征需要用词袋模型Bag of Features把不定长的关键点描述子聚成固定长度的码本向量流程是先对所有训练图像的局部描述子做 KMeans 聚类得到 k 个簇中心再把每幅图像的描述子映射到最近的簇中心统计直方图。这个直方图就是该图像的局部特征向量。k 的选择通常在 100500 之间k 太小特征区分度不够k 太大则容易过拟合并增加计算开销。5. 模型鲁棒性验证与田间应用技巧5.1 光照干扰的针对性测试模型训练完不是终点落地前要在真实茶园环境里做一轮鲁棒性验证。最有效的办法是采集同一片茶园的害虫图像分别在晴天上午、正午、阴天和傍晚各拍一组然后用训练好的模型预测并统计每组的准确率。如果正午组的准确率明显下降说明模型对高光敏感这时应该考虑在预处理阶段增加光照校正使用cv2.normalize做直方图匹配或者用白平衡算法把色温归一化。另一个常见问题是露水和雨水导致叶片反光害虫表面出现高光区域这会干扰颜色特征提取。解决方式是在分割阶段增加高光检测把亮度超过 240 的像素标记为可疑反光区域用邻域均值填充。5.2 数据增强提升泛化能力田间场景多变而人工标注成本高数据增强是低成本提升泛化能力的手段。我常用以下几种增强组合随机旋转 30 度以内模拟害虫在叶片上的任意姿态水平翻转镜像对称不影响类别亮度调整±20%模拟不同时刻的光照变化高斯噪声模拟传感器噪声随机擦除模拟叶片遮挡代码实现可以用 OpenCV 的cv2.warpAffine做旋转配合np.random控制增强参数。注意旋转后的图像会有黑边填充方式用cv2.BORDER_REPLICATE复制边缘像素比填零更真实避免产生和真实场景不符的强烈对比。5.3 模型部署的轻量化处理如果你的目标是部署到植保无人机或便携设备上模型推理速度必须控制在毫秒级。HOG 特征 SVM 的管线在 Jetson Nano 这类嵌入式平台上已经能跑到 30 FPS 以上。如果你的数据量充足可以进一步尝试 MobileNetV3 这类轻量级 CNN准确率更高但需要更多内存而且要转成 TensorRT 或 ONNX 进行加速。注意 CNN 模型的输入尺寸一般比 HOG 的窗口更大如 224×224预处理逻辑需要同步调整。有一个容易忽略的点训练阶段和预测阶段的预处理必须保持一致。很多人在训练前做了直方图均衡化和尺寸归一化但部署时直接读原始图像就送进模型结果准确率掉到一半都不奇怪。建议把预处理封装成独立函数训练和推理都调用同一个preprocess_image用测试集反复验证预处理的一致性再上真机测试。最后说一下验证标准。不要只看整体准确率要按害虫类别分别计算精确率和召回率。对于茶园植保来说漏检召回率低的代价比误检更大——漏过一只雌虫可能意味着下一代害虫爆发。所以调参时如果类别均衡建议优先保证macro avg recall在 0.9 以上用class_weight或调整分类阈值来平衡这样模型在实际田间的可用性才真正符合植保需求。本文还有配套的精品资源点击获取
简介一份面向农业信息化与智慧植保领域的图像处理技术应用资料系统梳理了茶叶害虫智能识别的完整流程。内容涵盖样本图像库构建、图像预处理、害虫自动定位、特征提取及分类器设计等关键环节适合研究者或工程师参考。文档从传统人工识别的局限切入对比了阈值分割、边缘检测与超像素聚类等定位方法的适用场景并强调了选用光照、尺度不变性特征的重要性。资料对SLIC超像素与DBSCAN聚类结合的分割策略、HSV颜色空间下的Otsu阈值分割、SIFT/ORB/HOG等特征描述算子以及SVM、随机森林等分类算法均有具体阐述可为开展类似农业害虫识别实验提供完整思路参考。压缩包内为1个docx文档文件体积约14KB便于快速浏览和按需引用。该资源已有55人学习适合正在寻找图像处理与农业应用结合案例的初学者或相关课题研究人员参考。1. 传统人工识别的瓶颈与图像处理识别流程茶叶害虫识别这事看起来是小问题做起来才知道水有多深。茶农靠经验肉眼识别需要蹲在茶园里一片叶子一片叶子地翻黑刺粉虱的若虫只有针尖大小茶蚜又躲在嫩芽背面一天下来脖子酸眼睛花漏检率还不低。更麻烦的是人工识别结果没法量化施药时只能凭感觉“整片田都打”农药浪费和残留问题都跟着来了。图像处理技术解决的不是“认得出”的问题而是“稳定、快速、可复现”地认出来。整套识别流程拆开看其实就两个阶段先用带标签的样本图像训练出一个分类器模型再用这个模型去预测新图像里的害虫类别。中间涉及样本库建立、预处理、定位、特征提取和分类器训练五个环节任何一个环节偷懒最终准确率都会直接给你颜色看。2. 样本库构建与图像预处理从正负样本到直方图均衡化2.1 正负样本的设计逻辑害虫智能识别模型本质上是监督学习样本库的质量决定模型上限。正样本是你要识别的害虫本身比如黑刺粉虱、茶蚜、茶小绿叶蝉每种害虫至少要覆盖幼虫、成虫、蛹等不同形态以及正面、侧面、背面等拍摄角度。这里有个工程细节田间拍摄时害虫姿态不可控所以正样本里一定要包含“残缺”样本——比如被叶片遮挡一半的虫体、逆光下只看得清轮廓的虫影。很多初学者只收集“标准照”模型一到真实茶园就完全失灵问题就出在样本多样性不足。负样本则是茶园里除了目标害虫之外的一切干扰物茶树叶、枯枝、杂草、土壤颗粒、水滴反光。负样本数量建议至少和正样本持平对于复杂背景场景负样本甚至要更多。因为分类器在训练时会倾向于把“没见过的东西”归为负类只有负样本足够丰富模型才能学会区分“像害虫但不是害虫”的边缘情况。2.2 图像裁剪与直方图均衡化的实现拿到原始图像后第一步是裁剪。正样本图像通常来自田间采集茶树叶片和背景占了大半画面直接送进特征提取器会让背景噪声淹没害虫本身的特征。我一般会用标注工具先框出害虫所在区域然后按x_min, y_min, x_max, y_max裁剪。如果是要构建训练集裁剪后的图像统一缩放到固定尺寸比如 224×224方便后续批量处理。直方图均衡化是预处理里性价比最高的操作。田间图像受光照影响极大——晴天中午的强光、阴天的散射光、早晚的低照度都会让同一只害虫的颜色分布完全不同。直方图均衡化能把像素灰度分布拉伸到整个动态范围相当于对光照做了一次归一化。用 OpenCV 实现很简单import cv2 def preprocess_image(img_path, output_size(224, 224)): # 读取图像 img cv2.imread(img_path) # 转换为灰度图用于直方图均衡化 gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) # 限制对比度自适应直方图均衡化 (CLAHE) clahe cv2.createCLAHE(clipLimit2.0, tileGridSize(8, 8)) enhanced_gray clahe.apply(gray) # 将增强后的灰度图转回三通道保留颜色信息 enhanced_img cv2.merge([enhanced_gray] * 3) # 尺寸归一化 resized cv2.resize(enhanced_img, output_size, interpolationcv2.INTER_AREA) return resized这段代码里有两个关键参数clipLimit2.0控制对比度增强的幅度值越大对比度越强但过大会导致噪声放大田间图像一般取值 1.53.0tileGridSize(8, 8)将图像分成 8×8 个小块分别做均衡化用来避免全局均衡化在明暗差异大的区域产生过曝或欠曝。INTER_AREA插值方法适合缩小图像能保留更多纹理细节。2.3 滤波去噪的选型建议田间图像常见的噪声来源是传感器热噪声和压缩伪影。中值滤波对椒盐噪声效果最好而且能保留边缘信息适合害虫这类轮廓特征明显的目标。但要注意滤波核尺寸别超过 5×5否则会把细小害虫的刚毛、触角等细节抹掉。高斯滤波适合高斯噪声但会模糊边缘如果后续要做边缘检测我建议慎用高斯或者用双边滤波替代。双边滤波在去噪的同时能保住边缘代价是计算量大离线处理无所谓实时性要求高的话就用中值滤波。3. 基于分割的害虫定位SLIC、DBSCAN 与 Otsu 阈值3.1 分割方法选型阈值、边缘还是区域害虫定位的本质是从复杂背景中分离出目标区域。最简单的思路是基于阈值的分割找个合适的灰度阈值把昆虫和背景拆开。但田间图像的灰度直方图往往没有明显的双峰全局阈值经常失效。边缘检测如 Canny对光照变化敏感而且茶叶叶片边缘和害虫边缘混杂在一起直接检测很容易得到一堆碎片。基于区域的方法如区域生长需要人工设定种子点自动化程度不够。实际工程中我更推荐组合方案先用超像素把图像分割成小块再用聚类算法把属于害虫的超像素合并这就是目前田间害虫定位的主流做法。3.2 SLIC 超像素 DBSCAN 聚类实现SLIC简单线性迭代聚类把图像分成紧凑、近似均匀的超像素块运行速度快而且能贴合边缘。DBSCAN 是一种基于密度的聚类算法它不需要预先指定类别数还能识别出噪声点非常适合超像素合并的场景。整个流程如下import cv2 import numpy as np from skimage.segmentation import slic from sklearn.cluster import DBSCAN def locate_pest(img, n_segments200, compactness20, eps8, min_samples10): # 转换为 Lab 颜色空间更符合人类感知 lab cv2.cvtColor(img, cv2.COLOR_BGR2LAB) # SLIC 超像素分割 segments slic(lab, n_segmentsn_segments, compactnesscompactness, sigma1, start_label0) # 计算每个超像素的均值颜色 (L, a, b) num_segments segments.max() 1 seg_features np.zeros((num_segments, 3)) for i in range(num_segments): mask (segments i) seg_features[i] lab[mask].mean(axis0) # DBSCAN 聚类 clustering DBSCAN(epseps, min_samplesmin_samples).fit(seg_features) # 取样本数最多的类作为害虫候选区域通常害虫在图像中占小部分 labels clustering.labels_ counts np.bincount(labels[labels 0]) target_cluster np.argmax(counts) # 生成掩膜 mask np.zeros(img.shape[:2], dtypenp.uint8) for i, label in enumerate(labels): if label target_cluster: mask[segments i] 255 return mask参数方面n_segments200是超像素数量图像越大需要的数量越多compactness20控制超像素的规则程度值越小越贴合物体边缘。DBSCAN 的eps是邻域半径超像素均值颜色作为特征时Lab 空间中eps8通常能较好区分害虫和叶片min_samples10表示形成稠密区域所需的最小样本数太小会把零散超像素合并进来太大则可能把害虫区域拆碎。这个方案跑下来茶小绿叶蝉这类体色与叶片接近的害虫也能获得相对完整的候选区域。3.3 Otsu 阈值在 HSV 颜色空间中的应用另一种实用的定位方案是把图像转到 HSV 空间利用害虫与叶片在色相上的差异做阈值分割。害虫体色多为黄褐色、深绿色或黑色茶树叶片则是翠绿色在 H 通道上往往能拉开距离。韩瑞珍的工作就是基于 HSV 颜色空间做 Otsu 分割思路很直接hsv cv2.cvtColor(img, cv2.COLOR_BGR2HSV) # 取 H 通道 h_channel hsv[:, :, 0] # Otsu 自动阈值分割 ret, mask cv2.threshold(h_channel, 0, 255, cv2.THRESH_BINARY_INV cv2.THRESH_OTSU) # 用形态学开运算去除小噪点 kernel cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (3, 3)) mask cv2.morphologyEx(mask, cv2.MORPH_OPEN, kernel, iterations1)注意这里用了THRESH_BINARY_INV因为害虫区域的 H 值通常比背景低在 OpenCV 的 H 范围 0-180 中绿色大约在 60 附近黄褐色在 20-30 附近。Otsu 会自动计算分割阈值不需要人工调整适合批量处理不同光照条件的图像。但 Otsu 假设直方图是双峰分布如果图像里土壤和枯枝颜色跟害虫太接近分割结果可能把土壤也包含进来所以通常还会加一个面积过滤只保留面积在一定范围内的连通区域过滤掉过大的背景块和过小的噪点。4. 特征描述子选择与分类器训练HOG、SURF 与 SVM4.1 特征提取从全局到局部害虫定位完成后得到的是包含害虫的局部图像或者掩膜区域。接下来要做的就是把图像内容转换成分类器能读懂的数值向量。常用的图像特征分三类颜色特征、纹理特征和形状特征。颜色特征最常用的是 HSV 颜色直方图它对光照有一定鲁棒性而且计算简单。纹理特征常用 LBP局部二值模式和 Gabor 滤波器能描述害虫翅膀的花纹和体表的细微结构。形状特征则包括轮廓的 Hu 矩、面积周长比、离心率等用来区分虫体和圆形叶片斑点。局部特征描述子方面SIFT 和 SURF 都有尺度和旋转不变性适合野外的多角度拍摄场景但 SIFT 计算量大在嵌入式设备上实时性不足。ORB 速度快很多但鲁棒性略差。HOG 特征描述的是梯度方向直方图对形状轮廓特别敏感而且对光照变化有一定容忍度是我做害虫识别时最常用的特征。张永玲等人把 HSV 颜色特征和 HOG 特征融合识别率比单独使用任何一种特征都高这个思路值得借鉴。下面是利用 OpenCV 提取 HOG 特征的示例def extract_hog_features(img, cell_size(8, 8), block_size(2, 2), bins9): # 图像转灰度并缩放到固定大小 gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) gray cv2.resize(gray, (64, 128)) # HOG 标准检测窗口 # 使用 OpenCV 的 HOGDescriptor win_size (64, 128) block_stride (8, 8) n_bins bins hog cv2.HOGDescriptor(win_size, (block_size[0]*cell_size[0], block_size[1]*cell_size[1]), block_stride, cell_size, n_bins) features hog.compute(gray) return features.flatten()这里win_size是检测窗口大小原图会缩放到这个尺寸。block_stride是块移动的步长步长越小特征维度越高计算量越大一般设为cell_size的大小即可。特征维度可以通过公式计算对于 64×128 的图像cell 为 8×8则有 8×16 个 cellblock 为 2×2则有 (8-1)×(16-1)105 个 block每个 block 有 4 个 cell × 9 个 bin 36 维特征总维度 105×363780 维。这个向量就可以直接喂给分类器。4.2 分类器对比与选择常用分类算法里SVM 在小样本、高维特征场景下表现稳定是害虫识别文献中出现频率最高的分类器。随机森林对特征工程要求低能处理非线性关系而且不容易过拟合。BP 神经网络需要大量数据且训练速度慢但模型表达能力强。AdaBoost 通过集成弱分类器提升精度在特征区分度不高时有效。分类器样本量要求训练速度识别精度适合场景SVM (RBF核)中等较快高特征维度高、样本中等随机森林大快中高特征噪声多、需要特征重要性BP神经网络大慢高数据充足、形态复杂AdaBoost中等中等中弱特征多、需要集成我建议先用 SVM RBF 核作为基线模型因为它对特征缩放敏感需要先做标准化。训练流程如下from sklearn.svm import SVC from sklearn.preprocessing import StandardScaler from sklearn.pipeline import make_pipeline from sklearn.model_selection import train_test_split from sklearn.metrics import classification_report def train_svm(features, labels): # 划分训练集和验证集按类别比例分层抽样 X_train, X_val, y_train, y_val train_test_split( features, labels, test_size0.2, stratifylabels, random_state42) # 标准化 SVM 管道 svm make_pipeline(StandardScaler(), SVC(kernelrbf, C1.0, gammascale, class_weightbalanced, probabilityTrue)) svm.fit(X_train, y_train) # 输出验证集结果 y_pred svm.predict(X_val) print(classification_report(y_val, y_pred, digits4)) return svmC1.0是惩罚系数C 越大对错分样本的惩罚越大容易过拟合田间数据建议在 0.110 之间用网格搜索调参。gammascale是 RBF 核的系数自动根据特征维度计算gamma越小模型越平滑越大模型越复杂。class_weightbalanced很关键因为不同害虫在茶园里的出现频率差异很大茶蚜可能比黑刺粉虱多得多如果不加这个参数分类器会倾向把样本量大的类别猜对小类别直接忽略。4.3 特征融合技巧单一特征往往不够。实际构造特征向量时我常用 HSV 颜色直方图 HOG 少量形状特征拼接成一个混合特征向量。注意融合之前要对各特征做归一化否则量纲差异大的特征会主导距离计算。SIFT/SURF 这类局部特征需要用词袋模型Bag of Features把不定长的关键点描述子聚成固定长度的码本向量流程是先对所有训练图像的局部描述子做 KMeans 聚类得到 k 个簇中心再把每幅图像的描述子映射到最近的簇中心统计直方图。这个直方图就是该图像的局部特征向量。k 的选择通常在 100500 之间k 太小特征区分度不够k 太大则容易过拟合并增加计算开销。5. 模型鲁棒性验证与田间应用技巧5.1 光照干扰的针对性测试模型训练完不是终点落地前要在真实茶园环境里做一轮鲁棒性验证。最有效的办法是采集同一片茶园的害虫图像分别在晴天上午、正午、阴天和傍晚各拍一组然后用训练好的模型预测并统计每组的准确率。如果正午组的准确率明显下降说明模型对高光敏感这时应该考虑在预处理阶段增加光照校正使用cv2.normalize做直方图匹配或者用白平衡算法把色温归一化。另一个常见问题是露水和雨水导致叶片反光害虫表面出现高光区域这会干扰颜色特征提取。解决方式是在分割阶段增加高光检测把亮度超过 240 的像素标记为可疑反光区域用邻域均值填充。5.2 数据增强提升泛化能力田间场景多变而人工标注成本高数据增强是低成本提升泛化能力的手段。我常用以下几种增强组合随机旋转 30 度以内模拟害虫在叶片上的任意姿态水平翻转镜像对称不影响类别亮度调整±20%模拟不同时刻的光照变化高斯噪声模拟传感器噪声随机擦除模拟叶片遮挡代码实现可以用 OpenCV 的cv2.warpAffine做旋转配合np.random控制增强参数。注意旋转后的图像会有黑边填充方式用cv2.BORDER_REPLICATE复制边缘像素比填零更真实避免产生和真实场景不符的强烈对比。5.3 模型部署的轻量化处理如果你的目标是部署到植保无人机或便携设备上模型推理速度必须控制在毫秒级。HOG 特征 SVM 的管线在 Jetson Nano 这类嵌入式平台上已经能跑到 30 FPS 以上。如果你的数据量充足可以进一步尝试 MobileNetV3 这类轻量级 CNN准确率更高但需要更多内存而且要转成 TensorRT 或 ONNX 进行加速。注意 CNN 模型的输入尺寸一般比 HOG 的窗口更大如 224×224预处理逻辑需要同步调整。有一个容易忽略的点训练阶段和预测阶段的预处理必须保持一致。很多人在训练前做了直方图均衡化和尺寸归一化但部署时直接读原始图像就送进模型结果准确率掉到一半都不奇怪。建议把预处理封装成独立函数训练和推理都调用同一个preprocess_image用测试集反复验证预处理的一致性再上真机测试。最后说一下验证标准。不要只看整体准确率要按害虫类别分别计算精确率和召回率。对于茶园植保来说漏检召回率低的代价比误检更大——漏过一只雌虫可能意味着下一代害虫爆发。所以调参时如果类别均衡建议优先保证macro avg recall在 0.9 以上用class_weight或调整分类阈值来平衡这样模型在实际田间的可用性才真正符合植保需求。本文还有配套的精品资源点击获取
