五月中旬的烤烟田无人机离地二十米飞一趟五十分钟带回八百多张航拍图接下来要做的事情是在这些上千万像素的影像里数清楚——地里到底出了多少棵烟苗。六百亩地靠人眼走田堪三个人走一整天最后给出的还是一个大概、差不多的估算区间。这不是数字游戏这是烟草出苗率识别项目从一开始就要解决的问题。我参与整理和训练的这套数据集就是围绕无人机巡检加深度学习目标检测把烟草出苗率从估变成测的完整落地记录。这套数据的核心载体是烟草植株出苗率识别数据集按YOLO格式组织同步适配RT-DETR和YOLO系列模型。前前后后整理了10545期的批次编号含义就是这一期项目收到并完成清洗标注的一万多张无人机航拍样本。文章内容覆盖无人机采集参数设计、标注规范、数据增广思路、RT-DETR与YOLO的训练对比、业务指标转换以及大量实测踩坑经验。适合正在做智慧农业视觉落地、无人机遥感数据处理、或者刚接触小目标检测数据集的朋友参考不管你是自己标注数据还是想复现整套出苗率识别流程下面这些细节都能直接用。1. 项目拆解为什么需要无人机巡检出苗率在开聊数据集和技术方案之前先把业务问题讲透。很多人觉得出苗率识别不就是个目标检测吗拍张照片数一数就行。真下地干过一遍就知道这件事远没这么简单而且它背后有一套完整的农业经济逻辑。1.1 出苗率是烟叶生产的第一道成本线烟草移栽期是整个生产周期里最敏感的环节。移栽后十天到二十天内苗是否成活、是否出齐直接决定了后续的补苗成本和大田管理的节奏。如果出苗率低缺苗位置没有及时补上后期即使补了不同苗龄的植株长势不一致采收期也会被拉得很散烘烤环节的排班、用工、能耗全部跟着乱。补苗的成本没下过地的人很难体会。一个标准的移栽孔位从打孔、放苗、浇水到覆土封口人工成本、用水成本、地膜开口的二次作业层层叠加。按一亩地一千二百个孔位算缺苗率每增加一个百分点每亩就要多出十二个补苗动作六百亩地就是七千多个这还只是移栽阶段的一次性支出没算后续因大小苗导致的管理成本差异。所以尽早、尽量精确掌握出苗率是整个烟草生产数字化里性价比最高的一个环节。传统做法是怎样的呢烟技员带着人下田沿着垄沟走走一段停下来数连续多少米的孔位数出苗率然后做加权平均。这套方法最大的问题有两个一是抽样误差大一块地往往只抽三五个点但缺苗通常不是均匀分布的往往是某一片区域因为墒情、虫害或者覆膜质量问题成片缺苗抽样点刚好没踩到问题就被漏掉了二是人力效率太低六百亩地走一圈基本要大半天等统计结果出来补苗窗口期已经过了好几天。无人机航拍加目标检测解决的就是这两个问题全覆盖、时效高、结果可量化到具体坐标。1.2 出苗率识别难在哪小目标、密集场景、复杂背景业务需求清楚了技术的难处也就跟着暴露了。拍出来的烟苗真的非常小。刚破土的烟苗子叶展开也就三五厘米宽即使无人机飞到二十米高度单像素分辨率在1.5到2.5厘米左右一棵正常的烟苗在影像里也就二三十个像素宽。这属于典型的小目标检测和常规场景里检测车辆、行人完全不是一个难度等级。模型漏检一个行人可能只是精度掉了零点几个点但漏检一棵烟苗直接影响的是这一片是否缺苗的业务判断。除了目标小场景还特别脏。白色地膜在太阳底下会产生强烈反光反光区域的高光斑块在视觉上和嫩绿的苗叶有一定相似性滴灌带横在垄面上边缘纹理复杂杂草从地膜孔里钻出来形态和苗期烟叶很像土壤背景里还有土块、石块、残留秸秆。这些干扰因素让模型的误检率非常容易失控。更麻烦的是尺度差异。移栽后五天的苗和移栽后十五天的苗大小可能差三四倍。刚破土的苗可能就是一个小绿点长到四叶期就已经有明显的莲座形态了。同一个数据集里同时存在这么多不同尺度的目标模型如果只在单一尺度上训练很容易对某一类苗龄产生偏差。这都是数据集构建时要重点考虑的问题。1.3 从人眼到深度学习任务重新定义把出苗率识别落成算法任务首先要做任务定义。出苗率本质上是出苗孔位数占全部孔位数的比例但在图像层面模型看到的是一块块地膜上一个一个的孔洞出苗的孔洞里有一株绿色植株缺苗的孔洞里是土或者杂草。所以识别任务的直接对象是苗株不是空孔。模型做的是检测图像中每一株烟苗输出边界框业务侧再做孔位匹配把检测框投影到种植行的孔位上自然就能算出出苗率。为什么不直接用检测模型去输出出苗和缺苗两个类别这里有个很实际的原因缺苗孔本身不是一个有明确视觉边界的实体对象。空孔里什么都没有它的特征是周围的膜、土和孔洞阴影这种负样本的边界极其模糊标注一致性很难保证。模型训练出来的效果通常也不好。反之只检测苗这个正目标边界清晰标注一致性高模型更容易收敛最后通过外部的几何匹配逻辑来判断孔位状态整个系统的鲁棒性反而更高。在模型选型上我同时走了YOLO和RT-DETR两个方向。YOLO是单阶段CNN检测器NMS后处理成熟工程生态完善部署方便RT-DETR则是基于Transformer架构的端到端检测器混合编码器融合多尺度特征去掉了NMS在精度和小目标潜力上表现更亮眼。两个方向各有优劣正好形成了对照实验。2. 数据集构造从航拍到标注的高质量闭环很多自己做数据集的朋友最容易忽略的一点是模型的性能上限在数据采集阶段就基本确定了。你的飞行高度、相机参数、采集时间、天气条件全部都会写进图像特征里。这部分的投入决定了后面训练和调参的天花板值得花大力气做扎实。2.1 无人机航拍参数设计采集环节的每一个细节都在影响模型上限飞行高度是首先需要确定的参数。我在这个项目里把飞行高度控制在十五到二十五米之间多数任务用二十米。这个高度下地面分辨率大概在1.5到2.5厘米每像素。飞低了单张覆盖面积太小六百亩地要飞很多架次数据量爆炸且拼接困难飞高了分辨率不够烟苗在图上就真的只有一个点神仙模型也救不回来。有人可能会说那我用大疆的变焦镜头飞五十米高空用长焦拍不是又安全分辨率又高吗实测下来这样做的效率反而低。长焦视角小同样面积要拍的张数成倍增加而且无人机在高空的抖动对长焦的放大效应非常明显很容易拍糊。低空广角配合高重叠率才是更稳的方案。重叠率的设计同样关键。如果只是做单张目标检测重叠率要求不算高但如果后续要生成正射影像或者做孔位坐标定位航向重叠率建议做到百分之八十以上旁向重叠率做到百分之七十以上。这样后期无论是用拼接软件生成正射图还是用SFM算法做三维重建都不会出现漏洞。采集时间窗口也要严格把关。我踩过最大的坑是光照角度。夏季晴天上午十一点到下午两点之间太阳几乎直射白色地膜反射强烈拍出来的图像里大片区域过曝苗的特征完全淹没在高光里。经过多轮测试上午九点到十一点、下午三点到五点这两个窗口效果最稳定。风速大于每秒五米时苗叶会晃动图像模糊明显这种时段宁可停飞也别硬拍。相机设置上建议用手动模式固定ISO和快门速度白平衡设为晴天或者阴天对应档位不要开自动。自动白平衡会在一组航片里来回跳颜色不一致会严重影响训练数据和推理数据的分布一致性。连拍间隔按照无人机巡航速度和重叠率计算好画面尽量稳定。2.2 标注规范边界框怎么打、类别怎么定数据采集完回来接下来是最耗人力的标注环节。这一步做得好不好模型上线后差距会非常明显。我这条数据集跑下来最深的体会是标注一致性比标注数量更重要。一万张图如果标注质量忽高忽低不如五千张严格统一标准的效果好。类别定义上最终只保留了单一类别tobacco_seedling。刚才说过不做缺苗类别。但这里要补充的是即使做单一类别在标注实践中也有讲究。对于单株独立的烟苗边界框应该完整包住冠幅也就是叶片的整个外轮廓但不能为了把叶片全包进去就框得很大而把地膜和土也包进来。对于两棵苗长在一起的情况如果它们各自独立可见就分别打框如果挤在一起边界模糊那就在保证一致性的大原则下用边界框框住整体实际可见的部分。还有一类特殊样本是刚破土的子叶期小苗。这类目标在图片上往往只有二三十个像素人眼都需要贴近屏幕才看得清标注很容易漏标。这一部分漏标的数据如果不处理模型会默认这些小苗是背景导致推理阶段对低龄苗的漏检率居高不下。我的做法是专门安排一轮小目标补标流程把低于一定像素尺寸的框单独筛选出来复查。标注工具方面LabelImg是老牌选择用起来顺手如果团队协作标注用X-AnyLabeling这类支持多人协同的工具效率更高。统一导出为YOLO格式每一行是class_id、center_x、center_y、width、height五个数值坐标都是相对于图像宽高的归一化比例。四舍五入到六位小数可以避免坐标溢出和精度损失。标注质量检查一定要做抽检而不是只看汇总数字。手工挑几张图把自己当成模型在图上过一遍每个框是不是有偏移、有没有漏掉小苗一眼就能发现问题。2.3 数据清洗与样本平衡别让脏数据浪费算力标注完的数据不能直接进训练流程清洗是必须的一步。第一步是去重无人机航拍因为重叠率高相邻帧的相似度很高如果直接把所有帧都塞进训练集会造成训练样本高度自相关模型在验证集上指标虚高但一换新地块表现立刻打回原形。我的经验是做一个简单的帧间相似度计算相似度超过百分之八十五的只保留一张。第二步是剔除低质量图像。运动模糊、失焦、强反光导致大面积高光的图像在集中清洗阶段直接删除不要犹豫。尤其是那些高光图里面可能包含十几株烟苗的有效信息看起来删了可惜但保留下来会让模型学到高光区域与目标特征的错误关联后患无穷。第三步是样本集覆盖。烟苗不是只在一个形态下的从子叶期到四叶期、五叶期形态差异巨大地膜有白色膜、黑色膜、银灰膜土壤有黄壤、红壤、沙壤光照有阴天散射光和晴天直射光。这些条件必须都覆盖到否则模型换个产区就废了。我在这个数据集里特别保证了不同苗龄、不同地膜颜色、不同光照条件下的样本量比例避免某个条件占比过高导致模型过拟合到特定环境。2.4 YOLO格式与数据集划分10545期数据的目录结构与划分逻辑第10545期这个编号是数据收集批次的流水号。这一期最终整理出的有效图像数量在一万出头对应大约二三十个架次的无人机作业任务。所有图像按统一的目录结构存放dataset/ ├── images/ │ ├── train/ │ ├── val/ │ └── test/ └── labels/ ├── train/ ├── val/ └── test/images下面放jpg原图labels下面对应放同名txt标注文件。训练集、验证集、测试集的划分比例我用了八比一比一划分时有个细节一定要按架次或者按地块划分不能把所有图像随机打乱后划分。原因还是那个训练样本自相关的问题。同一架次相邻图像内容高度相似如果同一条轨迹的图像同时出现在训练集和验证集里验证集就失去了测试模型泛化能力的意义。按地块划分后同一个地块的图像只会出现在同一个集合里这样验证集的结果才真正有说服力。关于图像尺寸无人机原始航拍图非常大动辄四千万像素以上直接丢进模型训练不现实。我的做法是基于原图做滑窗切片切成1280x1280或者640x640的patch然后把这些patch作为模型的输入。切片的时候还要考虑重叠相邻切片之间留百分之十到二十的重叠区域避免目标正好被切在边缘被截断。这只是训练阶段的做法推理阶段还用同样的方式切保证分布一致。3. 模型选型与训练RT-DETR和YOLO怎么选、怎么训数据集有了接下来就是训练环节。我在这一期项目里重点对比了RT-DETR和YOLO系列的效果不是单纯跑出一个数字就完事而是把整个选型逻辑、训练参数、踩坑过程都捋了一遍。3.1 为什么是RT-DETR和YOLO两个方向先说YOLO。YOLO系模型的好处是生态成熟、资料多、部署方案全。从YOLOv5到YOLOv8ultralytics框架把训练、验证、导出、推理全流程都封装好了对团队快速迭代非常友好。对于烟草出苗率这种实际业务YOLO的输出天然带类别置信度和边界框做后续的孔位匹配、统计报表非常直接。RT-DETR则是另一个技术路线。DETR类模型的思路是从Transformer在检测任务上的应用出发把目标检测建模成一个集合预测问题。RT-DETR的几个亮点值得展开说一下第一是混合编码器它把多尺度特征融合进了编码器结构对小目标的特征保留更友好第二是IoU-aware query selection在解码器的query初始化阶段就引入了定位置信度信息减少了一部分收敛难度第三是去掉了NMS后处理推理pipeline更简洁不会有NMS阈值调来调去的问题。两个方向的对比我用表格梳理一下对比维度YOLOv8RT-DETR网络结构CNN单阶段Transformer编码器-解码器后处理需要NMS不需要NMS端到端小目标特征靠FPN/PAN多尺度混合编码器query选择小目标潜力更好训练收敛速度快几十轮基本稳定慢需要更多epoch和更精细的调参部署生态极成熟导出到TensorRT/ONNX都很顺官方实现支持ONNX导出但算子兼容性要额外验证推理速度快尤其在小模型上同量级下略慢但RT-DETR-L在GPU上也能跑到实时实际业务里两个方向不冲突。我自己一般两个模型都训练YOLO作为快速基线保证兜底效果RT-DETR作为精度提升方向做精细调优。如果部署平台算力紧张用YOLO如果精度优先且算力允许用RT-DETR。3.2 数据格式转换与准备训练前的数据准备核心是保证标注文件和图像一一对应。小数据集上常见的坑labels里有一行坐标越界训练时报错卡半天某个类别id写错模型把背景学进去了。所以在开始训练前必须跑一遍数据检查脚本逐条读入标注检查坐标是否在[0,1]区间、宽高是否为正、类别id是否在合法范围内。切片后的数据增强策略也要在这个阶段定好。我采用的增强组合是Mosaic增强前三分之二的训练周期开启把四张图拼成一张增强模型对复杂场景的适应能力随机翻转和旋转注意旋转角度不要太大烟苗虽然是无向的但大角度旋转会引入不真实的透视变形HSV色彩扰动模拟不同光照条件Copy-paste增强把小苗的样本复制粘贴到同一张图的其他位置弥补小目标样本数量不足的问题这个策略在后面小目标漏检的优化里起了很大作用对于RT-DETR输入分辨率我用了1280。更大的输入尺寸对小目标提升明显但显存占用会成倍增长。如果显卡只有十二G显存用640输入尺寸更稳妥否则batch size只能降到二训练效率会被拖垮。3.3 训练参数与迁移学习设置这一期两个模型都采用了COCO预训练权重的迁移学习。为什么不从头训练小样本数据集从头训Transformer类模型收敛速度极慢而且很容易过拟合到训练集。用COCO预训练权重做初始化相当于模型已经具备了通用的特征提取能力我们只需要微调它去适应航拍俯视视角下的绿色小目标这个特定分布。YOLOv8的训练参数参考yolo train \ datatobacco.yaml \ modelyolov8m.pt \ imgsz1280 \ epochs200 \ batch8 \ lr00.01 \ mosaic1.0 \ close_mosaic10这里close_mosaic10表示训练最后十轮关闭Mosaic增强让模型在接近真实分布的数据上做最后的精细调整。这个细节是从实际效果里总结出来的值得关注。RT-DETR我用的是官方开源实现训练时选择的是RT-DETR-R50骨干网络。训练参数与YOLO的差异比较明显python tools/train.py \ -c configs/rtdetr/rtdetr_r50vd.yml \ --num_epochs 300 \ --batch_size 12 \ --learning_rate 0.0001 \ --evalRT-DETR用的是AdamW优化器初始学习率设在0.0001量级比YOLO的SGD学习率低一个数量级这是因为Transformer结构对学习率更敏感调大了容易出现loss震荡。训练轮数也比YOLO要多两百到三百轮比较合适过早停止会让收敛不充分。迁移学习里还有一个经验值得分享如果项目周期允许可以先在自己的出苗率数据上用YOLO跑一个粗模型然后把这个粗模型生成的检测结果作为伪标签去辅助标注人员筛选漏标样本。这种半自动标注方式能显著提升标注效率同时也能让标注人员更清楚模型哪些地方容易错。3.4 结果评估与出苗率统计逻辑训练完成后模型评估不能只看mAP曲线。在出苗率这个业务里漏检率和误检率的业务代价完全不同。缺苗孔漏检了意味着真正需要补苗的位置没有被发现直接损失是后期产量和品质的不可逆影响误检则是把已出苗的位置判定为缺苗多安排了补苗浪费的是人工和苗的成本。前者代价远高于后者所以在设置推理置信度阈值时我会刻意往低置信度方向倾斜通过牺牲一部分precision换取更高的recall。从检测框到出苗率中间还有一个关键步骤孔位匹配。无人机航拍图像通过坐标配准投影到种植行的标准孔位上然后把检测框和孔位做空间关联如果某个孔位中心附近存在检测框就判定该孔位出苗否则判定缺苗。这个流程里需要注意一个检测框可能覆盖两个相邻孔位或者一棵苗长得太大把旁边孔位也占了这时候需要做重叠度判定只把检测框归属到IoU最高的那个孔位。在测试集上RT-DETR和YOLO的指标我都记录过。RT-DETR在mAP0.5上略高于YOLOv8但在不同苗龄、不同光照条件的细分场景里差距不一致。最明显的是在子叶期小苗场景下RT-DETR的recall明显更好这和大模型对大感受野、细粒度特征的提取能力有关。但如果只看最终出苗率统计结果和人工复核结果的一致性两者差距并不大YOLO在工程化落地里反而因为推理速度快、部署顺畅更有优势。所以选型的结论是技术指标领先不一定等于业务效果领先要结合部署环境和维护成本综合判断。4. 实测踩坑与排查技巧实录这部分是我认为整篇文章里最有价值的部分。前面讲的都是理论和方法实操中遇到的问题五花八门很多坑不在任何论文和教程里全是一次次试出来的。4.1 地膜反光导致的误检第一轮测试跑下来误检率最高的场景几乎全部集中在白色地膜的高光区域。太阳直射下白色地膜会形成一小片一小片过曝的高光斑块边缘有渐变过渡看起来和浅绿色烟苗在灰度上非常接近。模型经常把这种高光斑块识别成烟苗置信度还不低。这个问题我做了三层处理。第一层是数据层面采集时间窗口严格控制在上午和下午的低角度光照时段同时在训练集里加入曝光增强的样本模拟不同程度的高光干扰让模型见过这些情况。第二层是模型层面我在推理阶段对检测框周围区域做了额外的对比度特征计算高光区域的对比度特征和真实烟苗有可分辨的差异用这个特征做二次过滤。第三层最简单也最直接如果项目允许覆膜颜色可选黑膜或者银灰膜的反光问题会比白膜轻很多只是覆膜颜色属于农艺决策技术团队只能提建议不能替农户做主。4.2 苗期目标太小导致的漏检漏检最严重的不是长势好的目标而是刚破土的子叶期小苗。这类目标在三四十像素以下在1280分辨率的切图上就是一个绿豆大的绿点人眼有时候都要眯着眼看模型漏检非常普遍。针对这个问题我从两个方向做优化。方向上第一个是数据增强优化重点用了Copy-paste增强策略在训练过程中从标注样本里随机裁剪小苗区域粘贴到当前训练图的随机位置同时把对应的标注框也加进去。这样做的目的是人为增加小目标样本的密度让模型更充分地学习小目标的特征。方向上第二个是模型输入优化把输入分辨率从640提升到1280在不改模型结构的情况下相当于把小目标放大了两倍。这两个优化组合下来小苗场景的recall提升了十几个百分点。同样一个目标不同模型对小目标的响应差异也很大。YOLOv8在640分辨率下对小苗的响应覆盖面积明显偏低但把YOLOv8的输入分辨率也调到1280之后差距明显缩小。我建议做小目标检测的朋友在调结构之前先把输入分辨率和增强策略调整到位这两步做完了再考虑模型结构升级。4.3 缺苗孔与出苗孔的边界判定前面说模型只检测苗但实际业务里缺苗孔的判定是整个系统的关键。这里有一个隐蔽的坑缺苗孔里如果没有苗通常会长杂草而杂草从地膜孔里长出来的形态和烟苗非常像。模型会把杂草误检为烟苗导致这个孔被判为出苗缺苗漏报。这个问题单靠检测模型本身解决不了要从农艺知识层面加规则。烟草移栽有标准的株距行距孔位分布是规则的网格。杂草的生长位置虽然也在孔洞里但它的形态分布更随机和周围已确认烟苗的空间位置关系没有规律。我的做法是引入空间先验基于已检测的烟苗位置拟合出种植行的中心线和孔位网格然后用网格匹配的方式逐孔判定状态。这样即使某个孔被杂草误报为出苗网格拟合结果会认为该位置的苗不符合空间分布规律从而发出复核提醒。4.4 模型推理速度与边缘设备部署实际巡检任务里无人机采集完数据需要尽快把出苗率统计结果反馈给农户否则补苗窗口期就过了。所以推理速度不是可选项是硬约束。我的部署流程是这样无人机作业完成后把图像导入便携工作站或者边缘设备批量切片后送入模型推理。在消费级显卡上1280分辨率的输入RT-DETR推理一张大约二十到四十毫秒YOLOv8大约十到二十毫秒。整套流程跑下来八百张航拍图切片分割后大概生成四千个patch单个模型十分钟左右能完成全部推理。如果把模型导出成TensorRT的FP16精度格式速度还能再提升百分之三十左右。部署中遇到的一个典型问题是RT-DETR导出ONNX时的算子兼容性。Transformer结构里的一些自定义算子在部分推理框架里不支持需要用官方推荐的导出方式或者找替代算子实现。相比之下YOLO系列的ONNX导出就顺畅得多基本一把过。如果团队里没有专门的部署工程师我建议先上YOLO系列保底等部署链路跑通了再考虑RT-DETR的精度优化方向。另外模型量化也值得说一句。FP16量化基本无损INT8量化在小目标场景下掉点比大目标场景严重得多。烟苗本身就只有几十像素量化带来的数值精度损失会直接反映在边界框的回归误差上。我的结论是出苗率识别任务里优先用FP16不要轻易上INT8。写在结尾个人经验和下一步扩展这套流程跑下来我最深的体会是在出苗率识别这类农业视觉项目里数据质量的优先级永远高于模型结构。你把采集时间窗口控制好、把标注一致性做到位用小模型都能出好效果反过来采集和标注一塌糊涂换再大的模型也救不了。另一个体会是业务指标和技术指标的转化非常重要mAP高不等于出苗率统计准要围绕业务定义做后处理把模型输出变成能指导生产决策的数字这中间的孔位匹配、置信度阈值调整才是整个项目真正的护城河。最后再分享一个小技巧如果你的项目刚刚起步没有时间和人力做大面积标注可以先找一个预训练模型用它跑一部分数据把置信度较高的检测结果导出成伪标签人工只做修正而不是从零标注。这能让标注成本下降不少。后续这个数据集还可以继续扩展从出苗率延伸到长势监测、缺株补种验证、甚至病虫害早期识别采集的数据和标注的格式都能复用前期投入会一直在后续项目里产生收益。
五月中旬的烤烟田无人机离地二十米飞一趟五十分钟带回八百多张航拍图接下来要做的事情是在这些上千万像素的影像里数清楚——地里到底出了多少棵烟苗。六百亩地靠人眼走田堪三个人走一整天最后给出的还是一个大概、差不多的估算区间。这不是数字游戏这是烟草出苗率识别项目从一开始就要解决的问题。我参与整理和训练的这套数据集就是围绕无人机巡检加深度学习目标检测把烟草出苗率从估变成测的完整落地记录。这套数据的核心载体是烟草植株出苗率识别数据集按YOLO格式组织同步适配RT-DETR和YOLO系列模型。前前后后整理了10545期的批次编号含义就是这一期项目收到并完成清洗标注的一万多张无人机航拍样本。文章内容覆盖无人机采集参数设计、标注规范、数据增广思路、RT-DETR与YOLO的训练对比、业务指标转换以及大量实测踩坑经验。适合正在做智慧农业视觉落地、无人机遥感数据处理、或者刚接触小目标检测数据集的朋友参考不管你是自己标注数据还是想复现整套出苗率识别流程下面这些细节都能直接用。1. 项目拆解为什么需要无人机巡检出苗率在开聊数据集和技术方案之前先把业务问题讲透。很多人觉得出苗率识别不就是个目标检测吗拍张照片数一数就行。真下地干过一遍就知道这件事远没这么简单而且它背后有一套完整的农业经济逻辑。1.1 出苗率是烟叶生产的第一道成本线烟草移栽期是整个生产周期里最敏感的环节。移栽后十天到二十天内苗是否成活、是否出齐直接决定了后续的补苗成本和大田管理的节奏。如果出苗率低缺苗位置没有及时补上后期即使补了不同苗龄的植株长势不一致采收期也会被拉得很散烘烤环节的排班、用工、能耗全部跟着乱。补苗的成本没下过地的人很难体会。一个标准的移栽孔位从打孔、放苗、浇水到覆土封口人工成本、用水成本、地膜开口的二次作业层层叠加。按一亩地一千二百个孔位算缺苗率每增加一个百分点每亩就要多出十二个补苗动作六百亩地就是七千多个这还只是移栽阶段的一次性支出没算后续因大小苗导致的管理成本差异。所以尽早、尽量精确掌握出苗率是整个烟草生产数字化里性价比最高的一个环节。传统做法是怎样的呢烟技员带着人下田沿着垄沟走走一段停下来数连续多少米的孔位数出苗率然后做加权平均。这套方法最大的问题有两个一是抽样误差大一块地往往只抽三五个点但缺苗通常不是均匀分布的往往是某一片区域因为墒情、虫害或者覆膜质量问题成片缺苗抽样点刚好没踩到问题就被漏掉了二是人力效率太低六百亩地走一圈基本要大半天等统计结果出来补苗窗口期已经过了好几天。无人机航拍加目标检测解决的就是这两个问题全覆盖、时效高、结果可量化到具体坐标。1.2 出苗率识别难在哪小目标、密集场景、复杂背景业务需求清楚了技术的难处也就跟着暴露了。拍出来的烟苗真的非常小。刚破土的烟苗子叶展开也就三五厘米宽即使无人机飞到二十米高度单像素分辨率在1.5到2.5厘米左右一棵正常的烟苗在影像里也就二三十个像素宽。这属于典型的小目标检测和常规场景里检测车辆、行人完全不是一个难度等级。模型漏检一个行人可能只是精度掉了零点几个点但漏检一棵烟苗直接影响的是这一片是否缺苗的业务判断。除了目标小场景还特别脏。白色地膜在太阳底下会产生强烈反光反光区域的高光斑块在视觉上和嫩绿的苗叶有一定相似性滴灌带横在垄面上边缘纹理复杂杂草从地膜孔里钻出来形态和苗期烟叶很像土壤背景里还有土块、石块、残留秸秆。这些干扰因素让模型的误检率非常容易失控。更麻烦的是尺度差异。移栽后五天的苗和移栽后十五天的苗大小可能差三四倍。刚破土的苗可能就是一个小绿点长到四叶期就已经有明显的莲座形态了。同一个数据集里同时存在这么多不同尺度的目标模型如果只在单一尺度上训练很容易对某一类苗龄产生偏差。这都是数据集构建时要重点考虑的问题。1.3 从人眼到深度学习任务重新定义把出苗率识别落成算法任务首先要做任务定义。出苗率本质上是出苗孔位数占全部孔位数的比例但在图像层面模型看到的是一块块地膜上一个一个的孔洞出苗的孔洞里有一株绿色植株缺苗的孔洞里是土或者杂草。所以识别任务的直接对象是苗株不是空孔。模型做的是检测图像中每一株烟苗输出边界框业务侧再做孔位匹配把检测框投影到种植行的孔位上自然就能算出出苗率。为什么不直接用检测模型去输出出苗和缺苗两个类别这里有个很实际的原因缺苗孔本身不是一个有明确视觉边界的实体对象。空孔里什么都没有它的特征是周围的膜、土和孔洞阴影这种负样本的边界极其模糊标注一致性很难保证。模型训练出来的效果通常也不好。反之只检测苗这个正目标边界清晰标注一致性高模型更容易收敛最后通过外部的几何匹配逻辑来判断孔位状态整个系统的鲁棒性反而更高。在模型选型上我同时走了YOLO和RT-DETR两个方向。YOLO是单阶段CNN检测器NMS后处理成熟工程生态完善部署方便RT-DETR则是基于Transformer架构的端到端检测器混合编码器融合多尺度特征去掉了NMS在精度和小目标潜力上表现更亮眼。两个方向各有优劣正好形成了对照实验。2. 数据集构造从航拍到标注的高质量闭环很多自己做数据集的朋友最容易忽略的一点是模型的性能上限在数据采集阶段就基本确定了。你的飞行高度、相机参数、采集时间、天气条件全部都会写进图像特征里。这部分的投入决定了后面训练和调参的天花板值得花大力气做扎实。2.1 无人机航拍参数设计采集环节的每一个细节都在影响模型上限飞行高度是首先需要确定的参数。我在这个项目里把飞行高度控制在十五到二十五米之间多数任务用二十米。这个高度下地面分辨率大概在1.5到2.5厘米每像素。飞低了单张覆盖面积太小六百亩地要飞很多架次数据量爆炸且拼接困难飞高了分辨率不够烟苗在图上就真的只有一个点神仙模型也救不回来。有人可能会说那我用大疆的变焦镜头飞五十米高空用长焦拍不是又安全分辨率又高吗实测下来这样做的效率反而低。长焦视角小同样面积要拍的张数成倍增加而且无人机在高空的抖动对长焦的放大效应非常明显很容易拍糊。低空广角配合高重叠率才是更稳的方案。重叠率的设计同样关键。如果只是做单张目标检测重叠率要求不算高但如果后续要生成正射影像或者做孔位坐标定位航向重叠率建议做到百分之八十以上旁向重叠率做到百分之七十以上。这样后期无论是用拼接软件生成正射图还是用SFM算法做三维重建都不会出现漏洞。采集时间窗口也要严格把关。我踩过最大的坑是光照角度。夏季晴天上午十一点到下午两点之间太阳几乎直射白色地膜反射强烈拍出来的图像里大片区域过曝苗的特征完全淹没在高光里。经过多轮测试上午九点到十一点、下午三点到五点这两个窗口效果最稳定。风速大于每秒五米时苗叶会晃动图像模糊明显这种时段宁可停飞也别硬拍。相机设置上建议用手动模式固定ISO和快门速度白平衡设为晴天或者阴天对应档位不要开自动。自动白平衡会在一组航片里来回跳颜色不一致会严重影响训练数据和推理数据的分布一致性。连拍间隔按照无人机巡航速度和重叠率计算好画面尽量稳定。2.2 标注规范边界框怎么打、类别怎么定数据采集完回来接下来是最耗人力的标注环节。这一步做得好不好模型上线后差距会非常明显。我这条数据集跑下来最深的体会是标注一致性比标注数量更重要。一万张图如果标注质量忽高忽低不如五千张严格统一标准的效果好。类别定义上最终只保留了单一类别tobacco_seedling。刚才说过不做缺苗类别。但这里要补充的是即使做单一类别在标注实践中也有讲究。对于单株独立的烟苗边界框应该完整包住冠幅也就是叶片的整个外轮廓但不能为了把叶片全包进去就框得很大而把地膜和土也包进来。对于两棵苗长在一起的情况如果它们各自独立可见就分别打框如果挤在一起边界模糊那就在保证一致性的大原则下用边界框框住整体实际可见的部分。还有一类特殊样本是刚破土的子叶期小苗。这类目标在图片上往往只有二三十个像素人眼都需要贴近屏幕才看得清标注很容易漏标。这一部分漏标的数据如果不处理模型会默认这些小苗是背景导致推理阶段对低龄苗的漏检率居高不下。我的做法是专门安排一轮小目标补标流程把低于一定像素尺寸的框单独筛选出来复查。标注工具方面LabelImg是老牌选择用起来顺手如果团队协作标注用X-AnyLabeling这类支持多人协同的工具效率更高。统一导出为YOLO格式每一行是class_id、center_x、center_y、width、height五个数值坐标都是相对于图像宽高的归一化比例。四舍五入到六位小数可以避免坐标溢出和精度损失。标注质量检查一定要做抽检而不是只看汇总数字。手工挑几张图把自己当成模型在图上过一遍每个框是不是有偏移、有没有漏掉小苗一眼就能发现问题。2.3 数据清洗与样本平衡别让脏数据浪费算力标注完的数据不能直接进训练流程清洗是必须的一步。第一步是去重无人机航拍因为重叠率高相邻帧的相似度很高如果直接把所有帧都塞进训练集会造成训练样本高度自相关模型在验证集上指标虚高但一换新地块表现立刻打回原形。我的经验是做一个简单的帧间相似度计算相似度超过百分之八十五的只保留一张。第二步是剔除低质量图像。运动模糊、失焦、强反光导致大面积高光的图像在集中清洗阶段直接删除不要犹豫。尤其是那些高光图里面可能包含十几株烟苗的有效信息看起来删了可惜但保留下来会让模型学到高光区域与目标特征的错误关联后患无穷。第三步是样本集覆盖。烟苗不是只在一个形态下的从子叶期到四叶期、五叶期形态差异巨大地膜有白色膜、黑色膜、银灰膜土壤有黄壤、红壤、沙壤光照有阴天散射光和晴天直射光。这些条件必须都覆盖到否则模型换个产区就废了。我在这个数据集里特别保证了不同苗龄、不同地膜颜色、不同光照条件下的样本量比例避免某个条件占比过高导致模型过拟合到特定环境。2.4 YOLO格式与数据集划分10545期数据的目录结构与划分逻辑第10545期这个编号是数据收集批次的流水号。这一期最终整理出的有效图像数量在一万出头对应大约二三十个架次的无人机作业任务。所有图像按统一的目录结构存放dataset/ ├── images/ │ ├── train/ │ ├── val/ │ └── test/ └── labels/ ├── train/ ├── val/ └── test/images下面放jpg原图labels下面对应放同名txt标注文件。训练集、验证集、测试集的划分比例我用了八比一比一划分时有个细节一定要按架次或者按地块划分不能把所有图像随机打乱后划分。原因还是那个训练样本自相关的问题。同一架次相邻图像内容高度相似如果同一条轨迹的图像同时出现在训练集和验证集里验证集就失去了测试模型泛化能力的意义。按地块划分后同一个地块的图像只会出现在同一个集合里这样验证集的结果才真正有说服力。关于图像尺寸无人机原始航拍图非常大动辄四千万像素以上直接丢进模型训练不现实。我的做法是基于原图做滑窗切片切成1280x1280或者640x640的patch然后把这些patch作为模型的输入。切片的时候还要考虑重叠相邻切片之间留百分之十到二十的重叠区域避免目标正好被切在边缘被截断。这只是训练阶段的做法推理阶段还用同样的方式切保证分布一致。3. 模型选型与训练RT-DETR和YOLO怎么选、怎么训数据集有了接下来就是训练环节。我在这一期项目里重点对比了RT-DETR和YOLO系列的效果不是单纯跑出一个数字就完事而是把整个选型逻辑、训练参数、踩坑过程都捋了一遍。3.1 为什么是RT-DETR和YOLO两个方向先说YOLO。YOLO系模型的好处是生态成熟、资料多、部署方案全。从YOLOv5到YOLOv8ultralytics框架把训练、验证、导出、推理全流程都封装好了对团队快速迭代非常友好。对于烟草出苗率这种实际业务YOLO的输出天然带类别置信度和边界框做后续的孔位匹配、统计报表非常直接。RT-DETR则是另一个技术路线。DETR类模型的思路是从Transformer在检测任务上的应用出发把目标检测建模成一个集合预测问题。RT-DETR的几个亮点值得展开说一下第一是混合编码器它把多尺度特征融合进了编码器结构对小目标的特征保留更友好第二是IoU-aware query selection在解码器的query初始化阶段就引入了定位置信度信息减少了一部分收敛难度第三是去掉了NMS后处理推理pipeline更简洁不会有NMS阈值调来调去的问题。两个方向的对比我用表格梳理一下对比维度YOLOv8RT-DETR网络结构CNN单阶段Transformer编码器-解码器后处理需要NMS不需要NMS端到端小目标特征靠FPN/PAN多尺度混合编码器query选择小目标潜力更好训练收敛速度快几十轮基本稳定慢需要更多epoch和更精细的调参部署生态极成熟导出到TensorRT/ONNX都很顺官方实现支持ONNX导出但算子兼容性要额外验证推理速度快尤其在小模型上同量级下略慢但RT-DETR-L在GPU上也能跑到实时实际业务里两个方向不冲突。我自己一般两个模型都训练YOLO作为快速基线保证兜底效果RT-DETR作为精度提升方向做精细调优。如果部署平台算力紧张用YOLO如果精度优先且算力允许用RT-DETR。3.2 数据格式转换与准备训练前的数据准备核心是保证标注文件和图像一一对应。小数据集上常见的坑labels里有一行坐标越界训练时报错卡半天某个类别id写错模型把背景学进去了。所以在开始训练前必须跑一遍数据检查脚本逐条读入标注检查坐标是否在[0,1]区间、宽高是否为正、类别id是否在合法范围内。切片后的数据增强策略也要在这个阶段定好。我采用的增强组合是Mosaic增强前三分之二的训练周期开启把四张图拼成一张增强模型对复杂场景的适应能力随机翻转和旋转注意旋转角度不要太大烟苗虽然是无向的但大角度旋转会引入不真实的透视变形HSV色彩扰动模拟不同光照条件Copy-paste增强把小苗的样本复制粘贴到同一张图的其他位置弥补小目标样本数量不足的问题这个策略在后面小目标漏检的优化里起了很大作用对于RT-DETR输入分辨率我用了1280。更大的输入尺寸对小目标提升明显但显存占用会成倍增长。如果显卡只有十二G显存用640输入尺寸更稳妥否则batch size只能降到二训练效率会被拖垮。3.3 训练参数与迁移学习设置这一期两个模型都采用了COCO预训练权重的迁移学习。为什么不从头训练小样本数据集从头训Transformer类模型收敛速度极慢而且很容易过拟合到训练集。用COCO预训练权重做初始化相当于模型已经具备了通用的特征提取能力我们只需要微调它去适应航拍俯视视角下的绿色小目标这个特定分布。YOLOv8的训练参数参考yolo train \ datatobacco.yaml \ modelyolov8m.pt \ imgsz1280 \ epochs200 \ batch8 \ lr00.01 \ mosaic1.0 \ close_mosaic10这里close_mosaic10表示训练最后十轮关闭Mosaic增强让模型在接近真实分布的数据上做最后的精细调整。这个细节是从实际效果里总结出来的值得关注。RT-DETR我用的是官方开源实现训练时选择的是RT-DETR-R50骨干网络。训练参数与YOLO的差异比较明显python tools/train.py \ -c configs/rtdetr/rtdetr_r50vd.yml \ --num_epochs 300 \ --batch_size 12 \ --learning_rate 0.0001 \ --evalRT-DETR用的是AdamW优化器初始学习率设在0.0001量级比YOLO的SGD学习率低一个数量级这是因为Transformer结构对学习率更敏感调大了容易出现loss震荡。训练轮数也比YOLO要多两百到三百轮比较合适过早停止会让收敛不充分。迁移学习里还有一个经验值得分享如果项目周期允许可以先在自己的出苗率数据上用YOLO跑一个粗模型然后把这个粗模型生成的检测结果作为伪标签去辅助标注人员筛选漏标样本。这种半自动标注方式能显著提升标注效率同时也能让标注人员更清楚模型哪些地方容易错。3.4 结果评估与出苗率统计逻辑训练完成后模型评估不能只看mAP曲线。在出苗率这个业务里漏检率和误检率的业务代价完全不同。缺苗孔漏检了意味着真正需要补苗的位置没有被发现直接损失是后期产量和品质的不可逆影响误检则是把已出苗的位置判定为缺苗多安排了补苗浪费的是人工和苗的成本。前者代价远高于后者所以在设置推理置信度阈值时我会刻意往低置信度方向倾斜通过牺牲一部分precision换取更高的recall。从检测框到出苗率中间还有一个关键步骤孔位匹配。无人机航拍图像通过坐标配准投影到种植行的标准孔位上然后把检测框和孔位做空间关联如果某个孔位中心附近存在检测框就判定该孔位出苗否则判定缺苗。这个流程里需要注意一个检测框可能覆盖两个相邻孔位或者一棵苗长得太大把旁边孔位也占了这时候需要做重叠度判定只把检测框归属到IoU最高的那个孔位。在测试集上RT-DETR和YOLO的指标我都记录过。RT-DETR在mAP0.5上略高于YOLOv8但在不同苗龄、不同光照条件的细分场景里差距不一致。最明显的是在子叶期小苗场景下RT-DETR的recall明显更好这和大模型对大感受野、细粒度特征的提取能力有关。但如果只看最终出苗率统计结果和人工复核结果的一致性两者差距并不大YOLO在工程化落地里反而因为推理速度快、部署顺畅更有优势。所以选型的结论是技术指标领先不一定等于业务效果领先要结合部署环境和维护成本综合判断。4. 实测踩坑与排查技巧实录这部分是我认为整篇文章里最有价值的部分。前面讲的都是理论和方法实操中遇到的问题五花八门很多坑不在任何论文和教程里全是一次次试出来的。4.1 地膜反光导致的误检第一轮测试跑下来误检率最高的场景几乎全部集中在白色地膜的高光区域。太阳直射下白色地膜会形成一小片一小片过曝的高光斑块边缘有渐变过渡看起来和浅绿色烟苗在灰度上非常接近。模型经常把这种高光斑块识别成烟苗置信度还不低。这个问题我做了三层处理。第一层是数据层面采集时间窗口严格控制在上午和下午的低角度光照时段同时在训练集里加入曝光增强的样本模拟不同程度的高光干扰让模型见过这些情况。第二层是模型层面我在推理阶段对检测框周围区域做了额外的对比度特征计算高光区域的对比度特征和真实烟苗有可分辨的差异用这个特征做二次过滤。第三层最简单也最直接如果项目允许覆膜颜色可选黑膜或者银灰膜的反光问题会比白膜轻很多只是覆膜颜色属于农艺决策技术团队只能提建议不能替农户做主。4.2 苗期目标太小导致的漏检漏检最严重的不是长势好的目标而是刚破土的子叶期小苗。这类目标在三四十像素以下在1280分辨率的切图上就是一个绿豆大的绿点人眼有时候都要眯着眼看模型漏检非常普遍。针对这个问题我从两个方向做优化。方向上第一个是数据增强优化重点用了Copy-paste增强策略在训练过程中从标注样本里随机裁剪小苗区域粘贴到当前训练图的随机位置同时把对应的标注框也加进去。这样做的目的是人为增加小目标样本的密度让模型更充分地学习小目标的特征。方向上第二个是模型输入优化把输入分辨率从640提升到1280在不改模型结构的情况下相当于把小目标放大了两倍。这两个优化组合下来小苗场景的recall提升了十几个百分点。同样一个目标不同模型对小目标的响应差异也很大。YOLOv8在640分辨率下对小苗的响应覆盖面积明显偏低但把YOLOv8的输入分辨率也调到1280之后差距明显缩小。我建议做小目标检测的朋友在调结构之前先把输入分辨率和增强策略调整到位这两步做完了再考虑模型结构升级。4.3 缺苗孔与出苗孔的边界判定前面说模型只检测苗但实际业务里缺苗孔的判定是整个系统的关键。这里有一个隐蔽的坑缺苗孔里如果没有苗通常会长杂草而杂草从地膜孔里长出来的形态和烟苗非常像。模型会把杂草误检为烟苗导致这个孔被判为出苗缺苗漏报。这个问题单靠检测模型本身解决不了要从农艺知识层面加规则。烟草移栽有标准的株距行距孔位分布是规则的网格。杂草的生长位置虽然也在孔洞里但它的形态分布更随机和周围已确认烟苗的空间位置关系没有规律。我的做法是引入空间先验基于已检测的烟苗位置拟合出种植行的中心线和孔位网格然后用网格匹配的方式逐孔判定状态。这样即使某个孔被杂草误报为出苗网格拟合结果会认为该位置的苗不符合空间分布规律从而发出复核提醒。4.4 模型推理速度与边缘设备部署实际巡检任务里无人机采集完数据需要尽快把出苗率统计结果反馈给农户否则补苗窗口期就过了。所以推理速度不是可选项是硬约束。我的部署流程是这样无人机作业完成后把图像导入便携工作站或者边缘设备批量切片后送入模型推理。在消费级显卡上1280分辨率的输入RT-DETR推理一张大约二十到四十毫秒YOLOv8大约十到二十毫秒。整套流程跑下来八百张航拍图切片分割后大概生成四千个patch单个模型十分钟左右能完成全部推理。如果把模型导出成TensorRT的FP16精度格式速度还能再提升百分之三十左右。部署中遇到的一个典型问题是RT-DETR导出ONNX时的算子兼容性。Transformer结构里的一些自定义算子在部分推理框架里不支持需要用官方推荐的导出方式或者找替代算子实现。相比之下YOLO系列的ONNX导出就顺畅得多基本一把过。如果团队里没有专门的部署工程师我建议先上YOLO系列保底等部署链路跑通了再考虑RT-DETR的精度优化方向。另外模型量化也值得说一句。FP16量化基本无损INT8量化在小目标场景下掉点比大目标场景严重得多。烟苗本身就只有几十像素量化带来的数值精度损失会直接反映在边界框的回归误差上。我的结论是出苗率识别任务里优先用FP16不要轻易上INT8。写在结尾个人经验和下一步扩展这套流程跑下来我最深的体会是在出苗率识别这类农业视觉项目里数据质量的优先级永远高于模型结构。你把采集时间窗口控制好、把标注一致性做到位用小模型都能出好效果反过来采集和标注一塌糊涂换再大的模型也救不了。另一个体会是业务指标和技术指标的转化非常重要mAP高不等于出苗率统计准要围绕业务定义做后处理把模型输出变成能指导生产决策的数字这中间的孔位匹配、置信度阈值调整才是整个项目真正的护城河。最后再分享一个小技巧如果你的项目刚刚起步没有时间和人力做大面积标注可以先找一个预训练模型用它跑一部分数据把置信度较高的检测结果导出成伪标签人工只做修正而不是从零标注。这能让标注成本下降不少。后续这个数据集还可以继续扩展从出苗率延伸到长势监测、缺株补种验证、甚至病虫害早期识别采集的数据和标注的格式都能复用前期投入会一直在后续项目里产生收益。
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
