做了一个多月低空航拍车辆检测项目我的主要痛苦来源根本不是大模型训不动而是那些只有十几个像素的车辆目标——大目标几乎全部正常小目标全线漏检。一开始我也跟大多数人一样把输入分辨率从640拉到1280换更大的backbone效果微乎其微训练成本却成倍上升。后来我把模型换到了YOLOv12上针对极小目标场景做了一轮系统性改造同一批数据上AP_s提升了将近8个点推理速度依然保持在实时范围。这篇博文会完整梳理我从“问题分析”到“框架设计”再到“训练调参”和“踩坑复盘”的全过程希望能给正在做遥感、监控、工业质检这类场景的朋友提供一个可以直接参考的落地方案。1. 极小目标检测为什么难先弄清楚瓶颈在哪1.1 极小目标和常规小目标标准差异很大想看任何技术方案先得把“极小目标”的定义对齐。公开检测基准里通常把面积小于32x32像素的目标归为small到实际项目里很多团队把8x8以下、或者目标面积不到整图1%的情况归为“极小”。这两个标准差别很大因为模型在不同尺度目标上的失败模式完全不同。拿我做的航拍场景来说800x800图像里一辆普通轿车的高度和宽度大约就是8x8像素总信息量只有64个像素分到RGB三个通道有效特征少得可怜。人眼都要贴近屏幕才能看清模型要从这里面提取分类和定位特征难度是结构性的。1.2 深层下采样之后小目标直接“蒸发”YOLO系列默认输入是640x640主干网络里有5次stride2的下采样最终用于检测的P5特征图只有20x20分辨率。一个8x8的目标下采样到P5层之后理论大小是0.25x0.25个像素基本等于不存在P3层是80x80一个目标勉强能占1个像素和背景噪声几乎没区别。这也是为什么很多人第一反应就是“加大输入分辨率”。思路本身没错但代价很大输入从640提高到1280FLOPs增长接近数倍显存和训练吞吐都压力山大。而且哪怕分辨率提高了深层特征图上小目标依旧只有一个点卷积核的感受野远远大于目标自身范围模型很难从单点信息上学会“这是一个完整物体”。1.3 正样本分配、NMS和标注噪声三个坑一个接一个除了网络结构训练流程里有两个非常琐碎但决定成败的环节。第一个是正负样本分配。极小目标和anchor、中心点的IoU天然非常低很多匹配策略会直接把低IoU的候选当作负样本丢弃导致模型压根不知道这里有个目标。另一个是NMS后处理。密集排列的小目标比如一排停车场的车、一群飞鸟之间IoU很高NMS经常把其中一个框当成另一个框的重复检测给压掉漏检率直接起飞。再叠加标注噪声问题。极小目标在图上只有几个像素人工标注时框偏几个像素太常见了。这个偏差对32x32的大目标无关痛痒但对8x8的小目标却是致命的监督噪音。我记得自己接手过的数据集里小目标框的标注偏移普遍在±3像素左右这会直接限制模型能学到的精度上限。2. YOLOv12里真正影响小目标检测的四个设计变化2.1 C3k和A2C2f把注意力放进了特征融合链路YOLOv12整体延续了此前YOLO系列的检测头和训练流程但backbone里的模块换成了强调局部建模的C3kneck里的跨阶段融合模块升级为A2C2f——一种融合了注意力机制的C2f变体。换句话说模型在融合不同尺度特征时会沿着空间关系重新对每个位置做加权而不是简单地把特征图叠起来。这个点对小目标的意义非常直接单个小目标自身特征太少但它周围的上下文其实很丰富。比如一辆小车旁边的路面纹理、车道线、路肩都在为人眼和模型提供判断依据。注意力机制本质上是在帮模型决定“该把计算资源放在哪里”对上下文敏感的模型往往能靠周围线索把模糊的小目标“猜”出来。2.2 RFA区域注意力小代价拿到全局视野YOLOv12提出的RFARegional Feature Attention给了我很大启发。常规的全局注意力需要让每个位置与其他所有位置交互空间复杂度随分辨率平方增长这对检测这种天然高分辨率输入的任务非常不友好。RFA的思路是先通过卷积把局部区域的信息对齐压缩在一个区域级别上计算注意力计算量大幅下降但依然保留了跨区域的长程信息传递能力。对小目标场景来说能否获取全局上下文很重要。一个10像素的目标如果只看它自己周围5x5的区域很容易被当成噪点但如果能看到整片路面的走向、车辆排列的密集程度判断的置信度会完全不同。2.3 动态一对一匹配替代NMS减少密集目标的互相压制YOLOv12在训练阶段引入了动态一对一标签匹配让每个GT框只匹配一个预测从而在推理阶段去掉NMS依赖。这一点在密集小目标场景里属于实打实的利好。以前后处理NMS会把高IoU的相邻预测框直接压掉尤其在车流密集、目标重叠率高的航拍图里误杀率非常高。换成动态一对一匹配之后模型在训练期就学会了“一个目标只输出一个最终框”同类目标之间互不干扰漏检下降明显。2.4 FlashAttention带来的部署优势实时性不可妥协工业场景里做小目标检测帧率往往是比精度更先卡住的硬指标。YOLOv12引入FlashAttention做了大量开销优化注意力模块的推理成本被压得很低。我自己的实测对比里同等规模的YOLOv12推理速度比带注意力机制的Transformer检测器快出不少。这意味着什么你可以在嵌入式设备、无人机机载盒子这些算力有限的平台上用更多余量去换取P2高分辨率特征图和切图推理这类操作而不是被迫在“跑得动”和“检得出”之间二选一。3. 框架搭建基于YOLOv12的极小目标检测完整设计3.1 增加P2检测头在stride4的特征图上找回目标整个框架里面收益最大的一步是增加P2检测头。默认的YOLOv12输出从P3stride8开始8x8目标勉强占1个像素信息量太低。P2层对应stride4640x640输入下能拿到160x160的高分辨率特征图小目标在这里终于不再“蒸发”。改法并不复杂在模型配置文件里注册一个stride4的输出从主干低层拉一条上采样分支接一层A2C2f做融合然后同时输出P2、P3、P4、P5四个尺度的特征。代码层面的示意大致是这样head: - [-1, 1, A2C2f, [512]] # 上采样融合层 - [-1, 1, Detect, [nc, [160, 80, 40, 20]]] # 四尺度输出需要注意的是P2头会让neck部分的特征图数量翻几倍。我在单卡上从P3-P5版本升到P2-P5版本训练显存从11GB涨到了15GB训练耗时也增加了约40%。但这个代价换回来的AP_s提升在我这个数据集上非常值。3.2 轻量多尺度自注意力融合给低层细节和高层语义一个可学习开关加了P2头之后很容易出现另一种问题P2特征图分辨率高但语义弱直接concat进检测头会让模型被大量背景纹理干扰。我按常规实践补了一个很轻量的多尺度融合模块对不同尺度特征统一通道后做可学习加权相加核心思想是给模型一个“信低层细节还是信高层语义”的可学习开关。class MSFF(nn.Module): def __init__(self, dim): super().__init__() self.conv_p2 nn.Conv2d(dim, dim, 1) self.conv_p3 nn.Conv2d(dim, dim, 1) self.gate nn.Sequential( nn.Conv2d(dim * 2, dim, 1), nn.Sigmoid() ) def forward(self, p2, p3): p2 self.conv_p2(p2) p3_up F.interpolate(self.conv_p3(p3), sizep2.shape[-2:]) g self.gate(torch.cat([p2, p3_up], dim1)) return g * p2 (1 - g) * p3_up这个模块参数量很小但训练稳定性比直接concat好很多。我自己的对比里加了它之后mAP50-95有小幅提升更关键的是不同随机种子之间的精度方差明显缩小。3.3 正负样本分配器调整别让低IoU的小目标全变成负样本YOLOv12默认的匹配策略在常规目标上很好用但换到极小目标时还是显得苛刻。我做了两处小改造。第一把中心采样区域从GT框中心扩展到整个GT框内部让更多小目标候选有机会落入正样本范围第二把top-k候选数量调大尽量多保留低IoU但真实存在的小目标候选。原因是极小目标与候选位置的IoU经常在0.3以下太严格的匹配会把它们大批量判为负样本。副作用也明确说一下候选变多之后训练速度会变慢误检也可能变多需要同步配合置信度阈值调整。这类参数在不同数据集上差异很大建议每次只动一个变量用控制变量法去测。3.4 切图推理加目标合并工程侧第一步就能捡回不少召回模型层面的改造之外我在推理阶段加了一步切图流程把大图切成互相有重叠的Patch分别过模型再把结果合并回原坐标。这一步对极小目标的提升非常惊人因为原始分辨率下大量目标处于图像边缘切图后它们会变成Patch内部的完整目标。具体参数上我用了512x512的Patch、64像素的重叠合并时用加权融合而不是简单取两个Patch中的最高置信度框。代价是推理耗时成倍增加——切成4块就是4倍的模型推理量所以项目上线时我这边是用异步队列把切图、推理、合并串成流水线用整体吞吐换单帧延迟。4. 训练与调参把框架跑出效果的那些配置细节4.1 数据准备阶段先花半天做小目标标注质检不管模型结构多先进训练数据的底子决定上限。我拿到新数据集的第一件事是把所有小于10像素的GT框单独导出逐张过一遍把漏标、错标、偏移过大的框手工修正。这个步骤大概要花掉半天时间但能省掉后面无数个排查夜色下的头痛时刻。小目标框偏移的危害前面已经说过这里再给一个量化感受一个8x8的GT框如果向右偏移2像素和真实目标的IoU可能直接从0.5掉到0.3原本够格的样本直接落入负样本区间。所以做极小目标检测千万别跳过这一步。4.2 数据增强策略对小目标“手下留情”常规YOLO默认开启的Mosaic增强把四张图缩放到一张图上会让目标进一步变小极易低于配准阈值被丢弃。我实验下来比较有效的组合是保留Mosaic但把概率降到默认值的一半左右同时增加CopyPaste增强让极小目标在不同背景下多次出现增强模型对上下文变化的鲁棒性。提示小目标增强的关键是“让小目标多次出现、出现在不同背景下”而不是让小目标变得更小。尺度抖动的下界要控制住别把目标裁到只剩2-3个像素否则增强出来的样本就是纯噪声。4.3 训练超参与损失函数的组合经验我最终用来出模型的配置是SGD优化器加余弦退火前5个epoch做warmupbatch size在显存允许下至少16。定位损失保留CIoU和DFL的组合DFL的分布输出在小目标上表现稳定。学习率这块需要多说一句注意力模块的加入让训练对学习率敏感了不少。我试过一上来就用较高的初始学习率结果前几个epoch的loss震荡得很厉害把初始学习率降到默认值的70%左右再配合warmup训练曲线明显平稳。另外EMA平均参数我最终保留了下来这套配置几乎不增加推理成本但出模型的稳定性好一个档次。4.4 部署量化阶段的坑尽量保住P2头的精度训练完FP16权重效果不错但转INT8量化后P2头经常是精度掉得最厉害的部分。原因也好理解小目标特征在高分辨率区域里本来就很稀疏低比特量化很容易把那些微弱但关键的响应直接截断成0。我最终的量化策略是混合精度P2头所在子图保持FP16其他算子走INT8。这样模型总体显存和速度还能吃到量化的红利同时不牺牲小目标精度。如果平台不支持混合精度退而求其次的方案是给P2头单独做校准集补偿。5. 实验对比与踩坑记录一次完整复盘5.1 实验设定与结果对比所有实验都用同一个低空航拍车辆数据集约5000张800x800分辨率。目标面积大部分在25到45像素之间极小目标小于10像素大约占30%。我按顺序做了四组对比结果如下配置mAP50mAP50-95AP_s推理FPS基线YOLOv12-M0.6320.4080.19792 P2检测头0.6740.4450.24174 多尺度融合模块0.6810.4530.24772 分配器调整 切图推理0.7120.4720.27141P2头的贡献最大直接让AP_s涨了4个多点多尺度融合模块主要提升精度稳定性分配器调整和切图推理在AP_s上属于锦上添花但推理帧率掉得也很明显。所以上线时我保留的是前三个配置的模型切图推理只在离线分析链路里启用。5.2 排查链路一P2头训练初期loss纹丝不动加P2头后的前二十个epochloss几乎不动偶尔还有nan。我先怀疑学习率调低后无果又怀疑梯度爆炸加梯度裁剪仍然无效最后逐项检查loss分量发现框的置信度损失居高不下。排查到最后根因是P2头的随机初始化分支在早期输出分布太极端加上正样本稀少置信度直接退化到0。解决办法是前5个epoch先冻结P2头分支让backbone和P3-P5头把基础特征学好再放开P2头参与训练。放开之后loss立刻顺利下降这个经验后来在几个相似项目里都复现有效。5.3 排查链路二切图推理后边界处的目标被反复漏检切图跑通之后位于Patch边缘的目标经常漏检要么输出框被裁成半框。一开始我怀疑是重叠不够把重叠从0加到64像素漏检减少了但没根治。后来逐帧比对发现合并逻辑只保留了最高置信度框一旦边缘框置信度略高就错误地覆盖了内部完整框。最终方案是合并时对跨Patch边界的框做降权校验同时按框中心点距离做位置融合而不是简单取最大值。这个改动之后边缘漏检基本消失。5.4 排查链路三背景纹理区域的误检怎么都压不下去有一版模型在路面标线、树冠边缘这些纹理丰富区域的误检非常严重置信度还很高。我查了标注发现这些纹理区域在训练集中被大量漏标为背景模型学到的是“这里的纹理和车标过去的纹理相似度很高”。这个问题的根治手段是数据层面不是调阈值。我手工补标了500张难例图重新训练误检显著下降上线阈值也适当上调了0.1做保守处理。有时候模型反馈回来的问题其实是数据问题别一味靠炼丹去兜底。最后如果让我总结这段经历极小目标检测的收益基本不是来自某一个酷炫模块而是来自高分辨率特征图、合理的匹配策略、数据增强和后处理这条流水线每一环都不掉链子。YOLOv12的注意力升级恰好把这条流水线的上限抬高了一些。对刚接触这个方向的朋友我的建议是按顺序做三件事第一先给训练数据做小目标标注质检别急着改网络第二直接给模型加P2头这是性价比最高的结构改动第三如果离线任务对延迟不敏感切图推理能带来很直接的召回提升。等这些做完再去调分配器、改融合模块你会发现很多“模型能力不足”的问题其实在前面几步就已经解决了一半。
做了一个多月低空航拍车辆检测项目我的主要痛苦来源根本不是大模型训不动而是那些只有十几个像素的车辆目标——大目标几乎全部正常小目标全线漏检。一开始我也跟大多数人一样把输入分辨率从640拉到1280换更大的backbone效果微乎其微训练成本却成倍上升。后来我把模型换到了YOLOv12上针对极小目标场景做了一轮系统性改造同一批数据上AP_s提升了将近8个点推理速度依然保持在实时范围。这篇博文会完整梳理我从“问题分析”到“框架设计”再到“训练调参”和“踩坑复盘”的全过程希望能给正在做遥感、监控、工业质检这类场景的朋友提供一个可以直接参考的落地方案。1. 极小目标检测为什么难先弄清楚瓶颈在哪1.1 极小目标和常规小目标标准差异很大想看任何技术方案先得把“极小目标”的定义对齐。公开检测基准里通常把面积小于32x32像素的目标归为small到实际项目里很多团队把8x8以下、或者目标面积不到整图1%的情况归为“极小”。这两个标准差别很大因为模型在不同尺度目标上的失败模式完全不同。拿我做的航拍场景来说800x800图像里一辆普通轿车的高度和宽度大约就是8x8像素总信息量只有64个像素分到RGB三个通道有效特征少得可怜。人眼都要贴近屏幕才能看清模型要从这里面提取分类和定位特征难度是结构性的。1.2 深层下采样之后小目标直接“蒸发”YOLO系列默认输入是640x640主干网络里有5次stride2的下采样最终用于检测的P5特征图只有20x20分辨率。一个8x8的目标下采样到P5层之后理论大小是0.25x0.25个像素基本等于不存在P3层是80x80一个目标勉强能占1个像素和背景噪声几乎没区别。这也是为什么很多人第一反应就是“加大输入分辨率”。思路本身没错但代价很大输入从640提高到1280FLOPs增长接近数倍显存和训练吞吐都压力山大。而且哪怕分辨率提高了深层特征图上小目标依旧只有一个点卷积核的感受野远远大于目标自身范围模型很难从单点信息上学会“这是一个完整物体”。1.3 正样本分配、NMS和标注噪声三个坑一个接一个除了网络结构训练流程里有两个非常琐碎但决定成败的环节。第一个是正负样本分配。极小目标和anchor、中心点的IoU天然非常低很多匹配策略会直接把低IoU的候选当作负样本丢弃导致模型压根不知道这里有个目标。另一个是NMS后处理。密集排列的小目标比如一排停车场的车、一群飞鸟之间IoU很高NMS经常把其中一个框当成另一个框的重复检测给压掉漏检率直接起飞。再叠加标注噪声问题。极小目标在图上只有几个像素人工标注时框偏几个像素太常见了。这个偏差对32x32的大目标无关痛痒但对8x8的小目标却是致命的监督噪音。我记得自己接手过的数据集里小目标框的标注偏移普遍在±3像素左右这会直接限制模型能学到的精度上限。2. YOLOv12里真正影响小目标检测的四个设计变化2.1 C3k和A2C2f把注意力放进了特征融合链路YOLOv12整体延续了此前YOLO系列的检测头和训练流程但backbone里的模块换成了强调局部建模的C3kneck里的跨阶段融合模块升级为A2C2f——一种融合了注意力机制的C2f变体。换句话说模型在融合不同尺度特征时会沿着空间关系重新对每个位置做加权而不是简单地把特征图叠起来。这个点对小目标的意义非常直接单个小目标自身特征太少但它周围的上下文其实很丰富。比如一辆小车旁边的路面纹理、车道线、路肩都在为人眼和模型提供判断依据。注意力机制本质上是在帮模型决定“该把计算资源放在哪里”对上下文敏感的模型往往能靠周围线索把模糊的小目标“猜”出来。2.2 RFA区域注意力小代价拿到全局视野YOLOv12提出的RFARegional Feature Attention给了我很大启发。常规的全局注意力需要让每个位置与其他所有位置交互空间复杂度随分辨率平方增长这对检测这种天然高分辨率输入的任务非常不友好。RFA的思路是先通过卷积把局部区域的信息对齐压缩在一个区域级别上计算注意力计算量大幅下降但依然保留了跨区域的长程信息传递能力。对小目标场景来说能否获取全局上下文很重要。一个10像素的目标如果只看它自己周围5x5的区域很容易被当成噪点但如果能看到整片路面的走向、车辆排列的密集程度判断的置信度会完全不同。2.3 动态一对一匹配替代NMS减少密集目标的互相压制YOLOv12在训练阶段引入了动态一对一标签匹配让每个GT框只匹配一个预测从而在推理阶段去掉NMS依赖。这一点在密集小目标场景里属于实打实的利好。以前后处理NMS会把高IoU的相邻预测框直接压掉尤其在车流密集、目标重叠率高的航拍图里误杀率非常高。换成动态一对一匹配之后模型在训练期就学会了“一个目标只输出一个最终框”同类目标之间互不干扰漏检下降明显。2.4 FlashAttention带来的部署优势实时性不可妥协工业场景里做小目标检测帧率往往是比精度更先卡住的硬指标。YOLOv12引入FlashAttention做了大量开销优化注意力模块的推理成本被压得很低。我自己的实测对比里同等规模的YOLOv12推理速度比带注意力机制的Transformer检测器快出不少。这意味着什么你可以在嵌入式设备、无人机机载盒子这些算力有限的平台上用更多余量去换取P2高分辨率特征图和切图推理这类操作而不是被迫在“跑得动”和“检得出”之间二选一。3. 框架搭建基于YOLOv12的极小目标检测完整设计3.1 增加P2检测头在stride4的特征图上找回目标整个框架里面收益最大的一步是增加P2检测头。默认的YOLOv12输出从P3stride8开始8x8目标勉强占1个像素信息量太低。P2层对应stride4640x640输入下能拿到160x160的高分辨率特征图小目标在这里终于不再“蒸发”。改法并不复杂在模型配置文件里注册一个stride4的输出从主干低层拉一条上采样分支接一层A2C2f做融合然后同时输出P2、P3、P4、P5四个尺度的特征。代码层面的示意大致是这样head: - [-1, 1, A2C2f, [512]] # 上采样融合层 - [-1, 1, Detect, [nc, [160, 80, 40, 20]]] # 四尺度输出需要注意的是P2头会让neck部分的特征图数量翻几倍。我在单卡上从P3-P5版本升到P2-P5版本训练显存从11GB涨到了15GB训练耗时也增加了约40%。但这个代价换回来的AP_s提升在我这个数据集上非常值。3.2 轻量多尺度自注意力融合给低层细节和高层语义一个可学习开关加了P2头之后很容易出现另一种问题P2特征图分辨率高但语义弱直接concat进检测头会让模型被大量背景纹理干扰。我按常规实践补了一个很轻量的多尺度融合模块对不同尺度特征统一通道后做可学习加权相加核心思想是给模型一个“信低层细节还是信高层语义”的可学习开关。class MSFF(nn.Module): def __init__(self, dim): super().__init__() self.conv_p2 nn.Conv2d(dim, dim, 1) self.conv_p3 nn.Conv2d(dim, dim, 1) self.gate nn.Sequential( nn.Conv2d(dim * 2, dim, 1), nn.Sigmoid() ) def forward(self, p2, p3): p2 self.conv_p2(p2) p3_up F.interpolate(self.conv_p3(p3), sizep2.shape[-2:]) g self.gate(torch.cat([p2, p3_up], dim1)) return g * p2 (1 - g) * p3_up这个模块参数量很小但训练稳定性比直接concat好很多。我自己的对比里加了它之后mAP50-95有小幅提升更关键的是不同随机种子之间的精度方差明显缩小。3.3 正负样本分配器调整别让低IoU的小目标全变成负样本YOLOv12默认的匹配策略在常规目标上很好用但换到极小目标时还是显得苛刻。我做了两处小改造。第一把中心采样区域从GT框中心扩展到整个GT框内部让更多小目标候选有机会落入正样本范围第二把top-k候选数量调大尽量多保留低IoU但真实存在的小目标候选。原因是极小目标与候选位置的IoU经常在0.3以下太严格的匹配会把它们大批量判为负样本。副作用也明确说一下候选变多之后训练速度会变慢误检也可能变多需要同步配合置信度阈值调整。这类参数在不同数据集上差异很大建议每次只动一个变量用控制变量法去测。3.4 切图推理加目标合并工程侧第一步就能捡回不少召回模型层面的改造之外我在推理阶段加了一步切图流程把大图切成互相有重叠的Patch分别过模型再把结果合并回原坐标。这一步对极小目标的提升非常惊人因为原始分辨率下大量目标处于图像边缘切图后它们会变成Patch内部的完整目标。具体参数上我用了512x512的Patch、64像素的重叠合并时用加权融合而不是简单取两个Patch中的最高置信度框。代价是推理耗时成倍增加——切成4块就是4倍的模型推理量所以项目上线时我这边是用异步队列把切图、推理、合并串成流水线用整体吞吐换单帧延迟。4. 训练与调参把框架跑出效果的那些配置细节4.1 数据准备阶段先花半天做小目标标注质检不管模型结构多先进训练数据的底子决定上限。我拿到新数据集的第一件事是把所有小于10像素的GT框单独导出逐张过一遍把漏标、错标、偏移过大的框手工修正。这个步骤大概要花掉半天时间但能省掉后面无数个排查夜色下的头痛时刻。小目标框偏移的危害前面已经说过这里再给一个量化感受一个8x8的GT框如果向右偏移2像素和真实目标的IoU可能直接从0.5掉到0.3原本够格的样本直接落入负样本区间。所以做极小目标检测千万别跳过这一步。4.2 数据增强策略对小目标“手下留情”常规YOLO默认开启的Mosaic增强把四张图缩放到一张图上会让目标进一步变小极易低于配准阈值被丢弃。我实验下来比较有效的组合是保留Mosaic但把概率降到默认值的一半左右同时增加CopyPaste增强让极小目标在不同背景下多次出现增强模型对上下文变化的鲁棒性。提示小目标增强的关键是“让小目标多次出现、出现在不同背景下”而不是让小目标变得更小。尺度抖动的下界要控制住别把目标裁到只剩2-3个像素否则增强出来的样本就是纯噪声。4.3 训练超参与损失函数的组合经验我最终用来出模型的配置是SGD优化器加余弦退火前5个epoch做warmupbatch size在显存允许下至少16。定位损失保留CIoU和DFL的组合DFL的分布输出在小目标上表现稳定。学习率这块需要多说一句注意力模块的加入让训练对学习率敏感了不少。我试过一上来就用较高的初始学习率结果前几个epoch的loss震荡得很厉害把初始学习率降到默认值的70%左右再配合warmup训练曲线明显平稳。另外EMA平均参数我最终保留了下来这套配置几乎不增加推理成本但出模型的稳定性好一个档次。4.4 部署量化阶段的坑尽量保住P2头的精度训练完FP16权重效果不错但转INT8量化后P2头经常是精度掉得最厉害的部分。原因也好理解小目标特征在高分辨率区域里本来就很稀疏低比特量化很容易把那些微弱但关键的响应直接截断成0。我最终的量化策略是混合精度P2头所在子图保持FP16其他算子走INT8。这样模型总体显存和速度还能吃到量化的红利同时不牺牲小目标精度。如果平台不支持混合精度退而求其次的方案是给P2头单独做校准集补偿。5. 实验对比与踩坑记录一次完整复盘5.1 实验设定与结果对比所有实验都用同一个低空航拍车辆数据集约5000张800x800分辨率。目标面积大部分在25到45像素之间极小目标小于10像素大约占30%。我按顺序做了四组对比结果如下配置mAP50mAP50-95AP_s推理FPS基线YOLOv12-M0.6320.4080.19792 P2检测头0.6740.4450.24174 多尺度融合模块0.6810.4530.24772 分配器调整 切图推理0.7120.4720.27141P2头的贡献最大直接让AP_s涨了4个多点多尺度融合模块主要提升精度稳定性分配器调整和切图推理在AP_s上属于锦上添花但推理帧率掉得也很明显。所以上线时我保留的是前三个配置的模型切图推理只在离线分析链路里启用。5.2 排查链路一P2头训练初期loss纹丝不动加P2头后的前二十个epochloss几乎不动偶尔还有nan。我先怀疑学习率调低后无果又怀疑梯度爆炸加梯度裁剪仍然无效最后逐项检查loss分量发现框的置信度损失居高不下。排查到最后根因是P2头的随机初始化分支在早期输出分布太极端加上正样本稀少置信度直接退化到0。解决办法是前5个epoch先冻结P2头分支让backbone和P3-P5头把基础特征学好再放开P2头参与训练。放开之后loss立刻顺利下降这个经验后来在几个相似项目里都复现有效。5.3 排查链路二切图推理后边界处的目标被反复漏检切图跑通之后位于Patch边缘的目标经常漏检要么输出框被裁成半框。一开始我怀疑是重叠不够把重叠从0加到64像素漏检减少了但没根治。后来逐帧比对发现合并逻辑只保留了最高置信度框一旦边缘框置信度略高就错误地覆盖了内部完整框。最终方案是合并时对跨Patch边界的框做降权校验同时按框中心点距离做位置融合而不是简单取最大值。这个改动之后边缘漏检基本消失。5.4 排查链路三背景纹理区域的误检怎么都压不下去有一版模型在路面标线、树冠边缘这些纹理丰富区域的误检非常严重置信度还很高。我查了标注发现这些纹理区域在训练集中被大量漏标为背景模型学到的是“这里的纹理和车标过去的纹理相似度很高”。这个问题的根治手段是数据层面不是调阈值。我手工补标了500张难例图重新训练误检显著下降上线阈值也适当上调了0.1做保守处理。有时候模型反馈回来的问题其实是数据问题别一味靠炼丹去兜底。最后如果让我总结这段经历极小目标检测的收益基本不是来自某一个酷炫模块而是来自高分辨率特征图、合理的匹配策略、数据增强和后处理这条流水线每一环都不掉链子。YOLOv12的注意力升级恰好把这条流水线的上限抬高了一些。对刚接触这个方向的朋友我的建议是按顺序做三件事第一先给训练数据做小目标标注质检别急着改网络第二直接给模型加P2头这是性价比最高的结构改动第三如果离线任务对延迟不敏感切图推理能带来很直接的召回提升。等这些做完再去调分配器、改融合模块你会发现很多“模型能力不足”的问题其实在前面几步就已经解决了一半。
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
