如果你也做过小目标检测八成遇到过这种诡异现象模型在常规尺寸目标上挺能打一遇到20个像素以下的小目标就原形毕露。我之前在某工业质检项目里把YOLO26的Backbone换成了计算量更大的版本FLOPs涨了将近一倍小目标mAP只动了零点几个点推理速度反而掉得心疼。后来我把刀口转向了检测头结合ICME-2024中关于注意力机制的相关工作并联金字塔注意力PPA自研了一个带注意力机制的小目标检测头小目标AP提升了接近3个点连分割头的mask质量也跟着涨了一截。下面我会把“为什么改头、PPA注意力原理、自研结构设计、代码落地、训练验证以及踩坑过程”完整拆开适合正在折腾YOLO26改进或者在工业质检、遥感识别、无人机航拍场景里被小目标漏检问题反复折磨的工程师参考。1. 换检测头之前先看清小目标检测的真瓶颈1.1 小目标消失的两个阶段深层语义与空间定位小目标之所以难核心不在于“看不清”而在于特征在传递过程中被溶解。拿一个20x20像素的目标来说它刚进网络时还有完整的空间结构经过三次下采样后在输出特征图里只剩3x3左右再往后走一次基本就是一两个像素的响应点。这时候目标的空间信息已经被压到极限能留下来的只有“它大概存在”的语义信号至于它精确在哪个位置、边界在哪里全都模糊了。另一个容易被忽略的问题是正样本稀疏。YOLO系列解耦头在分配正样本时是根据目标中心和预测框的匹配程度来定一个小目标可能只占几个网格能被分配为正样本的位置数量非常有限。监督信号少模型就学不扎实。再加上小目标对边界框回归的像素偏移极其敏感少预测两个像素IoU就掉一大截AP自然上不去。我打一个比方大目标是一张完整的照片网络哪怕只保留几个关键点也能拼个大概小目标更像贴在墙上的一个图钉你必须在所有阶段都精确记住它在哪里任何一步的“差不多”都会让它直接消失。所以小目标检测的瓶颈从来不是单一的而是一整条链路里“空间定位精度”和“语义强度”同时被消耗的问题。1.2 堆Backbone的收益陷阱算力翻倍AP不动我做第一版改进时用的还是最常规的思路把Backbone扩大增加感受野和通道数。理论上网络能提取更丰富的语义信息小目标应该受益但实测结果很打脸。换成计算量扩大1.5倍的Backbone版本后FLOPs从31.2G涨到46.8G参数量多了近9M可小物体一类的AP只从18.9涨到19.4。成本巨高收益几乎是零。问题出在哪大Backbone确实增强了语义但也带来了两个副作用。第一是感受野变大后一个小目标周围的背景信息会越来越强模型反而更容易被“周围环境”带着走第二是深层特征图的通道数增加后小目标原本就微弱的响应被高维特征的噪声稀释了。对这个场景来说感知强度的提升远不如定位精度的损失来得明显。所以我后来明白一个道理小目标场景里Backbone只需要够用就行真正的短板在“最后的几十层怎么组织”。检测头才是让定位信息和语义信息做最终融合的地方动检测头的单位收益比动Backbone高得多。这就像你拍照镜头已经不错了但暗房冲洗工序里每个环节都带损耗你再去换个更贵的镜头不如先把冲洗环节的损耗降下来。1.3 检测头为什么值得动刀任务冲突与感受野错位YOLO26原版的检测头已经做了解耦分类和回归分成两个分支比早期版本共享参数要先进但它仍然是一个“流水线式”的头输入特征进来后直接各走各的卷积缺少对小目标独有的针对性增强。更关键的是在带分割头的版本里检测和分割两个任务的梯度在共享特征上是互相拉扯的分类任务希望特征往“类别判别”方向收敛回归任务希望特征往“几何定位”方向收敛分割任务则更在意边缘细节三个目标挤在同一组特征上谁都没法做到最好。这种任务冲突在小目标上会被放大。大目标特征冗余度很高每个任务都能找到自己需要的分量小目标特征本来就只有几个像素分类、定位、分割三个任务再争抢有限的表达能力漏检就成了必然结果。我选择在共享特征之后、任务分支之前插入注意力模块目的就是先对特征做一次“多尺度上下文增强”让后续每个任务分支都能拿到更完整的特征表达而不是靠堆卷积去硬扛。2. PPA注意力模块的原理拆解并联金字塔注意力到底在关注什么2.1 从ICME-2024的动机说起全局上下文不是越大越好ICME-2024上关于并联金字塔注意力Parallel Pyramid Attention简称PPA的相关工作核心观点我印象很深现有注意力机制往往依赖一个全局上下文把整张特征图压缩成一个向量再重新分配权重这对大目标没问题但对小目标可能是负优化。原因在于全局上下文里的信息被大面积背景主导小目标本身响应弱在全局归一化时很容易被“平均掉”。PPA给我的启发是注意力不应该只做“全局重标定”更应该做“多尺度局部聚焦”。不同大小的目标需要不同范围的上下文小目标需要的是局部对比度比如它和周围两三像素范围的差异大目标则需要更大范围的形状信息。并联金字塔结构正好能同时提供几种不同尺度的上下文感知而不是把一切都押在一个全局池化上。更具体地说PPA会先把输入特征分别用多个不同尺寸的卷积核并行处理得到多份感受野不同的特征再把它们拼接起来最后用空间通道联合注意力对拼接结果做增强。这条路跟SE、CBAM走的完全是两个方向SE只做通道重标定CBAM虽然加了空间注意力但感受野是固定的PPA则在真正意义上引入了“多尺度竞争”机制。2.2 并联金字塔卷积与多尺度感受野并联金字塔卷积是PPA的主体我会用3x3、5x5、7x7三个分支来构建每个分支都先做同通道的深度可分离卷积来控制计算量再通过1x1卷积调整到统一宽度。3x3分支关心目标自身和紧邻像素7x7分支能看到更大的上下文区域三个分支拼在一起就相当于同时从三个观察距离审视同一个目标。用深度可分离卷积而不是普通卷积是控制参数量的关键。7x7的标准卷积在一个256通道的输入上参数量会瞬间爆炸但把它拆成“7x7深度卷积1x1逐点卷积”后计算量能降到原来的几十分之一。小目标检测头本来就长在深层特征上通道数不低如果这里不做轻量化整个头的成本优势就没了。我建议刚开始实验时把金字塔卷积核定为(3,5,7)三档因为这三个尺寸覆盖了“目标局部、目标周边、目标上下文”三个尺度的典型范围。如果场景里的目标特别小比如遥感图像里的车辆和船只可以再补一个1x1分支专门保留纯像素级的信息。这一条非常灵我后面做航拍数据集时靠它又涨了小半个点。2.3 空间-通道权重生成路径PPA生成注意力权重的方式不是单一策略而是先做通道注意力再做分组空间注意力。通道注意力沿用经典的全局平均池化加两段卷积结构先把拼接后的多尺度特征压缩成一个通道描述符学习哪些通道的这个目标贡献更大再用sigmoid生成权重。这一步相当于给特征图做了一次“按通道重排优先级”。空间注意力我做了改动把特征按通道分成若干组每组单独计算平均池化和最大池化拼接后过一个5x5卷积生成空间权重。分组的意义在于不同通道组合关注的目标可能是不同的比如有的通道组对目标表面纹理敏感有的对边界敏感分开做空间增强比统一做一次更细腻。注意力头数不建议一上来就拉满。我最初用8头训练中段loss直接开始震荡降到4头后立刻稳定。深层小目标特征图本身分辨率已经很低通道被分成8组之后每组信息量太少注意力权重学习不到稳定的关联反而不如4头这种折中方案。2.4 PPA与SE、CBAM、CA的定位差异对照很多读者会问之前试过SE和CBAM效果不明显PPA到底不一样在哪里。我把它们放在一起比一下注意力模块关注维度上下文方式对小目标的适配性SE通道全局平均池化弱全局平均会稀释小目标响应CBAM通道空间固定7x7卷积中空间聚焦范围固定CA通道坐标全局坐标编码中偏全局位置编码PPA通道分组空间多尺度金字塔并联强兼顾局部与上下文SE的问题在于全局池化这一下就把空间信息全部抹掉了在小目标检测里通道重标定的收益很低。CBAM比SE多了空间分支但它的空间注意力只做一次固定感受野的卷积尺度单一。CA把坐标信息编码进特征里对位置敏感的目标有帮助但它仍然是一个全局编码的思路在密集小目标场景里容易互相干扰。PPA的核心差异是“多尺度上下文先并行、再聚焦”。先让不同感受野的特征充分竞争再用通道和分组空间注意力决定最终保留哪些信息。这个“先拉开再看”的逻辑正好补上了小目标检测头最缺的一环既要局部细节又要有足够的上下文来辅助判断。3. 自研PPA小目标检测头的整体结构与信息流3.1 解耦头的演进从单头到三分支YOLO系列检测头的演进路线很有意思。早期版本是单头结构分类和回归共享同一组卷积任务冲突被压在一个头里后来演进到解耦头分类和回归分开走效果立刻提升。带分割输出的版本更进一步在分类和回归之外加了一个mask分支用检测结果作为引导同时输出每个目标的像素级mask。这种三分支结构在小目标场景里仍然是“各自为战”的状态。分类分支用几个3x3卷积把特征往类别方向压缩回归分支用自己的卷积预测边框mask分支则根据检测框裁剪特征图做分割。三个分支互不打扰但也互相不帮忙。PPA-Head要做的第一件事就是在这三个分支前面增加一个“公共增强模块”让它们共享一份经过注意力增强的特征。结构上我保持了YOLO26工程一贯的解耦风格避免推倒重来影响训练稳定性。具体路径是从颈部网络输出的特征先经过一个1x1卷积统一通道进入PPA模块做多尺度上下文增强增强后的特征同时送入分类、回归、mask三个分支。这样改动范围小回滚容易而且理论路径清晰。3.2 注意力插入位置的选择逻辑为什么把PPA放在共享特征之后而不是每个分支内部各放一个这个问题我也纠结了一阵。在每个分支内部加注意力似乎更“定制化”但代价是参数量翻三倍而且三个分支关注的是不同任务注意力模块学出来的权重会互相冲突反而不利于共享层的梯度传播。放在共享特征之后的思路很简单不是靠某个分支单独增强而是让最终要分发的特征本身信息量更足。分类分支希望看到目标的类别判别信息回归分支希望看到精确的定位细节mask分支希望看到边缘纹理这些需求在底层其实是一致的——都需要小目标在多尺度上下文中足够突出。我实际尝试过只在分类分支加PPA、在回归分支不加以及只在分割分支加PPA两种方案效果都不如放在共享层。前一种方案的回归精度没提上来mask边界也还是糊的后一种方案更可惜检测AP基本没变只有分割mIoU微涨。这再次说明小目标的短板在于源头特征的质量而不是单个任务分支的容量。信息流梳理下来是这样的颈部输出P3/P4/P5层特征后通过加权融合把多尺度信息聚合成一份统一特征进入1x1降维卷积然后到PPA模块完成多尺度金字塔卷积、通道注意力、分组空间注意力最后分流给分类、回归、mask三个预测头。所有预测都基于同一份增强后的特征但各自用独立卷积去完成任务。3.3 分割头与检测头的协同设计自研PPA-Head里检测头和分割头不是完全独立的两条线而是通过“检测结果引导mask采样”的方式联动。分割分支的输入由两部分拼接而成一是PPA增强后的共享特征二是回归分支产生的候选框位置编码。这样mask分支在做像素级预测之前已经知道目标大致在哪不用再从全局特征里盲猜。这个设计的直接收益是mask质量跟着检测精度一起提升。原本分割头在小目标上的轮廓经常断成一截一截的因为目标特征弱阈值稍微一高边缘就断。引入PPA增强后目标在多尺度特征中的响应更集中mask分支更容易学到连续轮廓。代价是mask分支在训练时对检测框质量有一定依赖。早期训练阶段回归分支还没收敛候选框位置不准引导信息反而有噪声。我的处理方案是在前20个epoch把mask分支的损失权重设成0.5等检测头稳定后再提到1.0。这样既保证检测任务先学好又不会让分割任务拖累整体训练节奏。3.4 参数量与计算量成本核算做一个改进模块前先算账是必要的。我的目标是让整体参数量增加控制在10%以内FLOPs增加控制在15%以内否则在边缘设备上部署就没有意义。经过一版调整后PPA-Head的成本数据如下部分参数量增量FLOPs增量说明深度可分离金字塔卷积约0.8M约0.6G三分支共用计算量可控通道注意力约0.3M可忽略全局池化后卷积分组空间注意力约0.1M约0.4G4头仅处理拼接特征特征投影回原通道约0.2M约0.3G残差连接前对齐通道整个PPA模块在256通道、128x128输入上增加约1.4M参数FLOPs增加约1.3G。相比原始检测头12.8M参数、31.2G FLOPs的基数增幅在可接受范围内。实际部署时如果还嫌贵可以把金字塔分支从三个减到两个3x3和5x5参数量再压缩一截精度损失一般不到0.5个点。4. 代码落地在通用YOLO工程中实现PPA-Head4.1 工程准备与文件组织我默认你手上已经有一个能正常训练和推理的YOLO26工程不管代码是基于离线蒸馏版本还是自建训练Pipeline核心思路都一样。先把检测头相关文件找出来一般在模型定义目录下会有一个专门放head的模块文件里面定义了原版的Detect、Segment头等类。我们不改动主干部分只新增PPA模块和PPAHead类。依赖方面只需要PyTorch和基础视觉库不需要额外安装特殊包。整个新增工作分成三块PPA模块定义、PPAHead类定义、模型配置文件注册。我把这三个部分分别放在同一个文件里方便跟踪改动也方便以后做AB实验时快速切换回原版头。需要提醒的是工程里如果用了混合精度训练PPA里的LayerNorm在精度转换时要注意有些旧版本PyTorch对LayerNorm的AMP支持不够好建议在forward里把注意力路径的输入转成float32计算得到权重后再转回半精度避免训练阶段NaN。4.2 PPA模块的PyTorch实现下面这版PPA实现是我在项目中实际用过的结构上控制了参数量也没有用特别冷门的算子方便后续迁移到各种部署框架。核心部分是三个深度可分离卷积分支加上通道注意力和分组空间注意力。import torch import torch.nn as nn import torch.nn.functional as F class PPA(nn.Module): def __init__(self, in_channels, mid_channels64, pyramid_kernels(3, 5, 7), num_heads4, reduction4): super().__init__() self.num_heads num_heads # 并联金字塔分支深度可分离卷积 1x1卷积 self.dw_convs nn.ModuleList() for k in pyramid_kernels: pad k // 2 self.dw_convs.append(nn.Sequential( nn.Conv2d(in_channels, in_channels, k, 1, pad, groupsin_channels), nn.Conv2d(in_channels, mid_channels, 1), )) fuse_channels mid_channels * len(pyramid_kernels) # 通道注意力 self.channel_attn nn.Sequential( nn.AdaptiveAvgPool2d(1), nn.Conv2d(fuse_channels, fuse_channels // reduction, 1), nn.ReLU(inplaceTrue), nn.Conv2d(fuse_channels // reduction, fuse_channels, 1), nn.Sigmoid(), ) # 分组空间注意力 self.spatial_convs nn.ModuleList() for _ in range(num_heads): self.spatial_convs.append(nn.Sequential( nn.Conv2d(2, 1, 5, 1, 2), nn.Sigmoid(), )) # 归一化与残差投影 self.head_norm nn.LayerNorm(fuse_channels) self.proj nn.Conv2d(fuse_channels, in_channels, 1) self.act nn.SiLU(inplaceTrue) def forward(self, x): multi [] for conv in self.dw_convs: multi.append(conv(x)) feat torch.cat(multi, dim1) # 通道注意力 weight self.channel_attn(feat) feat feat * weight # 分组空间注意力 B, C, H, W feat.shape hc C // self.num_heads heads [] for i in range(self.num_heads): chunk feat[:, i * hc:(i 1) * hc] avg chunk.mean(dim1, keepdimTrue) mx chunk.max(dim1, keepdimTrue)[0] fused torch.cat([avg, mx], dim1) attn self.spatial_convs[i](fused) heads.append(chunk * attn) feat torch.cat(heads, dim1) # 归一化 残差投影 feat self.head_norm(feat.permute(0, 2, 3, 1)).permute(0, 3, 1, 2) out x self.proj(feat) return self.act(out)这段代码里金字塔分支把输入x分别用3x3、5x5、7x7的深度可分离卷积处理每个分支输出mid_channels宽度的特征拼在一起就是多尺度上下文。通道注意力输出一个一维权重向量对拼接特征做通道级重标定。分组空间注意力又把特征按通道切成4份分别对每份做空间增强最后用残差连接把增强后的信息加回原始特征。注意mid_channels这个参数我建议设成in_channels的1/4到1/2。设太小会丢失多尺度表达的信息设太大则FLOPs飙升。我常用的组合是256输入通道配64的mid_channels效果和性价比都在合理区间。4.3 带注意力机制的Head构建与注册PPAHead类在结构上兼容YOLO26的Segment头数据流它接收来自颈部网络的融合特征经过PPA增强后分别送入分类、回归、mask三个分支。回归分支除预测边框外还会生成候选框编码用来辅助mask分支做区域采样。class PPAHead(nn.Module): def __init__(self, in_channels, num_classes, num_masks32, hid_dim256): super().__init__() self.ppa PPA(in_channels, mid_channelsin_channels // 4) # 分类分支 self.cls_convs nn.Sequential( nn.Conv2d(in_channels, hid_dim, 3, 1, 1), nn.BatchNorm2d(hid_dim), nn.SiLU(inplaceTrue), nn.Conv2d(hid_dim, hid_dim, 3, 1, 1), nn.BatchNorm2d(hid_dim), nn.SiLU(inplaceTrue), nn.Conv2d(hid_dim, num_classes, 1), ) # 回归分支 self.reg_convs nn.Sequential( nn.Conv2d(in_channels, hid_dim, 3, 1, 1), nn.BatchNorm2d(hid_dim), nn.SiLU(inplaceTrue), nn.Conv2d(hid_dim, hid_dim, 3, 1, 1), nn.BatchNorm2d(hid_dim), nn.SiLU(inplaceTrue), ) self.reg_pred nn.Conv2d(hid_dim, 64, 1) # mask分支输入拼接回归引导信息 self.mask_convs nn.Sequential( nn.Conv2d(in_channels 64, hid_dim, 3, 1, 1), nn.BatchNorm2d(hid_dim), nn.SiLU(inplaceTrue), ) self.mask_pred nn.Conv2d(hid_dim, num_masks, 1) def forward(self, x): x self.ppa(x) cls_out self.cls_convs(x) reg_feat self.reg_convs(x) reg_out self.reg_pred(reg_feat) mask_feat torch.cat([x, reg_out], dim1) mask_feat self.mask_convs(mask_feat) mask_out self.mask_pred(mask_feat) return cls_out, reg_out, mask_out这个实现省略了具体的位置解码耦合逻辑只保留了网络结构骨架。接入工程时需要把它注册到模型构建的模块字典里例如在类似HEAD_REGISTRY的字典中加入PPAHead条目然后把配置文件里的head类型改成PPAHead。注册方式在不同工程里写法略有差异但核心原则是让构建函数能通过字符串映射到新类。4.4 模型配置文件改动要点在YOLO26的模型配置yaml文件里只需修改头部相关字段。我会在配置中加入PPA专有的超参数方便以后做对比实验。head: type: PPAHead in_channels: 256 num_classes: 80 num_masks: 32 hid_dim: 256 ppa: pyramid_kernels: [3, 5, 7] num_heads: 4 reduction: 4修改配置时建议保留原版Head的配置块用注释或者一个开关字段切换这样出问题时可以直接对比。我第一次改配置时直接覆盖了原版参数实验跑崩后回滚麻烦后来学乖了所有结构改动都加开关训练脚本只改一个参数就能切换Head类型。YOLO26工程对配置格式检查很严格任何多余字段都可能触发解析异常所以新增字段前先确认解析器是否支持自定义参数不支持的话就要在构建函数里手动读取。5. 训练与对比实验小目标AP提升的真实回报5.1 数据集与训练超参验证PPA-Head效果我用的是一套自建的工业质检数据集共8000张图像标注格式与主流检测数据集一致。目标类型包含划痕、凹陷、异物、脏污四类其中尺寸小于32x32像素的目标占比超过60%平均目标尺寸约22像素。这个数据分布非常贴近“小目标瓶颈”场景比通用数据集更能看出头部的改进效果。训练配置上输入分辨率1024x1024batch size 16优化器SGD初始学习率0.01采用warmup 3个epoch的余弦退火策略。整个训练跑200个epoch用AMP混合精度加速。分割头的损失权重前20个epoch设为0.5之后切回1.0。所有模型在相同超参下训练确保对比公平。光源环境是这类数据集里最容易被忽略的变量。同一个检测头在均匀光照和强反光条件下的表现差异很大我固定了训练图片的采集条件并且对验证集做了分层采样确保每个类别的目标数量分布一致这样最终指标的可信度更高。5.2 三方对比Base、换Backbone、PPA-Head为了说明改进的价值我把同一套数据上跑的三类模型凑在一起对比包括原始YOLO26、扩大版Backbone方案、BasePPA-Head方案以及PPA-Head配合增强策略的最终方案。模型参数量FLOPsmAP50mAP50-95mAP_s(50-95)mask mIoUFPS原始YOLO2612.8M31.2G64.542.118.938.2118扩大版Backbone21.5M46.8G65.042.619.438.971BasePPA-Head14.1M34.5G66.944.321.741.5106PPA-Head增强14.2M34.6G67.444.922.342.0105单从精度看PPA-Head在mAP50上比原始版提升2.4个点在mAP50-95上提升2.2个点小目标AP提升2.8个点mask mIoU提升3.3个点。这不是某一个指标偶然涨了而是检测和分割两个任务协同提升。重点是小目标一类的AP涨幅明显大于扩大版Backbone方案而后者的参数量和FLOPs成本高得离谱。需要说明的是这些数据是单次训练的结果模型有小幅随机波动通常0.3到0.5个点左右。要下结论建议至少跑三次取平均我在最终版本上跑了三个随机种子PPA-Head的小目标AP提升稳定在2.2到3.1个点之间方向是可靠的。5.3 热力图与漏检案例分析数据指标之外我还会看注意力热力图辅助排查问题。把PPA模块输出的注意力权重上采样到原图后能明显看到原版检测头在密集小目标区域会把注意力平均撒到一片背景上响应值模糊而PPA-Head的注意力高亮点会精确落在每个目标的核心位置背景区域被明显抑制。漏检案例分析更有直观感受。测试集里有一张工件表面布满密集划痕的图原始模型在左上角连续漏掉4个缺陷PPA-Head只漏掉1个而且漏掉的这1个是对比度极低的浅划痕。把热力图叠上去看原始模型在那个区域几乎没有激活值PPA-Head则有一个弱但清晰的激活峰。这说明多尺度上下文确实帮助模型在低对比度目标上保留住了响应。分割头的mask可视化也有变化。原始模型在小缺陷上的mask经常缺一块边缘像锯齿PPA-Head的mask整体性明显更好。侧面说明共享特征经过PPA增强后用于分割的细节信息也变多了不用单独给mask分支加更重的网络就能提升质量。6. 踩坑清单注意力头数、特征对齐与量化部署6.1 8头注意力在小特征图上的不稳定问题第一次我把PPA的num_heads设成8理由是头更多应该更精细。结果训练到第80个epoch左右loss开始上下震荡小目标AP不但没继续涨反而掉了1个多点。排查了半天原因有两个一是输出特征图分辨率低小目标位置只有几个像素通道分成8组后每组信息量太少注意力权重学不到稳定的模式二是深层特征的通道方差本身较大分组后没有归一化权重的方差被进一步放大。解决办法是把头数降到4并在多头注意力之前加一个LayerNorm。LayerNorm做在空间维度上还是比较影响计算速度的我选择了对通道维度做归一化也就是在注意力机制处理完之后、残差连接之前做一次LayerNorm成本很低但能明显抑制权重震荡。改完后训练曲线平滑多了小目标AP反而又涨了0.7个点。这个坑也让我养成一个习惯任何注意力模块在小特征图上做分组操作头数一定是先小后大。别贪多4头在很多场景下已经是性价比最好的选择。6.2 分割分支与检测分支的特征对齐坑分割分支在早期版本里直接吃PPA增强后的共享特征检测效果没问题但mask边缘糊得厉害。我检查可视化特征后发现分类分支的1x1卷积把特征压成类别得分的同时把大量边缘高频信息丢了而回归分支输出的编码虽然包含位置信息但过于粗糙。mask分支拿到的是这两种特征拼接后的结果自然学不到精细边界。解决思路是让mask分支从更高分辨率的特征层单独拉一条短路而不是只吃共享层特征。具体操作上我把来自颈部网络的浅层P3特征经过1x1卷积调整通道后与PPA增强特征拼接再送入mask分支。实测mask mIoU又提升了1.8个点而且推理速度几乎没掉。浅层特征保留更多边缘纹理对分割任务至关重要。6.3 训练策略协同Mosaic、Copy-Paste与学习率注意力模块并不会自动适配所有数据增强策略。我在训练中发现Mosaic增强在小目标数据上前期很有用但最后10个epoch如果不关掉小目标AP会出现下跌。原因是Mosaic会把多个小图拼在一起小目标在拼接过程中可能被裁掉一半模型反而学到了残缺目标模式。我采用的做法是前190个epoch开启Mosaic最后10个epoch关闭用纯原图微调。Copy-Paste增强对小目标效果明显它能把一个小目标贴到另一个样本里增加正样本数量。但采样比例要控制我实测20%的Copy-Paste比例最优超过30%后模型会对“贴上去的目标”产生依赖真实场景里的目标被遮挡时漏检率反而升高。学习率方面注意力模块里的参数我用的是与主干统一的初始学习率0.01没有单独设置衰减只要warmup够长3个epoch训练一般不会爆。6.4 INT8量化时的注意力精度保护最后是部署环节的坑。检测头里的注意力模块包含LayerNorm和softmax类操作这些操作在INT8量化时特别敏感。小目标特征本身数值幅度就小一旦量化误差叠加进去可能导致原本就弱的注意力响应直接被量化噪声淹没。我的做法是量化时把注意力路径单独保留为FP16计算其余卷积层正常走INT8。具体做法是在量化配置中添加排除层把PPA里的LayerNorm和注意力权重生成卷积排除在量化范围之外。这个改动会让整体加速比稍微打一点折扣但换来的精度保持非常值。实测纯INT8下小目标AP会掉2.5个点排除掉注意力路径后只掉0.6个点差距非常明显。如果部署平台不支持混合精度量化那还有一个妥协方案把金字塔卷积分支从三个减到两个减少注意力路径的输出方差量化误差会更小。我试过在极端低功耗设备上用两分支版本小目标AP下降幅度和三分支版本差了1个点左右但性能余量大得多具体取舍还得看你的算力约束。最后说一个我自己后来一直在用的习惯每次改检测头我都会先把PPA剪枝成mid_channels缩小一倍的轻量版跑一遍确认收益方向正确再放开参数。注意力模块的收益并不总是单调递增与其一次加满再排查问题不如小步快跑先把方向定下来再优化细节。希望这套思路对你的小目标检测改进也有帮助。
如果你也做过小目标检测八成遇到过这种诡异现象模型在常规尺寸目标上挺能打一遇到20个像素以下的小目标就原形毕露。我之前在某工业质检项目里把YOLO26的Backbone换成了计算量更大的版本FLOPs涨了将近一倍小目标mAP只动了零点几个点推理速度反而掉得心疼。后来我把刀口转向了检测头结合ICME-2024中关于注意力机制的相关工作并联金字塔注意力PPA自研了一个带注意力机制的小目标检测头小目标AP提升了接近3个点连分割头的mask质量也跟着涨了一截。下面我会把“为什么改头、PPA注意力原理、自研结构设计、代码落地、训练验证以及踩坑过程”完整拆开适合正在折腾YOLO26改进或者在工业质检、遥感识别、无人机航拍场景里被小目标漏检问题反复折磨的工程师参考。1. 换检测头之前先看清小目标检测的真瓶颈1.1 小目标消失的两个阶段深层语义与空间定位小目标之所以难核心不在于“看不清”而在于特征在传递过程中被溶解。拿一个20x20像素的目标来说它刚进网络时还有完整的空间结构经过三次下采样后在输出特征图里只剩3x3左右再往后走一次基本就是一两个像素的响应点。这时候目标的空间信息已经被压到极限能留下来的只有“它大概存在”的语义信号至于它精确在哪个位置、边界在哪里全都模糊了。另一个容易被忽略的问题是正样本稀疏。YOLO系列解耦头在分配正样本时是根据目标中心和预测框的匹配程度来定一个小目标可能只占几个网格能被分配为正样本的位置数量非常有限。监督信号少模型就学不扎实。再加上小目标对边界框回归的像素偏移极其敏感少预测两个像素IoU就掉一大截AP自然上不去。我打一个比方大目标是一张完整的照片网络哪怕只保留几个关键点也能拼个大概小目标更像贴在墙上的一个图钉你必须在所有阶段都精确记住它在哪里任何一步的“差不多”都会让它直接消失。所以小目标检测的瓶颈从来不是单一的而是一整条链路里“空间定位精度”和“语义强度”同时被消耗的问题。1.2 堆Backbone的收益陷阱算力翻倍AP不动我做第一版改进时用的还是最常规的思路把Backbone扩大增加感受野和通道数。理论上网络能提取更丰富的语义信息小目标应该受益但实测结果很打脸。换成计算量扩大1.5倍的Backbone版本后FLOPs从31.2G涨到46.8G参数量多了近9M可小物体一类的AP只从18.9涨到19.4。成本巨高收益几乎是零。问题出在哪大Backbone确实增强了语义但也带来了两个副作用。第一是感受野变大后一个小目标周围的背景信息会越来越强模型反而更容易被“周围环境”带着走第二是深层特征图的通道数增加后小目标原本就微弱的响应被高维特征的噪声稀释了。对这个场景来说感知强度的提升远不如定位精度的损失来得明显。所以我后来明白一个道理小目标场景里Backbone只需要够用就行真正的短板在“最后的几十层怎么组织”。检测头才是让定位信息和语义信息做最终融合的地方动检测头的单位收益比动Backbone高得多。这就像你拍照镜头已经不错了但暗房冲洗工序里每个环节都带损耗你再去换个更贵的镜头不如先把冲洗环节的损耗降下来。1.3 检测头为什么值得动刀任务冲突与感受野错位YOLO26原版的检测头已经做了解耦分类和回归分成两个分支比早期版本共享参数要先进但它仍然是一个“流水线式”的头输入特征进来后直接各走各的卷积缺少对小目标独有的针对性增强。更关键的是在带分割头的版本里检测和分割两个任务的梯度在共享特征上是互相拉扯的分类任务希望特征往“类别判别”方向收敛回归任务希望特征往“几何定位”方向收敛分割任务则更在意边缘细节三个目标挤在同一组特征上谁都没法做到最好。这种任务冲突在小目标上会被放大。大目标特征冗余度很高每个任务都能找到自己需要的分量小目标特征本来就只有几个像素分类、定位、分割三个任务再争抢有限的表达能力漏检就成了必然结果。我选择在共享特征之后、任务分支之前插入注意力模块目的就是先对特征做一次“多尺度上下文增强”让后续每个任务分支都能拿到更完整的特征表达而不是靠堆卷积去硬扛。2. PPA注意力模块的原理拆解并联金字塔注意力到底在关注什么2.1 从ICME-2024的动机说起全局上下文不是越大越好ICME-2024上关于并联金字塔注意力Parallel Pyramid Attention简称PPA的相关工作核心观点我印象很深现有注意力机制往往依赖一个全局上下文把整张特征图压缩成一个向量再重新分配权重这对大目标没问题但对小目标可能是负优化。原因在于全局上下文里的信息被大面积背景主导小目标本身响应弱在全局归一化时很容易被“平均掉”。PPA给我的启发是注意力不应该只做“全局重标定”更应该做“多尺度局部聚焦”。不同大小的目标需要不同范围的上下文小目标需要的是局部对比度比如它和周围两三像素范围的差异大目标则需要更大范围的形状信息。并联金字塔结构正好能同时提供几种不同尺度的上下文感知而不是把一切都押在一个全局池化上。更具体地说PPA会先把输入特征分别用多个不同尺寸的卷积核并行处理得到多份感受野不同的特征再把它们拼接起来最后用空间通道联合注意力对拼接结果做增强。这条路跟SE、CBAM走的完全是两个方向SE只做通道重标定CBAM虽然加了空间注意力但感受野是固定的PPA则在真正意义上引入了“多尺度竞争”机制。2.2 并联金字塔卷积与多尺度感受野并联金字塔卷积是PPA的主体我会用3x3、5x5、7x7三个分支来构建每个分支都先做同通道的深度可分离卷积来控制计算量再通过1x1卷积调整到统一宽度。3x3分支关心目标自身和紧邻像素7x7分支能看到更大的上下文区域三个分支拼在一起就相当于同时从三个观察距离审视同一个目标。用深度可分离卷积而不是普通卷积是控制参数量的关键。7x7的标准卷积在一个256通道的输入上参数量会瞬间爆炸但把它拆成“7x7深度卷积1x1逐点卷积”后计算量能降到原来的几十分之一。小目标检测头本来就长在深层特征上通道数不低如果这里不做轻量化整个头的成本优势就没了。我建议刚开始实验时把金字塔卷积核定为(3,5,7)三档因为这三个尺寸覆盖了“目标局部、目标周边、目标上下文”三个尺度的典型范围。如果场景里的目标特别小比如遥感图像里的车辆和船只可以再补一个1x1分支专门保留纯像素级的信息。这一条非常灵我后面做航拍数据集时靠它又涨了小半个点。2.3 空间-通道权重生成路径PPA生成注意力权重的方式不是单一策略而是先做通道注意力再做分组空间注意力。通道注意力沿用经典的全局平均池化加两段卷积结构先把拼接后的多尺度特征压缩成一个通道描述符学习哪些通道的这个目标贡献更大再用sigmoid生成权重。这一步相当于给特征图做了一次“按通道重排优先级”。空间注意力我做了改动把特征按通道分成若干组每组单独计算平均池化和最大池化拼接后过一个5x5卷积生成空间权重。分组的意义在于不同通道组合关注的目标可能是不同的比如有的通道组对目标表面纹理敏感有的对边界敏感分开做空间增强比统一做一次更细腻。注意力头数不建议一上来就拉满。我最初用8头训练中段loss直接开始震荡降到4头后立刻稳定。深层小目标特征图本身分辨率已经很低通道被分成8组之后每组信息量太少注意力权重学习不到稳定的关联反而不如4头这种折中方案。2.4 PPA与SE、CBAM、CA的定位差异对照很多读者会问之前试过SE和CBAM效果不明显PPA到底不一样在哪里。我把它们放在一起比一下注意力模块关注维度上下文方式对小目标的适配性SE通道全局平均池化弱全局平均会稀释小目标响应CBAM通道空间固定7x7卷积中空间聚焦范围固定CA通道坐标全局坐标编码中偏全局位置编码PPA通道分组空间多尺度金字塔并联强兼顾局部与上下文SE的问题在于全局池化这一下就把空间信息全部抹掉了在小目标检测里通道重标定的收益很低。CBAM比SE多了空间分支但它的空间注意力只做一次固定感受野的卷积尺度单一。CA把坐标信息编码进特征里对位置敏感的目标有帮助但它仍然是一个全局编码的思路在密集小目标场景里容易互相干扰。PPA的核心差异是“多尺度上下文先并行、再聚焦”。先让不同感受野的特征充分竞争再用通道和分组空间注意力决定最终保留哪些信息。这个“先拉开再看”的逻辑正好补上了小目标检测头最缺的一环既要局部细节又要有足够的上下文来辅助判断。3. 自研PPA小目标检测头的整体结构与信息流3.1 解耦头的演进从单头到三分支YOLO系列检测头的演进路线很有意思。早期版本是单头结构分类和回归共享同一组卷积任务冲突被压在一个头里后来演进到解耦头分类和回归分开走效果立刻提升。带分割输出的版本更进一步在分类和回归之外加了一个mask分支用检测结果作为引导同时输出每个目标的像素级mask。这种三分支结构在小目标场景里仍然是“各自为战”的状态。分类分支用几个3x3卷积把特征往类别方向压缩回归分支用自己的卷积预测边框mask分支则根据检测框裁剪特征图做分割。三个分支互不打扰但也互相不帮忙。PPA-Head要做的第一件事就是在这三个分支前面增加一个“公共增强模块”让它们共享一份经过注意力增强的特征。结构上我保持了YOLO26工程一贯的解耦风格避免推倒重来影响训练稳定性。具体路径是从颈部网络输出的特征先经过一个1x1卷积统一通道进入PPA模块做多尺度上下文增强增强后的特征同时送入分类、回归、mask三个分支。这样改动范围小回滚容易而且理论路径清晰。3.2 注意力插入位置的选择逻辑为什么把PPA放在共享特征之后而不是每个分支内部各放一个这个问题我也纠结了一阵。在每个分支内部加注意力似乎更“定制化”但代价是参数量翻三倍而且三个分支关注的是不同任务注意力模块学出来的权重会互相冲突反而不利于共享层的梯度传播。放在共享特征之后的思路很简单不是靠某个分支单独增强而是让最终要分发的特征本身信息量更足。分类分支希望看到目标的类别判别信息回归分支希望看到精确的定位细节mask分支希望看到边缘纹理这些需求在底层其实是一致的——都需要小目标在多尺度上下文中足够突出。我实际尝试过只在分类分支加PPA、在回归分支不加以及只在分割分支加PPA两种方案效果都不如放在共享层。前一种方案的回归精度没提上来mask边界也还是糊的后一种方案更可惜检测AP基本没变只有分割mIoU微涨。这再次说明小目标的短板在于源头特征的质量而不是单个任务分支的容量。信息流梳理下来是这样的颈部输出P3/P4/P5层特征后通过加权融合把多尺度信息聚合成一份统一特征进入1x1降维卷积然后到PPA模块完成多尺度金字塔卷积、通道注意力、分组空间注意力最后分流给分类、回归、mask三个预测头。所有预测都基于同一份增强后的特征但各自用独立卷积去完成任务。3.3 分割头与检测头的协同设计自研PPA-Head里检测头和分割头不是完全独立的两条线而是通过“检测结果引导mask采样”的方式联动。分割分支的输入由两部分拼接而成一是PPA增强后的共享特征二是回归分支产生的候选框位置编码。这样mask分支在做像素级预测之前已经知道目标大致在哪不用再从全局特征里盲猜。这个设计的直接收益是mask质量跟着检测精度一起提升。原本分割头在小目标上的轮廓经常断成一截一截的因为目标特征弱阈值稍微一高边缘就断。引入PPA增强后目标在多尺度特征中的响应更集中mask分支更容易学到连续轮廓。代价是mask分支在训练时对检测框质量有一定依赖。早期训练阶段回归分支还没收敛候选框位置不准引导信息反而有噪声。我的处理方案是在前20个epoch把mask分支的损失权重设成0.5等检测头稳定后再提到1.0。这样既保证检测任务先学好又不会让分割任务拖累整体训练节奏。3.4 参数量与计算量成本核算做一个改进模块前先算账是必要的。我的目标是让整体参数量增加控制在10%以内FLOPs增加控制在15%以内否则在边缘设备上部署就没有意义。经过一版调整后PPA-Head的成本数据如下部分参数量增量FLOPs增量说明深度可分离金字塔卷积约0.8M约0.6G三分支共用计算量可控通道注意力约0.3M可忽略全局池化后卷积分组空间注意力约0.1M约0.4G4头仅处理拼接特征特征投影回原通道约0.2M约0.3G残差连接前对齐通道整个PPA模块在256通道、128x128输入上增加约1.4M参数FLOPs增加约1.3G。相比原始检测头12.8M参数、31.2G FLOPs的基数增幅在可接受范围内。实际部署时如果还嫌贵可以把金字塔分支从三个减到两个3x3和5x5参数量再压缩一截精度损失一般不到0.5个点。4. 代码落地在通用YOLO工程中实现PPA-Head4.1 工程准备与文件组织我默认你手上已经有一个能正常训练和推理的YOLO26工程不管代码是基于离线蒸馏版本还是自建训练Pipeline核心思路都一样。先把检测头相关文件找出来一般在模型定义目录下会有一个专门放head的模块文件里面定义了原版的Detect、Segment头等类。我们不改动主干部分只新增PPA模块和PPAHead类。依赖方面只需要PyTorch和基础视觉库不需要额外安装特殊包。整个新增工作分成三块PPA模块定义、PPAHead类定义、模型配置文件注册。我把这三个部分分别放在同一个文件里方便跟踪改动也方便以后做AB实验时快速切换回原版头。需要提醒的是工程里如果用了混合精度训练PPA里的LayerNorm在精度转换时要注意有些旧版本PyTorch对LayerNorm的AMP支持不够好建议在forward里把注意力路径的输入转成float32计算得到权重后再转回半精度避免训练阶段NaN。4.2 PPA模块的PyTorch实现下面这版PPA实现是我在项目中实际用过的结构上控制了参数量也没有用特别冷门的算子方便后续迁移到各种部署框架。核心部分是三个深度可分离卷积分支加上通道注意力和分组空间注意力。import torch import torch.nn as nn import torch.nn.functional as F class PPA(nn.Module): def __init__(self, in_channels, mid_channels64, pyramid_kernels(3, 5, 7), num_heads4, reduction4): super().__init__() self.num_heads num_heads # 并联金字塔分支深度可分离卷积 1x1卷积 self.dw_convs nn.ModuleList() for k in pyramid_kernels: pad k // 2 self.dw_convs.append(nn.Sequential( nn.Conv2d(in_channels, in_channels, k, 1, pad, groupsin_channels), nn.Conv2d(in_channels, mid_channels, 1), )) fuse_channels mid_channels * len(pyramid_kernels) # 通道注意力 self.channel_attn nn.Sequential( nn.AdaptiveAvgPool2d(1), nn.Conv2d(fuse_channels, fuse_channels // reduction, 1), nn.ReLU(inplaceTrue), nn.Conv2d(fuse_channels // reduction, fuse_channels, 1), nn.Sigmoid(), ) # 分组空间注意力 self.spatial_convs nn.ModuleList() for _ in range(num_heads): self.spatial_convs.append(nn.Sequential( nn.Conv2d(2, 1, 5, 1, 2), nn.Sigmoid(), )) # 归一化与残差投影 self.head_norm nn.LayerNorm(fuse_channels) self.proj nn.Conv2d(fuse_channels, in_channels, 1) self.act nn.SiLU(inplaceTrue) def forward(self, x): multi [] for conv in self.dw_convs: multi.append(conv(x)) feat torch.cat(multi, dim1) # 通道注意力 weight self.channel_attn(feat) feat feat * weight # 分组空间注意力 B, C, H, W feat.shape hc C // self.num_heads heads [] for i in range(self.num_heads): chunk feat[:, i * hc:(i 1) * hc] avg chunk.mean(dim1, keepdimTrue) mx chunk.max(dim1, keepdimTrue)[0] fused torch.cat([avg, mx], dim1) attn self.spatial_convs[i](fused) heads.append(chunk * attn) feat torch.cat(heads, dim1) # 归一化 残差投影 feat self.head_norm(feat.permute(0, 2, 3, 1)).permute(0, 3, 1, 2) out x self.proj(feat) return self.act(out)这段代码里金字塔分支把输入x分别用3x3、5x5、7x7的深度可分离卷积处理每个分支输出mid_channels宽度的特征拼在一起就是多尺度上下文。通道注意力输出一个一维权重向量对拼接特征做通道级重标定。分组空间注意力又把特征按通道切成4份分别对每份做空间增强最后用残差连接把增强后的信息加回原始特征。注意mid_channels这个参数我建议设成in_channels的1/4到1/2。设太小会丢失多尺度表达的信息设太大则FLOPs飙升。我常用的组合是256输入通道配64的mid_channels效果和性价比都在合理区间。4.3 带注意力机制的Head构建与注册PPAHead类在结构上兼容YOLO26的Segment头数据流它接收来自颈部网络的融合特征经过PPA增强后分别送入分类、回归、mask三个分支。回归分支除预测边框外还会生成候选框编码用来辅助mask分支做区域采样。class PPAHead(nn.Module): def __init__(self, in_channels, num_classes, num_masks32, hid_dim256): super().__init__() self.ppa PPA(in_channels, mid_channelsin_channels // 4) # 分类分支 self.cls_convs nn.Sequential( nn.Conv2d(in_channels, hid_dim, 3, 1, 1), nn.BatchNorm2d(hid_dim), nn.SiLU(inplaceTrue), nn.Conv2d(hid_dim, hid_dim, 3, 1, 1), nn.BatchNorm2d(hid_dim), nn.SiLU(inplaceTrue), nn.Conv2d(hid_dim, num_classes, 1), ) # 回归分支 self.reg_convs nn.Sequential( nn.Conv2d(in_channels, hid_dim, 3, 1, 1), nn.BatchNorm2d(hid_dim), nn.SiLU(inplaceTrue), nn.Conv2d(hid_dim, hid_dim, 3, 1, 1), nn.BatchNorm2d(hid_dim), nn.SiLU(inplaceTrue), ) self.reg_pred nn.Conv2d(hid_dim, 64, 1) # mask分支输入拼接回归引导信息 self.mask_convs nn.Sequential( nn.Conv2d(in_channels 64, hid_dim, 3, 1, 1), nn.BatchNorm2d(hid_dim), nn.SiLU(inplaceTrue), ) self.mask_pred nn.Conv2d(hid_dim, num_masks, 1) def forward(self, x): x self.ppa(x) cls_out self.cls_convs(x) reg_feat self.reg_convs(x) reg_out self.reg_pred(reg_feat) mask_feat torch.cat([x, reg_out], dim1) mask_feat self.mask_convs(mask_feat) mask_out self.mask_pred(mask_feat) return cls_out, reg_out, mask_out这个实现省略了具体的位置解码耦合逻辑只保留了网络结构骨架。接入工程时需要把它注册到模型构建的模块字典里例如在类似HEAD_REGISTRY的字典中加入PPAHead条目然后把配置文件里的head类型改成PPAHead。注册方式在不同工程里写法略有差异但核心原则是让构建函数能通过字符串映射到新类。4.4 模型配置文件改动要点在YOLO26的模型配置yaml文件里只需修改头部相关字段。我会在配置中加入PPA专有的超参数方便以后做对比实验。head: type: PPAHead in_channels: 256 num_classes: 80 num_masks: 32 hid_dim: 256 ppa: pyramid_kernels: [3, 5, 7] num_heads: 4 reduction: 4修改配置时建议保留原版Head的配置块用注释或者一个开关字段切换这样出问题时可以直接对比。我第一次改配置时直接覆盖了原版参数实验跑崩后回滚麻烦后来学乖了所有结构改动都加开关训练脚本只改一个参数就能切换Head类型。YOLO26工程对配置格式检查很严格任何多余字段都可能触发解析异常所以新增字段前先确认解析器是否支持自定义参数不支持的话就要在构建函数里手动读取。5. 训练与对比实验小目标AP提升的真实回报5.1 数据集与训练超参验证PPA-Head效果我用的是一套自建的工业质检数据集共8000张图像标注格式与主流检测数据集一致。目标类型包含划痕、凹陷、异物、脏污四类其中尺寸小于32x32像素的目标占比超过60%平均目标尺寸约22像素。这个数据分布非常贴近“小目标瓶颈”场景比通用数据集更能看出头部的改进效果。训练配置上输入分辨率1024x1024batch size 16优化器SGD初始学习率0.01采用warmup 3个epoch的余弦退火策略。整个训练跑200个epoch用AMP混合精度加速。分割头的损失权重前20个epoch设为0.5之后切回1.0。所有模型在相同超参下训练确保对比公平。光源环境是这类数据集里最容易被忽略的变量。同一个检测头在均匀光照和强反光条件下的表现差异很大我固定了训练图片的采集条件并且对验证集做了分层采样确保每个类别的目标数量分布一致这样最终指标的可信度更高。5.2 三方对比Base、换Backbone、PPA-Head为了说明改进的价值我把同一套数据上跑的三类模型凑在一起对比包括原始YOLO26、扩大版Backbone方案、BasePPA-Head方案以及PPA-Head配合增强策略的最终方案。模型参数量FLOPsmAP50mAP50-95mAP_s(50-95)mask mIoUFPS原始YOLO2612.8M31.2G64.542.118.938.2118扩大版Backbone21.5M46.8G65.042.619.438.971BasePPA-Head14.1M34.5G66.944.321.741.5106PPA-Head增强14.2M34.6G67.444.922.342.0105单从精度看PPA-Head在mAP50上比原始版提升2.4个点在mAP50-95上提升2.2个点小目标AP提升2.8个点mask mIoU提升3.3个点。这不是某一个指标偶然涨了而是检测和分割两个任务协同提升。重点是小目标一类的AP涨幅明显大于扩大版Backbone方案而后者的参数量和FLOPs成本高得离谱。需要说明的是这些数据是单次训练的结果模型有小幅随机波动通常0.3到0.5个点左右。要下结论建议至少跑三次取平均我在最终版本上跑了三个随机种子PPA-Head的小目标AP提升稳定在2.2到3.1个点之间方向是可靠的。5.3 热力图与漏检案例分析数据指标之外我还会看注意力热力图辅助排查问题。把PPA模块输出的注意力权重上采样到原图后能明显看到原版检测头在密集小目标区域会把注意力平均撒到一片背景上响应值模糊而PPA-Head的注意力高亮点会精确落在每个目标的核心位置背景区域被明显抑制。漏检案例分析更有直观感受。测试集里有一张工件表面布满密集划痕的图原始模型在左上角连续漏掉4个缺陷PPA-Head只漏掉1个而且漏掉的这1个是对比度极低的浅划痕。把热力图叠上去看原始模型在那个区域几乎没有激活值PPA-Head则有一个弱但清晰的激活峰。这说明多尺度上下文确实帮助模型在低对比度目标上保留住了响应。分割头的mask可视化也有变化。原始模型在小缺陷上的mask经常缺一块边缘像锯齿PPA-Head的mask整体性明显更好。侧面说明共享特征经过PPA增强后用于分割的细节信息也变多了不用单独给mask分支加更重的网络就能提升质量。6. 踩坑清单注意力头数、特征对齐与量化部署6.1 8头注意力在小特征图上的不稳定问题第一次我把PPA的num_heads设成8理由是头更多应该更精细。结果训练到第80个epoch左右loss开始上下震荡小目标AP不但没继续涨反而掉了1个多点。排查了半天原因有两个一是输出特征图分辨率低小目标位置只有几个像素通道分成8组后每组信息量太少注意力权重学不到稳定的模式二是深层特征的通道方差本身较大分组后没有归一化权重的方差被进一步放大。解决办法是把头数降到4并在多头注意力之前加一个LayerNorm。LayerNorm做在空间维度上还是比较影响计算速度的我选择了对通道维度做归一化也就是在注意力机制处理完之后、残差连接之前做一次LayerNorm成本很低但能明显抑制权重震荡。改完后训练曲线平滑多了小目标AP反而又涨了0.7个点。这个坑也让我养成一个习惯任何注意力模块在小特征图上做分组操作头数一定是先小后大。别贪多4头在很多场景下已经是性价比最好的选择。6.2 分割分支与检测分支的特征对齐坑分割分支在早期版本里直接吃PPA增强后的共享特征检测效果没问题但mask边缘糊得厉害。我检查可视化特征后发现分类分支的1x1卷积把特征压成类别得分的同时把大量边缘高频信息丢了而回归分支输出的编码虽然包含位置信息但过于粗糙。mask分支拿到的是这两种特征拼接后的结果自然学不到精细边界。解决思路是让mask分支从更高分辨率的特征层单独拉一条短路而不是只吃共享层特征。具体操作上我把来自颈部网络的浅层P3特征经过1x1卷积调整通道后与PPA增强特征拼接再送入mask分支。实测mask mIoU又提升了1.8个点而且推理速度几乎没掉。浅层特征保留更多边缘纹理对分割任务至关重要。6.3 训练策略协同Mosaic、Copy-Paste与学习率注意力模块并不会自动适配所有数据增强策略。我在训练中发现Mosaic增强在小目标数据上前期很有用但最后10个epoch如果不关掉小目标AP会出现下跌。原因是Mosaic会把多个小图拼在一起小目标在拼接过程中可能被裁掉一半模型反而学到了残缺目标模式。我采用的做法是前190个epoch开启Mosaic最后10个epoch关闭用纯原图微调。Copy-Paste增强对小目标效果明显它能把一个小目标贴到另一个样本里增加正样本数量。但采样比例要控制我实测20%的Copy-Paste比例最优超过30%后模型会对“贴上去的目标”产生依赖真实场景里的目标被遮挡时漏检率反而升高。学习率方面注意力模块里的参数我用的是与主干统一的初始学习率0.01没有单独设置衰减只要warmup够长3个epoch训练一般不会爆。6.4 INT8量化时的注意力精度保护最后是部署环节的坑。检测头里的注意力模块包含LayerNorm和softmax类操作这些操作在INT8量化时特别敏感。小目标特征本身数值幅度就小一旦量化误差叠加进去可能导致原本就弱的注意力响应直接被量化噪声淹没。我的做法是量化时把注意力路径单独保留为FP16计算其余卷积层正常走INT8。具体做法是在量化配置中添加排除层把PPA里的LayerNorm和注意力权重生成卷积排除在量化范围之外。这个改动会让整体加速比稍微打一点折扣但换来的精度保持非常值。实测纯INT8下小目标AP会掉2.5个点排除掉注意力路径后只掉0.6个点差距非常明显。如果部署平台不支持混合精度量化那还有一个妥协方案把金字塔卷积分支从三个减到两个减少注意力路径的输出方差量化误差会更小。我试过在极端低功耗设备上用两分支版本小目标AP下降幅度和三分支版本差了1个点左右但性能余量大得多具体取舍还得看你的算力约束。最后说一个我自己后来一直在用的习惯每次改检测头我都会先把PPA剪枝成mid_channels缩小一倍的轻量版跑一遍确认收益方向正确再放开参数。注意力模块的收益并不总是单调递增与其一次加满再排查问题不如小步快跑先把方向定下来再优化细节。希望这套思路对你的小目标检测改进也有帮助。
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
