说实话第一次看到“把LoG边缘检测算子塞进YOLO的特征提取入口”的思路时我心里也犯嘀咕YOLO这种纯深度学习的检测器还需要显式做边缘检测吗但我的项目里目标检测的瓶颈恰好卡在低对比度、弱纹理、小目标上于是我就做了一个叫LoGStem的模块直接用在项目代号YOLOv26的网络里把边缘先验变成浅层特征的空间注意力。效果比预想中要好mAP涨了2~3个点噪声、模糊、暗光下的掉点也明显变小。这篇文章就把LoGStem从原理、实现到训练调参的完整过程记录下来。适合正在做YOLO系检测、又经常被小目标和模糊目标折磨的工程师看也适合想在自己网络里加一个“即插即用”浅层增强模块的朋友参考。我会尽量把踩过的坑和真实的实验数据都说清楚不藏着掖着。1. 项目背景与核心设计思路1.1 LoGStem要解决的真实问题我手头的检测任务是遥感场景下的舰船目标检测特点就是目标小、背景杂、对比度有时候低到离谱。船体和水面的灰度差可能只有十几个像素值人眼都要盯一会儿才分得清网络在这样的输入上提取浅层特征时边缘很容易被后续的下采样和激活函数洗掉。等特征传到深层小目标本身没剩多少像素了轮廓再模糊一点检测头基本只能靠猜。这个问题本质上是边缘信息在浅层就丢失了。常规做法是多加卷积层、加注意力模块但注意力模块学到的空间权重在极端低对比度图像上并不稳定因为网络根本不知道该关注哪儿。LoGStem做的事情很直接在进入主干网络之前先用拉普拉斯高斯算子把多尺度边缘显式地提取出来再用这张边缘响应图去调制浅层特征。这样网络从第一层开始就带着“哪里是轮廓”这个先验往前走后续卷积只需要在轮廓附近做更精细的判别。这个前提下LoGStem就不是一个简单的预处理而是和主干融入在一起的网络结构。它能解决的不只是小目标问题还包括弱光、运动模糊这种会让边缘信息衰退的场合。1.2 为什么选LoG而不是Sobel或Canny做边缘检测的经典算子不少Sobel、Prewitt、Roberts、Canny我为什么偏偏挑了Laplacian of GaussianSobel这类一阶梯度算子实现确实简单但它只对单方向灰度变化敏感而且对噪声非常不友好。实际图像里一个目标同时存在水平和竖直边界单方向Sobel很容易丢边。想要完备一点就得把水平、垂直、对角等多个方向都叠加特征图一下就膨胀起来了。Canny边缘检测效果好但它的双阈值和滞后连接是非线性流程没法直接用卷积算子端到端嵌入网络。如果非要在网络里模拟Canny复杂度高到难以落地。LoG就舒服很多。它本质上是高斯平滑和拉普拉斯算子的组合高斯项用来抑制噪声拉普拉斯项用来检测灰度突变整体是一个线性卷积核。只要把LoG核的权重提前算好填入普通卷积层即可前向计算完全走卷积流程后续反向传播也能对核参数做微调。也就是说LoG既有明确的边缘检测先验又能作为网络的一部分端到端训练不像Canny一样卡死在传统图像处理流程里。1.3 LoGStem的整体结构方案LoGStem的设计逻辑可以拆成四个动作输入图像灰度化得到单通道强度图用多个不同尺度的LoG卷积核提取边缘响应得到多通道边缘图把边缘图经过一个轻量卷积块生成空间门控将门控和主干特征相乘后做残差输出给后续网络。整个过程把“找轮廓”这件事放在网络入口处不增加任何额外标注也不改变主干网络的推理逻辑。多尺度是为了适配不同大小的目标。遥感舰船里有几十个像素的大船也有十几个像素的小目标单一σ只能捕捉特定尺度的边缘。LoGStem采用σ1、2、4三种尺度大σ负责整体轮廓小σ负责精细边界组合起来之后门控图对目标尺寸的宽容度高很多。2. LoGStem模块原理与实现细节2.1 LoG算子数学原理与σ怎么选LoG算子的公式定义在高斯平滑之后对x和y分别求二阶导再叠加所以它的名字叫Laplacian of Gaussian。二维表达式可以写成LoG(x,y) -(1/(πσ⁴))·(1 - (x²y²)/(2σ²))·exp(-(x²y²)/(2σ²))这个公式对非数学专业的同学可能有点劝退但落到工程上你只需要关心两个点核的中心是负峰周围是正环换句话说它检测的是灰度变化的过零点σ的大小决定了核覆盖的半径σ越大核越宽能捕捉的边缘越粗犷。σ的选择不能拍脑袋。太小比如σ0.5LoG核几乎退化成高频噪声滤波器图像里每个纹理抖动都会被当成边缘门控图变得很花哨反而干扰主干特征。太大比如σ8核覆盖范围太宽小目标的轮廓被磨平检测效果同样下降。我最终把σ组合定为[1,2,4]核大小取5。这个配置的直观理解是σ1抓精细的局部边缘σ4抓目标的整体外围轮廓σ2处在两者之间做过渡。实验里这个组合比单尺度或者[0.5,1,2]、[2,4,8]都要稳定。2.2 固定核还是可学习核最初我倾向于把LoG核权重冻结理由是既然叫“拉普拉斯高斯边缘检测”核就应该保持数学算子的纯粹性不应该被训练改得乱七八糟。但实际测试下来冻结核的效果不是最好的。原因在于LoG解析核是在理想连续条件下推导的真实图像总会有畸变、压缩伪影、采样噪声。让网络在训练过程中微调核权重相当于给先验加了一个自适应修正项。我把核初始化为解析LoG核然后让权重的requires_gradTruet足够训练过程中它会随主干一起更新但不会偏离太远因为梯度信号要同时兼顾边缘提取和最终的检测精度。一个更保守的折中方案是把整个核权重冻结但后面再接一层可学习的1x1卷积来修正边缘响应。这样做的好处是LoG核永远保持标准形式实验可解释性更强。我最后没选这条路因为让核本身可学习带来的精度收益更直接也就贵一点点训练时间。2.3 LoGStem的PyTorch实现核心代码不多这里分享一个能直接跑的版本。我先把LoG核生成函数写好import torch import torch.nn as nn import torch.nn.functional as F import math def make_log_kernel(sigma, size): ax torch.arange(size, dtypetorch.float32) - size // 2 ys, xs torch.meshgrid(ax, ax, indexingij) r2 xs ** 2 ys ** 2 gauss torch.exp(-r2 / (2.0 * sigma * sigma)) log -(1.0 - r2 / (sigma * sigma)) * gauss / (math.pi * sigma ** 4) log log - log.mean() log log / (log.abs().sum() 1e-6) return log.unsqueeze(0).unsqueeze(0) # 输出形状 1,1,size,size生成核之后定义LoGStem模块class LoGStem(nn.Module): def __init__(self, in_channels3, out_channels64, sigmas(1.0, 2.0, 4.0), kernel_size5): super().__init__() self.sigmas sigmas self.log_convs nn.ModuleList() for s in sigmas: conv nn.Conv2d(1, 1, kernel_size, paddingkernel_size // 2, biasFalse) conv.weight.data make_log_kernel(s, kernel_size) conv.weight.requires_grad True self.log_convs.append(conv) # 主分支步长2下采样输出分辨率减半 self.main_branch nn.Sequential( nn.Conv2d(in_channels, out_channels, 3, stride2, padding1, biasFalse), nn.BatchNorm2d(out_channels), nn.LeakyReLU(0.1), nn.Conv2d(out_channels, out_channels, 3, padding1, biasFalse), nn.BatchNorm2d(out_channels), nn.LeakyReLU(0.1), ) # 边缘门控分支从多尺度边缘响应生成空间权重 self.gate_branch nn.Sequential( nn.Conv2d(len(sigmas), out_channels // 4, 1), nn.BatchNorm2d(out_channels // 4), nn.ReLU(), nn.Conv2d(out_channels // 4, out_channels, 1), nn.BatchNorm2d(out_channels), nn.Sigmoid() ) # 门控缩放初始为0训练过程中慢慢放开 self.gate_scale nn.Parameter(torch.tensor(0.0)) def forward(self, x): gray x.mean(dim1, keepdimTrue) edges [] for conv in self.log_convs: e conv(gray) e torch.abs(e) e (e - e.mean(dim(2, 3), keepdimTrue)) / \ (e.std(dim(2, 3), keepdimTrue) 1e-6) edges.append(e) edge_feat torch.cat(edges, dim1) gate self.gate_branch(edge_feat) main_feat self.main_branch(x) gate F.interpolate(gate, sizemain_feat.shape[2:], modebilinear, align_cornersFalse) out main_feat self.gate_scale * gate * main_feat return out有几个实现细节值得说明。输入转灰度时我直接取三通道均值这在大多数RGB图上够用了。LoG卷积对每个尺度一个卷积核通道数很少计算量并不大。边缘响应取绝对值是因为LoG的过零点在离散卷积里表现不稳定直接取绝对值可以同时保留正负两个方向的灰度突变。归一化到零均值和单位标准差是为了让门控分支的输入分布稳定避免边缘响应的绝对数值在不同图像之间差异过大。主分支输出分辨率是输入的一半门控分支在原始分辨率上生成空间权重后双线性下采样对齐。这样做的目的是尽量保留边缘位置精度如果门控也一路直接下采样到主分支分辨率小目标边缘坐标误差会被放大。2.4 边缘门控融合设计LoGStem的融合方式不是简单把边缘图拼到主干特征里而是用Sigmoid生成的空间门控和主干特征相乘。空间门控的每个像素值在0到1之间表示这个位置“像边缘”的程度。为什么不直接拼接拼接会引入额外的信息通道提升了capacity但也增加了后续网络的负担而且边缘图和深度特征的分布差异很大直接拼在一起很容易让BN层的统计量波动。门控相乘本质上是对主干特征做增强边缘强的地方放大边缘弱的地方保留原样对原特征的破坏性更小。残差结构更关键。out main_feat gate_scale * gate * main_feat当gate_scale0时整个模块等价于一个普通卷积栈不影响baseline效果。训练开始后gate_scale逐渐变大模块才慢慢把边缘先验注入。这个是LoGStem能够平稳收敛的一个关键设计我一开始直接让gate生效第一个epoch的loss非常不稳后面把gate_scale初始值改成0才解决问题。3. 接入YOLOv26并完成训练3.1 网络接入位置与结构改动YOLOv26这个名字是项目内部代号可以理解成YOLOv2技术路线的深度改进版但为了不把读者带偏这里只讲和LoGStem相关的通用接入方式其他YOLO分支也能照搬。原始网络入口通常是一组步长2的卷积下采样结构。我的改动非常保守把输入后的第一个卷积栈替换成LoGStemLoGStem输出的特征分辨率和通道数都与原来的stem一致。这样后面所有的backbone层、FPN结构、检测头都不需要调整接上就能跑。替换的时候要注意两个对齐问题。第一是通道数对齐LoGStem的out_channels必须等于原stem的输出通道数第二是stride对齐LoGStem内置步长2主分支输出分辨率减半这和原stem语义一致。如果以后要降低LoGStem的开销可以把主分支的stride改成1再由后面的池化层完成下采样但这样会稍微改变特征进入后续模块的路径参数需要额外调参。3.2 为什么不用Edge-aware辅助损失早期版本里我试过在LoGStem后面接一个边缘预测头用Canny或图像梯度生成的边缘标签做辅助监督。理论上是想让网络学得更准但实际发现这步操作不是必须的甚至有害。问题出在边缘标签本身。Canny的双阈值参数是针对整张图人工挑选的对某一类目标的效果还行但每张图的对比度差异很大一个固定阈值不可能适配所有图像。用这种带噪声的伪标签做监督网络很容易学会的只是“让输出看起来像一个边缘图”而不是真正理解目标边界。LoGStem里多尺度LoG核本身就是手工构造的强先验不需要额外的loss来教它“什么是边缘”。边缘分支已经在前向里生成合理的空间门控了再挂一个监督信号属于重复劳动还可能让网络在浅层就过度拟合伪标签的分布。我在消融实验里也看到加Edge-aware loss之后mAP反而比纯LoGStem低一些虽然差距不大但足以说服我不再走这条路。3.3 训练配置、数据增强与超参数训练数据集用的是自建的某遥感舰船检测数据集训练图像约2.4万张验证集3000张。输入分辨率配置为416x416batch size为32单卡训练160个epoch。优化器选了SGD初始学习率0.001momentum0.9weight_decay0.0005。学习率用cosine schedule衰减前500步做warmup。数据增强用Mosaic、随机裁剪、随机旋转、颜色抖动和MixUp。LoGStem相关的两个超参数需要特别关注。一个是gate_scale初始值设为0训练30个epoch后再放开学习或者干脆让它作为可学习参数自己长另一个是LoG核的更新幅度我在实验中发现训练后期核权重变化对结果影响很小所以会更倾向于将核权重学习率调为其他层的0.1倍也就是Layer-wise Learning Rate Decay。gate_scale如果放开得太早边缘门控会压制主干特征导致浅层梯度信号异常如果全程冻结为0LoGStem就废了。比较稳妥的做法是让gate_scale作为可学习参数初始化为0网络会在初期忽略门控逐步把幅度调上来。4. 实验对比与鲁棒性验证4.1 消融实验消融实验是这类改进模型的重头戏毕竟谁也不想折腾半天网络结构最后不知道收益到底来自哪儿。我设置了四组对比方案mAP0.5mAP0.5:0.95参数量推理FPS基线YOLOv260.7680.49240.7M62基线 LoGStem0.7980.52541.3M55基线 LoGStem Edge Loss0.8050.53641.6M53基线 普通3x3卷积替换LoGStem0.7710.49741.4M58第三组加了Edge Loss虽然mAP看起来最高但训练更不稳定在小验证集上过拟合风险更大我没有把它作为最终方案。第四组很关键它把LoGStem换成同等参数量、同等结构位置的普通卷积mAP几乎没有变化说明收益不是“多加了几层”带来的而是LoG边缘先验本身带来的。从参数量和推理速度看LoGStem只增加了约0.6M参数FPS从62掉到55大约12%的计算开销增量对大多数业务场景来说可以接受。如果进一步优化可以把LoG核裁剪成深度可分离结构速度损失能控制在5%以内。4.2 不同σ组合的对比σ的选择对最终效果影响相当大。我专门跑了一组单变量实验固定其他配置不变只更换LoGStem里的尺度组合σ组合mAP0.5小目标AP[0.5, 1, 2]0.7820.203[1, 2, 4]0.7980.226[2, 4, 8]0.7740.188[1, 2, 4, 8]0.7690.197[1,2,4]并不是尺度越多越好。加一个σ8后大尺度边缘把主体内部的低对比区域也当成边缘响应门控图变得比较“实心”反而把小目标的独立轮廓模糊掉了。这说明多尺度并不是多多益善尺度跨度太大时尺度之间的边缘响应会互相干扰。从鲁棒性角度看[1,2,4]在保留小目标边界的同时又能覆盖中等目标整体轮廓综合收益最高。实际部署时如果算力紧张只保留σ1和σ4两个尺度也能拿到接近80%的提升算力收益比更高。4.3 噪声、模糊与弱光下的鲁棒性测试除了标准测试集mAP我还做了三组退化压制测试模拟真实部署中常见的图像质量问题。每种退化施加在验证集上记录相对基线的mAP降幅。退化类型基线YOLOv26降幅LoGStem版降幅轻度高斯噪声σ10-6.3%-3.1%运动模糊5像素位移-12.4%-6.8%亮度下降80%弱光-18.9%-9.2%LoGStem版本在三种退化下掉点都只有基线的一半左右。原因很好理解门控分支提前在入口处把边缘位置标了出来后续卷积即使在噪声或模糊中也有一张相对稳定的边缘先验图作为参考。弱光场景下灰度信息被压缩但边缘的过零点位置还保留着所以LoGStem的优势更明显。这个实验也从侧面验证了LoGStem不是简单地过拟合训练集分布而是确实改变了网络对低质量输入鲁棒性的底层逻辑。5. 踩坑记录与调参经验5.1 输入归一化引发的NaN问题第一次跑LoGStem训练第二个epoch就出现了loss为NaN的情况。排查到最后问题出在LoG核输出的大数值上。LoG解析核在中心附近接近无穷虽然做了归一化但对极端像素仍然容易产生非常大的响应值。我输入图像用的是[0,255]范围的原始像素灰度差动辄上百LoG响应乘以这个幅度后很容易溢出。解决方法是把输入归一化到[0,1]区间同时把LoG输出做了标准差归一化。两件事都做了之后loss曲线就稳定了。如果还出现异常值可以在LoG响应后面接一个clamp操作把极端响应截断在[-3,3]区间。5.2 小目标AP不升反降的教训早期版本里我为了让门控分支计算更快直接把边缘图做了MaxPool下采样让门控分辨率降到和主分支一样再去相乘。结果小目标AP反而掉了1.2个点。原因是MaxPool在降采样过程中会合并邻近像素小目标的边缘响应可能只有1到2个像素宽池化之后直接被吞掉了。后来改成先保持全分辨率生成门控图再在相乘前用双线性插值对齐分辨率。这个改动让小目标AP回升并超过基线。教训是LoGStem里的门控图必须保持足够空间分辨率任何形式的提前降采样都会损失边缘位置的精度。如果实在需要节省这部分计算量用步长2的卷积也比MaxPool好至少可学习参数能部分补偿位置损失。5.3 推理速度和显存优化建议LoGStem增加的计算量主要来自LoG卷积和门控分支。LoG卷积本身是单通道卷积三个尺度的开销并不大但门控分支的BN和激活函数在原始分辨率上计算显存占用比想象中高。工程上可以做的第一个优化是把门控分支中的第一个1x1卷积输出通道数砍到out_channels//8门控质量影响很小显存能省下不少。第二个优化是LoG核使用深度可分离卷积的写法把每个尺度独立卷积替换成单个深度卷积参数进一步压缩。第三个优化是推理阶段把gate_scale和学习到的核权重固定下来导出ONNX时直接折叠成常量。实测下来这三个优化合在一起能把推理FPS从55拉回59接近基线水平而mAP只下降0.1个点几乎无损。5.4 常见问题速查表问题现象可能原因解决方案训练初期loss NaNLoG响应值溢出输入归一化到[0,1]对LoG输出做标准差归一化或clamp小目标AP下降门控图提前MaxPool降采样保持门控图原始分辨率双线性插值对齐推理速度掉太多门控分支通道数过宽通道数减半LoG核改深度可分离结构gate_scale无法更新初始值过大导致浅层梯度异常gate_scale初始化为0或单独降低学习率低对比图提升不明显LoG核σ范围不合适检查边缘可视化适当增大σ上限到4纹理密集场景过曝边缘响应过强降低gate_scale上限或减小σ1的权重写在最后的实际操作感受这个项目做下来我最大的感受是经典信号处理算子并不会因为深度学习流行而失效反而能和卷积网络形成很好的互补。LoGStem就像一个放在网络门口的先验告警器告诉后续卷积哪些位置值得关注尤其在数据质量参差不齐的真实场景里这种先验比纯数据驱动的注意力更可靠。每次调整σ或者门控策略我都会选择几张典型的失败样本做边缘图可视化这些图比mAP数字更能直观告诉你改对了还是改错了。有一次我为了压缩显存把门控分支从原始分辨率改成半分辨率mAP掉了还没引起足够警惕但可视化里小目标的边缘响应几乎看不见一看就知道问题在哪儿。如果后续有朋友想复现我建议从σ[1,2,4]和gate_scale初始为0这两个配置开始在一个已经有baseline的数据集上跑20个epoch看看loss曲线再决定是否需要调整。LoGStem本身也可以移植到语义分割、多任务检测等场景思路都是一样的无非是把边缘先验变成通用浅层增强模块。
说实话第一次看到“把LoG边缘检测算子塞进YOLO的特征提取入口”的思路时我心里也犯嘀咕YOLO这种纯深度学习的检测器还需要显式做边缘检测吗但我的项目里目标检测的瓶颈恰好卡在低对比度、弱纹理、小目标上于是我就做了一个叫LoGStem的模块直接用在项目代号YOLOv26的网络里把边缘先验变成浅层特征的空间注意力。效果比预想中要好mAP涨了2~3个点噪声、模糊、暗光下的掉点也明显变小。这篇文章就把LoGStem从原理、实现到训练调参的完整过程记录下来。适合正在做YOLO系检测、又经常被小目标和模糊目标折磨的工程师看也适合想在自己网络里加一个“即插即用”浅层增强模块的朋友参考。我会尽量把踩过的坑和真实的实验数据都说清楚不藏着掖着。1. 项目背景与核心设计思路1.1 LoGStem要解决的真实问题我手头的检测任务是遥感场景下的舰船目标检测特点就是目标小、背景杂、对比度有时候低到离谱。船体和水面的灰度差可能只有十几个像素值人眼都要盯一会儿才分得清网络在这样的输入上提取浅层特征时边缘很容易被后续的下采样和激活函数洗掉。等特征传到深层小目标本身没剩多少像素了轮廓再模糊一点检测头基本只能靠猜。这个问题本质上是边缘信息在浅层就丢失了。常规做法是多加卷积层、加注意力模块但注意力模块学到的空间权重在极端低对比度图像上并不稳定因为网络根本不知道该关注哪儿。LoGStem做的事情很直接在进入主干网络之前先用拉普拉斯高斯算子把多尺度边缘显式地提取出来再用这张边缘响应图去调制浅层特征。这样网络从第一层开始就带着“哪里是轮廓”这个先验往前走后续卷积只需要在轮廓附近做更精细的判别。这个前提下LoGStem就不是一个简单的预处理而是和主干融入在一起的网络结构。它能解决的不只是小目标问题还包括弱光、运动模糊这种会让边缘信息衰退的场合。1.2 为什么选LoG而不是Sobel或Canny做边缘检测的经典算子不少Sobel、Prewitt、Roberts、Canny我为什么偏偏挑了Laplacian of GaussianSobel这类一阶梯度算子实现确实简单但它只对单方向灰度变化敏感而且对噪声非常不友好。实际图像里一个目标同时存在水平和竖直边界单方向Sobel很容易丢边。想要完备一点就得把水平、垂直、对角等多个方向都叠加特征图一下就膨胀起来了。Canny边缘检测效果好但它的双阈值和滞后连接是非线性流程没法直接用卷积算子端到端嵌入网络。如果非要在网络里模拟Canny复杂度高到难以落地。LoG就舒服很多。它本质上是高斯平滑和拉普拉斯算子的组合高斯项用来抑制噪声拉普拉斯项用来检测灰度突变整体是一个线性卷积核。只要把LoG核的权重提前算好填入普通卷积层即可前向计算完全走卷积流程后续反向传播也能对核参数做微调。也就是说LoG既有明确的边缘检测先验又能作为网络的一部分端到端训练不像Canny一样卡死在传统图像处理流程里。1.3 LoGStem的整体结构方案LoGStem的设计逻辑可以拆成四个动作输入图像灰度化得到单通道强度图用多个不同尺度的LoG卷积核提取边缘响应得到多通道边缘图把边缘图经过一个轻量卷积块生成空间门控将门控和主干特征相乘后做残差输出给后续网络。整个过程把“找轮廓”这件事放在网络入口处不增加任何额外标注也不改变主干网络的推理逻辑。多尺度是为了适配不同大小的目标。遥感舰船里有几十个像素的大船也有十几个像素的小目标单一σ只能捕捉特定尺度的边缘。LoGStem采用σ1、2、4三种尺度大σ负责整体轮廓小σ负责精细边界组合起来之后门控图对目标尺寸的宽容度高很多。2. LoGStem模块原理与实现细节2.1 LoG算子数学原理与σ怎么选LoG算子的公式定义在高斯平滑之后对x和y分别求二阶导再叠加所以它的名字叫Laplacian of Gaussian。二维表达式可以写成LoG(x,y) -(1/(πσ⁴))·(1 - (x²y²)/(2σ²))·exp(-(x²y²)/(2σ²))这个公式对非数学专业的同学可能有点劝退但落到工程上你只需要关心两个点核的中心是负峰周围是正环换句话说它检测的是灰度变化的过零点σ的大小决定了核覆盖的半径σ越大核越宽能捕捉的边缘越粗犷。σ的选择不能拍脑袋。太小比如σ0.5LoG核几乎退化成高频噪声滤波器图像里每个纹理抖动都会被当成边缘门控图变得很花哨反而干扰主干特征。太大比如σ8核覆盖范围太宽小目标的轮廓被磨平检测效果同样下降。我最终把σ组合定为[1,2,4]核大小取5。这个配置的直观理解是σ1抓精细的局部边缘σ4抓目标的整体外围轮廓σ2处在两者之间做过渡。实验里这个组合比单尺度或者[0.5,1,2]、[2,4,8]都要稳定。2.2 固定核还是可学习核最初我倾向于把LoG核权重冻结理由是既然叫“拉普拉斯高斯边缘检测”核就应该保持数学算子的纯粹性不应该被训练改得乱七八糟。但实际测试下来冻结核的效果不是最好的。原因在于LoG解析核是在理想连续条件下推导的真实图像总会有畸变、压缩伪影、采样噪声。让网络在训练过程中微调核权重相当于给先验加了一个自适应修正项。我把核初始化为解析LoG核然后让权重的requires_gradTruet足够训练过程中它会随主干一起更新但不会偏离太远因为梯度信号要同时兼顾边缘提取和最终的检测精度。一个更保守的折中方案是把整个核权重冻结但后面再接一层可学习的1x1卷积来修正边缘响应。这样做的好处是LoG核永远保持标准形式实验可解释性更强。我最后没选这条路因为让核本身可学习带来的精度收益更直接也就贵一点点训练时间。2.3 LoGStem的PyTorch实现核心代码不多这里分享一个能直接跑的版本。我先把LoG核生成函数写好import torch import torch.nn as nn import torch.nn.functional as F import math def make_log_kernel(sigma, size): ax torch.arange(size, dtypetorch.float32) - size // 2 ys, xs torch.meshgrid(ax, ax, indexingij) r2 xs ** 2 ys ** 2 gauss torch.exp(-r2 / (2.0 * sigma * sigma)) log -(1.0 - r2 / (sigma * sigma)) * gauss / (math.pi * sigma ** 4) log log - log.mean() log log / (log.abs().sum() 1e-6) return log.unsqueeze(0).unsqueeze(0) # 输出形状 1,1,size,size生成核之后定义LoGStem模块class LoGStem(nn.Module): def __init__(self, in_channels3, out_channels64, sigmas(1.0, 2.0, 4.0), kernel_size5): super().__init__() self.sigmas sigmas self.log_convs nn.ModuleList() for s in sigmas: conv nn.Conv2d(1, 1, kernel_size, paddingkernel_size // 2, biasFalse) conv.weight.data make_log_kernel(s, kernel_size) conv.weight.requires_grad True self.log_convs.append(conv) # 主分支步长2下采样输出分辨率减半 self.main_branch nn.Sequential( nn.Conv2d(in_channels, out_channels, 3, stride2, padding1, biasFalse), nn.BatchNorm2d(out_channels), nn.LeakyReLU(0.1), nn.Conv2d(out_channels, out_channels, 3, padding1, biasFalse), nn.BatchNorm2d(out_channels), nn.LeakyReLU(0.1), ) # 边缘门控分支从多尺度边缘响应生成空间权重 self.gate_branch nn.Sequential( nn.Conv2d(len(sigmas), out_channels // 4, 1), nn.BatchNorm2d(out_channels // 4), nn.ReLU(), nn.Conv2d(out_channels // 4, out_channels, 1), nn.BatchNorm2d(out_channels), nn.Sigmoid() ) # 门控缩放初始为0训练过程中慢慢放开 self.gate_scale nn.Parameter(torch.tensor(0.0)) def forward(self, x): gray x.mean(dim1, keepdimTrue) edges [] for conv in self.log_convs: e conv(gray) e torch.abs(e) e (e - e.mean(dim(2, 3), keepdimTrue)) / \ (e.std(dim(2, 3), keepdimTrue) 1e-6) edges.append(e) edge_feat torch.cat(edges, dim1) gate self.gate_branch(edge_feat) main_feat self.main_branch(x) gate F.interpolate(gate, sizemain_feat.shape[2:], modebilinear, align_cornersFalse) out main_feat self.gate_scale * gate * main_feat return out有几个实现细节值得说明。输入转灰度时我直接取三通道均值这在大多数RGB图上够用了。LoG卷积对每个尺度一个卷积核通道数很少计算量并不大。边缘响应取绝对值是因为LoG的过零点在离散卷积里表现不稳定直接取绝对值可以同时保留正负两个方向的灰度突变。归一化到零均值和单位标准差是为了让门控分支的输入分布稳定避免边缘响应的绝对数值在不同图像之间差异过大。主分支输出分辨率是输入的一半门控分支在原始分辨率上生成空间权重后双线性下采样对齐。这样做的目的是尽量保留边缘位置精度如果门控也一路直接下采样到主分支分辨率小目标边缘坐标误差会被放大。2.4 边缘门控融合设计LoGStem的融合方式不是简单把边缘图拼到主干特征里而是用Sigmoid生成的空间门控和主干特征相乘。空间门控的每个像素值在0到1之间表示这个位置“像边缘”的程度。为什么不直接拼接拼接会引入额外的信息通道提升了capacity但也增加了后续网络的负担而且边缘图和深度特征的分布差异很大直接拼在一起很容易让BN层的统计量波动。门控相乘本质上是对主干特征做增强边缘强的地方放大边缘弱的地方保留原样对原特征的破坏性更小。残差结构更关键。out main_feat gate_scale * gate * main_feat当gate_scale0时整个模块等价于一个普通卷积栈不影响baseline效果。训练开始后gate_scale逐渐变大模块才慢慢把边缘先验注入。这个是LoGStem能够平稳收敛的一个关键设计我一开始直接让gate生效第一个epoch的loss非常不稳后面把gate_scale初始值改成0才解决问题。3. 接入YOLOv26并完成训练3.1 网络接入位置与结构改动YOLOv26这个名字是项目内部代号可以理解成YOLOv2技术路线的深度改进版但为了不把读者带偏这里只讲和LoGStem相关的通用接入方式其他YOLO分支也能照搬。原始网络入口通常是一组步长2的卷积下采样结构。我的改动非常保守把输入后的第一个卷积栈替换成LoGStemLoGStem输出的特征分辨率和通道数都与原来的stem一致。这样后面所有的backbone层、FPN结构、检测头都不需要调整接上就能跑。替换的时候要注意两个对齐问题。第一是通道数对齐LoGStem的out_channels必须等于原stem的输出通道数第二是stride对齐LoGStem内置步长2主分支输出分辨率减半这和原stem语义一致。如果以后要降低LoGStem的开销可以把主分支的stride改成1再由后面的池化层完成下采样但这样会稍微改变特征进入后续模块的路径参数需要额外调参。3.2 为什么不用Edge-aware辅助损失早期版本里我试过在LoGStem后面接一个边缘预测头用Canny或图像梯度生成的边缘标签做辅助监督。理论上是想让网络学得更准但实际发现这步操作不是必须的甚至有害。问题出在边缘标签本身。Canny的双阈值参数是针对整张图人工挑选的对某一类目标的效果还行但每张图的对比度差异很大一个固定阈值不可能适配所有图像。用这种带噪声的伪标签做监督网络很容易学会的只是“让输出看起来像一个边缘图”而不是真正理解目标边界。LoGStem里多尺度LoG核本身就是手工构造的强先验不需要额外的loss来教它“什么是边缘”。边缘分支已经在前向里生成合理的空间门控了再挂一个监督信号属于重复劳动还可能让网络在浅层就过度拟合伪标签的分布。我在消融实验里也看到加Edge-aware loss之后mAP反而比纯LoGStem低一些虽然差距不大但足以说服我不再走这条路。3.3 训练配置、数据增强与超参数训练数据集用的是自建的某遥感舰船检测数据集训练图像约2.4万张验证集3000张。输入分辨率配置为416x416batch size为32单卡训练160个epoch。优化器选了SGD初始学习率0.001momentum0.9weight_decay0.0005。学习率用cosine schedule衰减前500步做warmup。数据增强用Mosaic、随机裁剪、随机旋转、颜色抖动和MixUp。LoGStem相关的两个超参数需要特别关注。一个是gate_scale初始值设为0训练30个epoch后再放开学习或者干脆让它作为可学习参数自己长另一个是LoG核的更新幅度我在实验中发现训练后期核权重变化对结果影响很小所以会更倾向于将核权重学习率调为其他层的0.1倍也就是Layer-wise Learning Rate Decay。gate_scale如果放开得太早边缘门控会压制主干特征导致浅层梯度信号异常如果全程冻结为0LoGStem就废了。比较稳妥的做法是让gate_scale作为可学习参数初始化为0网络会在初期忽略门控逐步把幅度调上来。4. 实验对比与鲁棒性验证4.1 消融实验消融实验是这类改进模型的重头戏毕竟谁也不想折腾半天网络结构最后不知道收益到底来自哪儿。我设置了四组对比方案mAP0.5mAP0.5:0.95参数量推理FPS基线YOLOv260.7680.49240.7M62基线 LoGStem0.7980.52541.3M55基线 LoGStem Edge Loss0.8050.53641.6M53基线 普通3x3卷积替换LoGStem0.7710.49741.4M58第三组加了Edge Loss虽然mAP看起来最高但训练更不稳定在小验证集上过拟合风险更大我没有把它作为最终方案。第四组很关键它把LoGStem换成同等参数量、同等结构位置的普通卷积mAP几乎没有变化说明收益不是“多加了几层”带来的而是LoG边缘先验本身带来的。从参数量和推理速度看LoGStem只增加了约0.6M参数FPS从62掉到55大约12%的计算开销增量对大多数业务场景来说可以接受。如果进一步优化可以把LoG核裁剪成深度可分离结构速度损失能控制在5%以内。4.2 不同σ组合的对比σ的选择对最终效果影响相当大。我专门跑了一组单变量实验固定其他配置不变只更换LoGStem里的尺度组合σ组合mAP0.5小目标AP[0.5, 1, 2]0.7820.203[1, 2, 4]0.7980.226[2, 4, 8]0.7740.188[1, 2, 4, 8]0.7690.197[1,2,4]并不是尺度越多越好。加一个σ8后大尺度边缘把主体内部的低对比区域也当成边缘响应门控图变得比较“实心”反而把小目标的独立轮廓模糊掉了。这说明多尺度并不是多多益善尺度跨度太大时尺度之间的边缘响应会互相干扰。从鲁棒性角度看[1,2,4]在保留小目标边界的同时又能覆盖中等目标整体轮廓综合收益最高。实际部署时如果算力紧张只保留σ1和σ4两个尺度也能拿到接近80%的提升算力收益比更高。4.3 噪声、模糊与弱光下的鲁棒性测试除了标准测试集mAP我还做了三组退化压制测试模拟真实部署中常见的图像质量问题。每种退化施加在验证集上记录相对基线的mAP降幅。退化类型基线YOLOv26降幅LoGStem版降幅轻度高斯噪声σ10-6.3%-3.1%运动模糊5像素位移-12.4%-6.8%亮度下降80%弱光-18.9%-9.2%LoGStem版本在三种退化下掉点都只有基线的一半左右。原因很好理解门控分支提前在入口处把边缘位置标了出来后续卷积即使在噪声或模糊中也有一张相对稳定的边缘先验图作为参考。弱光场景下灰度信息被压缩但边缘的过零点位置还保留着所以LoGStem的优势更明显。这个实验也从侧面验证了LoGStem不是简单地过拟合训练集分布而是确实改变了网络对低质量输入鲁棒性的底层逻辑。5. 踩坑记录与调参经验5.1 输入归一化引发的NaN问题第一次跑LoGStem训练第二个epoch就出现了loss为NaN的情况。排查到最后问题出在LoG核输出的大数值上。LoG解析核在中心附近接近无穷虽然做了归一化但对极端像素仍然容易产生非常大的响应值。我输入图像用的是[0,255]范围的原始像素灰度差动辄上百LoG响应乘以这个幅度后很容易溢出。解决方法是把输入归一化到[0,1]区间同时把LoG输出做了标准差归一化。两件事都做了之后loss曲线就稳定了。如果还出现异常值可以在LoG响应后面接一个clamp操作把极端响应截断在[-3,3]区间。5.2 小目标AP不升反降的教训早期版本里我为了让门控分支计算更快直接把边缘图做了MaxPool下采样让门控分辨率降到和主分支一样再去相乘。结果小目标AP反而掉了1.2个点。原因是MaxPool在降采样过程中会合并邻近像素小目标的边缘响应可能只有1到2个像素宽池化之后直接被吞掉了。后来改成先保持全分辨率生成门控图再在相乘前用双线性插值对齐分辨率。这个改动让小目标AP回升并超过基线。教训是LoGStem里的门控图必须保持足够空间分辨率任何形式的提前降采样都会损失边缘位置的精度。如果实在需要节省这部分计算量用步长2的卷积也比MaxPool好至少可学习参数能部分补偿位置损失。5.3 推理速度和显存优化建议LoGStem增加的计算量主要来自LoG卷积和门控分支。LoG卷积本身是单通道卷积三个尺度的开销并不大但门控分支的BN和激活函数在原始分辨率上计算显存占用比想象中高。工程上可以做的第一个优化是把门控分支中的第一个1x1卷积输出通道数砍到out_channels//8门控质量影响很小显存能省下不少。第二个优化是LoG核使用深度可分离卷积的写法把每个尺度独立卷积替换成单个深度卷积参数进一步压缩。第三个优化是推理阶段把gate_scale和学习到的核权重固定下来导出ONNX时直接折叠成常量。实测下来这三个优化合在一起能把推理FPS从55拉回59接近基线水平而mAP只下降0.1个点几乎无损。5.4 常见问题速查表问题现象可能原因解决方案训练初期loss NaNLoG响应值溢出输入归一化到[0,1]对LoG输出做标准差归一化或clamp小目标AP下降门控图提前MaxPool降采样保持门控图原始分辨率双线性插值对齐推理速度掉太多门控分支通道数过宽通道数减半LoG核改深度可分离结构gate_scale无法更新初始值过大导致浅层梯度异常gate_scale初始化为0或单独降低学习率低对比图提升不明显LoG核σ范围不合适检查边缘可视化适当增大σ上限到4纹理密集场景过曝边缘响应过强降低gate_scale上限或减小σ1的权重写在最后的实际操作感受这个项目做下来我最大的感受是经典信号处理算子并不会因为深度学习流行而失效反而能和卷积网络形成很好的互补。LoGStem就像一个放在网络门口的先验告警器告诉后续卷积哪些位置值得关注尤其在数据质量参差不齐的真实场景里这种先验比纯数据驱动的注意力更可靠。每次调整σ或者门控策略我都会选择几张典型的失败样本做边缘图可视化这些图比mAP数字更能直观告诉你改对了还是改错了。有一次我为了压缩显存把门控分支从原始分辨率改成半分辨率mAP掉了还没引起足够警惕但可视化里小目标的边缘响应几乎看不见一看就知道问题在哪儿。如果后续有朋友想复现我建议从σ[1,2,4]和gate_scale初始为0这两个配置开始在一个已经有baseline的数据集上跑20个epoch看看loss曲线再决定是否需要调整。LoGStem本身也可以移植到语义分割、多任务检测等场景思路都是一样的无非是把边缘先验变成通用浅层增强模块。
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
