调Canny双阈值调到第三天的时候我承认有点魔怔了。同一组阈值光照好的两张图几乎看不出差别换到一张逆光的建筑照要么屋顶轮廓整条断掉要么墙面砖缝全被画成密密麻麻的碎线。那会儿我才真正想明白一件事边缘检测这道题难的地方从来不是怎么算梯度而是怎么判断一条线到底算不算边缘。传统算子里那个阈值是人拍的而语义边界——比如人脸轮廓、遮挡交界、材质突变——压根不在梯度的强弱上体现它藏在上下文里。HED和RCF就是冲着这件事来的。它们把边缘检测从算子调参变成了特征学习用VGG16这种分类网络的中间层特征去预测每个像素是不是边缘。这篇文章我打算把自己从Prewitt、Sobel一路摸到HED、RCF的经验完整摊开传统算子为什么在Prewitt这一步就埋下了局限HED的整体嵌套结构到底精巧在哪RCF又凭什么在BSDS500上把ODS从0.788推到0.806以及训练、后处理、部署这几个环节里真正会让人卡住的细节。不管你是在做课题、复现论文还是想把边缘检测塞进实际产品里下面的内容应该都能省你几天时间。1. 从Prewitt到Canny手工算子的天花板其实早就写死了1.1 Prewitt的3x3模板一个先平滑再差分的朴素组合很多人第一次接触边缘检测就是背Prewitt的两个卷积核但很少有人停下来看一眼它的结构。水平方向的核是[-1, 0, 1] [-1, 0, 1] [-1, 0, 1]把它拆开看其实等于一个列方向的均值核[1, 1, 1]^T和一个行方向的差分核[-1, 0, 1]做外积。也就是说Prewitt在做差分之前先在垂直于差分的方向上做了一次均值平滑。这就是它比单纯的[-1, 0, 1]差分更稳的原因——均值平滑能压掉一部分高频噪声。但问题也在这它只在一个方向上平滑另一个方向的噪声原封不动地保留。我做过一个很直观的测试给一张纯灰图加椒盐噪声Prewitt出来的结果里横纹特别明显就是因为它在水平方向没有做任何抑制。更关键的是均值核是不加权的中心像素和邻域像素贡献一样大这在真实图像里其实不太合理——离得越近的像素影响应该越大。1.2 Sobel只是把均值换成二项式抗噪就上了一个台阶Sobel的核长这样[-1, 0, 1] [-2, 0, 2] [-1, 0, 1]它和Prewitt唯一的区别是中间那行的权重变成了2。从信号处理的角度看这相当于把平滑核从[1,1,1]换成了[1,2,1]而[1,2,1]是二项式系数逼近高斯核的一阶近似。高斯核在频域上是低通滤波器里过渡带最陡峭的那种所以Sobel在保留边缘的同时把噪声压得更干净。实话说如果只是做简单的工业流水线检测比如传送带上零件有没有缺口Sobel到现在依然是首选因为它快、可控、不需要GPU。但它的天花板同样明显边缘只有一个像素宽方向是离散的8个方向而且没有任何这条边缘重不重要的判断。1.3 Canny补上了非极大值抑制和滞后阈值却把选择权还给了人Canny的贡献是把边缘检测拆成了四步流水线高斯滤波、计算梯度幅值和方向、非极大值抑制、双阈值加滞后连接。前三步是数学上确定性的第四步才是真正的分水岭——它第一次引入了强边缘和弱边缘的概念强边缘直接保留弱边缘只有在和强边缘连通时才保留。这个设计很聪明它让边缘具备了连续性。但致命的点也在这高阈值和低阈值都得人工拍。我统计过自己调参的经验同一个数据集上最优阈值和图像的平均对比度基本是线性相关的也就是说光照一变参数就得重来。更要命的是即使你把阈值调到完美Canny也认不出沙发和地板交界这种靠材质而不是靠亮度区分开的边界。这就是语义边缘的盲区也是HED和RCF后来居上的根本入口。2. HED的核心赌注拿VGG16的五个阶段做深监督侧输出2.1 为什么选VGG16而不是自己搭一个边缘专用网络HEDHolistically-Nested Edge Detection2015年发在ICCV上它最大的取舍就是直接拿一个已经在ImageNet上训练好的VGG16当backbone砍掉全连接层只留五个卷积stage。这个选择在当时其实是有点反直觉的——边缘检测和图像分类看起来八竿子打不着你拿一个认猫认狗的网络去做边缘凭什么道理在于卷积网络的层级结构本身。浅层卷积学到的是类似Gabor滤波器的方向响应这跟Sobel、Prewitt做的事情高度重合而深层卷积学到的是物体部件、语义轮廓。也就是说一个分类网络的中间层天然包含从低级梯度到高级语义的完整谱系而边缘检测恰好需要的正是这个谱系。这就是迁移学习的价值VGG16的第一个stage其实已经是一个训练好的、比手工算子更丰富的边缘滤波器组。提示如果你手上数据量很少几百张从VGG16预训练权重初始化几乎是必须的。从零训练HED在BSDS500的200张训练图上很难收敛到论文精度。2.2 整体和嵌套这两个词到底指什么HED这个名字拆开看很有意思。Holistically指的是端到端——输入原图输出一张和原图同尺寸的边缘概率图中间不需要任何人工设计的后处理步骤图像到图像干净利落。Nested指的是多尺度嵌套——VGG16的五个stage感受野逐级翻倍浅层看到的是局部细节深层看到的是大范围上下文。具体做法是在五个stage的最后一个卷积层后面各接一个侧输出分支side branch这个分支一般是一个1x1卷积把通道数降到1再跟一个反卷积把特征图上采样回原图尺寸。于是你同时得到五张不同尺度的边缘图再加上一个把它们加权融合起来的fusion输出一共六个输出。这个结构的精髓在于深监督deep supervision。六个输出全都参与损失计算也就是说网络不能只靠最后那一张融合图交差每一层的侧输出都必须独立地预测出合理的边缘。这相当于强迫中间层的特征也具备边缘判别能力而不是让它们只做给深层打工的搬运工。2.3 侧输出的加权融合为什么不是简单的平均论文里融合的方式是逐元素加权求和再sigmoid权重初始化为1。听起来跟平均差不多但因为每个侧输出的loss是独立的网络会自动学着调整哪些尺度的贡献更大。实际训练完之后你会发现中间层conv3、conv4对应的stage的权重往往是最大的因为太浅层噪声太多太深层空间分辨率丢得太狠中间的几层在感受野和分辨率之间取得了平衡。我自己的经验是如果你想省事只保留三个侧输出优先留conv2、conv3、conv4对应的stage把conv1和conv5砍掉精度掉得通常不超过1个点但推理速度能快不少。这个取舍在小目标检测的预处理里特别划算。3. RCF把每个卷积层的特征都榨干改进远不止更深3.1 HED的浪费一个stage里只用了最后一层如果你仔细看HED的结构会发现一个明显的浪费VGG16的每个stage里其实有好几层卷积比如stage1有conv1_1和conv1_2两层stage2有conv2_1和conv2_2。HED只用每个stage最后一层的输出接到侧分支上前面那几层的特征直接被丢掉了。RCFRicher Convolutional Features2017年发在CVPR上作者的观察就是每个stage里每一层卷积的特征图都有边缘信息只是尺度和抽象程度不同为什么不全用上这个思路一出来结构就变了——RCF把每个stage内所有卷积层的特征图全部收集起来先各自用1x1卷积降到21通道拼在一起再通过一个融合卷积得到这个stage的侧输出。对比一下两者的character图维度HEDRCF侧输出来源每个stage最后一层每个stage内所有卷积层特征通道处理直接1x1降到1每层降到21再concat跨stage融合带权重逐元素相加带权重逐元素相加损失函数类别平衡交叉熵类别平衡交叉熵忽略不确定像素BSDS500 ODS0.7880.806看这个表就能明白RCF的提升不是靠更深的网络或者更多的数据而是把已有特征的价值榨得更干净。同一个VGG16同样的输入只是改了特征的收集和融合方式ODS就涨了近2个点这在边缘检测这个已经很卷的领域里算是很大的进步了。3.2 21通道这个数字不是随便定的很多人会问为什么每个stage要降到21通道不是16或者32这个数字在RCF论文里有明确交代它是实验调出来的。通道数太少比如8不同层的特征融合时会互相干扰信息被过度压缩通道数太多比如64模型参数上去了精度提升却很有限而且容易过拟合。我复现的时候试过16和3216的ODS大概掉0.5个点32基本持平但显存占用多了一截。所以21这个数其实处在够用且省的甜蜜点上。这种细节在论文里往往一笔带过但你真正上手训练的时候就会发现它挺重要。3.3 RCF对不确定像素的处理才是它涨点的隐藏原因除了结构RCF在损失函数上做了一个很关键的改动。BSDS500这个数据集有个特点每张图由多个标注者独立标注所以同一个像素可能有人标成边缘、有人标成非边缘。HED的处理比较粗暴它基本是非黑即白把所有标注都当成确定标签。RCF的做法更细腻它把标注为边缘的像素当正样本标注为非边缘的当负样本而那些标注者之间有分歧的像素通常标记为0.5直接忽略不计入损失。这个改动看起来不起眼但它避免了网络在本来就说不清的地方被强行拉向某一个答案。我实测过光是加上这个忽略逻辑在BSDS500上的F-measure就能涨0.3到0.5个点。这部分的收益其实比很多人想象的大因为它本质上是在教网络不知道的时候别乱猜这比强行拟合噪声标签要健康得多。4. 训练一个边缘检测网络标注、损失和数据增强里的隐形坑4.1 类别不平衡不是用加权两个字就能解决的边缘像素在整张图里只占很小的比例通常是5%到10%剩下全是背景。如果直接用普通的交叉熵网络很快就会学会全预测成非边缘这个偷懒策略——准确率看着有90%以上但F-measure接近0。HED和RCF用的都是类别平衡的交叉熵正样本的权重β设为|Y-|/|Y|负样本权重设为|Y|/|Y|。翻译成人话就是谁少给谁加权。边缘像素只占5%那它的权重就是0.95背景像素占95%权重就压到0.05。这么一调两类对损失的贡献就平衡了。RCF的损失实现我一般这么写import torch def balanced_bce(pred, label, beta0.95, eps1e-6): # pred: (N,1,H,W) 已经过sigmoid取值0~1 # label: (N,1,H,W) 取值 {0, 0.5, 1}0.5 表示标注不确定忽略 mask_pos (label 1).float() mask_neg (label 0).float() loss_pos -(mask_pos * torch.log(pred eps)).sum() loss_neg -(mask_neg * torch.log(1 - pred eps)).sum() n_pos mask_pos.sum() n_neg mask_neg.sum() loss (beta * loss_pos (1 - beta) * loss_neg) / (n_pos n_neg eps) return loss这里有个坑我得提醒beta不能设成0.5。有人看到类别平衡就下意识以为平衡就是各0.5结果训练出来的边缘图非常糊。原因很简单0.5是按样本数平衡而边缘检测里正样本本来就少网络会倾向于把边界画粗来提升召回。0.9到0.95是比较稳的区间我一般在0.92到0.95之间选。4.2 多尺度侧输出要分别监督别只盯着融合图训练的时候六个输出HED是5个侧输出1个fusionRCF同理都要算loss最后求和或加权求和。我见过有人图省事只对fusion输出算loss结果精度掉得很难看基本白训。原因在于深监督的作用是给中间层提供梯度捷径。如果只对最后那层算loss梯度要一层层回传中间层学到的特征会退化成随便提取点什么反正后面有人收拾。加上侧输出的loss之后每一层都被迫自己把边缘预测做对这在训练初期尤其重要——它能加速收敛也能减轻梯度消失。侧输出的loss权重我一般设成1fusion输出的权重设成1。也见过给fusion更高的权重比如2但我自己试下来差别不明显反而1:1更稳。4.3 数据增强旋转和翻转是性价比最高的两种BSDS500只有200张训练图这点数据量直接训VGG16肯定过拟合。HED和RCF都用了很朴素的增强方式旋转90度、180度、270度加上水平翻转和垂直翻转。这样一张图能变成8张200张变1600张。这里有个细节要注意旋转必须是90度的整数倍。如果你做任意角度的旋转边缘会出现插值造成的模糊而这些模糊本身会被网络当成边缘学进去反而污染训练。90度倍数旋转不涉及插值像素是严格对应的标签图也能同步旋转最干净。至于颜色抖动、高斯噪声这类增强我个人不太推荐用在边缘检测上。因为边缘检测的学习目标就是哪个像素是边界颜色抖动会影响亮度梯度可能把原本清晰的边缘破坏掉标签却没跟着变这就制造了矛盾样本。5. 从概率图到可用边缘阈值化、细化与评估指标的坑5.1 输出的是概率不是边缘这一步千万别忘HED和RCF的输出是每像素0到1的边缘概率要想得到二值化的边缘图必须阈值化。这里有两个思路一个是固定阈值比如0.3或0.5一个是对每张图单独选最优阈值。固定阈值适合做实时系统胜在简单一致。但你会发现在某些图上0.5会把弱边缘全砍掉那张图的召回率就很低。所以评估的时候要用两种指标ODSOptimal Dataset Scale整个数据集用同一个阈值选让F-measure最大的那一个。OISOptimal Image Scale每张图各自选最优阈值。ODS衡量的是一套阈值能不能通用OIS衡量的是模型本身的分辨能力。论文里通常两个都报。如果ODS和OIS差得特别大说明你的模型对阈值的鲁棒性不够实际部署时就有麻烦。5.2 边缘细化要不要做做了会不会更好深度学习出来的边缘通常会比Canny的结果宽一些大概是2到3个像素。如果你下游任务比如轮廓拟合、形状匹配对边缘宽度敏感就得做细化。常见做法有两种一是非极大值抑制和Canny的思路一样沿着梯度方向检查一个像素是不是局部最大不是就压制掉。二是形态学细化用骨架化算法把粗边缘收敛成单像素线。这里有个取舍我得说清楚细化能让边缘变细但会丢掉一部分弱边缘召回率通常会掉。所以评估的时候论文里报的F-measure基本都是未细分化的原始输出。你要是在自己项目里加了细化再对比论文数字会发现怎么都对不上就是这个原因。用MATLAB的话edge函数里的Canny/Sobel是传统方法深度学习模型的输出则直接用imbinarize或im2bw做阈值化就行不需要再走一遍Canny的流程否则相当于做了两次边缘检测反而会漏掉信息。5.3 ODS/OIS之外AP这个指标更值得看除了ODS和OIS还有个指标叫APAverage Precision它衡量的是边缘预测的排序质量。简单说AP看的是模型给出的高概率像素是不是真的是边缘对排序敏感不受阈值影响。我自己的习惯是三个都看ODS和OIS看整体水平AP看模型的置信度排序是否合理。如果一个模型ODS不低但AP明显偏低说明它的概率分布可能被压缩在了某个区间这种模型换到新数据上往往会崩。6. 塞进实时系统轻量化和FPGA部署里的真实取舍6.1 VGG16在嵌入式设备上跑不动这不是夸张VGG16有大约1.38亿个参数HED和RCF都基于它。在桌面GPU上单张图推理大约100到150毫秒勉强算接近实时但放到边缘设备或者FPGA上就是灾难。所以在实际产品里直接照搬论文结构基本行不通必须做轻量化。常见的几条路换backbone把VGG16换成MobileNet或者ResNet的轻量变体参数量能降到原来的十分之一精度通常掉2到4个点。通道剪枝分析每个卷积层通道的重要性砍掉冗余通道再微调恢复精度。定点量化把FP32权重转成INT8模型体积缩到四分之一速度提升2到4倍精度掉通常在1个点以内。6.2 如果只能上FPGA传统算子依然是现实选择有个事实得承认在纯FPGA上实时跑深度学习边缘检测工程量非常大而且往往得不偿失。VGG16的卷积层需要大量乘法器和片上存储即便量化到INT8也很吃BRAM资源。而很多实际场景比如工业质检、车道线检测的粗定位其实不需要那么强的语义能力。所以如果你手上是纯FPGA平台我建议还是走传统算子的硬件流水线Sobel或者Canny的FPGA实现已经很成熟一是行缓存line buffer用几行BRAM把图像缓存起来滑动窗口并行计算避免反复访问外部存储。二是流水级设计把高斯滤波、梯度计算、非极大值抑制、阈值判断做成多级流水每个时钟周期出一个像素吞吐率能轻松做到1080p60fps。三是定点数精度FPGA上浮点资源稀缺通常用16位定点就够梯度幅值计算用平方根近似或者干脆用绝对值求和替代精度损失可以接受。我实际调试FPGA Canny的时候踩过一个坑非极大值抑制的角度量化。图像梯度方向本来是连续角度硬件里通常量化成4个或8个方向。方向量化越粗边缘越容易断裂这个参数需要在资源和效果之间反复调。4方向省资源但断线多8方向效果好但查找表复杂度翻倍我最后一般选8方向。6.3 混合方案低功耗端侧用轻量网络后端做精细处理我见过比较实用的架构是两级前端用轻量模型或者FPGA上的传统算子做粗筛只检测明显的边缘后端在算力充足的服务器上跑完整的HED或者RCF做精细的语义边缘补充。这样既保证了实时性又能在需要的时候拿到高质量边缘。这个方案在自动驾驶的感知预处理里其实挺常见车道线、可行驶区域这些强边缘先在前端快速框出来语义级别的物体轮廓再交给后端慢慢算。当然这套架构的调度和带宽设计本身也是个大工程不是简单把两个模型拼在一起就行。最后分享一个我自己的体会边缘检测这个方向从Prewitt到RCF本质上是在回答同一个问题——什么样的变化才值得我们关注。手工算子回答的是变化有多剧烈HED和RCF回答的是变化有没有意义。理解了这条主线你在看新论文、选方案的时候就不会被一堆结构图和公式绕晕而是能一眼看出它在解决哪个层面上的问题。至于先上哪个我的建议永远是先跑通Canny把数据摸熟再上HED或RCF做语义增强别一上来就冲着最新的结构去那样很可能连数据里的噪声都没搞清楚。
调Canny双阈值调到第三天的时候我承认有点魔怔了。同一组阈值光照好的两张图几乎看不出差别换到一张逆光的建筑照要么屋顶轮廓整条断掉要么墙面砖缝全被画成密密麻麻的碎线。那会儿我才真正想明白一件事边缘检测这道题难的地方从来不是怎么算梯度而是怎么判断一条线到底算不算边缘。传统算子里那个阈值是人拍的而语义边界——比如人脸轮廓、遮挡交界、材质突变——压根不在梯度的强弱上体现它藏在上下文里。HED和RCF就是冲着这件事来的。它们把边缘检测从算子调参变成了特征学习用VGG16这种分类网络的中间层特征去预测每个像素是不是边缘。这篇文章我打算把自己从Prewitt、Sobel一路摸到HED、RCF的经验完整摊开传统算子为什么在Prewitt这一步就埋下了局限HED的整体嵌套结构到底精巧在哪RCF又凭什么在BSDS500上把ODS从0.788推到0.806以及训练、后处理、部署这几个环节里真正会让人卡住的细节。不管你是在做课题、复现论文还是想把边缘检测塞进实际产品里下面的内容应该都能省你几天时间。1. 从Prewitt到Canny手工算子的天花板其实早就写死了1.1 Prewitt的3x3模板一个先平滑再差分的朴素组合很多人第一次接触边缘检测就是背Prewitt的两个卷积核但很少有人停下来看一眼它的结构。水平方向的核是[-1, 0, 1] [-1, 0, 1] [-1, 0, 1]把它拆开看其实等于一个列方向的均值核[1, 1, 1]^T和一个行方向的差分核[-1, 0, 1]做外积。也就是说Prewitt在做差分之前先在垂直于差分的方向上做了一次均值平滑。这就是它比单纯的[-1, 0, 1]差分更稳的原因——均值平滑能压掉一部分高频噪声。但问题也在这它只在一个方向上平滑另一个方向的噪声原封不动地保留。我做过一个很直观的测试给一张纯灰图加椒盐噪声Prewitt出来的结果里横纹特别明显就是因为它在水平方向没有做任何抑制。更关键的是均值核是不加权的中心像素和邻域像素贡献一样大这在真实图像里其实不太合理——离得越近的像素影响应该越大。1.2 Sobel只是把均值换成二项式抗噪就上了一个台阶Sobel的核长这样[-1, 0, 1] [-2, 0, 2] [-1, 0, 1]它和Prewitt唯一的区别是中间那行的权重变成了2。从信号处理的角度看这相当于把平滑核从[1,1,1]换成了[1,2,1]而[1,2,1]是二项式系数逼近高斯核的一阶近似。高斯核在频域上是低通滤波器里过渡带最陡峭的那种所以Sobel在保留边缘的同时把噪声压得更干净。实话说如果只是做简单的工业流水线检测比如传送带上零件有没有缺口Sobel到现在依然是首选因为它快、可控、不需要GPU。但它的天花板同样明显边缘只有一个像素宽方向是离散的8个方向而且没有任何这条边缘重不重要的判断。1.3 Canny补上了非极大值抑制和滞后阈值却把选择权还给了人Canny的贡献是把边缘检测拆成了四步流水线高斯滤波、计算梯度幅值和方向、非极大值抑制、双阈值加滞后连接。前三步是数学上确定性的第四步才是真正的分水岭——它第一次引入了强边缘和弱边缘的概念强边缘直接保留弱边缘只有在和强边缘连通时才保留。这个设计很聪明它让边缘具备了连续性。但致命的点也在这高阈值和低阈值都得人工拍。我统计过自己调参的经验同一个数据集上最优阈值和图像的平均对比度基本是线性相关的也就是说光照一变参数就得重来。更要命的是即使你把阈值调到完美Canny也认不出沙发和地板交界这种靠材质而不是靠亮度区分开的边界。这就是语义边缘的盲区也是HED和RCF后来居上的根本入口。2. HED的核心赌注拿VGG16的五个阶段做深监督侧输出2.1 为什么选VGG16而不是自己搭一个边缘专用网络HEDHolistically-Nested Edge Detection2015年发在ICCV上它最大的取舍就是直接拿一个已经在ImageNet上训练好的VGG16当backbone砍掉全连接层只留五个卷积stage。这个选择在当时其实是有点反直觉的——边缘检测和图像分类看起来八竿子打不着你拿一个认猫认狗的网络去做边缘凭什么道理在于卷积网络的层级结构本身。浅层卷积学到的是类似Gabor滤波器的方向响应这跟Sobel、Prewitt做的事情高度重合而深层卷积学到的是物体部件、语义轮廓。也就是说一个分类网络的中间层天然包含从低级梯度到高级语义的完整谱系而边缘检测恰好需要的正是这个谱系。这就是迁移学习的价值VGG16的第一个stage其实已经是一个训练好的、比手工算子更丰富的边缘滤波器组。提示如果你手上数据量很少几百张从VGG16预训练权重初始化几乎是必须的。从零训练HED在BSDS500的200张训练图上很难收敛到论文精度。2.2 整体和嵌套这两个词到底指什么HED这个名字拆开看很有意思。Holistically指的是端到端——输入原图输出一张和原图同尺寸的边缘概率图中间不需要任何人工设计的后处理步骤图像到图像干净利落。Nested指的是多尺度嵌套——VGG16的五个stage感受野逐级翻倍浅层看到的是局部细节深层看到的是大范围上下文。具体做法是在五个stage的最后一个卷积层后面各接一个侧输出分支side branch这个分支一般是一个1x1卷积把通道数降到1再跟一个反卷积把特征图上采样回原图尺寸。于是你同时得到五张不同尺度的边缘图再加上一个把它们加权融合起来的fusion输出一共六个输出。这个结构的精髓在于深监督deep supervision。六个输出全都参与损失计算也就是说网络不能只靠最后那一张融合图交差每一层的侧输出都必须独立地预测出合理的边缘。这相当于强迫中间层的特征也具备边缘判别能力而不是让它们只做给深层打工的搬运工。2.3 侧输出的加权融合为什么不是简单的平均论文里融合的方式是逐元素加权求和再sigmoid权重初始化为1。听起来跟平均差不多但因为每个侧输出的loss是独立的网络会自动学着调整哪些尺度的贡献更大。实际训练完之后你会发现中间层conv3、conv4对应的stage的权重往往是最大的因为太浅层噪声太多太深层空间分辨率丢得太狠中间的几层在感受野和分辨率之间取得了平衡。我自己的经验是如果你想省事只保留三个侧输出优先留conv2、conv3、conv4对应的stage把conv1和conv5砍掉精度掉得通常不超过1个点但推理速度能快不少。这个取舍在小目标检测的预处理里特别划算。3. RCF把每个卷积层的特征都榨干改进远不止更深3.1 HED的浪费一个stage里只用了最后一层如果你仔细看HED的结构会发现一个明显的浪费VGG16的每个stage里其实有好几层卷积比如stage1有conv1_1和conv1_2两层stage2有conv2_1和conv2_2。HED只用每个stage最后一层的输出接到侧分支上前面那几层的特征直接被丢掉了。RCFRicher Convolutional Features2017年发在CVPR上作者的观察就是每个stage里每一层卷积的特征图都有边缘信息只是尺度和抽象程度不同为什么不全用上这个思路一出来结构就变了——RCF把每个stage内所有卷积层的特征图全部收集起来先各自用1x1卷积降到21通道拼在一起再通过一个融合卷积得到这个stage的侧输出。对比一下两者的character图维度HEDRCF侧输出来源每个stage最后一层每个stage内所有卷积层特征通道处理直接1x1降到1每层降到21再concat跨stage融合带权重逐元素相加带权重逐元素相加损失函数类别平衡交叉熵类别平衡交叉熵忽略不确定像素BSDS500 ODS0.7880.806看这个表就能明白RCF的提升不是靠更深的网络或者更多的数据而是把已有特征的价值榨得更干净。同一个VGG16同样的输入只是改了特征的收集和融合方式ODS就涨了近2个点这在边缘检测这个已经很卷的领域里算是很大的进步了。3.2 21通道这个数字不是随便定的很多人会问为什么每个stage要降到21通道不是16或者32这个数字在RCF论文里有明确交代它是实验调出来的。通道数太少比如8不同层的特征融合时会互相干扰信息被过度压缩通道数太多比如64模型参数上去了精度提升却很有限而且容易过拟合。我复现的时候试过16和3216的ODS大概掉0.5个点32基本持平但显存占用多了一截。所以21这个数其实处在够用且省的甜蜜点上。这种细节在论文里往往一笔带过但你真正上手训练的时候就会发现它挺重要。3.3 RCF对不确定像素的处理才是它涨点的隐藏原因除了结构RCF在损失函数上做了一个很关键的改动。BSDS500这个数据集有个特点每张图由多个标注者独立标注所以同一个像素可能有人标成边缘、有人标成非边缘。HED的处理比较粗暴它基本是非黑即白把所有标注都当成确定标签。RCF的做法更细腻它把标注为边缘的像素当正样本标注为非边缘的当负样本而那些标注者之间有分歧的像素通常标记为0.5直接忽略不计入损失。这个改动看起来不起眼但它避免了网络在本来就说不清的地方被强行拉向某一个答案。我实测过光是加上这个忽略逻辑在BSDS500上的F-measure就能涨0.3到0.5个点。这部分的收益其实比很多人想象的大因为它本质上是在教网络不知道的时候别乱猜这比强行拟合噪声标签要健康得多。4. 训练一个边缘检测网络标注、损失和数据增强里的隐形坑4.1 类别不平衡不是用加权两个字就能解决的边缘像素在整张图里只占很小的比例通常是5%到10%剩下全是背景。如果直接用普通的交叉熵网络很快就会学会全预测成非边缘这个偷懒策略——准确率看着有90%以上但F-measure接近0。HED和RCF用的都是类别平衡的交叉熵正样本的权重β设为|Y-|/|Y|负样本权重设为|Y|/|Y|。翻译成人话就是谁少给谁加权。边缘像素只占5%那它的权重就是0.95背景像素占95%权重就压到0.05。这么一调两类对损失的贡献就平衡了。RCF的损失实现我一般这么写import torch def balanced_bce(pred, label, beta0.95, eps1e-6): # pred: (N,1,H,W) 已经过sigmoid取值0~1 # label: (N,1,H,W) 取值 {0, 0.5, 1}0.5 表示标注不确定忽略 mask_pos (label 1).float() mask_neg (label 0).float() loss_pos -(mask_pos * torch.log(pred eps)).sum() loss_neg -(mask_neg * torch.log(1 - pred eps)).sum() n_pos mask_pos.sum() n_neg mask_neg.sum() loss (beta * loss_pos (1 - beta) * loss_neg) / (n_pos n_neg eps) return loss这里有个坑我得提醒beta不能设成0.5。有人看到类别平衡就下意识以为平衡就是各0.5结果训练出来的边缘图非常糊。原因很简单0.5是按样本数平衡而边缘检测里正样本本来就少网络会倾向于把边界画粗来提升召回。0.9到0.95是比较稳的区间我一般在0.92到0.95之间选。4.2 多尺度侧输出要分别监督别只盯着融合图训练的时候六个输出HED是5个侧输出1个fusionRCF同理都要算loss最后求和或加权求和。我见过有人图省事只对fusion输出算loss结果精度掉得很难看基本白训。原因在于深监督的作用是给中间层提供梯度捷径。如果只对最后那层算loss梯度要一层层回传中间层学到的特征会退化成随便提取点什么反正后面有人收拾。加上侧输出的loss之后每一层都被迫自己把边缘预测做对这在训练初期尤其重要——它能加速收敛也能减轻梯度消失。侧输出的loss权重我一般设成1fusion输出的权重设成1。也见过给fusion更高的权重比如2但我自己试下来差别不明显反而1:1更稳。4.3 数据增强旋转和翻转是性价比最高的两种BSDS500只有200张训练图这点数据量直接训VGG16肯定过拟合。HED和RCF都用了很朴素的增强方式旋转90度、180度、270度加上水平翻转和垂直翻转。这样一张图能变成8张200张变1600张。这里有个细节要注意旋转必须是90度的整数倍。如果你做任意角度的旋转边缘会出现插值造成的模糊而这些模糊本身会被网络当成边缘学进去反而污染训练。90度倍数旋转不涉及插值像素是严格对应的标签图也能同步旋转最干净。至于颜色抖动、高斯噪声这类增强我个人不太推荐用在边缘检测上。因为边缘检测的学习目标就是哪个像素是边界颜色抖动会影响亮度梯度可能把原本清晰的边缘破坏掉标签却没跟着变这就制造了矛盾样本。5. 从概率图到可用边缘阈值化、细化与评估指标的坑5.1 输出的是概率不是边缘这一步千万别忘HED和RCF的输出是每像素0到1的边缘概率要想得到二值化的边缘图必须阈值化。这里有两个思路一个是固定阈值比如0.3或0.5一个是对每张图单独选最优阈值。固定阈值适合做实时系统胜在简单一致。但你会发现在某些图上0.5会把弱边缘全砍掉那张图的召回率就很低。所以评估的时候要用两种指标ODSOptimal Dataset Scale整个数据集用同一个阈值选让F-measure最大的那一个。OISOptimal Image Scale每张图各自选最优阈值。ODS衡量的是一套阈值能不能通用OIS衡量的是模型本身的分辨能力。论文里通常两个都报。如果ODS和OIS差得特别大说明你的模型对阈值的鲁棒性不够实际部署时就有麻烦。5.2 边缘细化要不要做做了会不会更好深度学习出来的边缘通常会比Canny的结果宽一些大概是2到3个像素。如果你下游任务比如轮廓拟合、形状匹配对边缘宽度敏感就得做细化。常见做法有两种一是非极大值抑制和Canny的思路一样沿着梯度方向检查一个像素是不是局部最大不是就压制掉。二是形态学细化用骨架化算法把粗边缘收敛成单像素线。这里有个取舍我得说清楚细化能让边缘变细但会丢掉一部分弱边缘召回率通常会掉。所以评估的时候论文里报的F-measure基本都是未细分化的原始输出。你要是在自己项目里加了细化再对比论文数字会发现怎么都对不上就是这个原因。用MATLAB的话edge函数里的Canny/Sobel是传统方法深度学习模型的输出则直接用imbinarize或im2bw做阈值化就行不需要再走一遍Canny的流程否则相当于做了两次边缘检测反而会漏掉信息。5.3 ODS/OIS之外AP这个指标更值得看除了ODS和OIS还有个指标叫APAverage Precision它衡量的是边缘预测的排序质量。简单说AP看的是模型给出的高概率像素是不是真的是边缘对排序敏感不受阈值影响。我自己的习惯是三个都看ODS和OIS看整体水平AP看模型的置信度排序是否合理。如果一个模型ODS不低但AP明显偏低说明它的概率分布可能被压缩在了某个区间这种模型换到新数据上往往会崩。6. 塞进实时系统轻量化和FPGA部署里的真实取舍6.1 VGG16在嵌入式设备上跑不动这不是夸张VGG16有大约1.38亿个参数HED和RCF都基于它。在桌面GPU上单张图推理大约100到150毫秒勉强算接近实时但放到边缘设备或者FPGA上就是灾难。所以在实际产品里直接照搬论文结构基本行不通必须做轻量化。常见的几条路换backbone把VGG16换成MobileNet或者ResNet的轻量变体参数量能降到原来的十分之一精度通常掉2到4个点。通道剪枝分析每个卷积层通道的重要性砍掉冗余通道再微调恢复精度。定点量化把FP32权重转成INT8模型体积缩到四分之一速度提升2到4倍精度掉通常在1个点以内。6.2 如果只能上FPGA传统算子依然是现实选择有个事实得承认在纯FPGA上实时跑深度学习边缘检测工程量非常大而且往往得不偿失。VGG16的卷积层需要大量乘法器和片上存储即便量化到INT8也很吃BRAM资源。而很多实际场景比如工业质检、车道线检测的粗定位其实不需要那么强的语义能力。所以如果你手上是纯FPGA平台我建议还是走传统算子的硬件流水线Sobel或者Canny的FPGA实现已经很成熟一是行缓存line buffer用几行BRAM把图像缓存起来滑动窗口并行计算避免反复访问外部存储。二是流水级设计把高斯滤波、梯度计算、非极大值抑制、阈值判断做成多级流水每个时钟周期出一个像素吞吐率能轻松做到1080p60fps。三是定点数精度FPGA上浮点资源稀缺通常用16位定点就够梯度幅值计算用平方根近似或者干脆用绝对值求和替代精度损失可以接受。我实际调试FPGA Canny的时候踩过一个坑非极大值抑制的角度量化。图像梯度方向本来是连续角度硬件里通常量化成4个或8个方向。方向量化越粗边缘越容易断裂这个参数需要在资源和效果之间反复调。4方向省资源但断线多8方向效果好但查找表复杂度翻倍我最后一般选8方向。6.3 混合方案低功耗端侧用轻量网络后端做精细处理我见过比较实用的架构是两级前端用轻量模型或者FPGA上的传统算子做粗筛只检测明显的边缘后端在算力充足的服务器上跑完整的HED或者RCF做精细的语义边缘补充。这样既保证了实时性又能在需要的时候拿到高质量边缘。这个方案在自动驾驶的感知预处理里其实挺常见车道线、可行驶区域这些强边缘先在前端快速框出来语义级别的物体轮廓再交给后端慢慢算。当然这套架构的调度和带宽设计本身也是个大工程不是简单把两个模型拼在一起就行。最后分享一个我自己的体会边缘检测这个方向从Prewitt到RCF本质上是在回答同一个问题——什么样的变化才值得我们关注。手工算子回答的是变化有多剧烈HED和RCF回答的是变化有没有意义。理解了这条主线你在看新论文、选方案的时候就不会被一堆结构图和公式绕晕而是能一眼看出它在解决哪个层面上的问题。至于先上哪个我的建议永远是先跑通Canny把数据摸熟再上HED或RCF做语义增强别一上来就冲着最新的结构去那样很可能连数据里的噪声都没搞清楚。
