做语义分割这半年多我最大的感受是很多人把 DeepLab 当成一个刷点的黑盒模型跑通开源代码、在一两个数据集上出了 mIoU 就开始调参。但一旦把任务换成自定义数据集比如遥感语义分割、医疗影像或者工业缺陷分割就会发现原来的配置完全不顶用。DeepLab 系列恰恰是所有现代语义分割模型里最值得从头到尾吃透的一条主线因为它的每次迭代都对应一个非常明确的问题——多尺度物体、边界保持、特征分辨率与感受野的平衡。这篇 Day 32 的复盘我想从语义分割的本质难点讲起把空洞卷积、ASPP、Decoder 的设计逻辑和训练细节拆开揉碎最后聊一聊我把它迁移到实际项目中踩过的坑和最终沉淀下来的一套靠谱流程。这篇文章不是什么泛泛的技术综述而是基于我自己在 Pascal VOC、Cityscapes 和两个非公开工业数据集上的完整复现经验。适合已经在用分割模型、但对 DeepLab 系列内部原理还比较模糊的读者或者正准备从分类任务转向分割任务、想系统理解模型演进的从业者。看完之后你可以清楚地知道DeepLab 每一代到底改了什么、为什么这么改、迁移到自己的数据时应该保留什么、放弃什么。1. 语义分割的难点到底卡在哪个环节1.1 分类、检测与分割的任务本质差异图像分类只需要回答这张图里有什么检测需要回答有什么、在哪而语义分割要回答的是每一个像素属于哪个类别。看起来只是输出粒度变细了但内部牵扯的问题完全不一样。分类模型天然对空间平移有容忍度猫从左上角移到右下角预测结果不变分割不行每个像素的类别都依赖上下文。检测模型对物体中心敏感、对边界相对粗糙bounding box 稍微偏几个像素可能并不影响检测精度分割却对边界像素极其敏感边界区域的 IoU 掉下来整体 mIoU 就会被拖得很明显。所以当你用分类任务的惯性思维去理解分割时很容易犯一个错误认为主干网络越深越好。实际上分割是一个既需要语义信息、又需要空间信息的任务。深层网络经过多次池化/步幅卷积后感受野大了、语义抽象能力强了但特征图分辨率小了边界细节被抹平。浅层特征虽然分辨率高但噪声大、语义信息弱。所有分割网络设计本质上都在解决同一个问题如何让深层语义特征在空间维度上重新长回来。1.2 三个关键因素边界、尺度、感受野我对大量分割错误样本做过统计发现错误基本集中在三种类型边界误差物体和背景交界处模型预测出的轮廓比真实标注膨胀或收缩 2~5 个像素。这类误差在 mIoU 上会带来稳定的几个百分点损失但对肉眼来说可能并不明显。尺度误差同一类别在图像中大小差异很大。比如道路在大尺寸下能正确分割缩小到占图像 5% 的区域时就被漏掉。这是多尺度问题的典型体现。感受野不足某些类别的判定强依赖上下文。比如瓶子必须结合餐桌或柜台才能准确识别如果感受野仅仅覆盖瓶子本身模型很容易把瓶身和背景混淆。DeepLab 系列的核心贡献就是围绕感受野和尺度问题给出了一套系统的解法用空洞卷积在不大幅降低分辨率的前提下扩大感受野用 ASPP 在多个膨胀率上并行采样来覆盖不同尺度再用一个轻量解码器把深层语义和浅层边界信息结合起来。1.3 评估指标mIoU 为什么比 Pixel Accuracy 更可信很多刚接触分割的读者上来就盯着 pixel accuracy 看觉得 95% 以上很厉害。但实际上在大多数分割数据集里背景像素占比经常超过 80%哪怕模型把所有物体全预测成背景pixel accuracy 依然很高。mIoU 的计算方式是对每个类别计算预测与真实的交集除以并集然后对所有类别取平均。这个指标天然对类别不均衡不敏感某个类被漏掉会直接让对应类别的 IoU 变成 0从而真实反映模型的结构性缺陷。不过 mIoU 也不完美。它对所有类别一视同仁而在实际业务里我们往往更关心某些关键类别的 IoU。比如在自动驾驶场景中行人类和骑车人类的权重就应该比天空建筑更高。所以我在实际项目中一般会同时看 mIoU、每类 IoU、以及边界 IoUBoundary IoU三个指标前两者反映整体性能后者专门衡量边界质量。2. 空洞卷积DeepLab 系列最核心的一次设计决策2.1 空洞卷积的计算逻辑与感受野公式空洞卷积Atrous Convolution也叫膨胀卷积在普通卷积核的元素之间插入空洞使得卷积核在不增加参数量的情况下覆盖更大的区域。一个膨胀率为 r 的 k×k 卷积核等效核尺寸为K k (k - 1) × (r - 1)比如 3×3 卷积核、膨胀率 r2等效于 5×5 卷积核的感受野但参数量仍然是 9 个。感受野的递推关系可以简单理解为每一层新引入的额外感受野等于该层等效核尺寸减 1再乘以前面各层步幅的累积。所以空洞卷积的核心价值就是在不引入额外参数、不降低特征图分辨率的前提下直接扩大感受野。这个性质对分割太重要了。分类网络通常用池化 大步幅卷积来快速扩大感受野但每次下采样都会丢掉一部分空间信息。虽然可以通过上采样恢复到原尺寸但丢失的细节不会回来。空洞卷积让网络可以在保持 8 倍或 16 倍下采样率的条件下让高层的有效感受野大幅增加这是 FCN 时代做不到的。2.2 为什么不是简单地把网络变深或把输入变大有人可能会问想要更大感受野直接把 ResNet 从 50 层加到 152 层行不行当然行但收益会递减。加深网络会增加大量参数和计算量而且深层特征图已经很抽象在分割这类 dense prediction 任务中单纯的深度增加不如有针对性地放大感受野。另一个朴素的思路是把输入图像放大让物体在像素空间里显得更大。这个思路有用但代价是 GPU 显存和计算量呈平方级增长。Cityscapes 原始分辨率已经到 1024×2048再放大 1.5 倍很多显卡直接就跑不动了。空洞卷积是在计算量不膨胀的情况下扩大网络的有效视野属于花小钱办大事。2.3 空洞卷积的陷阱网格伪影与膨胀率选择空洞卷积也不是万无一失。膨胀率取得过大卷积核的采样点之间距离太远中间区域的像素根本没有被覆盖特征图会出现类似网格的伪影gridding artifacts尤其当多个空洞卷积层串联时这个效应会被放大。典型例子是如果连续多层都使用 rate2网络会丢失某些方向上的高频信息最终预测结果出现规律的条纹状噪声。解决方案一般是两种。一种是让膨胀率随着层数递增比如 1、2、4、8 这样设计保证不同层之间能够互相弥补采样空洞。另一种是 DeepLab v3 中提出的多网格multi-grid策略在同一个残差块里对三个 3×3 卷积分别设置不同的膨胀率倍数例如 [1, 2, 4] 的倍数乘以基础 rate形成更丰富的感受野组合。我在实际实验中也验证了直接把所有层都设成同一个大膨胀率mIoU 往往不如使用多网格而且训练收敛更慢。3. 从 v1 到 v3DeepLab 四代演进各自在解决什么问题3.1 v1 与 v2从空洞卷积到 ASPP 的诞生DeepLab v1 的核心动作有两个第一把预训练的分类网络VGG-16最后两个下采样层的步幅去掉用空洞卷积保持分辨率第二在输出端接入全连接条件随机场CRF做边界修正。当时设计者的直觉是DCNN 的预测图在边界区域往往过于平滑CRF 可以让相似的像素倾向于同一类别从而收紧边界。这个思路在当时确实有效在 PASCAL VOC 2012 上取得了不错的分数。DeepLab v2 最重要的贡献是提出了 ASPPAtrous Spatial Pyramid Pooling。作者意识到单一膨胀率只能覆盖一个尺度范围于是用多个膨胀率不同的空洞卷积并行处理同一个特征图再把结果融合。v2 里默认的膨胀率是 6、12、18、24配合 VGG-16 或 ResNet-101 作为骨干。ASPP 的思想影响了后来一系列分割模型包括 PSPNet 的空间金字塔池化本质上都是在做多尺度上下文采样。3.2 v3去掉 CRF加入图像级特征到了 DeepLab v3作者做了一个反直觉的决策把 CRF 完全去掉。原因是随着骨架网络变强和 ASPP 的完善模型自身已经能够学到边界保持能力CRF 这类后处理带来的边际收益越来越低而它带来的推理耗时和实现复杂度却不小。另一个关键改动是在 ASPP 中加入了一个全局平均池化分支把整张特征图池化成 1×1再通过 1×1 卷积恢复通道数并上采样回原尺寸。这一支在数学上等价于让网络看到整张图像的全局信息对判定这张图像整体是什么场景非常有帮助。v3 把输出步幅output stride这个概念正式推到台前。output stride 指的是输入图像分辨率与最终特征图分辨率的比值。v3 默认用 OS16推理时可以切成 OS8配合不同膨胀率的调整精度会有提升但显存占用明显增加。这一步其实是在分辨率和感受野之间做一个动态权衡。3.3 v3浅层特征回归解码器补位v3 的改动看起来很小但对精度的提升非常关键。v3 的 ASPP 输出直接上采样到原图尺寸这样的缺点是深层特征虽然语义强但边界信息不足。v3 引入了一个轻量解码器把 backbone 中较低层比如 ResNet-101 的 conv2 或 Xception 的 entry flow 输出先做 1×1 卷积降通道再与上采样 4 倍后的主干输出拼接之后经过几个 3×3 卷积融合最后上采样 4 倍得到预测。这个解码器让浅层的结构信息和深层的语义信息真正发生了交互边界质量提升明显。同时 v3 把骨干网络从 ResNet 扩展到改良版 Xception 和 MobileNet v2前者面向高精度场景后者面向实时移动端场景。我个人的经验是Xception 作为 backbone 时 DeepLab v3 在 Cityscapes 上的效果确实比 ResNet-101 好但显存占用和训练时间也水涨船高在没有足够算力的情况下ResNet-50/101 仍然是更稳的选择。版本核心改动关键创新是否用CRFv1空洞卷积替换下采样不降分辨率扩大感受野是v2提出ASPP多膨胀率并行提取多尺度是v3ASPP加入全局池化多网格移除CRFcontext建模更强否v3增加解码器浅层特征融合支持MobileNet/Xception否4. DeepLab v3 的网络设计拆解4.1 编码器主流程从输入到 OS16 的特征图整个 v3 模型可以分成两段。编码器部分先用一个带空洞卷积的深度 CNN 从输入图像提取特征输出步幅通常是 16。然后特征进入 ASPP四个并行分支——1×1 卷积、膨胀率 6/12/18 的 3×3 空洞卷积、以及全局平均池化分支——每个分支都输出相同通道数通常是 256再拼接到一起通过一个 1×1 卷积压缩通道。ASPP 的输入通道如果是 2048ResNet-101 最后一层这个 1×1 卷积会把通道数降到 256控制解码器计算量。这里有一个关键工程点全局平均池化分支的输出需要上采样回输入特征图的尺寸才能和其他分支拼接。在 PyTorch 里直接调用F.interpolate就行但要在训练时注意如果用了多尺度训练这个上采样的尺寸必须动态计算不能写死。4.2 解码器的具体融合策略解码器部分取 backbone 中比较浅的一层特征通常是对应 OS4 的那一层。在 ResNet 里对应第一个残差阶段输出在 Xception 里对应 entry flow 的中间层。由于这个特征层通道数可能很大例如 256 或 512直接用会影响解码器效率所以先过一个 1×1 卷积降到 48 通道。然后把 ASPP 的输出先上采样 4 倍和降维后的浅层特征在通道维度拼接再用两个 3×3 卷积融合最后上采样 4 倍输出预测。我在复现时发现浅层特征降维的通道数从 48 改成 64在 Cityscapes 上 mIoU 会高零点几个点但解码器计算量也随之增加。这个参数不算敏感但也不建议设得太大否则解码器会逐渐变成主计算负担。4.3 Backbone 选择ResNet、Xception 与轻量选项带空洞卷积的 ResNet 是最常见的组合成熟稳定各类预训练权重好找。Xception 作为 backbone 的 v3 在原始论文中针对 Cityscapes 做了大量结构微调包括在 entry flow 中加更多下采样、把中间 flow 的重复次数从 8 调到 16 等表格里记录了很多细节。但 Xception 在 ImageNet 上的预训练权重不如 ResNet 普及如果你自己训练需要更多数据才能收敛。MobileNet v2 作为 backbone 则明显偏向实时场景计算量小适合在嵌入式设备或移动端部署。MobileNet v2 的 DeepLab v3 在 Cityscapes 上大概能到 72~75 mIoU虽然不及 ResNet-101 的 80但推理速度可以做到实时。实际选型时我通常按这个标准判断显存充足、追求精度选 ResNet-101 或 Xception显存有限或追求实时选 ResNet-50移动端选 MobileNet v2 并配合 INT8 量化。5. 训练与调优那些让 mIoU 死活上不去的细节5.1 Batch Size、SyncBN 与学习率的关系分割任务对显存需求量非常大尤其当输入分辨率达到 513×513 甚至更大时单卡 11GB 显存可能只够放 4~8 张图。而 DeepLab 系列的 backbone 在 ImageNet 预训练时用的是 BatchNorm微调时如果 batch size 太小BN 的均值和方差估计会很不稳定训练过程波动大、最终精度上不去。可靠的解法有两个方向。第一是开启跨卡同步 BNSyncBN在 PyTorch 里封装一个torch.nn.SyncBatchNorm.convert_sync_batchnorm把模型的普通 BN 全部转成同步版本。这个操作在多卡训练时几乎是必须的实测下来 batch size 从 8 提到 16Cityscapes 上的 mIoU 能稳定提升 1~2 个点。第二是如果只有单卡、显存又不够大就不要勉强加大 batch size而是考虑冻结 backbone 前面的 BN 层只更新后面的参数或者使用 GroupNorm 替换 BN——虽然 GroupNorm 会带来少量精度损失但至少训练过程不会因为 batch size 过小而出 NaN。学习率的设置也直接影响收敛。DeepLab 系列一般使用 poly 学习率衰减策略公式是当前学习率 初始学习率 × (1 - iter/total_iter)^power其中 power 取 0.9。这个策略比固定学习率、步进衰减都要稳后期收敛更细腻。初始学习率我常用 0.007 配合 batch size 16如果 batch size 减半学习率也建议相应减半否则容易在训练初期震荡。5.2 损失函数与类别不平衡处理多数分割任务直接用交叉熵损失简单有效。但类别不平衡严重时比如背景占 90% 以上、目标类别占不到 1%交叉熵会让模型学到全部预测为背景这种偷懒解。我踩过这个坑一个工业缺陷数据集里缺陷像素占比不到 0.5%第一版模型 mIoU 看起来正常但查看每类 IoU 才发现缺陷类几乎没被预测出来。两种常用的修正方式是加权交叉熵和在线困难样本挖掘OHEM。加权交叉熵的关键是权重怎么给简单按样本频率反比通常会矫枉过正我一般会对权重做平方根压缩比如权重 (总像素数 / 该类像素数)^0.5再归一化。OHEM 的思路更直接每个 batch 计算所有像素的 loss只保留 loss 最高的 K 个像素回传梯度这样模型把精力集中在最难的区域。OHEM 在类别不平衡场景下的表现通常优于加权 CE但它需要额外实现且对噪声标注更敏感。如果业务场景对边界要求高还可以考虑在损失函数中加入边界损失项比如 Lovász-Softmax 或者边界感知的损失。不过这些损失通常不会单独使用而是和交叉熵加权求和系数从 0.1 到 1.0 不等需要在小验证集上多试几组。5.3 数据增强不止是翻转和裁剪分割任务里的数据增强需要考虑一个特殊约束图像和标签必须做完全相同的空间变换。常用的组合包括随机水平翻转、随机缩放0.5~2.0 倍、随机裁剪、随机旋转以及颜色抖动只作用于图像。随机缩放特别重要因为它能为模型提供多尺度的训练样本缓解尺度变化问题。但要注意缩放之后标签如果用了最近邻插值边界会出现锯齿我通常把标签先缩放成 float再用最近邻或整数化处理避免引入额外噪声。还有一个容易被忽略的参数是裁剪尺寸。很多人直接用 513×513但如果你在 Cityscapes 这种大图上做验证会发现在 513×513 裁剪下训练的模型对远处小物体分割效果不好。我后来把裁剪尺寸提高到 769×769mIoU 提升非常明显但训练显存和时间也几乎翻倍。实际项目里裁剪尺寸需要和标签中小物体占比做权衡小物体多、要求精细尽量用大裁剪尺寸资源有限就通过多尺度推理在推理阶段找补回来。5.4 推理阶段的隐藏加成多尺度推理与翻转DeepLab v3 在推理阶段有一个几乎无损的加分操作多尺度推理multi-scale inference。具体做法是把输入图像缩放到多个尺度比如原图的 0.5、0.75、1.0、1.25、1.75 倍分别输入模型得到概率图再上采样到原始尺寸取平均作为最终预测。这个操作在 Cityscapes 上通常能提升 1~2 个 mIoU在 Pascal VOC 上提升也稳定。另一个叠加项是水平翻转推理把原图和翻转后的图分别推理概率做平均。这两个技巧叠加的收益是正相关的代价是推理时间乘以 5~10 倍。线上服务如果对延迟敏感需要自己权衡离线评测时这招非常好使。关于 CRF 后处理我的结论很明确如果用 DeepLab v3不需要再用 CRF。v3 之后模型本身的边界已经足够好CRF 带来的提升在 0.1~0.3 个 mIoU 左右但实现复杂、调参繁琐、推理时间增加明显不值得。真正的边界提升应该从解码器和损失函数设计中去要而不是靠后处理。6. 落地到自己的数据集从 Pascal VOC 到自定义场景的完整流程6.1 预训练权重与数据格式的统一迁移学习是分割项目的最优起点。我在新项目里一定先从 Pascal VOC 或 COCO 上预训练过的 DeepLab v3 权重开始然后微调自己的数据集。但这里有个细节Pascal VOC 预训练模型最后分类层的类别数是 21含背景你的任务可能是 5 类或 10 类所以最后一层必须随机初始化。前几轮训练建议把 backbone 的学习率调低比如为主干学习率的 0.1 倍或者干脆冻结 backbone 只训练解码头等损失降下来一点后再解冻所有层这样一个流程走下来收敛速度比全部随机初始化快很多最终精度也更高。数据格式这一关也容易出错。语义分割的标签通常是单通道 PNG 或索引色 PNG每个像素的值代表类别 ID而不是 RGB 值。如果你的数据是 JPEG 格式的彩色标注需要先转成单通道索引图。还要注意打标签工具导出的类别 ID 可能不连续比如只有 0、1、5需要手动重映射为 0、1、2否则训练的类别数和实际类别数对不上损失函数直接报错。6.2 从零复现 DeepLab v3 的配置参考下面是我在 PyTorch 上跑通的一个参考配置适用于 8 卡环境、Cityscapes 级别的数据量。如果你用单卡可以把 batch size 降到 4~8学习率相应减半。骨干网络ResNet-101ImageNet 预训练输出步幅训练时 OS16测试时 OS8输入裁剪769×769Batch size168 卡 × 2优化器SGDmomentum0.9weight decay1e-4学习率初始 0.01poly 衰减 power0.9训练轮数60K iter数据增强随机翻转、随机缩放 [0.5, 2.0]、随机裁剪、颜色抖动损失交叉熵 辅助损失权重 0.4这个配置在 Cityscapes 验证集上可以复现出 77~79 mIoU和论文里的报告值差距不大。如果你想把精度推到 80就需要换成 Xception backbone、更大 batch、更长训练轮数以及深监督中更精细的损失权重。6.3 结果观察与常见失败模式训练过程中我建议保存 checkpoint 的同时记录验证集 mIoU、每个类别的 IoU 和 loss 曲线。不要只盯整体 mIoU因为某个稀有类别的 IoU 波动能提前暴露问题。最常见的情况是训练后期整体 mIoU 还在涨但某个小类别 IoU 突然掉到 0这往往是学习率过大导致模型在类别边界区域震荡或者该类别样本太少被模型忽略。遇到这种情况我会检查训练集中该类别的像素占比如果确实过少优先考虑 OHEM 或加权损失而不是盲目调学习率。另一个容易踩的坑是标签边界噪声。分割模型的预测边界质量很多时候取决于训练标签的标注精度。如果你发现验证集上边界 IoU 一直上不去先不要怀疑网络结构打开几十张训练图像的标注在原图上叠加查看看边界是否偏移了 2~3 个像素。我做过一个实验把一个数据集的标注边界人为腐蚀一个像素mIoU 掉了将近 1 个点而这个过程完全可以通过更仔细的标注规范来避免。6.4 有没有必要换更新的模型每次做完一个 DeepLab v3 项目总有人问我现在 SegFormer、Mask2Former 都有了还有必要学 DeepLab 吗我的看法是必要。DeepLab 系列代表的是卷积网络在密集预测任务上做到极致的完整思路空洞卷积、ASPP、解码器这些设计在今天很多新模型里依然以变体的形式存在。SegFormer 用 Transformer 的自注意力替代了部分上下文建模但它在 Cityscapes 上效果好很大程度是因为它引入了分层 Transformer 结构和重叠 patch embedding而这些设计解决的多尺度问题和 ASPP 想解决的问题是同源的。Mask2Former 则把分割任务彻底改成了 mask 分类框架输出的表达形式和损失函数都和 DeepLab 完全不同但这种范式更适合通用分割在单类小目标分割这种任务里不一定比调优好的 DeepLab v3 强。从工程落地角度DeepLab v3 仍然是一个非常强力的 baseline。它显存占用可控、推理速度快、预训练权重丰富、部署生态成熟OpenMMLab、TensorFlow、ONNX 都有现成实现。我做项目时的习惯是新任务来了先用 DeepLab v3 跑一版拿到可靠 baseline再去尝试更新模型。如果新模型比 v3 提升不到 1 个 mIoU但推理时间多了 3 倍、显存占用翻倍那我大概率不会换。最后再分享一个我自己的操作习惯每到一个新的分割数据集我不会急着训练完整模型而是先做一次标签可视化检查把训练集里每一类像素的分布直方图画出来再在图上叠加标注看边界质量。这个检查通常只需要半小时但能避免后面好几个小时的无效调参。DeepLab 系列的每一个设计模块本质上都是在和各种形式的数据问题做对抗把数据和模型的关系理顺了mIoU 自然会上去。
做语义分割这半年多我最大的感受是很多人把 DeepLab 当成一个刷点的黑盒模型跑通开源代码、在一两个数据集上出了 mIoU 就开始调参。但一旦把任务换成自定义数据集比如遥感语义分割、医疗影像或者工业缺陷分割就会发现原来的配置完全不顶用。DeepLab 系列恰恰是所有现代语义分割模型里最值得从头到尾吃透的一条主线因为它的每次迭代都对应一个非常明确的问题——多尺度物体、边界保持、特征分辨率与感受野的平衡。这篇 Day 32 的复盘我想从语义分割的本质难点讲起把空洞卷积、ASPP、Decoder 的设计逻辑和训练细节拆开揉碎最后聊一聊我把它迁移到实际项目中踩过的坑和最终沉淀下来的一套靠谱流程。这篇文章不是什么泛泛的技术综述而是基于我自己在 Pascal VOC、Cityscapes 和两个非公开工业数据集上的完整复现经验。适合已经在用分割模型、但对 DeepLab 系列内部原理还比较模糊的读者或者正准备从分类任务转向分割任务、想系统理解模型演进的从业者。看完之后你可以清楚地知道DeepLab 每一代到底改了什么、为什么这么改、迁移到自己的数据时应该保留什么、放弃什么。1. 语义分割的难点到底卡在哪个环节1.1 分类、检测与分割的任务本质差异图像分类只需要回答这张图里有什么检测需要回答有什么、在哪而语义分割要回答的是每一个像素属于哪个类别。看起来只是输出粒度变细了但内部牵扯的问题完全不一样。分类模型天然对空间平移有容忍度猫从左上角移到右下角预测结果不变分割不行每个像素的类别都依赖上下文。检测模型对物体中心敏感、对边界相对粗糙bounding box 稍微偏几个像素可能并不影响检测精度分割却对边界像素极其敏感边界区域的 IoU 掉下来整体 mIoU 就会被拖得很明显。所以当你用分类任务的惯性思维去理解分割时很容易犯一个错误认为主干网络越深越好。实际上分割是一个既需要语义信息、又需要空间信息的任务。深层网络经过多次池化/步幅卷积后感受野大了、语义抽象能力强了但特征图分辨率小了边界细节被抹平。浅层特征虽然分辨率高但噪声大、语义信息弱。所有分割网络设计本质上都在解决同一个问题如何让深层语义特征在空间维度上重新长回来。1.2 三个关键因素边界、尺度、感受野我对大量分割错误样本做过统计发现错误基本集中在三种类型边界误差物体和背景交界处模型预测出的轮廓比真实标注膨胀或收缩 2~5 个像素。这类误差在 mIoU 上会带来稳定的几个百分点损失但对肉眼来说可能并不明显。尺度误差同一类别在图像中大小差异很大。比如道路在大尺寸下能正确分割缩小到占图像 5% 的区域时就被漏掉。这是多尺度问题的典型体现。感受野不足某些类别的判定强依赖上下文。比如瓶子必须结合餐桌或柜台才能准确识别如果感受野仅仅覆盖瓶子本身模型很容易把瓶身和背景混淆。DeepLab 系列的核心贡献就是围绕感受野和尺度问题给出了一套系统的解法用空洞卷积在不大幅降低分辨率的前提下扩大感受野用 ASPP 在多个膨胀率上并行采样来覆盖不同尺度再用一个轻量解码器把深层语义和浅层边界信息结合起来。1.3 评估指标mIoU 为什么比 Pixel Accuracy 更可信很多刚接触分割的读者上来就盯着 pixel accuracy 看觉得 95% 以上很厉害。但实际上在大多数分割数据集里背景像素占比经常超过 80%哪怕模型把所有物体全预测成背景pixel accuracy 依然很高。mIoU 的计算方式是对每个类别计算预测与真实的交集除以并集然后对所有类别取平均。这个指标天然对类别不均衡不敏感某个类被漏掉会直接让对应类别的 IoU 变成 0从而真实反映模型的结构性缺陷。不过 mIoU 也不完美。它对所有类别一视同仁而在实际业务里我们往往更关心某些关键类别的 IoU。比如在自动驾驶场景中行人类和骑车人类的权重就应该比天空建筑更高。所以我在实际项目中一般会同时看 mIoU、每类 IoU、以及边界 IoUBoundary IoU三个指标前两者反映整体性能后者专门衡量边界质量。2. 空洞卷积DeepLab 系列最核心的一次设计决策2.1 空洞卷积的计算逻辑与感受野公式空洞卷积Atrous Convolution也叫膨胀卷积在普通卷积核的元素之间插入空洞使得卷积核在不增加参数量的情况下覆盖更大的区域。一个膨胀率为 r 的 k×k 卷积核等效核尺寸为K k (k - 1) × (r - 1)比如 3×3 卷积核、膨胀率 r2等效于 5×5 卷积核的感受野但参数量仍然是 9 个。感受野的递推关系可以简单理解为每一层新引入的额外感受野等于该层等效核尺寸减 1再乘以前面各层步幅的累积。所以空洞卷积的核心价值就是在不引入额外参数、不降低特征图分辨率的前提下直接扩大感受野。这个性质对分割太重要了。分类网络通常用池化 大步幅卷积来快速扩大感受野但每次下采样都会丢掉一部分空间信息。虽然可以通过上采样恢复到原尺寸但丢失的细节不会回来。空洞卷积让网络可以在保持 8 倍或 16 倍下采样率的条件下让高层的有效感受野大幅增加这是 FCN 时代做不到的。2.2 为什么不是简单地把网络变深或把输入变大有人可能会问想要更大感受野直接把 ResNet 从 50 层加到 152 层行不行当然行但收益会递减。加深网络会增加大量参数和计算量而且深层特征图已经很抽象在分割这类 dense prediction 任务中单纯的深度增加不如有针对性地放大感受野。另一个朴素的思路是把输入图像放大让物体在像素空间里显得更大。这个思路有用但代价是 GPU 显存和计算量呈平方级增长。Cityscapes 原始分辨率已经到 1024×2048再放大 1.5 倍很多显卡直接就跑不动了。空洞卷积是在计算量不膨胀的情况下扩大网络的有效视野属于花小钱办大事。2.3 空洞卷积的陷阱网格伪影与膨胀率选择空洞卷积也不是万无一失。膨胀率取得过大卷积核的采样点之间距离太远中间区域的像素根本没有被覆盖特征图会出现类似网格的伪影gridding artifacts尤其当多个空洞卷积层串联时这个效应会被放大。典型例子是如果连续多层都使用 rate2网络会丢失某些方向上的高频信息最终预测结果出现规律的条纹状噪声。解决方案一般是两种。一种是让膨胀率随着层数递增比如 1、2、4、8 这样设计保证不同层之间能够互相弥补采样空洞。另一种是 DeepLab v3 中提出的多网格multi-grid策略在同一个残差块里对三个 3×3 卷积分别设置不同的膨胀率倍数例如 [1, 2, 4] 的倍数乘以基础 rate形成更丰富的感受野组合。我在实际实验中也验证了直接把所有层都设成同一个大膨胀率mIoU 往往不如使用多网格而且训练收敛更慢。3. 从 v1 到 v3DeepLab 四代演进各自在解决什么问题3.1 v1 与 v2从空洞卷积到 ASPP 的诞生DeepLab v1 的核心动作有两个第一把预训练的分类网络VGG-16最后两个下采样层的步幅去掉用空洞卷积保持分辨率第二在输出端接入全连接条件随机场CRF做边界修正。当时设计者的直觉是DCNN 的预测图在边界区域往往过于平滑CRF 可以让相似的像素倾向于同一类别从而收紧边界。这个思路在当时确实有效在 PASCAL VOC 2012 上取得了不错的分数。DeepLab v2 最重要的贡献是提出了 ASPPAtrous Spatial Pyramid Pooling。作者意识到单一膨胀率只能覆盖一个尺度范围于是用多个膨胀率不同的空洞卷积并行处理同一个特征图再把结果融合。v2 里默认的膨胀率是 6、12、18、24配合 VGG-16 或 ResNet-101 作为骨干。ASPP 的思想影响了后来一系列分割模型包括 PSPNet 的空间金字塔池化本质上都是在做多尺度上下文采样。3.2 v3去掉 CRF加入图像级特征到了 DeepLab v3作者做了一个反直觉的决策把 CRF 完全去掉。原因是随着骨架网络变强和 ASPP 的完善模型自身已经能够学到边界保持能力CRF 这类后处理带来的边际收益越来越低而它带来的推理耗时和实现复杂度却不小。另一个关键改动是在 ASPP 中加入了一个全局平均池化分支把整张特征图池化成 1×1再通过 1×1 卷积恢复通道数并上采样回原尺寸。这一支在数学上等价于让网络看到整张图像的全局信息对判定这张图像整体是什么场景非常有帮助。v3 把输出步幅output stride这个概念正式推到台前。output stride 指的是输入图像分辨率与最终特征图分辨率的比值。v3 默认用 OS16推理时可以切成 OS8配合不同膨胀率的调整精度会有提升但显存占用明显增加。这一步其实是在分辨率和感受野之间做一个动态权衡。3.3 v3浅层特征回归解码器补位v3 的改动看起来很小但对精度的提升非常关键。v3 的 ASPP 输出直接上采样到原图尺寸这样的缺点是深层特征虽然语义强但边界信息不足。v3 引入了一个轻量解码器把 backbone 中较低层比如 ResNet-101 的 conv2 或 Xception 的 entry flow 输出先做 1×1 卷积降通道再与上采样 4 倍后的主干输出拼接之后经过几个 3×3 卷积融合最后上采样 4 倍得到预测。这个解码器让浅层的结构信息和深层的语义信息真正发生了交互边界质量提升明显。同时 v3 把骨干网络从 ResNet 扩展到改良版 Xception 和 MobileNet v2前者面向高精度场景后者面向实时移动端场景。我个人的经验是Xception 作为 backbone 时 DeepLab v3 在 Cityscapes 上的效果确实比 ResNet-101 好但显存占用和训练时间也水涨船高在没有足够算力的情况下ResNet-50/101 仍然是更稳的选择。版本核心改动关键创新是否用CRFv1空洞卷积替换下采样不降分辨率扩大感受野是v2提出ASPP多膨胀率并行提取多尺度是v3ASPP加入全局池化多网格移除CRFcontext建模更强否v3增加解码器浅层特征融合支持MobileNet/Xception否4. DeepLab v3 的网络设计拆解4.1 编码器主流程从输入到 OS16 的特征图整个 v3 模型可以分成两段。编码器部分先用一个带空洞卷积的深度 CNN 从输入图像提取特征输出步幅通常是 16。然后特征进入 ASPP四个并行分支——1×1 卷积、膨胀率 6/12/18 的 3×3 空洞卷积、以及全局平均池化分支——每个分支都输出相同通道数通常是 256再拼接到一起通过一个 1×1 卷积压缩通道。ASPP 的输入通道如果是 2048ResNet-101 最后一层这个 1×1 卷积会把通道数降到 256控制解码器计算量。这里有一个关键工程点全局平均池化分支的输出需要上采样回输入特征图的尺寸才能和其他分支拼接。在 PyTorch 里直接调用F.interpolate就行但要在训练时注意如果用了多尺度训练这个上采样的尺寸必须动态计算不能写死。4.2 解码器的具体融合策略解码器部分取 backbone 中比较浅的一层特征通常是对应 OS4 的那一层。在 ResNet 里对应第一个残差阶段输出在 Xception 里对应 entry flow 的中间层。由于这个特征层通道数可能很大例如 256 或 512直接用会影响解码器效率所以先过一个 1×1 卷积降到 48 通道。然后把 ASPP 的输出先上采样 4 倍和降维后的浅层特征在通道维度拼接再用两个 3×3 卷积融合最后上采样 4 倍输出预测。我在复现时发现浅层特征降维的通道数从 48 改成 64在 Cityscapes 上 mIoU 会高零点几个点但解码器计算量也随之增加。这个参数不算敏感但也不建议设得太大否则解码器会逐渐变成主计算负担。4.3 Backbone 选择ResNet、Xception 与轻量选项带空洞卷积的 ResNet 是最常见的组合成熟稳定各类预训练权重好找。Xception 作为 backbone 的 v3 在原始论文中针对 Cityscapes 做了大量结构微调包括在 entry flow 中加更多下采样、把中间 flow 的重复次数从 8 调到 16 等表格里记录了很多细节。但 Xception 在 ImageNet 上的预训练权重不如 ResNet 普及如果你自己训练需要更多数据才能收敛。MobileNet v2 作为 backbone 则明显偏向实时场景计算量小适合在嵌入式设备或移动端部署。MobileNet v2 的 DeepLab v3 在 Cityscapes 上大概能到 72~75 mIoU虽然不及 ResNet-101 的 80但推理速度可以做到实时。实际选型时我通常按这个标准判断显存充足、追求精度选 ResNet-101 或 Xception显存有限或追求实时选 ResNet-50移动端选 MobileNet v2 并配合 INT8 量化。5. 训练与调优那些让 mIoU 死活上不去的细节5.1 Batch Size、SyncBN 与学习率的关系分割任务对显存需求量非常大尤其当输入分辨率达到 513×513 甚至更大时单卡 11GB 显存可能只够放 4~8 张图。而 DeepLab 系列的 backbone 在 ImageNet 预训练时用的是 BatchNorm微调时如果 batch size 太小BN 的均值和方差估计会很不稳定训练过程波动大、最终精度上不去。可靠的解法有两个方向。第一是开启跨卡同步 BNSyncBN在 PyTorch 里封装一个torch.nn.SyncBatchNorm.convert_sync_batchnorm把模型的普通 BN 全部转成同步版本。这个操作在多卡训练时几乎是必须的实测下来 batch size 从 8 提到 16Cityscapes 上的 mIoU 能稳定提升 1~2 个点。第二是如果只有单卡、显存又不够大就不要勉强加大 batch size而是考虑冻结 backbone 前面的 BN 层只更新后面的参数或者使用 GroupNorm 替换 BN——虽然 GroupNorm 会带来少量精度损失但至少训练过程不会因为 batch size 过小而出 NaN。学习率的设置也直接影响收敛。DeepLab 系列一般使用 poly 学习率衰减策略公式是当前学习率 初始学习率 × (1 - iter/total_iter)^power其中 power 取 0.9。这个策略比固定学习率、步进衰减都要稳后期收敛更细腻。初始学习率我常用 0.007 配合 batch size 16如果 batch size 减半学习率也建议相应减半否则容易在训练初期震荡。5.2 损失函数与类别不平衡处理多数分割任务直接用交叉熵损失简单有效。但类别不平衡严重时比如背景占 90% 以上、目标类别占不到 1%交叉熵会让模型学到全部预测为背景这种偷懒解。我踩过这个坑一个工业缺陷数据集里缺陷像素占比不到 0.5%第一版模型 mIoU 看起来正常但查看每类 IoU 才发现缺陷类几乎没被预测出来。两种常用的修正方式是加权交叉熵和在线困难样本挖掘OHEM。加权交叉熵的关键是权重怎么给简单按样本频率反比通常会矫枉过正我一般会对权重做平方根压缩比如权重 (总像素数 / 该类像素数)^0.5再归一化。OHEM 的思路更直接每个 batch 计算所有像素的 loss只保留 loss 最高的 K 个像素回传梯度这样模型把精力集中在最难的区域。OHEM 在类别不平衡场景下的表现通常优于加权 CE但它需要额外实现且对噪声标注更敏感。如果业务场景对边界要求高还可以考虑在损失函数中加入边界损失项比如 Lovász-Softmax 或者边界感知的损失。不过这些损失通常不会单独使用而是和交叉熵加权求和系数从 0.1 到 1.0 不等需要在小验证集上多试几组。5.3 数据增强不止是翻转和裁剪分割任务里的数据增强需要考虑一个特殊约束图像和标签必须做完全相同的空间变换。常用的组合包括随机水平翻转、随机缩放0.5~2.0 倍、随机裁剪、随机旋转以及颜色抖动只作用于图像。随机缩放特别重要因为它能为模型提供多尺度的训练样本缓解尺度变化问题。但要注意缩放之后标签如果用了最近邻插值边界会出现锯齿我通常把标签先缩放成 float再用最近邻或整数化处理避免引入额外噪声。还有一个容易被忽略的参数是裁剪尺寸。很多人直接用 513×513但如果你在 Cityscapes 这种大图上做验证会发现在 513×513 裁剪下训练的模型对远处小物体分割效果不好。我后来把裁剪尺寸提高到 769×769mIoU 提升非常明显但训练显存和时间也几乎翻倍。实际项目里裁剪尺寸需要和标签中小物体占比做权衡小物体多、要求精细尽量用大裁剪尺寸资源有限就通过多尺度推理在推理阶段找补回来。5.4 推理阶段的隐藏加成多尺度推理与翻转DeepLab v3 在推理阶段有一个几乎无损的加分操作多尺度推理multi-scale inference。具体做法是把输入图像缩放到多个尺度比如原图的 0.5、0.75、1.0、1.25、1.75 倍分别输入模型得到概率图再上采样到原始尺寸取平均作为最终预测。这个操作在 Cityscapes 上通常能提升 1~2 个 mIoU在 Pascal VOC 上提升也稳定。另一个叠加项是水平翻转推理把原图和翻转后的图分别推理概率做平均。这两个技巧叠加的收益是正相关的代价是推理时间乘以 5~10 倍。线上服务如果对延迟敏感需要自己权衡离线评测时这招非常好使。关于 CRF 后处理我的结论很明确如果用 DeepLab v3不需要再用 CRF。v3 之后模型本身的边界已经足够好CRF 带来的提升在 0.1~0.3 个 mIoU 左右但实现复杂、调参繁琐、推理时间增加明显不值得。真正的边界提升应该从解码器和损失函数设计中去要而不是靠后处理。6. 落地到自己的数据集从 Pascal VOC 到自定义场景的完整流程6.1 预训练权重与数据格式的统一迁移学习是分割项目的最优起点。我在新项目里一定先从 Pascal VOC 或 COCO 上预训练过的 DeepLab v3 权重开始然后微调自己的数据集。但这里有个细节Pascal VOC 预训练模型最后分类层的类别数是 21含背景你的任务可能是 5 类或 10 类所以最后一层必须随机初始化。前几轮训练建议把 backbone 的学习率调低比如为主干学习率的 0.1 倍或者干脆冻结 backbone 只训练解码头等损失降下来一点后再解冻所有层这样一个流程走下来收敛速度比全部随机初始化快很多最终精度也更高。数据格式这一关也容易出错。语义分割的标签通常是单通道 PNG 或索引色 PNG每个像素的值代表类别 ID而不是 RGB 值。如果你的数据是 JPEG 格式的彩色标注需要先转成单通道索引图。还要注意打标签工具导出的类别 ID 可能不连续比如只有 0、1、5需要手动重映射为 0、1、2否则训练的类别数和实际类别数对不上损失函数直接报错。6.2 从零复现 DeepLab v3 的配置参考下面是我在 PyTorch 上跑通的一个参考配置适用于 8 卡环境、Cityscapes 级别的数据量。如果你用单卡可以把 batch size 降到 4~8学习率相应减半。骨干网络ResNet-101ImageNet 预训练输出步幅训练时 OS16测试时 OS8输入裁剪769×769Batch size168 卡 × 2优化器SGDmomentum0.9weight decay1e-4学习率初始 0.01poly 衰减 power0.9训练轮数60K iter数据增强随机翻转、随机缩放 [0.5, 2.0]、随机裁剪、颜色抖动损失交叉熵 辅助损失权重 0.4这个配置在 Cityscapes 验证集上可以复现出 77~79 mIoU和论文里的报告值差距不大。如果你想把精度推到 80就需要换成 Xception backbone、更大 batch、更长训练轮数以及深监督中更精细的损失权重。6.3 结果观察与常见失败模式训练过程中我建议保存 checkpoint 的同时记录验证集 mIoU、每个类别的 IoU 和 loss 曲线。不要只盯整体 mIoU因为某个稀有类别的 IoU 波动能提前暴露问题。最常见的情况是训练后期整体 mIoU 还在涨但某个小类别 IoU 突然掉到 0这往往是学习率过大导致模型在类别边界区域震荡或者该类别样本太少被模型忽略。遇到这种情况我会检查训练集中该类别的像素占比如果确实过少优先考虑 OHEM 或加权损失而不是盲目调学习率。另一个容易踩的坑是标签边界噪声。分割模型的预测边界质量很多时候取决于训练标签的标注精度。如果你发现验证集上边界 IoU 一直上不去先不要怀疑网络结构打开几十张训练图像的标注在原图上叠加查看看边界是否偏移了 2~3 个像素。我做过一个实验把一个数据集的标注边界人为腐蚀一个像素mIoU 掉了将近 1 个点而这个过程完全可以通过更仔细的标注规范来避免。6.4 有没有必要换更新的模型每次做完一个 DeepLab v3 项目总有人问我现在 SegFormer、Mask2Former 都有了还有必要学 DeepLab 吗我的看法是必要。DeepLab 系列代表的是卷积网络在密集预测任务上做到极致的完整思路空洞卷积、ASPP、解码器这些设计在今天很多新模型里依然以变体的形式存在。SegFormer 用 Transformer 的自注意力替代了部分上下文建模但它在 Cityscapes 上效果好很大程度是因为它引入了分层 Transformer 结构和重叠 patch embedding而这些设计解决的多尺度问题和 ASPP 想解决的问题是同源的。Mask2Former 则把分割任务彻底改成了 mask 分类框架输出的表达形式和损失函数都和 DeepLab 完全不同但这种范式更适合通用分割在单类小目标分割这种任务里不一定比调优好的 DeepLab v3 强。从工程落地角度DeepLab v3 仍然是一个非常强力的 baseline。它显存占用可控、推理速度快、预训练权重丰富、部署生态成熟OpenMMLab、TensorFlow、ONNX 都有现成实现。我做项目时的习惯是新任务来了先用 DeepLab v3 跑一版拿到可靠 baseline再去尝试更新模型。如果新模型比 v3 提升不到 1 个 mIoU但推理时间多了 3 倍、显存占用翻倍那我大概率不会换。最后再分享一个我自己的操作习惯每到一个新的分割数据集我不会急着训练完整模型而是先做一次标签可视化检查把训练集里每一类像素的分布直方图画出来再在图上叠加标注看边界质量。这个检查通常只需要半小时但能避免后面好几个小时的无效调参。DeepLab 系列的每一个设计模块本质上都是在和各种形式的数据问题做对抗把数据和模型的关系理顺了mIoU 自然会上去。
