语义分割这个方向我从最早一批做遥感影像解译的时候就开始接触中间踩过的坑、调过的模型、翻过的车算下来能写好几页纸。FCN、UNet、DeepLab这三兄弟基本是每一个入行图像分割的人绕不开的经典架构。不管你是做医疗影像、自动驾驶、工业质检还是遥感地物分类这三套网络的设计思路和演进逻辑理解了之后你会发现后面出的各种新架构本质上都是在它们的基础上做加减法。这篇文章我打算把这三个架构从设计动机、核心原理、关键实现细节到实际训练中会遇到的问题完整地拆一遍。适合有一定深度学习基础、想系统理解语义分割技术脉络的读者也适合正在做相关项目、需要选型和调参的从业者。我会尽量把每个设计决策背后的“为什么”讲清楚而不是只告诉你“是什么”。1. 语义分割到底在解决什么问题1.1 从像素分类到场景理解语义分割说白了就是给图像里的每一个像素分配一个类别标签。输入一张RGB图像输出一张同样尺寸的标签图每个像素的值代表它属于哪个类别。这跟图像分类不一样分类是整张图给一个标签也跟目标检测不一样检测是给每个目标画一个框。语义分割要求的是像素级的理解精细到每个点的归属。举个例子一张街景图分类任务告诉你“这是一张街道照片”检测任务告诉你“这里有一辆车、那里有一个人”而语义分割告诉你“这些像素是路、这些像素是车、这些像素是人、这些像素是天空”。这种密集预测的能力是很多下游任务的基础。为什么这个任务难核心难点在于既要理解全局语义知道这是什么东西又要保留空间精度知道它在哪个位置、边界在哪里。这两个需求在传统的卷积网络里是有矛盾的——深层特征语义强但分辨率低浅层特征分辨率高但语义弱。FCN、UNet、DeepLab这三个架构本质上都在用不同的方式解决这个矛盾。1.2 语义分割与实例分割、全景分割的区别这里顺便理清几个容易混淆的概念。语义分割不区分同类别的不同个体比如图里有三辆车语义分割会把它们都标成“车”这一类不会区分车1、车2、车3。实例分割则要区分每个个体输出的是“车1的mask、车2的mask、车3的mask”。全景分割是两者的结合既区分类别又区分个体同时还要处理“不可数”的背景类别如天空、路面。理解这个区别很重要因为它决定了你选什么架构。如果你只需要知道每个像素属于什么类别不需要区分个体那FCN、UNet、DeepLab这类语义分割网络就够了。如果需要区分个体那就要走Mask R-CNN那条路线或者用基于语义分割的实例分割方法。1.3 主流架构的演进脉络语义分割的发展脉络其实很清晰。2015年FCN首次把全卷积网络用于分割开创了端到端训练的先河。同年UNet被提出用编码器-解码器加跳跃连接的结构在医学影像分割上大放异彩。2017年DeepLab v3引入空洞卷积和ASPP解决了多尺度问题。之后的各种改进基本都是在这些基础上做文章。FCN解决了“怎么用卷积网络做像素级预测”的问题UNet解决了“怎么恢复空间精度”的问题DeepLab解决了“怎么处理多尺度目标”的问题。这三个问题至今仍然是语义分割的核心挑战所以这三个架构的思路到现在依然有很强的参考价值。2. FCN全卷积网络的开山之作2.1 FCN的核心设计思想FCN的核心思想非常直接把传统分类网络如VGG、GoogLeNet最后的全连接层换成卷积层让网络可以接受任意尺寸的输入输出同样空间尺寸的预测图。这个想法在当时是很有开创性的因为此前的分割方法大多是基于区域提议的速度慢、流程复杂。具体来说FCN把VGG16的最后三层全连接层fc6、fc7、fc8替换成卷积层。fc6用7×7的卷积核fc7用1×1的卷积核fc8也用1×1的卷积核输出通道数等于类别数。这样整个网络就变成了全卷积结构可以处理任意尺寸的输入。但这样做有一个问题经过多次下采样后特征图的分辨率会变得很低。比如VGG16经过5次池化特征图尺寸缩小了32倍。如果直接在这个低分辨率特征图上做预测再上采样回原图尺寸边界会非常粗糙。2.2 跳跃连接与多尺度融合FCN解决分辨率问题的办法是跳跃连接skip connection。它把不同深度的特征图融合起来兼顾语义和空间精度。FCN提出了三种变体FCN-32s直接在pool5的特征图上做预测然后上采样32倍。效果最粗糙但结构最简单。FCN-16s把pool5的预测上采样2倍和pool4的特征融合再上采样16倍。精度有明显提升。FCN-8s进一步融合pool3的特征上采样8倍。精度最高但计算量也最大。这个设计的逻辑是深层特征语义强适合判断“是什么”浅层特征分辨率高适合判断“在哪里”。融合两者就能得到既准确又精细的分割结果。2.3 FCN的局限性与后续改进FCN虽然开创性强但有几个明显的局限。第一上采样用的反卷积转置卷积容易产生棋盘效应边界不够平滑。第二感受野固定对多尺度目标的处理能力有限。第三跳跃连接的方式比较粗糙直接相加或拼接没有做进一步的特征融合。后续的改进大多围绕这些问题展开。比如用双线性插值替代反卷积做上采样用空洞卷积扩大感受野用更精细的融合模块替代简单的相加。但FCN奠定的“全卷积跳跃连接”这个基本框架至今仍然是很多分割网络的基础。2.4 FCN的实操要点如果你要复现FCN有几个细节需要注意。首先骨干网络的选择很关键VGG16是最经典的但也可以用ResNet。用ResNet的时候要把最后的全连接层去掉保留卷积部分。其次上采样的方式原论文用的是反卷积但实践中双线性插值卷积的组合往往效果更好而且不容易出现棋盘伪影。学习率方面FCN的训练比较敏感。原论文用的是固定学习率但实践中用poly衰减策略学习率随迭代次数多项式衰减效果更稳定。batch size一般设得比较小因为分割任务的内存占用大通常4到8就够了。损失函数用逐像素的交叉熵如果类别不均衡严重可以加类别权重或者用Dice loss。注意FCN对输入尺寸没有严格要求但为了下采样整除通常会把输入resize到32的倍数。比如513×513是常用的尺寸因为51332×161这样上采样后能对齐。3. UNet编码器-解码器结构的经典范式3.1 UNet的对称结构与跳跃连接UNet是2015年针对医学影像分割提出的结构非常优雅。它由一个收缩路径编码器和一个扩张路径解码器组成整体呈U型所以叫UNet。编码器通过卷积和池化逐步降低分辨率、增加通道数提取语义特征解码器通过上采样和卷积逐步恢复分辨率、减少通道数恢复空间细节。UNet最核心的设计是跳跃连接。它把编码器每一层的特征图直接拼接到解码器对应层的特征图上。注意是拼接concatenation不是相加。拼接保留了更多的信息让解码器在恢复分辨率的时候能直接利用编码器的高分辨率特征。这个设计跟FCN的跳跃连接思路类似但UNet做得更彻底——每一层都连而不是只连几层。这种密集的跳跃连接让UNet在少量数据上也能训练得很好这是它在医学影像领域特别受欢迎的原因之一。3.2 UNet的编码器与解码器细节编码器的每一层通常是两个3×3卷积padding1保持尺寸不变每个卷积后面跟ReLU然后是一个2×2的最大池化stride2分辨率减半通道数翻倍。原论文的通道数从64开始依次是64、128、256、512、1024。解码器的每一层是先上采样原论文用2×2的反卷积也可以用双线性插值然后把编码器对应层的特征拼接过来再跟两个3×3卷积ReLU。最后一层用1×1卷积把通道数映射到类别数。这里有个细节拼接的时候编码器的特征图尺寸可能跟解码器上采样后的尺寸差一个像素因为奇数尺寸下采样再上采样会丢一个像素。实践中通常用padding或者裁剪来对齐或者直接把输入尺寸设成2的幂次。3.3 UNet的变体与改进方向UNet的变体非常多比较有代表性的有UNet在跳跃连接上加了嵌套的密集连接让不同尺度的特征融合得更充分。Attention UNet在跳跃连接上加了注意力门控让网络自动关注重要的区域。ResUNet把编码器的卷积块换成残差块训练更稳定能做得更深。3D UNet把2D卷积换成3D卷积用于体积数据如CT、MRI。这些改进的核心思路都是一样的让特征融合更有效让网络能更好地利用多尺度信息。选择哪个变体取决于你的数据特点和任务需求。数据量小的时候原始UNet或者Attention UNet往往就够了数据量大、需要更深网络的时候ResUNet更合适。3.4 UNet的实操经验与调参技巧UNet的训练有几个经验性的技巧。第一数据增强非常重要尤其是医学影像数据量通常很小。常用的增强包括随机旋转、缩放、弹性变形、随机裁剪、翻转等。弹性变形对医学影像特别有效因为器官的形状变化是连续的。第二损失函数的选择。二分类常用Binary Cross Entropy Dice Loss的组合多分类用Cross Entropy Dice Loss。Dice Loss对类别不均衡特别有效因为它直接优化重叠度不受背景像素过多的影响。第三初始化。UNet对初始化比较敏感用He初始化Kaiming初始化通常比Xavier初始化效果好。如果训练不稳定可以加Batch Normalization但在小batch size下BN效果不好可以换成Group Normalization。第四学习率策略。初始学习率一般设1e-3到1e-4用ReduceLROnPlateau或者Cosine Annealing。如果验证集loss不下降就降低学习率。实操心得UNet在训练初期loss下降很快但后期容易过拟合。我的做法是在验证集loss连续5个epoch不下降就停同时保存验证集指标最好的模型。另外如果显存不够可以用梯度累积来模拟大batch size。4. DeepLab空洞卷积与多尺度特征提取4.1 DeepLab系列的发展脉络DeepLab是Google提出的系列工作从v1到v3每一版都在解决前版的问题。v1引入了空洞卷积Atrous Convolution和CRF后处理v2提出了ASPPAtrous Spatial Pyramid Pooling和可分离卷积v3改进了ASPP去掉了CRFv3加了编码器-解码器结构。这个系列的核心贡献是空洞卷积和ASPP。空洞卷积让网络在不增加参数量的情况下扩大感受野ASPP用不同膨胀率的空洞卷积并行提取多尺度特征。这两个设计对后续的分割网络影响深远。4.2 空洞卷积的原理与优势空洞卷积也叫膨胀卷积就是在卷积核的元素之间插入空洞。比如一个3×3的卷积核膨胀率为2的时候实际覆盖的区域是5×5但只有9个参数。膨胀率为r的时候感受野是(2r1)×(2r1)但参数量不变。这个设计的优势很明显不增加计算量和参数量的情况下有效扩大感受野。在语义分割里感受野越大网络能看到的上下文信息越多对大目标的判断就越准确。但传统的做法是加深网络或者加大卷积核这两种方式都会增加参数量。空洞卷积的另一个好处是保持分辨率。传统的下采样会降低分辨率丢失空间信息。空洞卷积可以在不降分辨率的情况下扩大感受野这对分割任务特别友好。但空洞卷积也有问题。当膨胀率接近特征图尺寸时空洞卷积会退化成1×1卷积因为大部分权重都落在特征图外面了。这就是为什么DeepLab v3的ASPP里当膨胀率很大时会用一个全局平均池化分支来补充全局信息。4.3 ASPP模块的设计与实现ASPP是DeepLab的核心模块。它用不同膨胀率的空洞卷积并行处理同一个特征图然后把结果拼接起来。这样网络就能同时捕捉不同尺度的信息。以DeepLab v3为例ASPP包含一个1×1卷积膨胀率1三个3×3空洞卷积膨胀率分别为6、12、18一个全局平均池化分支image-level features这五个分支的输出在通道维度上拼接然后经过一个1×1卷积融合。膨胀率的选择跟特征图尺寸有关特征图越小膨胀率可以越大。在DeepLab v3中输出特征图尺寸是输入的1/16所以膨胀率6、12、18是合理的。ASPP的实现有几个细节要注意。第一每个分支后面都要加Batch Normalization和ReLU。第二全局平均池化分支要先池化到1×1然后上采样回原尺寸再跟其他分支拼接。第三拼接后的1×1卷积用来降维和融合输出通道数通常设成256。4.4 DeepLab v3的编码器-解码器改进DeepLab v3在v3的基础上加了编码器-解码器结构。编码器是DeepLab v3的骨干网络ASPP解码器是一个简单的上采样模块。具体来说解码器把ASPP的输出上采样4倍跟骨干网络中对应分辨率的浅层特征拼接然后经过几个3×3卷积再上采样4倍得到最终输出。这个改进的目的是恢复边界细节。ASPP的输出虽然语义强但分辨率只有输入的1/16直接上采样16倍边界会很粗糙。融合浅层特征后边界精度有明显提升。DeepLab v3还支持用深度可分离卷积替代普通卷积减少计算量。骨干网络可以用ResNet或Xception后者在DeepLab v3里表现更好但计算量也更大。4.5 DeepLab的实操配置与训练策略DeepLab的训练配置比较讲究。以DeepLab v3为例骨干网络通常用ResNet-101或Xception预训练权重用ImageNet的。学习率策略用poly衰减初始学习率0.007到0.01power0.9。batch size通常8到16用同步BN的话可以更大。数据增强方面常用的有随机缩放scale range 0.5到2.0、随机左右翻转、随机裁剪crop size 513×513。注意DeepLab对输入尺寸有要求因为要保证下采样后特征图尺寸是膨胀率的整数倍。通常用513×513因为51316×321下采样16倍后是33×33膨胀率6、12、18都能整除。损失函数用逐像素交叉熵如果类别不均衡可以给稀有类别更高的权重。评估指标用mIoUmean Intersection over Union这是语义分割的标准指标。注意DeepLab v3的训练对显存要求比较高尤其是用Xception骨干的时候。如果显存不够可以减小batch size用梯度累积或者用混合精度训练。混合精度训练在PyTorch里用AMP自动混合精度就能实现能省30%到50%的显存。5. 三大架构的对比与选型建议5.1 架构特性对比特性FCNUNetDeepLab v3核心思想全卷积跳跃连接编码器-解码器密集跳跃连接空洞卷积ASPP编解码感受野固定逐层扩大可控通过膨胀率调节多尺度处理弱中等强ASPP多分支边界精度一般好好参数量大VGG骨干中等大ResNet/Xception骨干训练数据需求大小到中等大典型应用通用分割医学影像通用分割、自动驾驶5.2 不同场景下的选型逻辑选哪个架构主要看你的数据量、任务需求和计算资源。数据量小几百到几千张任务对边界精度要求高比如医学影像分割UNet是首选。它的密集跳跃连接能在小数据上训练得很好而且结构简单容易改。数据量大几万张以上需要处理多尺度目标比如街景分割、遥感影像分割DeepLab v3更合适。ASPP能有效处理不同尺度的目标而且可以用预训练骨干收敛快。如果只是想做baseline或者教学演示FCN最简单容易理解。但实际项目中FCN的性能通常不如后两者除非你做很多改进。计算资源有限的时候可以考虑轻量化的UNet变体如MobileNetV2作为编码器或者DeepLab v3用MobileNet骨干。这些轻量模型在移动端和嵌入式设备上也能跑。5.3 迁移学习与预训练权重这三个架构都可以用预训练权重。FCN和DeepLab通常用ImageNet预训练的骨干网络VGG、ResNet、XceptionUNet因为结构特殊预训练权重少一些但也可以用预训练的编码器。用预训练权重的好处是收敛快、需要的标注数据少。实践中除非你的数据量特别大十万张以上否则都建议用预训练权重。加载预训练权重的时候要注意骨干网络的层名要匹配不匹配的层要跳过或者重新初始化。实操心得加载预训练权重的时候我习惯先打印模型的所有层名然后跟预训练权重的键做对比看看哪些层匹配上了、哪些没匹配上。没匹配上的层通常是分类头或者分割头这些层本来就要重新训练不用管。但如果是骨干网络的层没匹配上那就要检查一下模型定义是不是有问题。6. 训练中常见问题与排查技巧6.1 Loss不下降或震荡这是最常见的问题。可能的原因和排查思路学习率太大loss震荡或者变成NaN。降低学习率从1e-3降到1e-4试试。学习率太小loss下降极慢。适当增大学习率或者用warmup策略。数据标注有问题检查标注图是不是全黑或者全白类别ID是不是从0开始连续。损失函数不适合类别极度不均衡的时候交叉熵会被背景类主导。换成Dice Loss或者Focal Loss试试。Batch Normalization的问题小batch size下BN统计量不准可以换成Group Normalization或者SyncBN。6.2 过拟合训练集loss下降但验证集loss上升就是过拟合了。解决办法加数据增强这是最有效的手段。随机裁剪、旋转、缩放、翻转、颜色抖动、弹性变形能加的都加上。加正则化L2正则、Dropout、DropBlock。减小模型复杂度用更浅的网络或者更少的通道数。早停验证集loss不下降就停。用预训练权重能显著减少过拟合。6.3 边界分割不准确分割结果的边界粗糙、锯齿严重可能的原因上采样方式反卷积容易产生棋盘伪影换成双线性插值卷积。跳跃连接不够加深跳跃连接或者用Attention门控。损失函数加边界损失Boundary Loss或者用CRF后处理。输出步长DeepLab里输出步长output stride设成16比32的边界精度高但计算量更大。6.4 类别不均衡语义分割里类别不均衡非常常见比如街景图里天空和路面的像素远多于行人。解决办法加权交叉熵给稀有类别更高的权重权重可以按类别频率的倒数来设。Dice Loss直接优化重叠度对不均衡不敏感。Focal Loss降低易分类样本的权重让网络关注难分类的样本。OHEM在线难例挖掘只对loss大的像素回传梯度。数据重采样过采样包含稀有类别的图像。6.5 显存不足分割任务的内存占用大显存不足很常见。解决办法减小batch size用梯度累积模拟大batch。减小输入尺寸或者用随机裁剪。用混合精度训练AMP。用轻量骨干网络MobileNet、ShuffleNet。用梯度检查点Gradient Checkpointing用时间换空间。避坑技巧混合精度训练在PyTorch里用torch.cuda.amp就能实现但要注意loss scaling。如果loss变成NaN可能是梯度溢出调大loss scale的初始值或者用动态loss scaling。另外混合精度下BN的统计量可能会不准可以试试用FP32跑BN。7. 从零实现一个UNet分割 pipeline7.1 数据准备与预处理假设你有一批图像和对应的标注mask。标注mask通常是单通道的PNG每个像素的值是类别ID。预处理步骤把图像和mask resize到统一尺寸比如256×256或512×512。图像归一化用ImageNet的均值和标准差或者自己算数据集的均值和标准差。mask不做归一化保持整数类别ID。划分训练集、验证集、测试集比例通常7:2:1或8:1:1。数据增强用Albumentations库支持图像和mask同步变换。常用的增强组合import albumentations as A train_transform A.Compose([ A.RandomResizedCrop(256, 256, scale(0.5, 1.0)), A.HorizontalFlip(p0.5), A.VerticalFlip(p0.5), A.RandomRotate90(p0.5), A.ShiftScaleRotate(shift_limit0.1, scale_limit0.1, rotate_limit30, p0.5), A.ElasticTransform(alpha120, sigma120*0.05, p0.3), A.RandomBrightnessContrast(p0.3), A.Normalize(mean(0.485, 0.456, 0.406), std(0.229, 0.224, 0.225)), ])7.2 模型定义与初始化UNet的PyTorch实现核心是双卷积块和上采样块import torch import torch.nn as nn class DoubleConv(nn.Module): def __init__(self, in_ch, out_ch): super().__init__() self.conv nn.Sequential( nn.Conv2d(in_ch, out_ch, 3, padding1), nn.BatchNorm2d(out_ch), nn.ReLU(inplaceTrue), nn.Conv2d(out_ch, out_ch, 3, padding1), nn.BatchNorm2d(out_ch), nn.ReLU(inplaceTrue), ) def forward(self, x): return self.conv(x) class UNet(nn.Module): def __init__(self, in_ch3, out_ch2, features[64, 128, 256, 512]): super().__init__() self.downs nn.ModuleList() self.ups nn.ModuleList() self.pool nn.MaxPool2d(2) for f in features: self.downs.append(DoubleConv(in_ch, f)) in_ch f for f in reversed(features): self.ups.append(nn.ConvTranspose2d(f*2, f, 2, stride2)) self.ups.append(DoubleConv(f*2, f)) self.bottleneck DoubleConv(features[-1], features[-1]*2) self.final nn.Conv2d(features[0], out_ch, 1) def forward(self, x): skip_connections [] for down in self.downs: x down(x) skip_connections.append(x) x self.pool(x) x self.bottleneck(x) skip_connections skip_connections[::-1] for i in range(0, len(self.ups), 2): x self.ups[i](x) skip skip_connections[i//2] if x.shape ! skip.shape: x nn.functional.interpolate(x, sizeskip.shape[2:]) x torch.cat([skip, x], dim1) x self.ups[i1](x) return self.final(x)初始化用He初始化def init_weights(m): if isinstance(m, nn.Conv2d): nn.init.kaiming_normal_(m.weight, modefan_out, nonlinearityrelu) if m.bias is not None: nn.init.zeros_(m.bias) elif isinstance(m, nn.BatchNorm2d): nn.init.ones_(m.weight) nn.init.zeros_(m.bias) model UNet(in_ch3, out_chnum_classes) model.apply(init_weights)7.3 损失函数与优化器配置损失函数用交叉熵Dice的组合class DiceLoss(nn.Module): def __init__(self, smooth1e-6): super().__init__() self.smooth smooth def forward(self, pred, target): pred torch.softmax(pred, dim1) target_onehot torch.nn.functional.one_hot(target, pred.shape[1]) target_onehot target_onehot.permute(0, 3, 1, 2).float() intersection (pred * target_onehot).sum(dim(2, 3)) union pred.sum(dim(2, 3)) target_onehot.sum(dim(2, 3)) dice (2. * intersection self.smooth) / (union self.smooth) return 1 - dice.mean() criterion nn.CrossEntropyLoss(weightclass_weights) DiceLoss() optimizer torch.optim.AdamW(model.parameters(), lr1e-3, weight_decay1e-4) scheduler torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max50)7.4 训练循环与验证训练循环的关键是每个epoch后在验证集上算mIoUdef train_one_epoch(model, loader, optimizer, criterion, device): model.train() total_loss 0 for images, masks in loader: images, masks images.to(device), masks.to(device) optimizer.zero_grad() outputs model(images) loss criterion(outputs, masks) loss.backward() optimizer.step() total_loss loss.item() return total_loss / len(loader) def validate(model, loader, device, num_classes): model.eval() iou_sum 0 count 0 with torch.no_grad(): for images, masks in loader: images, masks images.to(device), masks.to(device) outputs model(images) preds torch.argmax(outputs, dim1) for cls in range(num_classes): pred_cls (preds cls) mask_cls (masks cls) intersection (pred_cls mask_cls).sum().item() union (pred_cls | mask_cls).sum().item() if union 0: iou_sum intersection / union count 1 return iou_sum / count if count 0 else 07.5 推理与后处理推理的时候把图像resize到训练尺寸过模型取argmax得到预测mask再resize回原图尺寸。后处理可以用条件随机场CRF或者形态学操作开运算、闭运算来平滑边界。def predict(model, image, device, target_size): model.eval() with torch.no_grad(): img_tensor preprocess(image).unsqueeze(0).to(device) output model(img_tensor) pred torch.argmax(output, dim1).squeeze().cpu().numpy() pred cv2.resize(pred.astype(np.uint8), target_size, interpolationcv2.INTER_NEAREST) return pred实操心得推理的时候用torch.no_grad()能省不少显存。如果要做批量推理注意不同图像的原始尺寸可能不一样resize回原图的时候要逐张处理。另外如果模型输出是logitsargmax之前不用softmax因为argmax和softmax的单调性一致结果一样。8. 语义分割的评估指标与实验分析8.1 mIoU的计算与理解mIoU是语义分割最常用的指标。IoU是交并比对每个类别算预测区域和真实区域的交集除以并集然后对所有类别取平均。公式IoU TP / (TP FP FN)mIoU (1/N) * Σ IoU_imIoU对类别不均衡比较敏感因为每个类别权重一样。如果某个类别样本很少它的IoU可能很低拉低整体mIoU。所以看mIoU的时候也要看每个类别的IoU分析哪些类别表现差。8.2 Pixel Accuracy与Dice系数Pixel Accuracy是预测正确的像素占总像素的比例。这个指标在类别不均衡的时候会虚高因为背景像素占大多数。比如一张图90%是背景全预测背景就有90%的准确率但实际没用。Dice系数是2TP / (2TP FP FN)跟IoU类似但对小目标更敏感。医学影像分割常用Dice因为目标区域通常很小。8.3 可视化分析与错误诊断光看指标不够还要可视化预测结果。把原图、真实mask、预测mask并排显示看看哪里错了。常见的错误模式边界模糊预测的边界比真实边界粗或者细。小目标漏检小物体被忽略或者跟背景混在一起。类别混淆相似类别互相误判比如“猫”和“狗”。大目标内部空洞大目标内部出现错误的类别预测。针对不同的错误模式调整策略也不同。边界问题加边界损失小目标问题加多尺度训练或者Focal Loss类别混淆问题检查标注质量或者加类别间对比损失。8.4 消融实验的设计做实验的时候消融实验能帮你理解每个模块的贡献。比如去掉ASPP看mIoU掉多少。去掉跳跃连接看边界精度掉多少。换不同的骨干网络看性能和速度的权衡。加不同的数据增强看泛化能力的变化。消融实验的设计要控制变量每次只改一个因素。结果用表格记录方便对比。9. 语义分割的部署与优化9.1 模型导出与推理优化训练好的模型要部署通常导出成ONNX或者TorchScript。导出ONNX的时候注意opset版本不同版本支持的算子不一样。导出后用ONNX Runtime或者TensorRT做推理优化能显著提速。# 导出ONNX dummy_input torch.randn(1, 3, 512, 512).to(device) torch.onnx.export(model, dummy_input, unet.onnx, opset_version11, input_names[input], output_names[output], dynamic_axes{input: {0: batch, 2: height, 3: width}})9.2 量化与剪枝量化是把FP32的权重和激活值转成INT8能减少模型大小和加速推理。PyTorch支持动态量化和静态量化。静态量化需要校准数据精度损失通常比动态量化小。剪枝是去掉不重要的权重或者通道减少计算量。结构化剪枝去掉整个通道对硬件更友好非结构化剪枝去掉单个权重压缩率高但需要特殊硬件支持。9.3 移动端部署的注意事项移动端部署要考虑算力、内存和功耗。轻量骨干网络MobileNetV3、ShuffleNetV2是首选。输入尺寸也要控制512×512在移动端可能太大256×256或者更小更实际。推理框架用NCNN、MNN或者TFLite这些框架对移动端做了专门优化。部署前要在目标设备上测速度和精度确保满足实时性要求。避坑技巧移动端部署的时候注意算子兼容性。有些算子如空洞卷积、可变形卷积在移动端框架里可能不支持或者效率低。部署前先查一下框架支持的算子列表不支持的算子要替换或者用自定义实现。10. 语义分割的进阶方向与扩展思路10.1 Transformer在分割中的应用近几年Transformer在分割领域很火比如SegFormer、Mask2Former。Transformer的自注意力机制能捕捉长距离依赖对全局上下文的理解比CNN更强。但Transformer的计算复杂度是O(N^2)高分辨率下计算量很大所以通常用金字塔结构或者窗口注意力来降低复杂度。实践中Transformer分割模型在数据量大的时候表现好但数据量小的时候不如CNN。而且训练成本高需要更多的显存和更长的训练时间。如果你的数据量够大、算力够可以试试否则CNN-based的方法更实际。10.2 弱监督与半监督分割标注分割mask很贵所以弱监督和半监督分割是热门方向。弱监督用图像级标签、框标注或者涂鸦标注来训练分割模型。半监督用少量标注数据大量未标注数据。常用的方法有用CAM类激活图生成伪标签然后迭代训练用一致性正则化让模型对未标注数据的扰动保持输出一致用对比学习拉近同类像素的特征距离。10.3 实时语义分割实时分割在自动驾驶、机器人领域需求很大。核心是速度和精度的权衡。常用的方法有轻量骨干网络、多分支架构如BiSeNet、早期下采样、注意力优化。BiSeNet用两个分支一个空间分支保留高分辨率细节一个上下文分支提取语义最后融合。这种设计在速度和精度之间取得了很好的平衡适合实时应用。10.4 3D语义分割3D分割用于点云、体素数据比如自动驾驶的激光雷达点云分割、医学的CT/MRI体积分割。3D UNet是最常用的架构把2D卷积换成3D卷积。但3D卷积计算量大显存占用高通常需要降采样或者用稀疏卷积。点云分割常用PointNet、RandLA-Net这些专门处理无序点集的网络。体素分割可以用3D UNet或者稀疏卷积网络如MinkowskiNet。10.5 自监督预训练在分割中的应用自监督预训练用无标注数据学习通用特征然后在下游分割任务上微调。常用的自监督方法有对比学习SimCLR、MoCo、掩码图像建模MAE、BEiT、旋转预测等。自监督预训练的好处是减少对标注数据的依赖而且学到的特征泛化性好。但预训练成本高需要大量数据和算力。如果下游数据量小自监督预训练能带来明显提升。我在实际项目里用MAE预训练的ViT做分割在小样本场景下比ImageNet预训练的ResNet效果好不少。但MAE预训练本身要跑很久如果只是做小项目直接用ImageNet预训练权重更划算。10.6 多模态语义分割多模态分割融合RGB、深度、热红外、激光雷达等不同模态的数据。不同模态提供互补信息比如RGB提供纹理和颜色深度提供几何信息热红外提供温度信息。融合策略有早期融合输入层拼接、中期融合特征层拼接或注意力融合、晚期融合决策层融合。中期融合最常用因为能兼顾不同模态的特征。融合模块的设计是关键常用的有注意力融合、门控融合、双流网络。实际做多模态分割的时候最大的问题是模态对齐和缺失模态的处理。不同传感器的数据在空间和时间上可能不对齐需要做标定和同步。如果某个模态在推理时缺失模型要能降级运行这需要在训练时做模态dropout。11. 我踩过的那些坑与经验总结11.1 数据标注的坑标注质量直接决定模型上限。我见过太多项目因为标注问题导致模型效果差。常见问题标注边界不一致不同标注员对边界的理解不同、漏标小目标被忽略、类别定义模糊“道路”和“人行道”的边界不清。解决办法制定详细的标注规范做标注一致性检查多人标注同一批数据算IoU用标注工具做质量审核。如果预算允许做多轮标注和交叉验证。11.2 学习率调参的坑学习率是最重要的超参数。我试过用太大的学习率导致loss爆炸也试过太小的学习率导致收敛极慢。经验是先用一个较大的学习率跑几个epoch看loss变化如果震荡就降10倍如果下降太慢就升3倍。找到合适的范围后用Cosine Annealing或者OneCycle策略。另外warmup对Transformer和大batch训练很重要。前几个epoch用很小的学习率然后线性增加到初始学习率能避免训练初期的不稳定。11.3 预训练权重的坑加载预训练权重的时候经常遇到键不匹配的问题。比如骨干网络用了ResNet但预训练权重是ImageNet分类的最后的全连接层键名不一样。这时候要过滤掉不匹配的键只加载匹配的。还有一种情况是预训练权重的通道顺序或者归一化方式跟你的数据不一样。比如ImageNet预训练用的是RGB通道如果你的数据是BGR要先转换。归一化参数也要匹配用ImageNet的均值和标准差。11.4 多GPU训练的坑多GPU训练用DataParallel或者DistributedDataParallel。DataParallel简单但效率低因为主GPU的负载高。DistributedDataParallel效率高但配置复杂需要设置local_rank和分布式采样器。用多GPU的时候Batch Normalization要换成SyncBN否则每个GPU的统计量不一致影响性能。学习率也要按GPU数量线性缩放比如单GPU用0.014GPU就用0.04。11.5 模型保存与恢复的坑保存模型的时候要保存模型状态字典、优化器状态、epoch数、最佳指标。只保存模型权重的话恢复训练的时候优化器状态丢了学习率调度会乱。恢复训练的时候注意模型结构要跟保存时一致。如果改了模型结构加载权重会报错。这时候可以用strictFalse加载跳过不匹配的层。最后分享一个小技巧训练分割模型的时候我习惯在每个epoch结束后保存一个checkpoint同时保存最佳模型。checkpoint包含所有状态用于恢复训练最佳模型只包含权重用于推理。这样即使训练中断也能从最近的checkpoint恢复不会丢进度。另外验证集指标用mIoU和Dice都算一下有时候mIoU高但Dice低说明小目标分割不好需要针对性优化。
语义分割这个方向我从最早一批做遥感影像解译的时候就开始接触中间踩过的坑、调过的模型、翻过的车算下来能写好几页纸。FCN、UNet、DeepLab这三兄弟基本是每一个入行图像分割的人绕不开的经典架构。不管你是做医疗影像、自动驾驶、工业质检还是遥感地物分类这三套网络的设计思路和演进逻辑理解了之后你会发现后面出的各种新架构本质上都是在它们的基础上做加减法。这篇文章我打算把这三个架构从设计动机、核心原理、关键实现细节到实际训练中会遇到的问题完整地拆一遍。适合有一定深度学习基础、想系统理解语义分割技术脉络的读者也适合正在做相关项目、需要选型和调参的从业者。我会尽量把每个设计决策背后的“为什么”讲清楚而不是只告诉你“是什么”。1. 语义分割到底在解决什么问题1.1 从像素分类到场景理解语义分割说白了就是给图像里的每一个像素分配一个类别标签。输入一张RGB图像输出一张同样尺寸的标签图每个像素的值代表它属于哪个类别。这跟图像分类不一样分类是整张图给一个标签也跟目标检测不一样检测是给每个目标画一个框。语义分割要求的是像素级的理解精细到每个点的归属。举个例子一张街景图分类任务告诉你“这是一张街道照片”检测任务告诉你“这里有一辆车、那里有一个人”而语义分割告诉你“这些像素是路、这些像素是车、这些像素是人、这些像素是天空”。这种密集预测的能力是很多下游任务的基础。为什么这个任务难核心难点在于既要理解全局语义知道这是什么东西又要保留空间精度知道它在哪个位置、边界在哪里。这两个需求在传统的卷积网络里是有矛盾的——深层特征语义强但分辨率低浅层特征分辨率高但语义弱。FCN、UNet、DeepLab这三个架构本质上都在用不同的方式解决这个矛盾。1.2 语义分割与实例分割、全景分割的区别这里顺便理清几个容易混淆的概念。语义分割不区分同类别的不同个体比如图里有三辆车语义分割会把它们都标成“车”这一类不会区分车1、车2、车3。实例分割则要区分每个个体输出的是“车1的mask、车2的mask、车3的mask”。全景分割是两者的结合既区分类别又区分个体同时还要处理“不可数”的背景类别如天空、路面。理解这个区别很重要因为它决定了你选什么架构。如果你只需要知道每个像素属于什么类别不需要区分个体那FCN、UNet、DeepLab这类语义分割网络就够了。如果需要区分个体那就要走Mask R-CNN那条路线或者用基于语义分割的实例分割方法。1.3 主流架构的演进脉络语义分割的发展脉络其实很清晰。2015年FCN首次把全卷积网络用于分割开创了端到端训练的先河。同年UNet被提出用编码器-解码器加跳跃连接的结构在医学影像分割上大放异彩。2017年DeepLab v3引入空洞卷积和ASPP解决了多尺度问题。之后的各种改进基本都是在这些基础上做文章。FCN解决了“怎么用卷积网络做像素级预测”的问题UNet解决了“怎么恢复空间精度”的问题DeepLab解决了“怎么处理多尺度目标”的问题。这三个问题至今仍然是语义分割的核心挑战所以这三个架构的思路到现在依然有很强的参考价值。2. FCN全卷积网络的开山之作2.1 FCN的核心设计思想FCN的核心思想非常直接把传统分类网络如VGG、GoogLeNet最后的全连接层换成卷积层让网络可以接受任意尺寸的输入输出同样空间尺寸的预测图。这个想法在当时是很有开创性的因为此前的分割方法大多是基于区域提议的速度慢、流程复杂。具体来说FCN把VGG16的最后三层全连接层fc6、fc7、fc8替换成卷积层。fc6用7×7的卷积核fc7用1×1的卷积核fc8也用1×1的卷积核输出通道数等于类别数。这样整个网络就变成了全卷积结构可以处理任意尺寸的输入。但这样做有一个问题经过多次下采样后特征图的分辨率会变得很低。比如VGG16经过5次池化特征图尺寸缩小了32倍。如果直接在这个低分辨率特征图上做预测再上采样回原图尺寸边界会非常粗糙。2.2 跳跃连接与多尺度融合FCN解决分辨率问题的办法是跳跃连接skip connection。它把不同深度的特征图融合起来兼顾语义和空间精度。FCN提出了三种变体FCN-32s直接在pool5的特征图上做预测然后上采样32倍。效果最粗糙但结构最简单。FCN-16s把pool5的预测上采样2倍和pool4的特征融合再上采样16倍。精度有明显提升。FCN-8s进一步融合pool3的特征上采样8倍。精度最高但计算量也最大。这个设计的逻辑是深层特征语义强适合判断“是什么”浅层特征分辨率高适合判断“在哪里”。融合两者就能得到既准确又精细的分割结果。2.3 FCN的局限性与后续改进FCN虽然开创性强但有几个明显的局限。第一上采样用的反卷积转置卷积容易产生棋盘效应边界不够平滑。第二感受野固定对多尺度目标的处理能力有限。第三跳跃连接的方式比较粗糙直接相加或拼接没有做进一步的特征融合。后续的改进大多围绕这些问题展开。比如用双线性插值替代反卷积做上采样用空洞卷积扩大感受野用更精细的融合模块替代简单的相加。但FCN奠定的“全卷积跳跃连接”这个基本框架至今仍然是很多分割网络的基础。2.4 FCN的实操要点如果你要复现FCN有几个细节需要注意。首先骨干网络的选择很关键VGG16是最经典的但也可以用ResNet。用ResNet的时候要把最后的全连接层去掉保留卷积部分。其次上采样的方式原论文用的是反卷积但实践中双线性插值卷积的组合往往效果更好而且不容易出现棋盘伪影。学习率方面FCN的训练比较敏感。原论文用的是固定学习率但实践中用poly衰减策略学习率随迭代次数多项式衰减效果更稳定。batch size一般设得比较小因为分割任务的内存占用大通常4到8就够了。损失函数用逐像素的交叉熵如果类别不均衡严重可以加类别权重或者用Dice loss。注意FCN对输入尺寸没有严格要求但为了下采样整除通常会把输入resize到32的倍数。比如513×513是常用的尺寸因为51332×161这样上采样后能对齐。3. UNet编码器-解码器结构的经典范式3.1 UNet的对称结构与跳跃连接UNet是2015年针对医学影像分割提出的结构非常优雅。它由一个收缩路径编码器和一个扩张路径解码器组成整体呈U型所以叫UNet。编码器通过卷积和池化逐步降低分辨率、增加通道数提取语义特征解码器通过上采样和卷积逐步恢复分辨率、减少通道数恢复空间细节。UNet最核心的设计是跳跃连接。它把编码器每一层的特征图直接拼接到解码器对应层的特征图上。注意是拼接concatenation不是相加。拼接保留了更多的信息让解码器在恢复分辨率的时候能直接利用编码器的高分辨率特征。这个设计跟FCN的跳跃连接思路类似但UNet做得更彻底——每一层都连而不是只连几层。这种密集的跳跃连接让UNet在少量数据上也能训练得很好这是它在医学影像领域特别受欢迎的原因之一。3.2 UNet的编码器与解码器细节编码器的每一层通常是两个3×3卷积padding1保持尺寸不变每个卷积后面跟ReLU然后是一个2×2的最大池化stride2分辨率减半通道数翻倍。原论文的通道数从64开始依次是64、128、256、512、1024。解码器的每一层是先上采样原论文用2×2的反卷积也可以用双线性插值然后把编码器对应层的特征拼接过来再跟两个3×3卷积ReLU。最后一层用1×1卷积把通道数映射到类别数。这里有个细节拼接的时候编码器的特征图尺寸可能跟解码器上采样后的尺寸差一个像素因为奇数尺寸下采样再上采样会丢一个像素。实践中通常用padding或者裁剪来对齐或者直接把输入尺寸设成2的幂次。3.3 UNet的变体与改进方向UNet的变体非常多比较有代表性的有UNet在跳跃连接上加了嵌套的密集连接让不同尺度的特征融合得更充分。Attention UNet在跳跃连接上加了注意力门控让网络自动关注重要的区域。ResUNet把编码器的卷积块换成残差块训练更稳定能做得更深。3D UNet把2D卷积换成3D卷积用于体积数据如CT、MRI。这些改进的核心思路都是一样的让特征融合更有效让网络能更好地利用多尺度信息。选择哪个变体取决于你的数据特点和任务需求。数据量小的时候原始UNet或者Attention UNet往往就够了数据量大、需要更深网络的时候ResUNet更合适。3.4 UNet的实操经验与调参技巧UNet的训练有几个经验性的技巧。第一数据增强非常重要尤其是医学影像数据量通常很小。常用的增强包括随机旋转、缩放、弹性变形、随机裁剪、翻转等。弹性变形对医学影像特别有效因为器官的形状变化是连续的。第二损失函数的选择。二分类常用Binary Cross Entropy Dice Loss的组合多分类用Cross Entropy Dice Loss。Dice Loss对类别不均衡特别有效因为它直接优化重叠度不受背景像素过多的影响。第三初始化。UNet对初始化比较敏感用He初始化Kaiming初始化通常比Xavier初始化效果好。如果训练不稳定可以加Batch Normalization但在小batch size下BN效果不好可以换成Group Normalization。第四学习率策略。初始学习率一般设1e-3到1e-4用ReduceLROnPlateau或者Cosine Annealing。如果验证集loss不下降就降低学习率。实操心得UNet在训练初期loss下降很快但后期容易过拟合。我的做法是在验证集loss连续5个epoch不下降就停同时保存验证集指标最好的模型。另外如果显存不够可以用梯度累积来模拟大batch size。4. DeepLab空洞卷积与多尺度特征提取4.1 DeepLab系列的发展脉络DeepLab是Google提出的系列工作从v1到v3每一版都在解决前版的问题。v1引入了空洞卷积Atrous Convolution和CRF后处理v2提出了ASPPAtrous Spatial Pyramid Pooling和可分离卷积v3改进了ASPP去掉了CRFv3加了编码器-解码器结构。这个系列的核心贡献是空洞卷积和ASPP。空洞卷积让网络在不增加参数量的情况下扩大感受野ASPP用不同膨胀率的空洞卷积并行提取多尺度特征。这两个设计对后续的分割网络影响深远。4.2 空洞卷积的原理与优势空洞卷积也叫膨胀卷积就是在卷积核的元素之间插入空洞。比如一个3×3的卷积核膨胀率为2的时候实际覆盖的区域是5×5但只有9个参数。膨胀率为r的时候感受野是(2r1)×(2r1)但参数量不变。这个设计的优势很明显不增加计算量和参数量的情况下有效扩大感受野。在语义分割里感受野越大网络能看到的上下文信息越多对大目标的判断就越准确。但传统的做法是加深网络或者加大卷积核这两种方式都会增加参数量。空洞卷积的另一个好处是保持分辨率。传统的下采样会降低分辨率丢失空间信息。空洞卷积可以在不降分辨率的情况下扩大感受野这对分割任务特别友好。但空洞卷积也有问题。当膨胀率接近特征图尺寸时空洞卷积会退化成1×1卷积因为大部分权重都落在特征图外面了。这就是为什么DeepLab v3的ASPP里当膨胀率很大时会用一个全局平均池化分支来补充全局信息。4.3 ASPP模块的设计与实现ASPP是DeepLab的核心模块。它用不同膨胀率的空洞卷积并行处理同一个特征图然后把结果拼接起来。这样网络就能同时捕捉不同尺度的信息。以DeepLab v3为例ASPP包含一个1×1卷积膨胀率1三个3×3空洞卷积膨胀率分别为6、12、18一个全局平均池化分支image-level features这五个分支的输出在通道维度上拼接然后经过一个1×1卷积融合。膨胀率的选择跟特征图尺寸有关特征图越小膨胀率可以越大。在DeepLab v3中输出特征图尺寸是输入的1/16所以膨胀率6、12、18是合理的。ASPP的实现有几个细节要注意。第一每个分支后面都要加Batch Normalization和ReLU。第二全局平均池化分支要先池化到1×1然后上采样回原尺寸再跟其他分支拼接。第三拼接后的1×1卷积用来降维和融合输出通道数通常设成256。4.4 DeepLab v3的编码器-解码器改进DeepLab v3在v3的基础上加了编码器-解码器结构。编码器是DeepLab v3的骨干网络ASPP解码器是一个简单的上采样模块。具体来说解码器把ASPP的输出上采样4倍跟骨干网络中对应分辨率的浅层特征拼接然后经过几个3×3卷积再上采样4倍得到最终输出。这个改进的目的是恢复边界细节。ASPP的输出虽然语义强但分辨率只有输入的1/16直接上采样16倍边界会很粗糙。融合浅层特征后边界精度有明显提升。DeepLab v3还支持用深度可分离卷积替代普通卷积减少计算量。骨干网络可以用ResNet或Xception后者在DeepLab v3里表现更好但计算量也更大。4.5 DeepLab的实操配置与训练策略DeepLab的训练配置比较讲究。以DeepLab v3为例骨干网络通常用ResNet-101或Xception预训练权重用ImageNet的。学习率策略用poly衰减初始学习率0.007到0.01power0.9。batch size通常8到16用同步BN的话可以更大。数据增强方面常用的有随机缩放scale range 0.5到2.0、随机左右翻转、随机裁剪crop size 513×513。注意DeepLab对输入尺寸有要求因为要保证下采样后特征图尺寸是膨胀率的整数倍。通常用513×513因为51316×321下采样16倍后是33×33膨胀率6、12、18都能整除。损失函数用逐像素交叉熵如果类别不均衡可以给稀有类别更高的权重。评估指标用mIoUmean Intersection over Union这是语义分割的标准指标。注意DeepLab v3的训练对显存要求比较高尤其是用Xception骨干的时候。如果显存不够可以减小batch size用梯度累积或者用混合精度训练。混合精度训练在PyTorch里用AMP自动混合精度就能实现能省30%到50%的显存。5. 三大架构的对比与选型建议5.1 架构特性对比特性FCNUNetDeepLab v3核心思想全卷积跳跃连接编码器-解码器密集跳跃连接空洞卷积ASPP编解码感受野固定逐层扩大可控通过膨胀率调节多尺度处理弱中等强ASPP多分支边界精度一般好好参数量大VGG骨干中等大ResNet/Xception骨干训练数据需求大小到中等大典型应用通用分割医学影像通用分割、自动驾驶5.2 不同场景下的选型逻辑选哪个架构主要看你的数据量、任务需求和计算资源。数据量小几百到几千张任务对边界精度要求高比如医学影像分割UNet是首选。它的密集跳跃连接能在小数据上训练得很好而且结构简单容易改。数据量大几万张以上需要处理多尺度目标比如街景分割、遥感影像分割DeepLab v3更合适。ASPP能有效处理不同尺度的目标而且可以用预训练骨干收敛快。如果只是想做baseline或者教学演示FCN最简单容易理解。但实际项目中FCN的性能通常不如后两者除非你做很多改进。计算资源有限的时候可以考虑轻量化的UNet变体如MobileNetV2作为编码器或者DeepLab v3用MobileNet骨干。这些轻量模型在移动端和嵌入式设备上也能跑。5.3 迁移学习与预训练权重这三个架构都可以用预训练权重。FCN和DeepLab通常用ImageNet预训练的骨干网络VGG、ResNet、XceptionUNet因为结构特殊预训练权重少一些但也可以用预训练的编码器。用预训练权重的好处是收敛快、需要的标注数据少。实践中除非你的数据量特别大十万张以上否则都建议用预训练权重。加载预训练权重的时候要注意骨干网络的层名要匹配不匹配的层要跳过或者重新初始化。实操心得加载预训练权重的时候我习惯先打印模型的所有层名然后跟预训练权重的键做对比看看哪些层匹配上了、哪些没匹配上。没匹配上的层通常是分类头或者分割头这些层本来就要重新训练不用管。但如果是骨干网络的层没匹配上那就要检查一下模型定义是不是有问题。6. 训练中常见问题与排查技巧6.1 Loss不下降或震荡这是最常见的问题。可能的原因和排查思路学习率太大loss震荡或者变成NaN。降低学习率从1e-3降到1e-4试试。学习率太小loss下降极慢。适当增大学习率或者用warmup策略。数据标注有问题检查标注图是不是全黑或者全白类别ID是不是从0开始连续。损失函数不适合类别极度不均衡的时候交叉熵会被背景类主导。换成Dice Loss或者Focal Loss试试。Batch Normalization的问题小batch size下BN统计量不准可以换成Group Normalization或者SyncBN。6.2 过拟合训练集loss下降但验证集loss上升就是过拟合了。解决办法加数据增强这是最有效的手段。随机裁剪、旋转、缩放、翻转、颜色抖动、弹性变形能加的都加上。加正则化L2正则、Dropout、DropBlock。减小模型复杂度用更浅的网络或者更少的通道数。早停验证集loss不下降就停。用预训练权重能显著减少过拟合。6.3 边界分割不准确分割结果的边界粗糙、锯齿严重可能的原因上采样方式反卷积容易产生棋盘伪影换成双线性插值卷积。跳跃连接不够加深跳跃连接或者用Attention门控。损失函数加边界损失Boundary Loss或者用CRF后处理。输出步长DeepLab里输出步长output stride设成16比32的边界精度高但计算量更大。6.4 类别不均衡语义分割里类别不均衡非常常见比如街景图里天空和路面的像素远多于行人。解决办法加权交叉熵给稀有类别更高的权重权重可以按类别频率的倒数来设。Dice Loss直接优化重叠度对不均衡不敏感。Focal Loss降低易分类样本的权重让网络关注难分类的样本。OHEM在线难例挖掘只对loss大的像素回传梯度。数据重采样过采样包含稀有类别的图像。6.5 显存不足分割任务的内存占用大显存不足很常见。解决办法减小batch size用梯度累积模拟大batch。减小输入尺寸或者用随机裁剪。用混合精度训练AMP。用轻量骨干网络MobileNet、ShuffleNet。用梯度检查点Gradient Checkpointing用时间换空间。避坑技巧混合精度训练在PyTorch里用torch.cuda.amp就能实现但要注意loss scaling。如果loss变成NaN可能是梯度溢出调大loss scale的初始值或者用动态loss scaling。另外混合精度下BN的统计量可能会不准可以试试用FP32跑BN。7. 从零实现一个UNet分割 pipeline7.1 数据准备与预处理假设你有一批图像和对应的标注mask。标注mask通常是单通道的PNG每个像素的值是类别ID。预处理步骤把图像和mask resize到统一尺寸比如256×256或512×512。图像归一化用ImageNet的均值和标准差或者自己算数据集的均值和标准差。mask不做归一化保持整数类别ID。划分训练集、验证集、测试集比例通常7:2:1或8:1:1。数据增强用Albumentations库支持图像和mask同步变换。常用的增强组合import albumentations as A train_transform A.Compose([ A.RandomResizedCrop(256, 256, scale(0.5, 1.0)), A.HorizontalFlip(p0.5), A.VerticalFlip(p0.5), A.RandomRotate90(p0.5), A.ShiftScaleRotate(shift_limit0.1, scale_limit0.1, rotate_limit30, p0.5), A.ElasticTransform(alpha120, sigma120*0.05, p0.3), A.RandomBrightnessContrast(p0.3), A.Normalize(mean(0.485, 0.456, 0.406), std(0.229, 0.224, 0.225)), ])7.2 模型定义与初始化UNet的PyTorch实现核心是双卷积块和上采样块import torch import torch.nn as nn class DoubleConv(nn.Module): def __init__(self, in_ch, out_ch): super().__init__() self.conv nn.Sequential( nn.Conv2d(in_ch, out_ch, 3, padding1), nn.BatchNorm2d(out_ch), nn.ReLU(inplaceTrue), nn.Conv2d(out_ch, out_ch, 3, padding1), nn.BatchNorm2d(out_ch), nn.ReLU(inplaceTrue), ) def forward(self, x): return self.conv(x) class UNet(nn.Module): def __init__(self, in_ch3, out_ch2, features[64, 128, 256, 512]): super().__init__() self.downs nn.ModuleList() self.ups nn.ModuleList() self.pool nn.MaxPool2d(2) for f in features: self.downs.append(DoubleConv(in_ch, f)) in_ch f for f in reversed(features): self.ups.append(nn.ConvTranspose2d(f*2, f, 2, stride2)) self.ups.append(DoubleConv(f*2, f)) self.bottleneck DoubleConv(features[-1], features[-1]*2) self.final nn.Conv2d(features[0], out_ch, 1) def forward(self, x): skip_connections [] for down in self.downs: x down(x) skip_connections.append(x) x self.pool(x) x self.bottleneck(x) skip_connections skip_connections[::-1] for i in range(0, len(self.ups), 2): x self.ups[i](x) skip skip_connections[i//2] if x.shape ! skip.shape: x nn.functional.interpolate(x, sizeskip.shape[2:]) x torch.cat([skip, x], dim1) x self.ups[i1](x) return self.final(x)初始化用He初始化def init_weights(m): if isinstance(m, nn.Conv2d): nn.init.kaiming_normal_(m.weight, modefan_out, nonlinearityrelu) if m.bias is not None: nn.init.zeros_(m.bias) elif isinstance(m, nn.BatchNorm2d): nn.init.ones_(m.weight) nn.init.zeros_(m.bias) model UNet(in_ch3, out_chnum_classes) model.apply(init_weights)7.3 损失函数与优化器配置损失函数用交叉熵Dice的组合class DiceLoss(nn.Module): def __init__(self, smooth1e-6): super().__init__() self.smooth smooth def forward(self, pred, target): pred torch.softmax(pred, dim1) target_onehot torch.nn.functional.one_hot(target, pred.shape[1]) target_onehot target_onehot.permute(0, 3, 1, 2).float() intersection (pred * target_onehot).sum(dim(2, 3)) union pred.sum(dim(2, 3)) target_onehot.sum(dim(2, 3)) dice (2. * intersection self.smooth) / (union self.smooth) return 1 - dice.mean() criterion nn.CrossEntropyLoss(weightclass_weights) DiceLoss() optimizer torch.optim.AdamW(model.parameters(), lr1e-3, weight_decay1e-4) scheduler torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max50)7.4 训练循环与验证训练循环的关键是每个epoch后在验证集上算mIoUdef train_one_epoch(model, loader, optimizer, criterion, device): model.train() total_loss 0 for images, masks in loader: images, masks images.to(device), masks.to(device) optimizer.zero_grad() outputs model(images) loss criterion(outputs, masks) loss.backward() optimizer.step() total_loss loss.item() return total_loss / len(loader) def validate(model, loader, device, num_classes): model.eval() iou_sum 0 count 0 with torch.no_grad(): for images, masks in loader: images, masks images.to(device), masks.to(device) outputs model(images) preds torch.argmax(outputs, dim1) for cls in range(num_classes): pred_cls (preds cls) mask_cls (masks cls) intersection (pred_cls mask_cls).sum().item() union (pred_cls | mask_cls).sum().item() if union 0: iou_sum intersection / union count 1 return iou_sum / count if count 0 else 07.5 推理与后处理推理的时候把图像resize到训练尺寸过模型取argmax得到预测mask再resize回原图尺寸。后处理可以用条件随机场CRF或者形态学操作开运算、闭运算来平滑边界。def predict(model, image, device, target_size): model.eval() with torch.no_grad(): img_tensor preprocess(image).unsqueeze(0).to(device) output model(img_tensor) pred torch.argmax(output, dim1).squeeze().cpu().numpy() pred cv2.resize(pred.astype(np.uint8), target_size, interpolationcv2.INTER_NEAREST) return pred实操心得推理的时候用torch.no_grad()能省不少显存。如果要做批量推理注意不同图像的原始尺寸可能不一样resize回原图的时候要逐张处理。另外如果模型输出是logitsargmax之前不用softmax因为argmax和softmax的单调性一致结果一样。8. 语义分割的评估指标与实验分析8.1 mIoU的计算与理解mIoU是语义分割最常用的指标。IoU是交并比对每个类别算预测区域和真实区域的交集除以并集然后对所有类别取平均。公式IoU TP / (TP FP FN)mIoU (1/N) * Σ IoU_imIoU对类别不均衡比较敏感因为每个类别权重一样。如果某个类别样本很少它的IoU可能很低拉低整体mIoU。所以看mIoU的时候也要看每个类别的IoU分析哪些类别表现差。8.2 Pixel Accuracy与Dice系数Pixel Accuracy是预测正确的像素占总像素的比例。这个指标在类别不均衡的时候会虚高因为背景像素占大多数。比如一张图90%是背景全预测背景就有90%的准确率但实际没用。Dice系数是2TP / (2TP FP FN)跟IoU类似但对小目标更敏感。医学影像分割常用Dice因为目标区域通常很小。8.3 可视化分析与错误诊断光看指标不够还要可视化预测结果。把原图、真实mask、预测mask并排显示看看哪里错了。常见的错误模式边界模糊预测的边界比真实边界粗或者细。小目标漏检小物体被忽略或者跟背景混在一起。类别混淆相似类别互相误判比如“猫”和“狗”。大目标内部空洞大目标内部出现错误的类别预测。针对不同的错误模式调整策略也不同。边界问题加边界损失小目标问题加多尺度训练或者Focal Loss类别混淆问题检查标注质量或者加类别间对比损失。8.4 消融实验的设计做实验的时候消融实验能帮你理解每个模块的贡献。比如去掉ASPP看mIoU掉多少。去掉跳跃连接看边界精度掉多少。换不同的骨干网络看性能和速度的权衡。加不同的数据增强看泛化能力的变化。消融实验的设计要控制变量每次只改一个因素。结果用表格记录方便对比。9. 语义分割的部署与优化9.1 模型导出与推理优化训练好的模型要部署通常导出成ONNX或者TorchScript。导出ONNX的时候注意opset版本不同版本支持的算子不一样。导出后用ONNX Runtime或者TensorRT做推理优化能显著提速。# 导出ONNX dummy_input torch.randn(1, 3, 512, 512).to(device) torch.onnx.export(model, dummy_input, unet.onnx, opset_version11, input_names[input], output_names[output], dynamic_axes{input: {0: batch, 2: height, 3: width}})9.2 量化与剪枝量化是把FP32的权重和激活值转成INT8能减少模型大小和加速推理。PyTorch支持动态量化和静态量化。静态量化需要校准数据精度损失通常比动态量化小。剪枝是去掉不重要的权重或者通道减少计算量。结构化剪枝去掉整个通道对硬件更友好非结构化剪枝去掉单个权重压缩率高但需要特殊硬件支持。9.3 移动端部署的注意事项移动端部署要考虑算力、内存和功耗。轻量骨干网络MobileNetV3、ShuffleNetV2是首选。输入尺寸也要控制512×512在移动端可能太大256×256或者更小更实际。推理框架用NCNN、MNN或者TFLite这些框架对移动端做了专门优化。部署前要在目标设备上测速度和精度确保满足实时性要求。避坑技巧移动端部署的时候注意算子兼容性。有些算子如空洞卷积、可变形卷积在移动端框架里可能不支持或者效率低。部署前先查一下框架支持的算子列表不支持的算子要替换或者用自定义实现。10. 语义分割的进阶方向与扩展思路10.1 Transformer在分割中的应用近几年Transformer在分割领域很火比如SegFormer、Mask2Former。Transformer的自注意力机制能捕捉长距离依赖对全局上下文的理解比CNN更强。但Transformer的计算复杂度是O(N^2)高分辨率下计算量很大所以通常用金字塔结构或者窗口注意力来降低复杂度。实践中Transformer分割模型在数据量大的时候表现好但数据量小的时候不如CNN。而且训练成本高需要更多的显存和更长的训练时间。如果你的数据量够大、算力够可以试试否则CNN-based的方法更实际。10.2 弱监督与半监督分割标注分割mask很贵所以弱监督和半监督分割是热门方向。弱监督用图像级标签、框标注或者涂鸦标注来训练分割模型。半监督用少量标注数据大量未标注数据。常用的方法有用CAM类激活图生成伪标签然后迭代训练用一致性正则化让模型对未标注数据的扰动保持输出一致用对比学习拉近同类像素的特征距离。10.3 实时语义分割实时分割在自动驾驶、机器人领域需求很大。核心是速度和精度的权衡。常用的方法有轻量骨干网络、多分支架构如BiSeNet、早期下采样、注意力优化。BiSeNet用两个分支一个空间分支保留高分辨率细节一个上下文分支提取语义最后融合。这种设计在速度和精度之间取得了很好的平衡适合实时应用。10.4 3D语义分割3D分割用于点云、体素数据比如自动驾驶的激光雷达点云分割、医学的CT/MRI体积分割。3D UNet是最常用的架构把2D卷积换成3D卷积。但3D卷积计算量大显存占用高通常需要降采样或者用稀疏卷积。点云分割常用PointNet、RandLA-Net这些专门处理无序点集的网络。体素分割可以用3D UNet或者稀疏卷积网络如MinkowskiNet。10.5 自监督预训练在分割中的应用自监督预训练用无标注数据学习通用特征然后在下游分割任务上微调。常用的自监督方法有对比学习SimCLR、MoCo、掩码图像建模MAE、BEiT、旋转预测等。自监督预训练的好处是减少对标注数据的依赖而且学到的特征泛化性好。但预训练成本高需要大量数据和算力。如果下游数据量小自监督预训练能带来明显提升。我在实际项目里用MAE预训练的ViT做分割在小样本场景下比ImageNet预训练的ResNet效果好不少。但MAE预训练本身要跑很久如果只是做小项目直接用ImageNet预训练权重更划算。10.6 多模态语义分割多模态分割融合RGB、深度、热红外、激光雷达等不同模态的数据。不同模态提供互补信息比如RGB提供纹理和颜色深度提供几何信息热红外提供温度信息。融合策略有早期融合输入层拼接、中期融合特征层拼接或注意力融合、晚期融合决策层融合。中期融合最常用因为能兼顾不同模态的特征。融合模块的设计是关键常用的有注意力融合、门控融合、双流网络。实际做多模态分割的时候最大的问题是模态对齐和缺失模态的处理。不同传感器的数据在空间和时间上可能不对齐需要做标定和同步。如果某个模态在推理时缺失模型要能降级运行这需要在训练时做模态dropout。11. 我踩过的那些坑与经验总结11.1 数据标注的坑标注质量直接决定模型上限。我见过太多项目因为标注问题导致模型效果差。常见问题标注边界不一致不同标注员对边界的理解不同、漏标小目标被忽略、类别定义模糊“道路”和“人行道”的边界不清。解决办法制定详细的标注规范做标注一致性检查多人标注同一批数据算IoU用标注工具做质量审核。如果预算允许做多轮标注和交叉验证。11.2 学习率调参的坑学习率是最重要的超参数。我试过用太大的学习率导致loss爆炸也试过太小的学习率导致收敛极慢。经验是先用一个较大的学习率跑几个epoch看loss变化如果震荡就降10倍如果下降太慢就升3倍。找到合适的范围后用Cosine Annealing或者OneCycle策略。另外warmup对Transformer和大batch训练很重要。前几个epoch用很小的学习率然后线性增加到初始学习率能避免训练初期的不稳定。11.3 预训练权重的坑加载预训练权重的时候经常遇到键不匹配的问题。比如骨干网络用了ResNet但预训练权重是ImageNet分类的最后的全连接层键名不一样。这时候要过滤掉不匹配的键只加载匹配的。还有一种情况是预训练权重的通道顺序或者归一化方式跟你的数据不一样。比如ImageNet预训练用的是RGB通道如果你的数据是BGR要先转换。归一化参数也要匹配用ImageNet的均值和标准差。11.4 多GPU训练的坑多GPU训练用DataParallel或者DistributedDataParallel。DataParallel简单但效率低因为主GPU的负载高。DistributedDataParallel效率高但配置复杂需要设置local_rank和分布式采样器。用多GPU的时候Batch Normalization要换成SyncBN否则每个GPU的统计量不一致影响性能。学习率也要按GPU数量线性缩放比如单GPU用0.014GPU就用0.04。11.5 模型保存与恢复的坑保存模型的时候要保存模型状态字典、优化器状态、epoch数、最佳指标。只保存模型权重的话恢复训练的时候优化器状态丢了学习率调度会乱。恢复训练的时候注意模型结构要跟保存时一致。如果改了模型结构加载权重会报错。这时候可以用strictFalse加载跳过不匹配的层。最后分享一个小技巧训练分割模型的时候我习惯在每个epoch结束后保存一个checkpoint同时保存最佳模型。checkpoint包含所有状态用于恢复训练最佳模型只包含权重用于推理。这样即使训练中断也能从最近的checkpoint恢复不会丢进度。另外验证集指标用mIoU和Dice都算一下有时候mIoU高但Dice低说明小目标分割不好需要针对性优化。
