简介面向遥感图像语义分割研究与应用开发者这份源码包提供了结合注意力机制与膨胀卷积的AD-HRNet改进实现。资源以HRNet为骨干融入注意力模块和多尺度膨胀卷积来增强特征表达适用于高分辨率遥感影像的地物分类、建筑物提取等精细化分割任务尤其适合希望复现前沿算法或开展对比实验的读者。包体共101个文件以Python脚本61个py为核心同时包含26个pyc编译文件以及用于加速批量归一化与激活函数的C/CUDA扩展cpp/h/cu另附少量配置、文档与许可证说明。整个压缩包仅146KB轻量紧凑便于快速下载与部署。目前已有216人学习下载。资源中提供完整的模型定义与训练流程脚本并包含同步批归一化的替代实现可直接衔接常用遥感分割数据集帮助学习者节省环境搭建与代码调试时间快速验证AD-HRNet的分割效果并在此基础上开展进一步研究与改进。1. 遥感语义分割里AD-HRNet 为什么值得拆开看语义分割在遥感影像里和城市街景完全是两回事。一张大面积的遥感图里一栋楼只占十几个像素道路是狭长连续结构边界既薄又容易粘连。常见的编码-解码结构比如 DeepLabV3即便有 ASPP 也难免在下采样再上采样过程中把细边缘抹平。AD-HRNet 把 HRNet 的高分辨率分支保留再在分支连接处叠加注意力机制和膨胀卷积。这份源码我拆过几遍真正的难点不在训练脚本而在理解它怎么把 attention 和 dilation 塞进原本复杂的高分辨率模块以及 inplace_abn 这套自定义算子如何在训练时省显存。适合已经跑通过 HRNet 或 DeepLabV3 的人来读纯新手建议先用小数据集把流程拉通。2. AD-HRNet 结构拆解seg_hrnet.py 中的注意力与膨胀卷积挂载2.1 为什么保留 HRNet 的高分辨率分支HRNet 的核心思想不是编码-解码而是让高分辨率特征图和低分辨率特征图始终并行存在通过交换单元互相同步信息。遥感语义分割里小目标漏检通常是因为特征分辨率不够而像 FCN 这种逐级下采样结构一旦把 1024x1024 的影像降到底小建筑物的空间位置已经偏移了。AD-HRNet 保留四条并行分支只是把传统 HRNet 里的 BatchNorm 换成了 inplace_abn同时在分支特征进入下一阶段前插入注意力模块。这个改动对 mIoU 的提升幅度通常不如把膨胀卷积加在最后阶段来得明显但它的存在让网络更容易去关注通道之间的依赖关系尤其适合多光谱遥感数据中波段相关性强的场景。真正适合这个方案的场景是道路和建筑轮廓同时存在的城市场景。道路需要长距离上下文建筑需要精确定位单靠高层语义信息在低分辨率特征图上看不到边界。高分辨率分支在 stage1、stage2 阶段就保留着与输入几乎一致的分辨率后续 exchange block 把不同分支的特征做融合相当于在不丢失空间位置的同时让低层细节和高层语义互相校正。这里值得注意的是不要在 stage1 就加膨胀卷积浅层特征分辨率太高膨胀后感受野提升有限但显存开销接近翻倍放在 stage3 之后的性价比最高。2.2 seg_hrnet.py 中注意力模块的真实位置拿到源码包之后你会发现它没有单独的 attention.py 文件改动集中在 seg_hrnet.py。常见做法是在 HighResolutionModule 完成交换后的输出上再接一个轻量 CBAM 模块因为 CBAM 是通道注意力与空间注意力的组合比 SE 多一个空间维度。遥感建筑分割里除了“哪些通道更有用”还需要“空间上哪些位置更像目标”所以通道-空间协同注意力机制比单独 SE 或 ECA 更适合这个场景。逐通道打分的 SE 可以理解成给每个特征图一个全局权重而 CBAM 还会在空间上做一次 7x7 卷积生成空间掩膜让道路这类链状结构的响应更连续。下面是一段最小可用的 CBAM 通道注意力实现可以直接放到 seg_hrnet.py 同目录下引用class ChannelGate(nn.Module): def __init__(self, in_channels, reduction_ratio16): super(ChannelGate, self).__init__() # 先用全局平均池化和最大池化把空间维度压成1x1 self.avg_pool nn.AdaptiveAvgPool2d(1) self.max_pool nn.AdaptiveMaxPool2d(1) # 两层1x1卷积组成MLP用来拟合通道间的相关性 self.mlp nn.Sequential( nn.Conv2d(in_channels, in_channels // reduction_ratio, 1), nn.ReLU(inplaceTrue), nn.Conv2d(in_channels // reduction_ratio, in_channels, 1) ) self.sigmoid nn.Sigmoid() def forward(self, x): avg_out self.mlp(self.avg_pool(x)) max_out self.mlp(self.max_pool(x)) return self.sigmoid(avg_out max_out)这段代码里 reduction_ratio16 是控制通道压缩倍数的关键参数。影像类别数越多、空间纹理越细这个值可以调大到 32目的是让中间层参数不至于过拟合反过来如果是二分类的云雪分割可以调到 8。avg_pool 负责提取全局统计量max_pool 负责捕捉最显著响应两者相加再经过 sigmoid得到的是每个通道的激活权重后面会对输入特征做乘法。有一个容易踩坑的地方如果沿用原来的 BasicBlock 结构CBAM 加在残差分支外面比加在残差内部效果更可控否则注意力权重会随残差叠加一起放大导致训练初期 loss 下降很慢。2.3 膨胀卷积的接入方式与网格伪影膨胀卷积不是单独一个模块本质上就是带 dilation 参数的普通卷积。在 PyTorch 里nn.Conv2d(..., dilation2) 就能让 3x3 卷积的感受野扩大到 5x5而不增加参数量。AD-HRNet 的典型做法是把最后的分类头之前的几个 3x3 卷积的 dilation 设为 2个别分支设为 4弥补 HRNet 在高分辨率分支中感受野不足的问题。遥感影像里道路、河流这类长条对象单靠从 stage1 到 stage4 逐级交换很难覆盖大范围上下文膨胀卷积正好分摊这部分压力。但 dilation 不是越大越好。连续堆叠低层 dilation 会导致网格伪影特征图上每隔固定间隔出现不连续点因为相邻像素的采样位置没有重叠。缓解方法有两种一种是不在同一层重复用相同 dilation而是按 [1, 2, 4, 2] 这样交错另一种是把最后一个 stage 的 stride 去掉只保留 dilation。下面这段示意代码展示如何在 seg_hrnet.py 中通过参数控制最后一层卷积的 dilationdef _make_conv_block(self, channels, dilation1): return nn.Sequential( # stride固定为1padding必须等于dilation才能保证输出尺寸不变 nn.Conv2d(channels, channels, kernel_size3, stride1, paddingdilation, dilationdilation, biasFalse), InPlaceABN(channels) if self.use_abn else nn.BatchNorm2d(channels) )这里 paddingdilation 是保证输出分辨率不变的硬条件漏掉会导致尺寸计算错误。use_abn 是源码包中是否加载 inplace_abn 算子的总开关。如果你只是想快速复现建议先把它设成 False用普通 nn.BatchNorm2d 走通全流程等显存紧张再切回 inplace_abn。膨胀率的具体数值不要四层分支统一设一样stage4 下采样倍数最高的分支膨胀率反而要小一些防止空间位置错位。2.4 inplace_abn 文件布局与网络加载关系源码包里那些 .cpp 和 .cu 文件不是摆设。inplace_abn.h 和 common.h 定义激活函数与 BatchNorm 的联合计算方式inplace_abn.cpp 是通用入口inplace_abn_cpu.cpp 是 CPU 实现inplace_abn_cuda.cu 是 GPU 实现。它们的作用是把 BatchNorm、ReLU/LeakyReLU 两步操作融合成一次 forward并且在计算反向传播时直接修改输入张量的内存从而省掉一份中间激活值的存储。对于大尺寸遥感影像这会直接影响 batch size 能开到多少。注意 inplace 有自己的陷阱一旦你写 x bn(x) 后又用 x 参与其它计算原始输入被覆写会导致梯度回传时读到错误数值。所以在 seg_hrnet.py 中凡是使用 InPlaceABN 的地方都不能把这个特征图同时喂给两个模块。HRNet 的交换单元会把同分辨率分支的特征拼到别处代码里一般会先 clone() 再传给下一个分支这是源码能正常训练的关键。3. train.py 实战遥感数据集准备、超参数表与训练命令3.1 把遥感影像转成 HRNet 可读的数据集原版 HRNet-Semantic-Segmentation-pytorch 面向的是 Cityscapes 这类标注数据集遥感项目要复用 train.py最省事的做法是把标注格式转成 Cityscapes 兼容结构。一般我会建一个 data/rs/ 目录下面分 JPEGImages 和 SegmentationClass 两个子目录一个放原图一个放同名的 PNG 掩膜。掩膜中的像素值必须是类别编号比如 0 表示背景、1 表示建筑、2 表示道路不能使用 RGB 格式标注。如果你手里是 Shapefile 矢量建筑轮廓先把矢量栅格化成背景值 0、建筑值 1 的单波段标签。转换时要注意遥感影像通常带地理参考和超大尺寸不能直接把 TIF 硬塞进网络。公开语义分割模型训练的常见做法是按 512x512 或 1024x1024 的窗口滑动裁剪同时保证训练集和验证集的裁剪窗口不重叠。下面是一个简单的滑动裁剪脚本处理一张 8000x8000 的遥感正射影像import cv2 import numpy as np def sliding_crop(image, label, crop_size512, step256): h, w image.shape[:2] crops [] for y in range(0, h - crop_size 1, step): for x in range(0, w - crop_size 1, step): # 按固定步长切窗产生重叠区域相当于一种数据增强 img_crop image[y:ycrop_size, x:xcrop_size] lbl_crop label[y:ycrop_size, x:xcrop_size] crops.append((img_crop, lbl_crop)) return crops这里 step256 表示相邻窗口有 256 像素重叠作用是增加训练样本数量缓解边缘标注噪声。对于显存不足的环境重叠减少一半也不会影响 mIoU但模型对边界对象的连续性会差一些。裁剪后记得检查标签中类别像素占比如果背景占了 95% 以上需要在后面配置类别权重否则损失函数会被背景主导。3.2 train.py 的关键参数与训练命令源码包的 train.py 入口沿用了 HRNet 训练脚本的风格用 argparse 接收数据集路径、类别数、backbone 规模和训练轮数。先跑一下 python train.py --help 能看到全部参数把改动较大的参数整理成下面的配置表参数名建议值说明--data-dirdata/rs/数据集根目录--num-classes2 或 5遥感任务通常是背景加目标--lr0.01初始学习率HRNet 常用这个值起步--batch-size4 到 16取决于是否使用 inplace_abn--epochs80 到 120小数据集跑 80 就够--use-abn1打开 inplace_abn 编译后的算子--use-dilate2最后一阶段膨胀率基准--attention-typecbam控制注意力模块类型可选 se / eca学习率调度建议跟着原版 HRNet 来poly 策略power0.9。直接使用固定学习率衰减会出现训练后期 mIoU 波动边界和建筑轮廓会抖动。训练命令如下python train.py --data-dir data/rs/ --num-classes 2 \ --batch-size 8 --epochs 100 --lr 0.01 \ --use-abn 1 --use-dilate 2 --attention-type cbam \ --output_dir runs/rs_adhrnet这段命令里 --use-dilate 2 表示最后一阶段的 3x3 卷积 dilation 基准为 2不是所有层都膨胀。--attention-type cbam 会触发 seg_hrnet.py 匹配到之前手写的 ChannelGate 和 SpatialGate 组合。如果你的源码中的 seg_hrnet.py 没有实现多种 attention 分支需要至少保留一个 se 分支因为网络加载时会读取这个配置项报 keyError 时优先检查这里。提示先使用 --use-abn 0 跑通训练流程再打开 inplace_abn否则编译错误和训练错误混在一起很难定位是网络问题还是自定义算子问题。3.3 训练过程监控与调参启动训练后不要只盯着打印出来的 loss。遥感语义分割训练最典型的现象是 loss 一直在降但 mIoU 不涨这通常发生在类别不平衡严重的场景。建议在 train.py 的验证逻辑里加上每个类别的 IoU 输出并让每 5 个 epoch 保存一次 checkpoint不要只在最后保存一次。训练时显存占用会直接反映 inplace_abn 是否生效在同样 batch_size8、输入 1024x1024 的情况下关闭 inplace_abn 的版本大概多占 1.5 到 2GB 显存具体数值和类别数、通道数有关。如果验证集 mIoU 停滞先检查验证集是否和训练集有重叠裁剪区域再检查 dilation 是否把背景类别撑大。很多时候膨胀卷积会让大目标直接把小目标吃没这时可以降低 --use-dilate 到 1或者把膨胀只放在 stage3、stage4 中的一支分支。数据增强方面原版 train.py 可能只带了随机翻转和随机缩放遥感影像最好自行加入随机旋转 90 度和色彩抖动因为无人机影像和卫星影像的视角变化比街景大得多。4. inplace_abn 编译与替换从 C/CUDA 源码到显存问题4.1 四个源码文件各自负责什么一次完整的 inplace_abn 加载需要 common.h、inplace_abn.h、inplace_abn.cpp、inplace_abn_cpu.cpp、inplace_abn_cuda.cu 配合。common.h 里放张量迭代的公共代码inplace_abn.h 声明了 InPlaceABN 的前向和反向接口inplace_abn.cpp 做 PyTorch 算子的绑定CPU 和 CUDA 各自独立实现算子逻辑。你要是只想在无显卡的服务器上做数据预处理不要编译 CUDA 部分否则会浪费时间在驱动版本上。4.2 编译入库setup.py 之外的加载方式源码包提供的文件列表里没有 setup.py说明原作者期望你直接用 torch.utils.cpp_extension.load 动态编译。我一般会在项目根目录放一个 build_abn.py内容如下from torch.utils.cpp_extension import load, CUDA_HOME # sources里是inplace_abn的cpp和cu文件一次编译会生成一个共享库 inplace_abn load( nameinplace_abn, sources[inplace_abn.cpp, inplace_abn_cpu.cpp, inplace_abn_cuda.cu], extra_cflags[-O3], extra_cuda_cflags[-O3], verboseTrue )然后训练脚本里先执行 import build_abn这样 inplace_abn 这个命名空间就注册到了运行时环境。load 的 sources 列表顺序最好和项目原目录保持一致不同顺序会导致链接顺序依赖错误。编译完成后会在当前目录生成一个带 _inplace_abn 后缀的共享库文件再次训练时会直接命中缓存。4.3 编译失败排查与回退普通 BNinplace_abn 编译报错主要集中在两个地方一是 inplace_abn_cuda.cu 中访问了 PyTorch 不再暴露的私有头文件二是 CUDA 版本和当前 PyTorch 版本不匹配。先看 torch.version.cuda 是什么再比对你机器上 nvcc --version两者大版本必须一致。如果无法解决最简单的回退方案是把 seg_hrnet.py 中的 InPlaceABN 替换为 nn.BatchNorm2d并对每条分支的 act 参数做兼容。下面是替换片段def build_bn(planes, actrelu): # 模拟inplace_abn的“先BN再激活”顺序原版slope默认0.01 if act leaky_relu: return nn.Sequential(nn.BatchNorm2d(planes), nn.LeakyReLU(0.01, inplaceTrue)) return nn.Sequential(nn.BatchNorm2d(planes), nn.ReLU(inplaceTrue))这里用 nn.Sequential 组合 BN 与激活函数是为了尽量模拟 inplace_abn 的前后顺序。有一点注意inplace_abn 的默认 slope 参数是 0.01替换成 LeakyReLU 的 negative_slope0.01 效果最接近写成 0.1 会让特征分布差异变大。5. 遥感推理与 mIoU 验证注意力热图能说明什么5.1 单张遥感影像推理遥感推理和验证要用与训练一致的窗口大小不能直接把整张 8000x8000 影像喂进模型。推理时窗口之间建议保留少量重叠再把重叠部分的预测结果丢弃避免窗口边缘的拼接痕迹。简单推理脚本如下import torch from seg_hrnet import get_seg_model model get_seg_model(num_classes2, attention_typecbam, use_dilate2) # 加载的权重必须和上面三个配置保持一致否则结构对不上 model.load_state_dict(torch.load(runs/rs_adhrnet/best.pth)) model.eval() with torch.no_grad(): pred torch.argmax(model(tile.unsqueeze(0))[out], dim1)注意 model(tile)[out] 里 out 这个 key 是 HRNet 语义分割实现固定返回的如果拿不到就检查训练时用的是不是同一套前向函数。推理时务必关闭 BatchNorm 的统计更新model.eval() 不写的话类别边缘会出现许多全白或全黑的噪点。5.2 注意力热图和膨胀率对比验证验证 mIoU 时我会先把每一类的 IoU 单独打出来再观察建筑和道路的差值。如果建筑类提升明显但道路类下降大概率是膨胀卷积让长条结构更完整而小建筑被覆盖。此时把注意力热图叠加在原图上能看到热图高亮区域是否集中在目标边缘。膨胀卷积的网格伪影也会在热图上表现为周期性斑点肉眼很容易识别出来。最后可以做一个对比实验use_dilate1、use_dilate2、attention_typese 三组跑同一数据集每组只改一个变量。一般规律是融合 CBAM 和膨胀率为 2 的组合在道路场景中 mIoU 提升 1.5 到 3 个点但到了密集小目标场景反而是不加膨胀的版本更可靠。先用 --use-dilate 1 --attention-type se 作为 baseline跑通后逐步引入膨胀率和 CBAM每次只改一个参数并记录验证集 IoU 矩阵再决定最终要保留哪部分改动。本文还有配套的精品资源点击获取
简介面向遥感图像语义分割研究与应用开发者这份源码包提供了结合注意力机制与膨胀卷积的AD-HRNet改进实现。资源以HRNet为骨干融入注意力模块和多尺度膨胀卷积来增强特征表达适用于高分辨率遥感影像的地物分类、建筑物提取等精细化分割任务尤其适合希望复现前沿算法或开展对比实验的读者。包体共101个文件以Python脚本61个py为核心同时包含26个pyc编译文件以及用于加速批量归一化与激活函数的C/CUDA扩展cpp/h/cu另附少量配置、文档与许可证说明。整个压缩包仅146KB轻量紧凑便于快速下载与部署。目前已有216人学习下载。资源中提供完整的模型定义与训练流程脚本并包含同步批归一化的替代实现可直接衔接常用遥感分割数据集帮助学习者节省环境搭建与代码调试时间快速验证AD-HRNet的分割效果并在此基础上开展进一步研究与改进。1. 遥感语义分割里AD-HRNet 为什么值得拆开看语义分割在遥感影像里和城市街景完全是两回事。一张大面积的遥感图里一栋楼只占十几个像素道路是狭长连续结构边界既薄又容易粘连。常见的编码-解码结构比如 DeepLabV3即便有 ASPP 也难免在下采样再上采样过程中把细边缘抹平。AD-HRNet 把 HRNet 的高分辨率分支保留再在分支连接处叠加注意力机制和膨胀卷积。这份源码我拆过几遍真正的难点不在训练脚本而在理解它怎么把 attention 和 dilation 塞进原本复杂的高分辨率模块以及 inplace_abn 这套自定义算子如何在训练时省显存。适合已经跑通过 HRNet 或 DeepLabV3 的人来读纯新手建议先用小数据集把流程拉通。2. AD-HRNet 结构拆解seg_hrnet.py 中的注意力与膨胀卷积挂载2.1 为什么保留 HRNet 的高分辨率分支HRNet 的核心思想不是编码-解码而是让高分辨率特征图和低分辨率特征图始终并行存在通过交换单元互相同步信息。遥感语义分割里小目标漏检通常是因为特征分辨率不够而像 FCN 这种逐级下采样结构一旦把 1024x1024 的影像降到底小建筑物的空间位置已经偏移了。AD-HRNet 保留四条并行分支只是把传统 HRNet 里的 BatchNorm 换成了 inplace_abn同时在分支特征进入下一阶段前插入注意力模块。这个改动对 mIoU 的提升幅度通常不如把膨胀卷积加在最后阶段来得明显但它的存在让网络更容易去关注通道之间的依赖关系尤其适合多光谱遥感数据中波段相关性强的场景。真正适合这个方案的场景是道路和建筑轮廓同时存在的城市场景。道路需要长距离上下文建筑需要精确定位单靠高层语义信息在低分辨率特征图上看不到边界。高分辨率分支在 stage1、stage2 阶段就保留着与输入几乎一致的分辨率后续 exchange block 把不同分支的特征做融合相当于在不丢失空间位置的同时让低层细节和高层语义互相校正。这里值得注意的是不要在 stage1 就加膨胀卷积浅层特征分辨率太高膨胀后感受野提升有限但显存开销接近翻倍放在 stage3 之后的性价比最高。2.2 seg_hrnet.py 中注意力模块的真实位置拿到源码包之后你会发现它没有单独的 attention.py 文件改动集中在 seg_hrnet.py。常见做法是在 HighResolutionModule 完成交换后的输出上再接一个轻量 CBAM 模块因为 CBAM 是通道注意力与空间注意力的组合比 SE 多一个空间维度。遥感建筑分割里除了“哪些通道更有用”还需要“空间上哪些位置更像目标”所以通道-空间协同注意力机制比单独 SE 或 ECA 更适合这个场景。逐通道打分的 SE 可以理解成给每个特征图一个全局权重而 CBAM 还会在空间上做一次 7x7 卷积生成空间掩膜让道路这类链状结构的响应更连续。下面是一段最小可用的 CBAM 通道注意力实现可以直接放到 seg_hrnet.py 同目录下引用class ChannelGate(nn.Module): def __init__(self, in_channels, reduction_ratio16): super(ChannelGate, self).__init__() # 先用全局平均池化和最大池化把空间维度压成1x1 self.avg_pool nn.AdaptiveAvgPool2d(1) self.max_pool nn.AdaptiveMaxPool2d(1) # 两层1x1卷积组成MLP用来拟合通道间的相关性 self.mlp nn.Sequential( nn.Conv2d(in_channels, in_channels // reduction_ratio, 1), nn.ReLU(inplaceTrue), nn.Conv2d(in_channels // reduction_ratio, in_channels, 1) ) self.sigmoid nn.Sigmoid() def forward(self, x): avg_out self.mlp(self.avg_pool(x)) max_out self.mlp(self.max_pool(x)) return self.sigmoid(avg_out max_out)这段代码里 reduction_ratio16 是控制通道压缩倍数的关键参数。影像类别数越多、空间纹理越细这个值可以调大到 32目的是让中间层参数不至于过拟合反过来如果是二分类的云雪分割可以调到 8。avg_pool 负责提取全局统计量max_pool 负责捕捉最显著响应两者相加再经过 sigmoid得到的是每个通道的激活权重后面会对输入特征做乘法。有一个容易踩坑的地方如果沿用原来的 BasicBlock 结构CBAM 加在残差分支外面比加在残差内部效果更可控否则注意力权重会随残差叠加一起放大导致训练初期 loss 下降很慢。2.3 膨胀卷积的接入方式与网格伪影膨胀卷积不是单独一个模块本质上就是带 dilation 参数的普通卷积。在 PyTorch 里nn.Conv2d(..., dilation2) 就能让 3x3 卷积的感受野扩大到 5x5而不增加参数量。AD-HRNet 的典型做法是把最后的分类头之前的几个 3x3 卷积的 dilation 设为 2个别分支设为 4弥补 HRNet 在高分辨率分支中感受野不足的问题。遥感影像里道路、河流这类长条对象单靠从 stage1 到 stage4 逐级交换很难覆盖大范围上下文膨胀卷积正好分摊这部分压力。但 dilation 不是越大越好。连续堆叠低层 dilation 会导致网格伪影特征图上每隔固定间隔出现不连续点因为相邻像素的采样位置没有重叠。缓解方法有两种一种是不在同一层重复用相同 dilation而是按 [1, 2, 4, 2] 这样交错另一种是把最后一个 stage 的 stride 去掉只保留 dilation。下面这段示意代码展示如何在 seg_hrnet.py 中通过参数控制最后一层卷积的 dilationdef _make_conv_block(self, channels, dilation1): return nn.Sequential( # stride固定为1padding必须等于dilation才能保证输出尺寸不变 nn.Conv2d(channels, channels, kernel_size3, stride1, paddingdilation, dilationdilation, biasFalse), InPlaceABN(channels) if self.use_abn else nn.BatchNorm2d(channels) )这里 paddingdilation 是保证输出分辨率不变的硬条件漏掉会导致尺寸计算错误。use_abn 是源码包中是否加载 inplace_abn 算子的总开关。如果你只是想快速复现建议先把它设成 False用普通 nn.BatchNorm2d 走通全流程等显存紧张再切回 inplace_abn。膨胀率的具体数值不要四层分支统一设一样stage4 下采样倍数最高的分支膨胀率反而要小一些防止空间位置错位。2.4 inplace_abn 文件布局与网络加载关系源码包里那些 .cpp 和 .cu 文件不是摆设。inplace_abn.h 和 common.h 定义激活函数与 BatchNorm 的联合计算方式inplace_abn.cpp 是通用入口inplace_abn_cpu.cpp 是 CPU 实现inplace_abn_cuda.cu 是 GPU 实现。它们的作用是把 BatchNorm、ReLU/LeakyReLU 两步操作融合成一次 forward并且在计算反向传播时直接修改输入张量的内存从而省掉一份中间激活值的存储。对于大尺寸遥感影像这会直接影响 batch size 能开到多少。注意 inplace 有自己的陷阱一旦你写 x bn(x) 后又用 x 参与其它计算原始输入被覆写会导致梯度回传时读到错误数值。所以在 seg_hrnet.py 中凡是使用 InPlaceABN 的地方都不能把这个特征图同时喂给两个模块。HRNet 的交换单元会把同分辨率分支的特征拼到别处代码里一般会先 clone() 再传给下一个分支这是源码能正常训练的关键。3. train.py 实战遥感数据集准备、超参数表与训练命令3.1 把遥感影像转成 HRNet 可读的数据集原版 HRNet-Semantic-Segmentation-pytorch 面向的是 Cityscapes 这类标注数据集遥感项目要复用 train.py最省事的做法是把标注格式转成 Cityscapes 兼容结构。一般我会建一个 data/rs/ 目录下面分 JPEGImages 和 SegmentationClass 两个子目录一个放原图一个放同名的 PNG 掩膜。掩膜中的像素值必须是类别编号比如 0 表示背景、1 表示建筑、2 表示道路不能使用 RGB 格式标注。如果你手里是 Shapefile 矢量建筑轮廓先把矢量栅格化成背景值 0、建筑值 1 的单波段标签。转换时要注意遥感影像通常带地理参考和超大尺寸不能直接把 TIF 硬塞进网络。公开语义分割模型训练的常见做法是按 512x512 或 1024x1024 的窗口滑动裁剪同时保证训练集和验证集的裁剪窗口不重叠。下面是一个简单的滑动裁剪脚本处理一张 8000x8000 的遥感正射影像import cv2 import numpy as np def sliding_crop(image, label, crop_size512, step256): h, w image.shape[:2] crops [] for y in range(0, h - crop_size 1, step): for x in range(0, w - crop_size 1, step): # 按固定步长切窗产生重叠区域相当于一种数据增强 img_crop image[y:ycrop_size, x:xcrop_size] lbl_crop label[y:ycrop_size, x:xcrop_size] crops.append((img_crop, lbl_crop)) return crops这里 step256 表示相邻窗口有 256 像素重叠作用是增加训练样本数量缓解边缘标注噪声。对于显存不足的环境重叠减少一半也不会影响 mIoU但模型对边界对象的连续性会差一些。裁剪后记得检查标签中类别像素占比如果背景占了 95% 以上需要在后面配置类别权重否则损失函数会被背景主导。3.2 train.py 的关键参数与训练命令源码包的 train.py 入口沿用了 HRNet 训练脚本的风格用 argparse 接收数据集路径、类别数、backbone 规模和训练轮数。先跑一下 python train.py --help 能看到全部参数把改动较大的参数整理成下面的配置表参数名建议值说明--data-dirdata/rs/数据集根目录--num-classes2 或 5遥感任务通常是背景加目标--lr0.01初始学习率HRNet 常用这个值起步--batch-size4 到 16取决于是否使用 inplace_abn--epochs80 到 120小数据集跑 80 就够--use-abn1打开 inplace_abn 编译后的算子--use-dilate2最后一阶段膨胀率基准--attention-typecbam控制注意力模块类型可选 se / eca学习率调度建议跟着原版 HRNet 来poly 策略power0.9。直接使用固定学习率衰减会出现训练后期 mIoU 波动边界和建筑轮廓会抖动。训练命令如下python train.py --data-dir data/rs/ --num-classes 2 \ --batch-size 8 --epochs 100 --lr 0.01 \ --use-abn 1 --use-dilate 2 --attention-type cbam \ --output_dir runs/rs_adhrnet这段命令里 --use-dilate 2 表示最后一阶段的 3x3 卷积 dilation 基准为 2不是所有层都膨胀。--attention-type cbam 会触发 seg_hrnet.py 匹配到之前手写的 ChannelGate 和 SpatialGate 组合。如果你的源码中的 seg_hrnet.py 没有实现多种 attention 分支需要至少保留一个 se 分支因为网络加载时会读取这个配置项报 keyError 时优先检查这里。提示先使用 --use-abn 0 跑通训练流程再打开 inplace_abn否则编译错误和训练错误混在一起很难定位是网络问题还是自定义算子问题。3.3 训练过程监控与调参启动训练后不要只盯着打印出来的 loss。遥感语义分割训练最典型的现象是 loss 一直在降但 mIoU 不涨这通常发生在类别不平衡严重的场景。建议在 train.py 的验证逻辑里加上每个类别的 IoU 输出并让每 5 个 epoch 保存一次 checkpoint不要只在最后保存一次。训练时显存占用会直接反映 inplace_abn 是否生效在同样 batch_size8、输入 1024x1024 的情况下关闭 inplace_abn 的版本大概多占 1.5 到 2GB 显存具体数值和类别数、通道数有关。如果验证集 mIoU 停滞先检查验证集是否和训练集有重叠裁剪区域再检查 dilation 是否把背景类别撑大。很多时候膨胀卷积会让大目标直接把小目标吃没这时可以降低 --use-dilate 到 1或者把膨胀只放在 stage3、stage4 中的一支分支。数据增强方面原版 train.py 可能只带了随机翻转和随机缩放遥感影像最好自行加入随机旋转 90 度和色彩抖动因为无人机影像和卫星影像的视角变化比街景大得多。4. inplace_abn 编译与替换从 C/CUDA 源码到显存问题4.1 四个源码文件各自负责什么一次完整的 inplace_abn 加载需要 common.h、inplace_abn.h、inplace_abn.cpp、inplace_abn_cpu.cpp、inplace_abn_cuda.cu 配合。common.h 里放张量迭代的公共代码inplace_abn.h 声明了 InPlaceABN 的前向和反向接口inplace_abn.cpp 做 PyTorch 算子的绑定CPU 和 CUDA 各自独立实现算子逻辑。你要是只想在无显卡的服务器上做数据预处理不要编译 CUDA 部分否则会浪费时间在驱动版本上。4.2 编译入库setup.py 之外的加载方式源码包提供的文件列表里没有 setup.py说明原作者期望你直接用 torch.utils.cpp_extension.load 动态编译。我一般会在项目根目录放一个 build_abn.py内容如下from torch.utils.cpp_extension import load, CUDA_HOME # sources里是inplace_abn的cpp和cu文件一次编译会生成一个共享库 inplace_abn load( nameinplace_abn, sources[inplace_abn.cpp, inplace_abn_cpu.cpp, inplace_abn_cuda.cu], extra_cflags[-O3], extra_cuda_cflags[-O3], verboseTrue )然后训练脚本里先执行 import build_abn这样 inplace_abn 这个命名空间就注册到了运行时环境。load 的 sources 列表顺序最好和项目原目录保持一致不同顺序会导致链接顺序依赖错误。编译完成后会在当前目录生成一个带 _inplace_abn 后缀的共享库文件再次训练时会直接命中缓存。4.3 编译失败排查与回退普通 BNinplace_abn 编译报错主要集中在两个地方一是 inplace_abn_cuda.cu 中访问了 PyTorch 不再暴露的私有头文件二是 CUDA 版本和当前 PyTorch 版本不匹配。先看 torch.version.cuda 是什么再比对你机器上 nvcc --version两者大版本必须一致。如果无法解决最简单的回退方案是把 seg_hrnet.py 中的 InPlaceABN 替换为 nn.BatchNorm2d并对每条分支的 act 参数做兼容。下面是替换片段def build_bn(planes, actrelu): # 模拟inplace_abn的“先BN再激活”顺序原版slope默认0.01 if act leaky_relu: return nn.Sequential(nn.BatchNorm2d(planes), nn.LeakyReLU(0.01, inplaceTrue)) return nn.Sequential(nn.BatchNorm2d(planes), nn.ReLU(inplaceTrue))这里用 nn.Sequential 组合 BN 与激活函数是为了尽量模拟 inplace_abn 的前后顺序。有一点注意inplace_abn 的默认 slope 参数是 0.01替换成 LeakyReLU 的 negative_slope0.01 效果最接近写成 0.1 会让特征分布差异变大。5. 遥感推理与 mIoU 验证注意力热图能说明什么5.1 单张遥感影像推理遥感推理和验证要用与训练一致的窗口大小不能直接把整张 8000x8000 影像喂进模型。推理时窗口之间建议保留少量重叠再把重叠部分的预测结果丢弃避免窗口边缘的拼接痕迹。简单推理脚本如下import torch from seg_hrnet import get_seg_model model get_seg_model(num_classes2, attention_typecbam, use_dilate2) # 加载的权重必须和上面三个配置保持一致否则结构对不上 model.load_state_dict(torch.load(runs/rs_adhrnet/best.pth)) model.eval() with torch.no_grad(): pred torch.argmax(model(tile.unsqueeze(0))[out], dim1)注意 model(tile)[out] 里 out 这个 key 是 HRNet 语义分割实现固定返回的如果拿不到就检查训练时用的是不是同一套前向函数。推理时务必关闭 BatchNorm 的统计更新model.eval() 不写的话类别边缘会出现许多全白或全黑的噪点。5.2 注意力热图和膨胀率对比验证验证 mIoU 时我会先把每一类的 IoU 单独打出来再观察建筑和道路的差值。如果建筑类提升明显但道路类下降大概率是膨胀卷积让长条结构更完整而小建筑被覆盖。此时把注意力热图叠加在原图上能看到热图高亮区域是否集中在目标边缘。膨胀卷积的网格伪影也会在热图上表现为周期性斑点肉眼很容易识别出来。最后可以做一个对比实验use_dilate1、use_dilate2、attention_typese 三组跑同一数据集每组只改一个变量。一般规律是融合 CBAM 和膨胀率为 2 的组合在道路场景中 mIoU 提升 1.5 到 3 个点但到了密集小目标场景反而是不加膨胀的版本更可靠。先用 --use-dilate 1 --attention-type se 作为 baseline跑通后逐步引入膨胀率和 CBAM每次只改一个参数并记录验证集 IoU 矩阵再决定最终要保留哪部分改动。本文还有配套的精品资源点击获取
