简介卫星图像分割是遥感数据分析的关键环节这份资源面向遥感图像处理、计算机视觉与地物分类学习者演示了基于 Python 的完整分割流程。压缩包共包含三个 Python 脚本整体仅三 KB分别用于数据准备、主流程调用与屋顶检测示例结构精简便于快速运行与二次修改。已有二百五十人学习下载。脚本覆盖图像预处理、特征提取以及阈值分割、区域生长、边缘检测、聚类等经典算法并引入 U-Net、FCN、SegNet 等深度学习模型思路配合孤立像素消除、连通组件标记等后处理技巧帮助读者打通从遥感影像读取到分割结果评估的完整技术路径。借助常用图像处理与机器学习工具库学习者可在此基础上进一步扩展地物分类、建筑物提取、变化检测等应用卫星图像分割已在环境保护、城市规划、灾害监测、农业估产等场景发挥关键作用这份资源可作为快速上手的实用起点。 讲个我自己入行的经历。最早做遥感影像处理的时候总觉得分割这事儿属于“看着容易做起来脱层皮”的活。一张卫星图拍下来有房子、有树、有路、有农田还有大片阴影和水体你想让程序把每一类像元自动归好类传统方法折腾半天还是漏得厉害。后来接触了深度学习里的图像分割尤其是U-Net这一类模型才算是找到了真正能落地的路子。这篇东西不是教科书就是一个在卫星影像分割上踩过不少坑的人把从方案选型、数据准备到模型训练、推理部署的完整思路捋一遍。不管你是刚入门遥感、想用分割模型做城市建筑提取还是已经在做医学图像分割或广告牌图像分割想转过来看看遥感场景都能从里面找到可以直接上手的东西。1. 卫星图像分割到底在解决什么问题1.1 从图像分类、目标检测到语义分割很多人一开始会混淆几个概念。图像分类解决的是“这张图里是什么”输出是一个类别标签目标检测解决的是“东西在哪里”输出是一堆带类别标签的边界框而图像分割则是给图像里的每一个像素都赋予一个语义类别输出的是一张和原图同样大小的“类别图”。卫星图像分割本质上就是做这个像素级分类任务只不过输入从自然照片换成了遥感影像。这个区别在遥感场景里尤其关键。比如你要统计某个区域的建筑面积目标检测只能告诉你“这里有一栋楼”却给不出这栋楼的精确轮廓而分割能直接把所有楼栋屋顶的像素画出来面积、周长、边界一目了然。应用到城市变化监测、违章建筑筛查、光伏板分布统计这些场景里分割的结果几乎是不可替代的底图。1.2 卫星图像分割的典型应用场景我整理一下自己接触过和行业里常见的几类落地场景你会发现它们有个共同点都依赖高精度的空间分布信息而不仅仅是“有没有”的判断。城市规划与建筑提取自动提取建筑物轮廓、道路网络辅助城市体检、违章建筑发现。这类任务对边缘精度要求很高直接用基础分割模型往往边界毛刺多需要后处理配合。农业地块与作物分类把耕地地块边界分出来或者区分不同作物类型用于农业保险定损、种植面积统计。难点在于地块大小差异大小地块很容易漏。水体提取与洪灾评估识别河流、湖泊、水库范围灾害发生时快速评估淹没区域。水体在红外波段特征明显多光谱输入能显著提升效果。森林与植被监测提取林区范围、评估森林覆盖变化甚至细分树种。大范围影像下类别不平衡问题很突出。裸地、采矿与生态破坏监测通过分割识别违规开采、裸土区域用于环保督查。这类数据样本往往稀缺迁移学习和数据增强要重点设计。2. 先想清楚方案再动手传统方法与深度学习的取舍2.1 传统方法为什么不够用早年间做遥感分类主流是最大似然法、支持向量机、随机森林这一类基于特征工程的分类器输入特征是像元的光谱值或者加上纹理、植被指数等派生特征。问题在于卫星影像里的同物异谱和异物同谱现象太常见了——同样的屋顶材质在不同光照下反射率差异大水泥地和部分裸土的光谱曲线又几乎重合。靠人工设计的特征很难把这些复杂模式表达出来。另一个传统方法的硬伤是空间上下文信息利用不足。逐像元分类时每个像素孤零零地做判断邻居信息用得很少结果就是分类结果像“椒盐噪声”一样密密麻麻的碎斑点和孔洞。虽然后续可以用形态学滤波去修补但本质上是在为特征表达能力的欠缺打补丁效果上限摆在那里。2.2 为什么U-Net在卫星图像分割中很能打U-Net最早出圈是在医学图像分割上后来在遥感领域也成了标配基线原因很简单它设计了一个编码器-解码器的对称结构编码器不断下采样提取高层次语义解码器逐步恢复空间分辨率中间还加了跳跃连接把编码器各层的细节特征直接拼到解码器对应层。这个跳跃连接是灵魂设计它让网络在恢复像素级类别的过程中依然能保留丰富的边缘信息。医学图像和卫星图像看起来差别很大但在分割任务上有个共同痛点目标边界往往模糊、尺度变化大、样本量有限。U-Net在这种带强结构先验的场景下表现相当稳。很多论文和竞赛里U-Net及它的变体ResNet作为backbone的ResUNet、带注意力机制的Attention U-Net依然是强基线拿它做第一版跑通流程非常合适。2.3 主流模型快速对比在实际项目里不可能只有一个选项挂在嘴边。我按自己的使用经验粗略做了个对比模型核心思路优势劣势适合场景U-Net编码器-解码器 跳跃连接结构简单稳定、小样本也可训练大影像需切片、感受野有限多数卫星分割任务的首选基线DeepLabV3空洞卷积 空间金字塔池化多尺度特征提取强显存占用大、解码细节一般大尺度地物分类SegFormerTransformer编码器 MLP解码器全局上下文建模好、长距离依赖强数据量要求高、训练慢大范围均匀地物农田、水体PSPNet金字塔池化模块全局语义一致性不错边缘细节弱场景级地物分类这个表不是绝对的。实际选型时我会考虑数据量、显存和精度要求。如果标注样本只有几百张老老实实用U-Net或ResUNet如果样本上万且显存充足SegFormer这类Transformer模型确实能在全局一致性上带来惊喜。3. 数据和标注卫星图像分割的隐形门槛3.1 数据源怎么选不少初学者上来就问“用什么模型”但卫星分割项目里真正决定上限的往往是数据。不同卫星数据的空间分辨率差别很大直接决定了你能分出来多细的地物。Sentinel-2免费开放10米多光谱适合大范围水体、植被、耕地监测。Landsat系列免费30米分辨率时间序列长适合多年份变化分析。高分系列如高分二号国内商业数据亚米级分辨率适合建筑提取、违章建筑筛查但获取成本高。商用卫星WorldView、Pleiades等0.3米级甚至更高细节惊人但价格不便宜通常只在局部重点区域使用。我的建议是做技术验证先选免费数据源把流程跑通再根据业务需求考虑是否买高分数据。像建筑提取这种需要精细边界的任务用10米分辨率数据做出来的轮廓基本没法看必须上亚米级影像。3.2 标注工具与策略标注是分割项目里最耗人力的环节。工具方面我常用Labelme或QGIS手动标注涉及复杂地块时用Labelme的polygon工具慢慢勾勒如果团队有条件可以考虑半自动标注先用一个预训练模型生成初版mask人工再修正能把工期压缩一半以上。标注策略上有几个经验值得注意类别别设太多。卫星影像上地物细分类容易把标注者逼疯AI模型也难学。第一版保守一点三到五个大类就够。边界标注统一标准。比如屋顶紧挨树木时屋顶边界画到哪里团队里要提前对齐口径不然训练数据自身矛盾会让模型很困惑。遮挡和阴影单独考虑。高层建筑阴影会给分割带来错误标注风险要么把阴影单独设一类要么在预处理时用其他时相补偿。3.3 数据增强的注意事项图像分割常用的翻转、旋转、缩放增强在遥感场景里依然有效但要注意两个特殊点。一是影像的朝向问题卫星图是从上往下拍的不像自然图像有明确“正立”概念所以随机旋转90度、180度这类增强非常实用。二是地理坐标与切片位置有的项目会把影像切成256×256或512×512的小块来训练切片位置的随机性本身也是一种有效增强。此外遥感影像里常常有“季节性”差异夏季的树是绿色冬季是枯枝。如果业务场景要跨季节泛化建议在手头数据里刻意加入不同季节、不同地点的样本比单纯做颜色抖动更有效。4. 模型训练的关键细节4.1 损失函数选择分割任务最常用的损失函数是交叉熵但它有个明显问题当类别严重不平衡时模型会偏向样本量多的类别。卫星影像里这种情况特别常见比如水体分割时背景占95%、水体只占5%交叉熵很容易把预测结果推成全背景。实践里我会优先尝试Dice Loss或Focal Loss。Dice Loss直接优化Dice系数重叠度对类别不平衡相对稳健Focal Loss则通过调整难易样本的权重让模型更关注那些难分的小目标。我的常用做法是交叉熵和Dice Loss按一定权重相加组合比如0.5 * BCE 0.5 * Dice既保证梯度稳定又兼顾类别平衡。4.2 评估指标怎么算很多人做分割只看一个准确率这在类别不平衡时非常容易被误导。我举个极端例子水体只占5%模型全部预测成背景准确率也有95%但这个模型毫无用处。正确做法是同时关注IoU交并比预测区域和真实区域的交集除以并集越接近1越好。mIoU各类别IoU取平均对类别不平衡相对公平。Dice系数与IoU类似但更偏向召回率医学图像分割中常见遥感里也通用。精确率和召回率业务场景要单独关心比如违建筛查更怕漏检那就重点盯召回率。我发现很多工程团队忽略了一个细节类别IoU应该分开报告不能只看mIoU。因为水体这类大目标IoU很高会把小目标比如车辆、独立建筑的差成绩掩盖掉。4.3 训练中的避坑经验这一节是拿真金白银换来的教训。归一化很重要。卫星影像常常是多波段RGB加上近红外等不同波段的数值范围和分布差异很大不做归一化直接训练模型收敛会很慢。用per-band的均值方差归一化是最稳妥的。显存不够就切片。卫星大图动辄几千乘几千像素直接整图跑显存爆掉是常事。一般切成512×512带重叠的patch送进模型推理时候再把预测结果拼回去。重叠区域用中间区域而不是直接平均能减少接缝伪影。过拟合的信号要警惕。分割模型参数量大标注样本少时很快会把训练集背下来。我一般盯住训练集和验证集的IoU差距差距超过10个点就开始考虑加数据增强或者减少模型容量。多尺度推理对精度有帮助。推理阶段把图像缩放到0.75倍、1.25倍各预测一次再把结果融合能明显提升边界质量。代价是推理时间翻倍离线处理可以接受实时应用可能要想别的办法。5. 完整实操流程从一张卫星图到分割结果5.1 环境搭建图像分割领域的成熟框架很多我的习惯是直接用PyTorch配合MMSegmentation工具箱省去自己写数据加载器和各种backbone的工夫。核心依赖大致如下pip install torch torchvision pip install mmcv-full mmsegmentation如果不想背MIM那套也可以用HuggingFace的segmentation-models-pytorch库它对U-Net、DeepLabV3这些常用模型的支持很友好几行代码就能把模型搭出来。5.2 数据预处理与切片拿到一张卫星TIF影像后第一步不是急着训练而是做预处理。常规流程包括几何校正、大气校正如果做多时相分析、辐射定标然后是波段选择和裁剪。为了做模型训练还需要把大图切成小patch。这里我提供一个最简单的切片思路import numpy as np from PIL import Image image np.array(Image.open(satellite.tif)) mask np.array(Image.open(label.png)) patch_size 512 stride 256 # 重叠步长 patches_img [] patches_mask [] h, w image.shape[:2] for y in range(0, h - patch_size 1, stride): for x in range(0, w - patch_size 1, stride): patches_img.append(image[y:ypatch_size, x:xpatch_size]) patches_mask.append(mask[y:ypatch_size, x:xpatch_size])这份代码很简单但背后一个重要参数是stride。如果显存够我建议切片时带一定重叠比如步长设为切片尺寸的一半这样推理后拼接出来的结果没那么容易出现块状效应。5.3 模型推理与后处理训练完成后推理阶段同样要把大图切块预测然后将预测mask拼接回去。拼接的时候尽量不要直接取重叠区域的平均因为模型在切片边缘的预测置信度通常偏低我会直接用中心区域或者做加权融合。后处理这一步经常被人忽略但对最终效果影响很大。常见操作包括小连通域剔除用OpenCV的connectedComponentsWithStats把面积小于阈值的预测块删掉能去掉不少误检噪声。形态学开闭运算对预测mask做开运算去掉碎点再做闭运算填补内部空洞边界会更干净。矢量化输出业务系统往往需要shp或GeoJSON格式的矢量边界用GDAL的polygonize把栅格mask转成矢量面再套地理坐标信息就能直接落到GIS里展示。import cv2 import numpy as np pred np.array(Image.open(pred.png)) # 去掉小连通域 num_labels, labels, stats, _ cv2.connectedComponentsWithStats(pred, connectivity8) min_area 100 clean np.zeros_like(pred) for label in range(1, num_labels): if stats[label, cv2.CC_STAT_AREA] min_area: clean[labels label] 16. 常见问题与排查技巧实录6.1 类别不平衡怎么办卫星影像分割里最典型的现象是模型把少数类全部预测成背景。排查思路有几个先看训练集类别的像素占比如果某类占比小于1%就要处理了。除了换Dice Loss/Focal Loss之外另一个有效做法是对少数类做Over-sample也就是在切片时让包含少数类的样本被重复采样或者对少数类做针对性数据增强比如单独对含有少数类的小patch做随机旋转。还有一种情况是标注本身就存在漏标比如只把水体标了岸边潮湿区域没标模型学到的是“只有深蓝色像素才是水”泛化能力自然就差。这种时候要先回头检查标注质量而不是一味调损失函数。6.2 边缘不连续、锯齿感明显分割结果边界毛刺多追根溯源通常是两个原因。一是模型对边缘像素的归属本身不够自信二是后处理阶段没有做平滑。我一般会先尝试增大输入分辨率比如从512切成768边缘会有明显改善再配合条件随机场CRF这类后处理模型虽然现在深度学习兴起后用得少了但在边界细化的任务上偶尔还有奇效。另一个容易被忽略的问题是标注边界本身的质量。如果训练集的标注边缘都是歪歪扭扭的模型学到的就是这种风格。所以标注规范里一定要强调贴着地物边线画宁可少画一点也尽量精确。6.3 小目标漏检严重独立民居的小屋顶、小型水体、单辆车这类小目标在卫星图上通常只占几十个像素极易漏检。缓解手段可以有这么几步训练时用更大的输入分辨率别让小目标在多次下采样后直接消失。推理时使用多尺度融合小目标在放大尺度下更容易被识别。在损失函数里给少数小目标类别更高权重Focal Loss就是为此设计的。如果项目预算允许干脆用更高分辨率的商用数据源数据本身的信息量决定了很多事。我把这条线上的问题整理成速查表方便定位现象可能原因排查方向预测全是背景类别严重不平衡换Focal/Dice Loss调整采样策略边界毛刺多输入分辨率不足、标注边缘差增大patch尺寸规范标注加CRF小目标全漏下采样导致小目标消失提高输入分辨率多尺度推理验证集mIoU高但业务效果差评估指标与实际场景不匹配单独看目标类别IoU、精确率召回率大图拼接有接缝切片边缘预测不一致重叠推理中心裁剪法拼接6.4 模型训练不收敛的快速自查训练loss一直乱跳不下降的时候我习惯按顺序检查几件事学习率是不是设太大了一般分割任务用3e-4往下调就挺稳数据加载和标签对没对上比如标签是不是被无意中当成了三通道彩色图读进来backbone是不是加载过预训练权重从零开始训一个深层ResNet在样本少时几乎必挂还有一个很隐蔽的坑是图像和标签的坐标是否对齐有些TIF带了地理参考信息之后像素偏移几个像元用GDAL重投影时容易出问题。我自己见过最离谱的一次是同事数据增强时对图像做了旋转但忘了对标签做同样的变换模型训了十几个epoch验证集mIoU始终卡在20%左右。所以写pipeline的时候最好加一个可视化脚本把原图、标签、增强后的样本随机抽几张拼在一起看一眼确认输入输出是对齐的再开长训。7. 给新手的最后三条建议我知道很多人是怀着“拿着模型一跑就能出结果”的期待来做卫星图像分割的踩过几次坑之后就会发现这个领域比普通图像分类要麻烦不少但也正因为麻烦能把流程完整跑通的人才有实际竞争力。我的几条建议算是给自己的复盘也是给大家的参考先手工跑通一条最简pipeline哪怕只分水体和背景两类用公开数据集或自己标注十几张图把数据读取、切片、训练、推理、拼接整条链路走一遍。这个过程中积累的工程经验比刷十个模型架构都值钱。把一个指标做到极致别贪多。比如建筑提取就把IoU作为唯一核心指标所有模型、参数、后处理改动都围绕它比较。有了明确标尺实验迭代才有方向。多看看Labelme和QGIS之外的新工具现在很多团队在做半自动标注与主动学习能把标注成本降一个量级。技术选型上多留一步余地后续项目复用起来会很舒服。搞卫星图像分割不一定要发论文能把业务里的问题解决清楚、数据闭环跑顺就已经是很大的价值。希望你在这个过程中也能感受到那种把一张模糊的影像一点点解译出清晰结构的快乐。本文还有配套的精品资源点击获取
简介卫星图像分割是遥感数据分析的关键环节这份资源面向遥感图像处理、计算机视觉与地物分类学习者演示了基于 Python 的完整分割流程。压缩包共包含三个 Python 脚本整体仅三 KB分别用于数据准备、主流程调用与屋顶检测示例结构精简便于快速运行与二次修改。已有二百五十人学习下载。脚本覆盖图像预处理、特征提取以及阈值分割、区域生长、边缘检测、聚类等经典算法并引入 U-Net、FCN、SegNet 等深度学习模型思路配合孤立像素消除、连通组件标记等后处理技巧帮助读者打通从遥感影像读取到分割结果评估的完整技术路径。借助常用图像处理与机器学习工具库学习者可在此基础上进一步扩展地物分类、建筑物提取、变化检测等应用卫星图像分割已在环境保护、城市规划、灾害监测、农业估产等场景发挥关键作用这份资源可作为快速上手的实用起点。 讲个我自己入行的经历。最早做遥感影像处理的时候总觉得分割这事儿属于“看着容易做起来脱层皮”的活。一张卫星图拍下来有房子、有树、有路、有农田还有大片阴影和水体你想让程序把每一类像元自动归好类传统方法折腾半天还是漏得厉害。后来接触了深度学习里的图像分割尤其是U-Net这一类模型才算是找到了真正能落地的路子。这篇东西不是教科书就是一个在卫星影像分割上踩过不少坑的人把从方案选型、数据准备到模型训练、推理部署的完整思路捋一遍。不管你是刚入门遥感、想用分割模型做城市建筑提取还是已经在做医学图像分割或广告牌图像分割想转过来看看遥感场景都能从里面找到可以直接上手的东西。1. 卫星图像分割到底在解决什么问题1.1 从图像分类、目标检测到语义分割很多人一开始会混淆几个概念。图像分类解决的是“这张图里是什么”输出是一个类别标签目标检测解决的是“东西在哪里”输出是一堆带类别标签的边界框而图像分割则是给图像里的每一个像素都赋予一个语义类别输出的是一张和原图同样大小的“类别图”。卫星图像分割本质上就是做这个像素级分类任务只不过输入从自然照片换成了遥感影像。这个区别在遥感场景里尤其关键。比如你要统计某个区域的建筑面积目标检测只能告诉你“这里有一栋楼”却给不出这栋楼的精确轮廓而分割能直接把所有楼栋屋顶的像素画出来面积、周长、边界一目了然。应用到城市变化监测、违章建筑筛查、光伏板分布统计这些场景里分割的结果几乎是不可替代的底图。1.2 卫星图像分割的典型应用场景我整理一下自己接触过和行业里常见的几类落地场景你会发现它们有个共同点都依赖高精度的空间分布信息而不仅仅是“有没有”的判断。城市规划与建筑提取自动提取建筑物轮廓、道路网络辅助城市体检、违章建筑发现。这类任务对边缘精度要求很高直接用基础分割模型往往边界毛刺多需要后处理配合。农业地块与作物分类把耕地地块边界分出来或者区分不同作物类型用于农业保险定损、种植面积统计。难点在于地块大小差异大小地块很容易漏。水体提取与洪灾评估识别河流、湖泊、水库范围灾害发生时快速评估淹没区域。水体在红外波段特征明显多光谱输入能显著提升效果。森林与植被监测提取林区范围、评估森林覆盖变化甚至细分树种。大范围影像下类别不平衡问题很突出。裸地、采矿与生态破坏监测通过分割识别违规开采、裸土区域用于环保督查。这类数据样本往往稀缺迁移学习和数据增强要重点设计。2. 先想清楚方案再动手传统方法与深度学习的取舍2.1 传统方法为什么不够用早年间做遥感分类主流是最大似然法、支持向量机、随机森林这一类基于特征工程的分类器输入特征是像元的光谱值或者加上纹理、植被指数等派生特征。问题在于卫星影像里的同物异谱和异物同谱现象太常见了——同样的屋顶材质在不同光照下反射率差异大水泥地和部分裸土的光谱曲线又几乎重合。靠人工设计的特征很难把这些复杂模式表达出来。另一个传统方法的硬伤是空间上下文信息利用不足。逐像元分类时每个像素孤零零地做判断邻居信息用得很少结果就是分类结果像“椒盐噪声”一样密密麻麻的碎斑点和孔洞。虽然后续可以用形态学滤波去修补但本质上是在为特征表达能力的欠缺打补丁效果上限摆在那里。2.2 为什么U-Net在卫星图像分割中很能打U-Net最早出圈是在医学图像分割上后来在遥感领域也成了标配基线原因很简单它设计了一个编码器-解码器的对称结构编码器不断下采样提取高层次语义解码器逐步恢复空间分辨率中间还加了跳跃连接把编码器各层的细节特征直接拼到解码器对应层。这个跳跃连接是灵魂设计它让网络在恢复像素级类别的过程中依然能保留丰富的边缘信息。医学图像和卫星图像看起来差别很大但在分割任务上有个共同痛点目标边界往往模糊、尺度变化大、样本量有限。U-Net在这种带强结构先验的场景下表现相当稳。很多论文和竞赛里U-Net及它的变体ResNet作为backbone的ResUNet、带注意力机制的Attention U-Net依然是强基线拿它做第一版跑通流程非常合适。2.3 主流模型快速对比在实际项目里不可能只有一个选项挂在嘴边。我按自己的使用经验粗略做了个对比模型核心思路优势劣势适合场景U-Net编码器-解码器 跳跃连接结构简单稳定、小样本也可训练大影像需切片、感受野有限多数卫星分割任务的首选基线DeepLabV3空洞卷积 空间金字塔池化多尺度特征提取强显存占用大、解码细节一般大尺度地物分类SegFormerTransformer编码器 MLP解码器全局上下文建模好、长距离依赖强数据量要求高、训练慢大范围均匀地物农田、水体PSPNet金字塔池化模块全局语义一致性不错边缘细节弱场景级地物分类这个表不是绝对的。实际选型时我会考虑数据量、显存和精度要求。如果标注样本只有几百张老老实实用U-Net或ResUNet如果样本上万且显存充足SegFormer这类Transformer模型确实能在全局一致性上带来惊喜。3. 数据和标注卫星图像分割的隐形门槛3.1 数据源怎么选不少初学者上来就问“用什么模型”但卫星分割项目里真正决定上限的往往是数据。不同卫星数据的空间分辨率差别很大直接决定了你能分出来多细的地物。Sentinel-2免费开放10米多光谱适合大范围水体、植被、耕地监测。Landsat系列免费30米分辨率时间序列长适合多年份变化分析。高分系列如高分二号国内商业数据亚米级分辨率适合建筑提取、违章建筑筛查但获取成本高。商用卫星WorldView、Pleiades等0.3米级甚至更高细节惊人但价格不便宜通常只在局部重点区域使用。我的建议是做技术验证先选免费数据源把流程跑通再根据业务需求考虑是否买高分数据。像建筑提取这种需要精细边界的任务用10米分辨率数据做出来的轮廓基本没法看必须上亚米级影像。3.2 标注工具与策略标注是分割项目里最耗人力的环节。工具方面我常用Labelme或QGIS手动标注涉及复杂地块时用Labelme的polygon工具慢慢勾勒如果团队有条件可以考虑半自动标注先用一个预训练模型生成初版mask人工再修正能把工期压缩一半以上。标注策略上有几个经验值得注意类别别设太多。卫星影像上地物细分类容易把标注者逼疯AI模型也难学。第一版保守一点三到五个大类就够。边界标注统一标准。比如屋顶紧挨树木时屋顶边界画到哪里团队里要提前对齐口径不然训练数据自身矛盾会让模型很困惑。遮挡和阴影单独考虑。高层建筑阴影会给分割带来错误标注风险要么把阴影单独设一类要么在预处理时用其他时相补偿。3.3 数据增强的注意事项图像分割常用的翻转、旋转、缩放增强在遥感场景里依然有效但要注意两个特殊点。一是影像的朝向问题卫星图是从上往下拍的不像自然图像有明确“正立”概念所以随机旋转90度、180度这类增强非常实用。二是地理坐标与切片位置有的项目会把影像切成256×256或512×512的小块来训练切片位置的随机性本身也是一种有效增强。此外遥感影像里常常有“季节性”差异夏季的树是绿色冬季是枯枝。如果业务场景要跨季节泛化建议在手头数据里刻意加入不同季节、不同地点的样本比单纯做颜色抖动更有效。4. 模型训练的关键细节4.1 损失函数选择分割任务最常用的损失函数是交叉熵但它有个明显问题当类别严重不平衡时模型会偏向样本量多的类别。卫星影像里这种情况特别常见比如水体分割时背景占95%、水体只占5%交叉熵很容易把预测结果推成全背景。实践里我会优先尝试Dice Loss或Focal Loss。Dice Loss直接优化Dice系数重叠度对类别不平衡相对稳健Focal Loss则通过调整难易样本的权重让模型更关注那些难分的小目标。我的常用做法是交叉熵和Dice Loss按一定权重相加组合比如0.5 * BCE 0.5 * Dice既保证梯度稳定又兼顾类别平衡。4.2 评估指标怎么算很多人做分割只看一个准确率这在类别不平衡时非常容易被误导。我举个极端例子水体只占5%模型全部预测成背景准确率也有95%但这个模型毫无用处。正确做法是同时关注IoU交并比预测区域和真实区域的交集除以并集越接近1越好。mIoU各类别IoU取平均对类别不平衡相对公平。Dice系数与IoU类似但更偏向召回率医学图像分割中常见遥感里也通用。精确率和召回率业务场景要单独关心比如违建筛查更怕漏检那就重点盯召回率。我发现很多工程团队忽略了一个细节类别IoU应该分开报告不能只看mIoU。因为水体这类大目标IoU很高会把小目标比如车辆、独立建筑的差成绩掩盖掉。4.3 训练中的避坑经验这一节是拿真金白银换来的教训。归一化很重要。卫星影像常常是多波段RGB加上近红外等不同波段的数值范围和分布差异很大不做归一化直接训练模型收敛会很慢。用per-band的均值方差归一化是最稳妥的。显存不够就切片。卫星大图动辄几千乘几千像素直接整图跑显存爆掉是常事。一般切成512×512带重叠的patch送进模型推理时候再把预测结果拼回去。重叠区域用中间区域而不是直接平均能减少接缝伪影。过拟合的信号要警惕。分割模型参数量大标注样本少时很快会把训练集背下来。我一般盯住训练集和验证集的IoU差距差距超过10个点就开始考虑加数据增强或者减少模型容量。多尺度推理对精度有帮助。推理阶段把图像缩放到0.75倍、1.25倍各预测一次再把结果融合能明显提升边界质量。代价是推理时间翻倍离线处理可以接受实时应用可能要想别的办法。5. 完整实操流程从一张卫星图到分割结果5.1 环境搭建图像分割领域的成熟框架很多我的习惯是直接用PyTorch配合MMSegmentation工具箱省去自己写数据加载器和各种backbone的工夫。核心依赖大致如下pip install torch torchvision pip install mmcv-full mmsegmentation如果不想背MIM那套也可以用HuggingFace的segmentation-models-pytorch库它对U-Net、DeepLabV3这些常用模型的支持很友好几行代码就能把模型搭出来。5.2 数据预处理与切片拿到一张卫星TIF影像后第一步不是急着训练而是做预处理。常规流程包括几何校正、大气校正如果做多时相分析、辐射定标然后是波段选择和裁剪。为了做模型训练还需要把大图切成小patch。这里我提供一个最简单的切片思路import numpy as np from PIL import Image image np.array(Image.open(satellite.tif)) mask np.array(Image.open(label.png)) patch_size 512 stride 256 # 重叠步长 patches_img [] patches_mask [] h, w image.shape[:2] for y in range(0, h - patch_size 1, stride): for x in range(0, w - patch_size 1, stride): patches_img.append(image[y:ypatch_size, x:xpatch_size]) patches_mask.append(mask[y:ypatch_size, x:xpatch_size])这份代码很简单但背后一个重要参数是stride。如果显存够我建议切片时带一定重叠比如步长设为切片尺寸的一半这样推理后拼接出来的结果没那么容易出现块状效应。5.3 模型推理与后处理训练完成后推理阶段同样要把大图切块预测然后将预测mask拼接回去。拼接的时候尽量不要直接取重叠区域的平均因为模型在切片边缘的预测置信度通常偏低我会直接用中心区域或者做加权融合。后处理这一步经常被人忽略但对最终效果影响很大。常见操作包括小连通域剔除用OpenCV的connectedComponentsWithStats把面积小于阈值的预测块删掉能去掉不少误检噪声。形态学开闭运算对预测mask做开运算去掉碎点再做闭运算填补内部空洞边界会更干净。矢量化输出业务系统往往需要shp或GeoJSON格式的矢量边界用GDAL的polygonize把栅格mask转成矢量面再套地理坐标信息就能直接落到GIS里展示。import cv2 import numpy as np pred np.array(Image.open(pred.png)) # 去掉小连通域 num_labels, labels, stats, _ cv2.connectedComponentsWithStats(pred, connectivity8) min_area 100 clean np.zeros_like(pred) for label in range(1, num_labels): if stats[label, cv2.CC_STAT_AREA] min_area: clean[labels label] 16. 常见问题与排查技巧实录6.1 类别不平衡怎么办卫星影像分割里最典型的现象是模型把少数类全部预测成背景。排查思路有几个先看训练集类别的像素占比如果某类占比小于1%就要处理了。除了换Dice Loss/Focal Loss之外另一个有效做法是对少数类做Over-sample也就是在切片时让包含少数类的样本被重复采样或者对少数类做针对性数据增强比如单独对含有少数类的小patch做随机旋转。还有一种情况是标注本身就存在漏标比如只把水体标了岸边潮湿区域没标模型学到的是“只有深蓝色像素才是水”泛化能力自然就差。这种时候要先回头检查标注质量而不是一味调损失函数。6.2 边缘不连续、锯齿感明显分割结果边界毛刺多追根溯源通常是两个原因。一是模型对边缘像素的归属本身不够自信二是后处理阶段没有做平滑。我一般会先尝试增大输入分辨率比如从512切成768边缘会有明显改善再配合条件随机场CRF这类后处理模型虽然现在深度学习兴起后用得少了但在边界细化的任务上偶尔还有奇效。另一个容易被忽略的问题是标注边界本身的质量。如果训练集的标注边缘都是歪歪扭扭的模型学到的就是这种风格。所以标注规范里一定要强调贴着地物边线画宁可少画一点也尽量精确。6.3 小目标漏检严重独立民居的小屋顶、小型水体、单辆车这类小目标在卫星图上通常只占几十个像素极易漏检。缓解手段可以有这么几步训练时用更大的输入分辨率别让小目标在多次下采样后直接消失。推理时使用多尺度融合小目标在放大尺度下更容易被识别。在损失函数里给少数小目标类别更高权重Focal Loss就是为此设计的。如果项目预算允许干脆用更高分辨率的商用数据源数据本身的信息量决定了很多事。我把这条线上的问题整理成速查表方便定位现象可能原因排查方向预测全是背景类别严重不平衡换Focal/Dice Loss调整采样策略边界毛刺多输入分辨率不足、标注边缘差增大patch尺寸规范标注加CRF小目标全漏下采样导致小目标消失提高输入分辨率多尺度推理验证集mIoU高但业务效果差评估指标与实际场景不匹配单独看目标类别IoU、精确率召回率大图拼接有接缝切片边缘预测不一致重叠推理中心裁剪法拼接6.4 模型训练不收敛的快速自查训练loss一直乱跳不下降的时候我习惯按顺序检查几件事学习率是不是设太大了一般分割任务用3e-4往下调就挺稳数据加载和标签对没对上比如标签是不是被无意中当成了三通道彩色图读进来backbone是不是加载过预训练权重从零开始训一个深层ResNet在样本少时几乎必挂还有一个很隐蔽的坑是图像和标签的坐标是否对齐有些TIF带了地理参考信息之后像素偏移几个像元用GDAL重投影时容易出问题。我自己见过最离谱的一次是同事数据增强时对图像做了旋转但忘了对标签做同样的变换模型训了十几个epoch验证集mIoU始终卡在20%左右。所以写pipeline的时候最好加一个可视化脚本把原图、标签、增强后的样本随机抽几张拼在一起看一眼确认输入输出是对齐的再开长训。7. 给新手的最后三条建议我知道很多人是怀着“拿着模型一跑就能出结果”的期待来做卫星图像分割的踩过几次坑之后就会发现这个领域比普通图像分类要麻烦不少但也正因为麻烦能把流程完整跑通的人才有实际竞争力。我的几条建议算是给自己的复盘也是给大家的参考先手工跑通一条最简pipeline哪怕只分水体和背景两类用公开数据集或自己标注十几张图把数据读取、切片、训练、推理、拼接整条链路走一遍。这个过程中积累的工程经验比刷十个模型架构都值钱。把一个指标做到极致别贪多。比如建筑提取就把IoU作为唯一核心指标所有模型、参数、后处理改动都围绕它比较。有了明确标尺实验迭代才有方向。多看看Labelme和QGIS之外的新工具现在很多团队在做半自动标注与主动学习能把标注成本降一个量级。技术选型上多留一步余地后续项目复用起来会很舒服。搞卫星图像分割不一定要发论文能把业务里的问题解决清楚、数据闭环跑顺就已经是很大的价值。希望你在这个过程中也能感受到那种把一张模糊的影像一点点解译出清晰结构的快乐。本文还有配套的精品资源点击获取
