1. 项目概述为什么从数据集开始如果你刚接触语义分割可能会觉得那些能精准识别出图像中每一个像素属于哪个类别的模型很酷。但在我带过的新人里十个有九个会栽在第一步数据集上。大家往往兴致勃勃地打开PyTorch或TensorFlow的教程照着代码敲一遍然后发现模型要么不收敛要么效果奇差无比。问题出在哪绝大多数时候不是模型结构选错了也不是超参数调得不好而是你喂给模型的数据“质量”和“格式”不对。语义分割任务对数据的要求比分类任务苛刻得多。分类任务里一张图片一个标签标签错了顶多是分类错误但在语义分割里一张图片对应一张同等大小的、密密麻麻的标签图每一个像素的标注都至关重要。一个边缘像素标注的偏差就可能让模型在训练时产生混淆学不到清晰的物体边界。因此“数据集制作”这个看似基础、甚至有些枯燥的环节恰恰是决定你整个项目成败的基石。它决定了模型学习的上限。这个系列我们就从最源头、最根本的数据集制作讲起。我会带你走一遍从原始图片收集、标注工具选择、标注规范制定到最终生成模型可读格式如PASCAL VOC或COCO格式的完整流程。过程中我会分享很多我踩过的坑和总结出的“偷懒”技巧目标是让你制作出的第一份分割数据集就是“高质量、易使用”的为后续的模型训练打下坚实基础。2. 核心思路拆解高质量分割数据集的四大支柱制作一个能用的分割数据集不难但制作一个“好用”的、能让模型高效学习的优质数据集需要系统性的规划。我们不能拿到图片就埋头开标那样效率低且容易返工。我的经验是围绕以下四个支柱来构建你的工作流2.1 数据收集与预处理原料决定成品数据是模型的粮食粮食的质量直接决定模型的“健康”程度。对于语义分割我们需要的不是海量的、杂乱无章的图片而是有针对性的、高质量的图片集合。1. 场景与目标定义要清晰在动手找图之前你必须明确你的任务是什么。例如是做“街景分割”人、车、路、建筑还是“医疗影像分割”肿瘤区域、器官或是“工业质检”产品缺陷区域定义好你要分割的类别Class最好能列一个清单并为每个类别想好一个简短的英文或拼音名称如person,car,road,defect这会在后续的文件命名和程序处理中省去大量麻烦。2. 数据来源与获取公开数据集对于学习或验证算法优先考虑修改和使用公开数据集如PASCAL VOC, Cityscapes, ADE20K。这能让你快速跳过数据制作阶段聚焦于模型本身。但如果是特定业务场景如分割某种特定零件公开数据往往不可得。自行采集这是最直接的方式。使用相机、手机或专业设备拍摄。这里的关键是多样性Diversity和代表性Representativeness。要覆盖目标物体在不同光照白天、夜晚、阴天、不同角度、不同尺度远近、不同遮挡情况下的形态。例如做自动驾驶相关的分割你不能只拍晴空万里的主干道还得有雨天、夜间、拥堵小路的数据。网络爬取需注意版权和合规性。可以使用搜索引擎的图片高级搜索筛选使用权限或从一些允许非商业使用的图片网站获取。3. 预处理是关键步骤拿到的原始图片不能直接扔给标注工具通常需要预处理尺寸统一与缩放标注工具和后续的模型训练通常要求输入尺寸固定或按批次统一。你可以事先将图片缩放至一个合理的尺寸如512x512, 1024x1024。注意缩放时最好保持原宽高比进行等比例缩放并填充Padding避免物体形变。可以使用OpenCV或PIL库轻松完成。基础筛选剔除模糊、过暗、过亮或与任务完全无关的图片。数据增强留到后头很多教程会建议在制作数据集时就做增强旋转、翻转、颜色抖动。我建议不要在原始数据上做而是在训练时通过代码实时进行如使用Torchvision的transforms。这样能保证你的原始数据和标注是严格一一对应的避免混乱。注意预处理的所有操作特别是缩放必须同步应用到后续的标注步骤。也就是说你用来标注的图片应该是预处理后的版本。否则会导致标注坐标错乱这是新手常犯的致命错误。2.2 标注工具选型与实操心法工欲善其事必先利其器。选对标注工具效率能提升数倍。下面我对比几款主流工具并给出选择建议。工具名称类型优点缺点适用场景LabelMe开源图形化界面轻量跨平台Win/Mac/Linux支持多边形、矩形、圆形等多种标注直接导出JSON格式可转VOC/COCO。社区活跃教程多。对于超大尺寸图片或非常多类别的项目界面可能稍卡。需要手动安装Python环境。学术研究、个人项目、小规模数据的首选学习成本低。CVAT开源Web界面功能极其强大支持视频标注、自动分割、团队协作、任务管理。由Intel开发维护。部署稍复杂推荐Docker方式对服务器资源有一定要求。功能多导致初期学习曲线较陡。团队协作、中型以上项目、视频数据标注。VIA (VGG Image Annotator)开源单文件Web应用无需安装一个HTML文件即可运行。标注方式灵活。界面相对老旧对于复杂的分割标注效率不如LabelMe直观。临时、轻量的标注需求或无法安装软件的环境。商业平台如Scale AI, Supervisely云端SaaS服务提供从标注、质量管理到版本控制的全套流程。通常集成预标注模型能大幅提升效率。有专业标注团队可选。费用昂贵数据需上传至第三方云端。大型商业项目、有预算且对数据安全和标注质量要求极高的企业。对于绝大多数个人学习者和中小型项目我强烈推荐从LabelMe开始。它足够简单又能让你透彻理解标注数据的生成过程。下面以LabelMe为例讲具体操作和心法。LabelMe 标注实操核心心法安装pip install labelme即可。建议创建一个独立的Python虚拟环境。启动在命令行输入labelme即可打开图形界面。标注流程Open Dir打开你的图片目录。使用左侧栏的Create Polygons工具沿着目标物体的边缘一点点点击形成闭合多边形。这是最关键的一步标注质量在于边界是否精准。闭合多边形后会弹出对话框让你输入标签Label。输入你事先定义好的类别名。一张图上所有物体都标完后点击Save会生成一个同名的.json文件。这个文件包含了图片路径、所有多边形的顶点坐标和对应的标签。我的踩坑经验边界精度对于边界模糊的物体如毛发的边缘、阴影下的物体不必追求像素级的绝对精确但相邻物体的边界一定要区分开不要有重叠或缝隙。可以适当放大图片进行精细操作。标签一致性确保同一个物体类别永远使用同一个标签名大小写都要一致。car和Car会被模型认为是两个类别。小物体处理对于远处很小的物体如几十个像素点的人是否需要标注这取决于你的应用场景。如果重要就标如果无关紧要可以忽略避免引入噪声。但要在标注规范里写清楚。保存与备份.json文件是纯文本但和图片是关联的。千万不要在标注后移动或重命名原始图片文件否则会链接失效。最好将所有图片和.json文件放在同一个稳定的目录下。2.3 标注规范制定让团队协作成为可能如果你是一个人做项目规范可能在你脑子里。但只要是两人以上协作或者项目周期较长书面化的标注规范必不可少。它能保证不同标注员产出质量一致的数据也是你后期进行质量检查QA的依据。一份好的分割标注规范应包含类别定义清单每个类别的名称、ID、详细描述包括什么不包括什么。例如“汽车”类别是否包含自行车、摩托车是否包含部分被遮挡的汽车标注精度要求明确边界的容忍度。例如“物体边界需在真实边缘的3个像素范围内”。特殊情况处理遮挡物体被遮挡部分是否需要猜测并标注通常只标注可见部分。截断图片边缘的物体只标注图片内的部分。反射/阴影是否算作物体的部分通常不算除非你的任务特别关注。群体物体如一大片草地是标成一个大区域还是分成多个实例语义分割通常不区分实例所以标成一个大的“草地”区域即可。如果需要区分实例实例分割则是更复杂的任务。质量检查清单列出常见的错误类型如标签错误、边界不准确、漏标、多标等供QA时逐项核对。花一两个小时制定这份规范会在后续节省你数十个小时的返工和调试时间。2.4 格式转换与数据集组织通向模型的最后一公里LabelMe保存的.json格式模型不能直接读取。我们需要将其转换为通用的数据集格式最常用的是PASCAL VOC格式和COCO格式。这里我们以更直观的VOC格式为例。VOC格式的目录结构如下YourDataset/ ├── JPEGImages/ # 存放所有的原始图片 (.jpg) ├── SegmentationClass/ # 存放所有的分割标签图 (.png) └── ImageSets/ └── Segmentation/ # 存放划分好的训练集/验证集列表 (.txt)关键点在于SegmentationClass里的.png文件。这是一张单通道的索引色图像图像中每个像素的值是一个整数这个整数对应类别的ID。例如0代表背景通常保留1代表人2代表车等等。这张图看起来可能是全黑或有些灰色块用专业图像软件如Photoshop查看索引颜色表才能看出区别。从LabelMe JSON到VOC格式的转换你需要写一个转换脚本这也是学习的一部分。逻辑如下读取一个.json文件。解析出图片尺寸和所有多边形的顶点坐标、标签。创建一个和原图同样尺寸的全零背景画布。根据每个多边形的顶点坐标在画布上对应的位置填充上该类别对应的ID值。可以使用OpenCV的cv2.fillPoly函数。将这张索引图保存为.png格式到SegmentationClass目录。同时将原图复制到JPEGImages目录。循环处理所有.json文件。这里有一个巨大的坑颜色映射。很多可视化代码如显示预测结果会使用一个颜色映射表Colormap将类别ID映射到鲜艳的颜色以便观看。例如VOC数据集常用voc_colormap。你必须保证你的转换脚本生成的索引图其ID值与后续训练、可视化代码预期的ID值一致。我建议你自定义一个从类别名到ID的字典并保存为class_dict.txt文件随数据集一起分发。# class_dict.txt 示例 background 0 person 1 car 2 road 3 ...最后你需要划分训练集Train、验证集Validation和测试集Test。比例通常如7:2:1。只需在ImageSets/Segmentation/目录下创建train.txt,val.txt,test.txt每个文件里写入对应的图片文件名不含后缀每行一个。至此一个结构清晰、格式标准的语义分割数据集就制作完成了。3. 完整实操流程以“街景分割”为例现在我们用一个简化的“街景分割”例子串联起整个流程。假设我们的目标是分割出“人”、“汽车”、“道路”三类。3.1 第一步环境准备与数据收集创建项目目录mkdir street_scene_seg cd street_scene_seg mkdir -p raw_images annotated images_processedraw_images/: 存放原始收集的图片。annotated/: 存放LabelMe生成的.json文件。images_processed/: 存放预处理后的图片用于标注。收集与预处理图片我从开源数据集Cityscapes中抽取了50张街景图片仅做示例实际需要更多。使用Python脚本进行统一预处理将图片的最长边缩放到1024像素短边按比例缩放并用灰色填充。import cv2 import os input_dir ./raw_images output_dir ./images_processed target_size 1024 for img_name in os.listdir(input_dir): img_path os.path.join(input_dir, img_name) img cv2.imread(img_path) h, w img.shape[:2] # 计算缩放比例 scale target_size / max(h, w) new_w, new_h int(w * scale), int(h * scale) img_resized cv2.resize(img, (new_w, new_h)) # 创建目标画布并填充中性色如灰色 canvas np.full((target_size, target_size, 3), 128, dtypenp.uint8) # 将缩放后的图像放到画布中央 y_offset (target_size - new_h) // 2 x_offset (target_size - new_w) // 2 canvas[y_offset:y_offsetnew_h, x_offset:x_offsetnew_w] img_resized # 保存 cv2.imwrite(os.path.join(output_dir, img_name), canvas)处理后的图片保存在images_processed中它们将是我们的标注对象。3.2 第二步使用LabelMe进行标注启动LabelMelabelme点击Open Dir选择./images_processed目录。开始标注对于“人”用多边形仔细勾勒出人的轮廓标签输入person。对于“汽车”勾勒汽车轮廓标签输入car。注意车窗、轮胎是否算在内根据你的规范来。对于“道路”道路区域通常很大且边界不规则。耐心地沿着路沿、人行道边缘进行标注标签输入road。远处的道路可以适当简化。每标完一张图点击Save.json文件会自动保存在与图片相同的目录我们建议统一保存到annotated文件夹可以在LabelMe设置中更改默认保存路径。标注时的效率技巧使用快捷键CtrlZ撤销CtrlS保存Ctrl鼠标滚轮缩放画布。对于连续的多张相似图片标完一张后可以使用Next Image和Prev Image快速切换LabelMe会记住你创建过的标签列表下一张图可以直接选择无需重复输入。对于对称或重复出现的简单物体可以尝试标好一个后复制其多边形点在JSON里操作高级用法但需谨慎容易出错。3.3 第三步格式转换与数据集构建这是从“标注文件”到“模型可读数据集”的关键一步。我们编写转换脚本labelme2voc.py。import os import json import numpy as np import cv2 from PIL import Image import shutil # 1. 定义类别和ID映射 class_name_to_id { _background_: 0, # 背景类必须要有且ID为0 person: 1, car: 2, road: 3, } # 2. 定义路径 labelme_dir ./annotated # LabelMe JSON文件目录 output_dir ./VOCdevkit/VOC2007 # 输出的VOC格式目录 img_suffix .jpg # 你的图片后缀 # 3. 创建VOC目录结构 os.makedirs(os.path.join(output_dir, JPEGImages), exist_okTrue) os.makedirs(os.path.join(output_dir, SegmentationClass), exist_okTrue) os.makedirs(os.path.join(output_dir, ImageSets, Segmentation), exist_okTrue) # 4. 获取所有JSON文件 json_files [f for f in os.listdir(labelme_dir) if f.endswith(.json)] print(fFound {len(json_files)} JSON files.) # 5. 遍历处理每个JSON文件 for json_file in json_files: json_path os.path.join(labelme_dir, json_file) with open(json_path, r, encodingutf-8) as f: data json.load(f) # 获取图片尺寸 img_height data[imageHeight] img_width data[imageWidth] # 创建一个全零背景的标签画布 label_canvas np.zeros((img_height, img_width), dtypenp.uint8) # 处理每个标注形状 for shape in data[shapes]: label_name shape[label] # 忽略未定义类别 if label_name not in class_name_to_id: print(fWarning: Label {label_name} not in class dict, skipped.) continue label_id class_name_to_id[label_name] # 提取多边形点坐标 points np.array(shape[points], dtypenp.int32) # 使用OpenCV填充多边形到画布上 cv2.fillPoly(label_canvas, [points], colorlabel_id) # 保存标签图 (PNG格式) base_name os.path.splitext(json_file)[0] # 去掉.json后缀 label_save_path os.path.join(output_dir, SegmentationClass, base_name .png) # 使用PIL保存为单通道PNG确保是索引模式 label_img Image.fromarray(label_canvas.astype(np.uint8)) label_img.save(label_save_path) # 复制对应的图片到JPEGImages目录这里假设图片在processed目录 img_source_path os.path.join(./images_processed, base_name img_suffix) img_dest_path os.path.join(output_dir, JPEGImages, base_name img_suffix) if os.path.exists(img_source_path): shutil.copy(img_source_path, img_dest_path) else: print(fWarning: Image {img_source_path} not found.) print(Conversion done!) # 6. 生成数据集划分文件简单按顺序划分示例 all_images [os.path.splitext(f)[0] for f in os.listdir(os.path.join(output_dir, JPEGImages)) if f.endswith(img_suffix)] np.random.shuffle(all_images) # 打乱 train_ratio, val_ratio 0.7, 0.2 train_num int(len(all_images) * train_ratio) val_num int(len(all_images) * val_ratio) train_set all_images[:train_num] val_set all_images[train_num:train_numval_num] test_set all_images[train_numval_num:] def write_list_to_file(filepath, list_data): with open(filepath, w) as f: for item in list_data: f.write(item \n) write_list_to_file(os.path.join(output_dir, ImageSets, Segmentation, train.txt), train_set) write_list_to_file(os.path.join(output_dir, ImageSets, Segmentation, val.txt), val_set) write_list_to_file(os.path.join(output_dir, ImageSets, Segmentation, test.txt), test_set) print(Dataset split files created.)运行这个脚本后你就得到了一个标准的VOC格式数据集。你可以用下面的代码快速检查一下标签图是否正确import matplotlib.pyplot as plt import numpy as np import cv2 # 读取一张原图和对应的标签图 img cv2.imread(./VOCdevkit/VOC2007/JPEGImages/your_image_name.jpg) img cv2.cvtColor(img, cv2.COLOR_BGR2RGB) label cv2.imread(./VOCdevkit/VOC2007/SegmentationClass/your_image_name.png, cv2.IMREAD_GRAYSCALE) # 自定义颜色映射用于可视化 colormap [ [0, 0, 0], # 背景: 黑 [255, 0, 0], # 人: 红 [0, 255, 0], # 车: 绿 [0, 0, 255], # 道路: 蓝 ] colormap np.array(colormap, dtypenp.uint8) # 将索引图映射为彩色图 label_color colormap[label] fig, axes plt.subplots(1, 2, figsize(12, 6)) axes[0].imshow(img) axes[0].set_title(Original Image) axes[0].axis(off) axes[1].imshow(label_color) axes[1].set_title(Segmentation Label) axes[1].axis(off) plt.show()如果能看到原图和对应着色的标签图如人是红色区域车是绿色区域说明转换成功。4. 常见问题与避坑指南在实际操作中你一定会遇到各种各样的问题。下面是我总结的“血泪”经验希望能帮你绕开这些坑。4.1 标注阶段常见问题问题1标注的物体边界应该多精细现象在标注毛发、火焰、烟雾等边界模糊的物体时纠结于每个像素。解决语义分割模型本身就有一定的边界模糊性。对于这类物体勾勒出视觉上可辨认的主体轮廓即可不必追求像素级完美。把时间花在增加数据多样性上收益更大。但对于边界清晰的物体如建筑物、车辆则应尽量精确。问题2如何处理密集的小物体现象比如一张街景图片中有上百个行人每个都标太耗时。解决首先明确你的任务是否需要识别每一个实例。如果只需要语义信息即“这里有人”可以尝试将密集区域标为一个大的“人群”区域。如果确实需要实例可以考虑使用支持“实例分割”的标注工具如CVAT的实例分割模式或者后期用代码将语义分割结果进行实例分离如通过连通组件分析。对于学习阶段建议从物体稀疏的场景开始。问题3标注过程中图片/JSON文件管理混乱。现象移动了图片导致JSON链接失效或文件名重复导致覆盖。解决固定工作目录从始至终在一个主目录下操作。使用相对路径LabelMe默认保存图片的相对路径。确保所有图片在一个子目录内如images/打开LabelMe时也打开这个目录。版本控制对于重要的标注数据可以使用Git LFS进行版本管理至少定期备份annotated文件夹。4.2 格式转换与数据处理陷阱问题4转换后的标签图全是黑色或者可视化颜色不对。原因1在转换脚本中用于填充多边形的label_id是0背景。检查你的class_name_to_id字典确保非背景类别的ID是从1开始的并且填充时用的正是这个ID。原因2保存PNG时没有保存为单通道灰度模式而是错误保存为RGB模式。确保使用cv2.imwrite(..., cv2.IMREAD_GRAYSCALE)读取或用PIL的Image.fromarray(label_canvas.astype(np.uint8))保存。原因3可视化时颜色映射不对。检查你的colormap列表长度是否等于类别数且顺序与ID对应。问题5训练时出现“类别ID越界”错误。原因你的标签图中包含了不在模型预期范围内的像素值。例如你的类别ID是0,1,2,3但标签图中出现了像素值为255的区域可能是标注工具留下的未处理区域。解决在转换脚本中在保存标签图之前可以添加一行代码将所有非定义ID的像素强制设为背景0# 假设 valid_ids 是定义好的ID列表 [0,1,2,3] valid_ids list(class_name_to_id.values()) mask ~np.isin(label_canvas, valid_ids) label_canvas[mask] 0 # 将非法ID置为背景问题6数据集划分的泄漏Data Leakage。现象模型在验证集上表现极好但在全新数据上很差。可能是因为训练集和验证集包含高度相似或来自同一段视频的连续帧。解决确保划分数据集时进行随机打乱。如果数据是视频序列则应按场景或视频ID进行划分确保同一视频的所有帧要么全在训练集要么全在验证/测试集绝不能混在一起。4.3 质量检查QA清单在投入训练前花时间做一次系统性的QA事半功倍。你可以写一个简单的脚本自动检查部分问题再人工抽查。自动检查脚本完成文件完整性检查JPEGImages和SegmentationClass中的文件是否一一对应数量是否一致。标签值范围遍历所有标签图统计出现的像素值确认它们都在预定义的类别ID集合内。图像尺寸一致性检查所有图片和标签图的尺寸是否相同或符合预期。人工抽查目视完成标注准确性随机打开一些图片和对应的彩色标签图看物体边界是否合理有无明显漏标或错标。类别一致性检查同类物体是否使用了相同标签。标签图与原图对齐放大查看边缘确认标签边界与原图物体边缘是否基本对齐没有明显的整体偏移。制作数据集是一个需要耐心和细心的工作它没有训练模型那样立竿见影的成就感但却从根本上决定了你项目的天花板。当你按照上述流程亲手完成第一个属于自己的高质量语义分割数据集时你已经为后续的模型学习铺平了最坚实的道路。在下一个部分我们将利用这个制作好的数据集开始搭建并训练你的第一个语义分割模型。你会发现前期在数据上的投入会在模型训练阶段得到丰厚的回报。
1. 项目概述为什么从数据集开始如果你刚接触语义分割可能会觉得那些能精准识别出图像中每一个像素属于哪个类别的模型很酷。但在我带过的新人里十个有九个会栽在第一步数据集上。大家往往兴致勃勃地打开PyTorch或TensorFlow的教程照着代码敲一遍然后发现模型要么不收敛要么效果奇差无比。问题出在哪绝大多数时候不是模型结构选错了也不是超参数调得不好而是你喂给模型的数据“质量”和“格式”不对。语义分割任务对数据的要求比分类任务苛刻得多。分类任务里一张图片一个标签标签错了顶多是分类错误但在语义分割里一张图片对应一张同等大小的、密密麻麻的标签图每一个像素的标注都至关重要。一个边缘像素标注的偏差就可能让模型在训练时产生混淆学不到清晰的物体边界。因此“数据集制作”这个看似基础、甚至有些枯燥的环节恰恰是决定你整个项目成败的基石。它决定了模型学习的上限。这个系列我们就从最源头、最根本的数据集制作讲起。我会带你走一遍从原始图片收集、标注工具选择、标注规范制定到最终生成模型可读格式如PASCAL VOC或COCO格式的完整流程。过程中我会分享很多我踩过的坑和总结出的“偷懒”技巧目标是让你制作出的第一份分割数据集就是“高质量、易使用”的为后续的模型训练打下坚实基础。2. 核心思路拆解高质量分割数据集的四大支柱制作一个能用的分割数据集不难但制作一个“好用”的、能让模型高效学习的优质数据集需要系统性的规划。我们不能拿到图片就埋头开标那样效率低且容易返工。我的经验是围绕以下四个支柱来构建你的工作流2.1 数据收集与预处理原料决定成品数据是模型的粮食粮食的质量直接决定模型的“健康”程度。对于语义分割我们需要的不是海量的、杂乱无章的图片而是有针对性的、高质量的图片集合。1. 场景与目标定义要清晰在动手找图之前你必须明确你的任务是什么。例如是做“街景分割”人、车、路、建筑还是“医疗影像分割”肿瘤区域、器官或是“工业质检”产品缺陷区域定义好你要分割的类别Class最好能列一个清单并为每个类别想好一个简短的英文或拼音名称如person,car,road,defect这会在后续的文件命名和程序处理中省去大量麻烦。2. 数据来源与获取公开数据集对于学习或验证算法优先考虑修改和使用公开数据集如PASCAL VOC, Cityscapes, ADE20K。这能让你快速跳过数据制作阶段聚焦于模型本身。但如果是特定业务场景如分割某种特定零件公开数据往往不可得。自行采集这是最直接的方式。使用相机、手机或专业设备拍摄。这里的关键是多样性Diversity和代表性Representativeness。要覆盖目标物体在不同光照白天、夜晚、阴天、不同角度、不同尺度远近、不同遮挡情况下的形态。例如做自动驾驶相关的分割你不能只拍晴空万里的主干道还得有雨天、夜间、拥堵小路的数据。网络爬取需注意版权和合规性。可以使用搜索引擎的图片高级搜索筛选使用权限或从一些允许非商业使用的图片网站获取。3. 预处理是关键步骤拿到的原始图片不能直接扔给标注工具通常需要预处理尺寸统一与缩放标注工具和后续的模型训练通常要求输入尺寸固定或按批次统一。你可以事先将图片缩放至一个合理的尺寸如512x512, 1024x1024。注意缩放时最好保持原宽高比进行等比例缩放并填充Padding避免物体形变。可以使用OpenCV或PIL库轻松完成。基础筛选剔除模糊、过暗、过亮或与任务完全无关的图片。数据增强留到后头很多教程会建议在制作数据集时就做增强旋转、翻转、颜色抖动。我建议不要在原始数据上做而是在训练时通过代码实时进行如使用Torchvision的transforms。这样能保证你的原始数据和标注是严格一一对应的避免混乱。注意预处理的所有操作特别是缩放必须同步应用到后续的标注步骤。也就是说你用来标注的图片应该是预处理后的版本。否则会导致标注坐标错乱这是新手常犯的致命错误。2.2 标注工具选型与实操心法工欲善其事必先利其器。选对标注工具效率能提升数倍。下面我对比几款主流工具并给出选择建议。工具名称类型优点缺点适用场景LabelMe开源图形化界面轻量跨平台Win/Mac/Linux支持多边形、矩形、圆形等多种标注直接导出JSON格式可转VOC/COCO。社区活跃教程多。对于超大尺寸图片或非常多类别的项目界面可能稍卡。需要手动安装Python环境。学术研究、个人项目、小规模数据的首选学习成本低。CVAT开源Web界面功能极其强大支持视频标注、自动分割、团队协作、任务管理。由Intel开发维护。部署稍复杂推荐Docker方式对服务器资源有一定要求。功能多导致初期学习曲线较陡。团队协作、中型以上项目、视频数据标注。VIA (VGG Image Annotator)开源单文件Web应用无需安装一个HTML文件即可运行。标注方式灵活。界面相对老旧对于复杂的分割标注效率不如LabelMe直观。临时、轻量的标注需求或无法安装软件的环境。商业平台如Scale AI, Supervisely云端SaaS服务提供从标注、质量管理到版本控制的全套流程。通常集成预标注模型能大幅提升效率。有专业标注团队可选。费用昂贵数据需上传至第三方云端。大型商业项目、有预算且对数据安全和标注质量要求极高的企业。对于绝大多数个人学习者和中小型项目我强烈推荐从LabelMe开始。它足够简单又能让你透彻理解标注数据的生成过程。下面以LabelMe为例讲具体操作和心法。LabelMe 标注实操核心心法安装pip install labelme即可。建议创建一个独立的Python虚拟环境。启动在命令行输入labelme即可打开图形界面。标注流程Open Dir打开你的图片目录。使用左侧栏的Create Polygons工具沿着目标物体的边缘一点点点击形成闭合多边形。这是最关键的一步标注质量在于边界是否精准。闭合多边形后会弹出对话框让你输入标签Label。输入你事先定义好的类别名。一张图上所有物体都标完后点击Save会生成一个同名的.json文件。这个文件包含了图片路径、所有多边形的顶点坐标和对应的标签。我的踩坑经验边界精度对于边界模糊的物体如毛发的边缘、阴影下的物体不必追求像素级的绝对精确但相邻物体的边界一定要区分开不要有重叠或缝隙。可以适当放大图片进行精细操作。标签一致性确保同一个物体类别永远使用同一个标签名大小写都要一致。car和Car会被模型认为是两个类别。小物体处理对于远处很小的物体如几十个像素点的人是否需要标注这取决于你的应用场景。如果重要就标如果无关紧要可以忽略避免引入噪声。但要在标注规范里写清楚。保存与备份.json文件是纯文本但和图片是关联的。千万不要在标注后移动或重命名原始图片文件否则会链接失效。最好将所有图片和.json文件放在同一个稳定的目录下。2.3 标注规范制定让团队协作成为可能如果你是一个人做项目规范可能在你脑子里。但只要是两人以上协作或者项目周期较长书面化的标注规范必不可少。它能保证不同标注员产出质量一致的数据也是你后期进行质量检查QA的依据。一份好的分割标注规范应包含类别定义清单每个类别的名称、ID、详细描述包括什么不包括什么。例如“汽车”类别是否包含自行车、摩托车是否包含部分被遮挡的汽车标注精度要求明确边界的容忍度。例如“物体边界需在真实边缘的3个像素范围内”。特殊情况处理遮挡物体被遮挡部分是否需要猜测并标注通常只标注可见部分。截断图片边缘的物体只标注图片内的部分。反射/阴影是否算作物体的部分通常不算除非你的任务特别关注。群体物体如一大片草地是标成一个大区域还是分成多个实例语义分割通常不区分实例所以标成一个大的“草地”区域即可。如果需要区分实例实例分割则是更复杂的任务。质量检查清单列出常见的错误类型如标签错误、边界不准确、漏标、多标等供QA时逐项核对。花一两个小时制定这份规范会在后续节省你数十个小时的返工和调试时间。2.4 格式转换与数据集组织通向模型的最后一公里LabelMe保存的.json格式模型不能直接读取。我们需要将其转换为通用的数据集格式最常用的是PASCAL VOC格式和COCO格式。这里我们以更直观的VOC格式为例。VOC格式的目录结构如下YourDataset/ ├── JPEGImages/ # 存放所有的原始图片 (.jpg) ├── SegmentationClass/ # 存放所有的分割标签图 (.png) └── ImageSets/ └── Segmentation/ # 存放划分好的训练集/验证集列表 (.txt)关键点在于SegmentationClass里的.png文件。这是一张单通道的索引色图像图像中每个像素的值是一个整数这个整数对应类别的ID。例如0代表背景通常保留1代表人2代表车等等。这张图看起来可能是全黑或有些灰色块用专业图像软件如Photoshop查看索引颜色表才能看出区别。从LabelMe JSON到VOC格式的转换你需要写一个转换脚本这也是学习的一部分。逻辑如下读取一个.json文件。解析出图片尺寸和所有多边形的顶点坐标、标签。创建一个和原图同样尺寸的全零背景画布。根据每个多边形的顶点坐标在画布上对应的位置填充上该类别对应的ID值。可以使用OpenCV的cv2.fillPoly函数。将这张索引图保存为.png格式到SegmentationClass目录。同时将原图复制到JPEGImages目录。循环处理所有.json文件。这里有一个巨大的坑颜色映射。很多可视化代码如显示预测结果会使用一个颜色映射表Colormap将类别ID映射到鲜艳的颜色以便观看。例如VOC数据集常用voc_colormap。你必须保证你的转换脚本生成的索引图其ID值与后续训练、可视化代码预期的ID值一致。我建议你自定义一个从类别名到ID的字典并保存为class_dict.txt文件随数据集一起分发。# class_dict.txt 示例 background 0 person 1 car 2 road 3 ...最后你需要划分训练集Train、验证集Validation和测试集Test。比例通常如7:2:1。只需在ImageSets/Segmentation/目录下创建train.txt,val.txt,test.txt每个文件里写入对应的图片文件名不含后缀每行一个。至此一个结构清晰、格式标准的语义分割数据集就制作完成了。3. 完整实操流程以“街景分割”为例现在我们用一个简化的“街景分割”例子串联起整个流程。假设我们的目标是分割出“人”、“汽车”、“道路”三类。3.1 第一步环境准备与数据收集创建项目目录mkdir street_scene_seg cd street_scene_seg mkdir -p raw_images annotated images_processedraw_images/: 存放原始收集的图片。annotated/: 存放LabelMe生成的.json文件。images_processed/: 存放预处理后的图片用于标注。收集与预处理图片我从开源数据集Cityscapes中抽取了50张街景图片仅做示例实际需要更多。使用Python脚本进行统一预处理将图片的最长边缩放到1024像素短边按比例缩放并用灰色填充。import cv2 import os input_dir ./raw_images output_dir ./images_processed target_size 1024 for img_name in os.listdir(input_dir): img_path os.path.join(input_dir, img_name) img cv2.imread(img_path) h, w img.shape[:2] # 计算缩放比例 scale target_size / max(h, w) new_w, new_h int(w * scale), int(h * scale) img_resized cv2.resize(img, (new_w, new_h)) # 创建目标画布并填充中性色如灰色 canvas np.full((target_size, target_size, 3), 128, dtypenp.uint8) # 将缩放后的图像放到画布中央 y_offset (target_size - new_h) // 2 x_offset (target_size - new_w) // 2 canvas[y_offset:y_offsetnew_h, x_offset:x_offsetnew_w] img_resized # 保存 cv2.imwrite(os.path.join(output_dir, img_name), canvas)处理后的图片保存在images_processed中它们将是我们的标注对象。3.2 第二步使用LabelMe进行标注启动LabelMelabelme点击Open Dir选择./images_processed目录。开始标注对于“人”用多边形仔细勾勒出人的轮廓标签输入person。对于“汽车”勾勒汽车轮廓标签输入car。注意车窗、轮胎是否算在内根据你的规范来。对于“道路”道路区域通常很大且边界不规则。耐心地沿着路沿、人行道边缘进行标注标签输入road。远处的道路可以适当简化。每标完一张图点击Save.json文件会自动保存在与图片相同的目录我们建议统一保存到annotated文件夹可以在LabelMe设置中更改默认保存路径。标注时的效率技巧使用快捷键CtrlZ撤销CtrlS保存Ctrl鼠标滚轮缩放画布。对于连续的多张相似图片标完一张后可以使用Next Image和Prev Image快速切换LabelMe会记住你创建过的标签列表下一张图可以直接选择无需重复输入。对于对称或重复出现的简单物体可以尝试标好一个后复制其多边形点在JSON里操作高级用法但需谨慎容易出错。3.3 第三步格式转换与数据集构建这是从“标注文件”到“模型可读数据集”的关键一步。我们编写转换脚本labelme2voc.py。import os import json import numpy as np import cv2 from PIL import Image import shutil # 1. 定义类别和ID映射 class_name_to_id { _background_: 0, # 背景类必须要有且ID为0 person: 1, car: 2, road: 3, } # 2. 定义路径 labelme_dir ./annotated # LabelMe JSON文件目录 output_dir ./VOCdevkit/VOC2007 # 输出的VOC格式目录 img_suffix .jpg # 你的图片后缀 # 3. 创建VOC目录结构 os.makedirs(os.path.join(output_dir, JPEGImages), exist_okTrue) os.makedirs(os.path.join(output_dir, SegmentationClass), exist_okTrue) os.makedirs(os.path.join(output_dir, ImageSets, Segmentation), exist_okTrue) # 4. 获取所有JSON文件 json_files [f for f in os.listdir(labelme_dir) if f.endswith(.json)] print(fFound {len(json_files)} JSON files.) # 5. 遍历处理每个JSON文件 for json_file in json_files: json_path os.path.join(labelme_dir, json_file) with open(json_path, r, encodingutf-8) as f: data json.load(f) # 获取图片尺寸 img_height data[imageHeight] img_width data[imageWidth] # 创建一个全零背景的标签画布 label_canvas np.zeros((img_height, img_width), dtypenp.uint8) # 处理每个标注形状 for shape in data[shapes]: label_name shape[label] # 忽略未定义类别 if label_name not in class_name_to_id: print(fWarning: Label {label_name} not in class dict, skipped.) continue label_id class_name_to_id[label_name] # 提取多边形点坐标 points np.array(shape[points], dtypenp.int32) # 使用OpenCV填充多边形到画布上 cv2.fillPoly(label_canvas, [points], colorlabel_id) # 保存标签图 (PNG格式) base_name os.path.splitext(json_file)[0] # 去掉.json后缀 label_save_path os.path.join(output_dir, SegmentationClass, base_name .png) # 使用PIL保存为单通道PNG确保是索引模式 label_img Image.fromarray(label_canvas.astype(np.uint8)) label_img.save(label_save_path) # 复制对应的图片到JPEGImages目录这里假设图片在processed目录 img_source_path os.path.join(./images_processed, base_name img_suffix) img_dest_path os.path.join(output_dir, JPEGImages, base_name img_suffix) if os.path.exists(img_source_path): shutil.copy(img_source_path, img_dest_path) else: print(fWarning: Image {img_source_path} not found.) print(Conversion done!) # 6. 生成数据集划分文件简单按顺序划分示例 all_images [os.path.splitext(f)[0] for f in os.listdir(os.path.join(output_dir, JPEGImages)) if f.endswith(img_suffix)] np.random.shuffle(all_images) # 打乱 train_ratio, val_ratio 0.7, 0.2 train_num int(len(all_images) * train_ratio) val_num int(len(all_images) * val_ratio) train_set all_images[:train_num] val_set all_images[train_num:train_numval_num] test_set all_images[train_numval_num:] def write_list_to_file(filepath, list_data): with open(filepath, w) as f: for item in list_data: f.write(item \n) write_list_to_file(os.path.join(output_dir, ImageSets, Segmentation, train.txt), train_set) write_list_to_file(os.path.join(output_dir, ImageSets, Segmentation, val.txt), val_set) write_list_to_file(os.path.join(output_dir, ImageSets, Segmentation, test.txt), test_set) print(Dataset split files created.)运行这个脚本后你就得到了一个标准的VOC格式数据集。你可以用下面的代码快速检查一下标签图是否正确import matplotlib.pyplot as plt import numpy as np import cv2 # 读取一张原图和对应的标签图 img cv2.imread(./VOCdevkit/VOC2007/JPEGImages/your_image_name.jpg) img cv2.cvtColor(img, cv2.COLOR_BGR2RGB) label cv2.imread(./VOCdevkit/VOC2007/SegmentationClass/your_image_name.png, cv2.IMREAD_GRAYSCALE) # 自定义颜色映射用于可视化 colormap [ [0, 0, 0], # 背景: 黑 [255, 0, 0], # 人: 红 [0, 255, 0], # 车: 绿 [0, 0, 255], # 道路: 蓝 ] colormap np.array(colormap, dtypenp.uint8) # 将索引图映射为彩色图 label_color colormap[label] fig, axes plt.subplots(1, 2, figsize(12, 6)) axes[0].imshow(img) axes[0].set_title(Original Image) axes[0].axis(off) axes[1].imshow(label_color) axes[1].set_title(Segmentation Label) axes[1].axis(off) plt.show()如果能看到原图和对应着色的标签图如人是红色区域车是绿色区域说明转换成功。4. 常见问题与避坑指南在实际操作中你一定会遇到各种各样的问题。下面是我总结的“血泪”经验希望能帮你绕开这些坑。4.1 标注阶段常见问题问题1标注的物体边界应该多精细现象在标注毛发、火焰、烟雾等边界模糊的物体时纠结于每个像素。解决语义分割模型本身就有一定的边界模糊性。对于这类物体勾勒出视觉上可辨认的主体轮廓即可不必追求像素级完美。把时间花在增加数据多样性上收益更大。但对于边界清晰的物体如建筑物、车辆则应尽量精确。问题2如何处理密集的小物体现象比如一张街景图片中有上百个行人每个都标太耗时。解决首先明确你的任务是否需要识别每一个实例。如果只需要语义信息即“这里有人”可以尝试将密集区域标为一个大的“人群”区域。如果确实需要实例可以考虑使用支持“实例分割”的标注工具如CVAT的实例分割模式或者后期用代码将语义分割结果进行实例分离如通过连通组件分析。对于学习阶段建议从物体稀疏的场景开始。问题3标注过程中图片/JSON文件管理混乱。现象移动了图片导致JSON链接失效或文件名重复导致覆盖。解决固定工作目录从始至终在一个主目录下操作。使用相对路径LabelMe默认保存图片的相对路径。确保所有图片在一个子目录内如images/打开LabelMe时也打开这个目录。版本控制对于重要的标注数据可以使用Git LFS进行版本管理至少定期备份annotated文件夹。4.2 格式转换与数据处理陷阱问题4转换后的标签图全是黑色或者可视化颜色不对。原因1在转换脚本中用于填充多边形的label_id是0背景。检查你的class_name_to_id字典确保非背景类别的ID是从1开始的并且填充时用的正是这个ID。原因2保存PNG时没有保存为单通道灰度模式而是错误保存为RGB模式。确保使用cv2.imwrite(..., cv2.IMREAD_GRAYSCALE)读取或用PIL的Image.fromarray(label_canvas.astype(np.uint8))保存。原因3可视化时颜色映射不对。检查你的colormap列表长度是否等于类别数且顺序与ID对应。问题5训练时出现“类别ID越界”错误。原因你的标签图中包含了不在模型预期范围内的像素值。例如你的类别ID是0,1,2,3但标签图中出现了像素值为255的区域可能是标注工具留下的未处理区域。解决在转换脚本中在保存标签图之前可以添加一行代码将所有非定义ID的像素强制设为背景0# 假设 valid_ids 是定义好的ID列表 [0,1,2,3] valid_ids list(class_name_to_id.values()) mask ~np.isin(label_canvas, valid_ids) label_canvas[mask] 0 # 将非法ID置为背景问题6数据集划分的泄漏Data Leakage。现象模型在验证集上表现极好但在全新数据上很差。可能是因为训练集和验证集包含高度相似或来自同一段视频的连续帧。解决确保划分数据集时进行随机打乱。如果数据是视频序列则应按场景或视频ID进行划分确保同一视频的所有帧要么全在训练集要么全在验证/测试集绝不能混在一起。4.3 质量检查QA清单在投入训练前花时间做一次系统性的QA事半功倍。你可以写一个简单的脚本自动检查部分问题再人工抽查。自动检查脚本完成文件完整性检查JPEGImages和SegmentationClass中的文件是否一一对应数量是否一致。标签值范围遍历所有标签图统计出现的像素值确认它们都在预定义的类别ID集合内。图像尺寸一致性检查所有图片和标签图的尺寸是否相同或符合预期。人工抽查目视完成标注准确性随机打开一些图片和对应的彩色标签图看物体边界是否合理有无明显漏标或错标。类别一致性检查同类物体是否使用了相同标签。标签图与原图对齐放大查看边缘确认标签边界与原图物体边缘是否基本对齐没有明显的整体偏移。制作数据集是一个需要耐心和细心的工作它没有训练模型那样立竿见影的成就感但却从根本上决定了你项目的天花板。当你按照上述流程亲手完成第一个属于自己的高质量语义分割数据集时你已经为后续的模型学习铺平了最坚实的道路。在下一个部分我们将利用这个制作好的数据集开始搭建并训练你的第一个语义分割模型。你会发现前期在数据上的投入会在模型训练阶段得到丰厚的回报。
