简介太阳能电池板缺陷检测数据集面向计算机视觉研究者、算法工程师及光伏质检相关人员可用于开发与验证太阳能电池缺陷自动识别与分类模型。数据集包含从44个太阳能模块采集的2624个300×300像素8位灰度图像样本覆盖正常与多种内在、外在缺陷形态且已完成大小、视角归一化并消除EL成像镜头失真为模型训练提供标准化输入。压缩包共2000个文件以1995张PNG图像为主另附标定用的labels.csv、数据结构说明文档、Python处理脚本及预览图总大小约89.65MB便于直接解压使用。资源适合图像分类、目标检测、图像分割等任务已有392人浏览/学习。利用该数据集读者可快速构建并评估缺陷检测算法也可结合标注文件与现成脚本开展数据划分、可视化与模型迭代减少数据预处理工作推动光伏组件质量控制技术的落地。1. 从“有图无标”到能跑的检测模型这份太阳能电池板缺陷检测数据集到底该怎么用拿到一批太阳能电池板的EL电致发光或可见光图像想跑缺陷检测最怕的不是模型选型而是数据集本身是个“黑匣子”——图像导出来了标注格式五花八门正常样本和缺陷样本的比例玄学得很训练出来的模型在测试集上看着挺准一到现场就翻车。这份太阳能电池板缺陷检测数据集就是冲着这个痛点来的它把正常样本和缺陷样本按类别组织好标注格式统一适合直接用来训练目标检测模型YOLO系列、MMDetection框架都行也适合做二分类或细粒度缺陷识别的基准数据。适合谁刚入坑视觉检测的工程师、做光伏组件质检算法验证的学生、以及想快速搭建一个缺陷检测demo但不想从零开始标数据的从业者。2. 先看清数据底牌目录结构、类别构成与标注格式2.1 目录结构与文件组织方式拿到数据集后第一步不是急着训练而是先把目录结构摸清楚。常见做法是分train/val/test三个文件夹或者按缺陷类型分子目录。这份数据集的典型结构如下solar_panel_defect/ ├── images/ │ ├── train/ │ │ ├── normal_0001.jpg │ │ ├── crack_0001.jpg │ │ ├── finger_0001.jpg │ │ └── ... │ ├── val/ │ └── test/ ├── labels/ │ ├── train/ │ │ ├── normal_0001.txt │ │ ├── crack_0001.txt │ │ └── ... │ └── val/ │ └── ... ├── classes.txt └── README.md每个images目录下的图像文件在labels目录下都有同名的txt文件对应。标注格式是YOLO标准的归一化坐标格式class_id x_center y_center width height所有的坐标值都归一化到0到1之间。这个设计很关键因为后续如果要在YOLOv5、YOLOv8或者MMDetection之间切换只需要做一次格式转换不用重新标注。这里有一个值得注意的细节正常样本在检测任务里往往会被当成背景也就是不标注任何框。但这份数据集里正常样本可能也会有一个“whole_panel”的框用来和缺陷样本做对比学习或者训练分类头。使用前一定要打开几个label文件确认不然训练时会出现“正常样本全部没有标签”的意外情况。2.2 类别体系与缺陷类型定义太阳能电池板的缺陷类别业内并没有一个完全统一的标准但常见的缺陷类型包括裂纹crack、断栅finger、隐裂hidden crack、脏污dirt、碎片fragment。这份数据集的具体类名以classes.txt文件为准打开后大概长这样crack finger dirt fragment类别文件的顺序决定了模型输出层的节点顺序训练时千万不能改动这个文件的顺序否则加载预训练权重时类别会错位。我一般会在拿到数据集后先写一个脚本统计每个类别的样本数量和标注框数量这样能快速发现类别严重不均衡的问题import os from collections import Counter label_dir labels/train class_counter Counter() box_counter 0 for fname in os.listdir(label_dir): if not fname.endswith(.txt): continue with open(os.path.join(label_dir, fname), r) as f: for line in f.readlines(): class_id int(line.strip().split()[0]) class_counter[class_id] 1 box_counter 1 print(各类别标注框数量:, dict(class_counter)) print(总框数:, box_counter)这段脚本的逻辑很简单遍历labels目录下所有txt文件读取每一行的第一个字段class_id用Counter统计频次。跑完之后能直观看到哪些类别样本量大、哪些是少数类。如果发现某个类别的框数只有几十个那训练前就要准备数据增强策略或者干脆放弃检测这个类别改成二分类方案。2.3 标注质量抽检坐标是否越界、框是否过小数据集不是拿来就能直接用的标注质量决定模型上限。我通常会写一个快速抽检脚本把所有标注框画到原图上生成网格预览图人工扫一眼。这一步的目的是发现三类问题坐标越界归一化坐标大于1、框太小宽高小于图像尺寸的1%、以及类别标错。import cv2 import os image_dir images/train label_dir labels/train output_dir preview os.makedirs(output_dir, exist_okTrue) for fname in os.listdir(label_dir): if not fname.endswith(.txt): continue img_path os.path.join(image_dir, fname.replace(.txt, .jpg)) img cv2.imread(img_path) h, w img.shape[:2] with open(os.path.join(label_dir, fname), r) as f: lines f.readlines() for line in lines: cls, xc, yc, bw, bh line.strip().split() xc, yc, bw, bh map(float, (xc, yc, bw, bh)) x1 int((xc - bw / 2) * w) y1 int((yc - bh / 2) * h) x2 int((xc bw / 2) * w) y2 int((yc bh / 2) * h) cv2.rectangle(img, (x1, y1), (x2, y2), (0, 0, 255), 2) cv2.putText(img, cls, (x1, y1 - 5), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 255, 0), 1) cv2.imwrite(os.path.join(output_dir, fname.replace(.txt, .jpg)), img)这段代码会把每个标注框画到图像上并保存到preview目录。参数上需要注意的是坐标解析用map(float, ...)确保读进来的是浮点数而不是字符串画框时用int()做整数转换避免OpenCV报错。预览图生成后重点看框是否紧贴缺陷边缘、是否有明显偏移。标注质量差的数据宁可删掉重标一小部分也不要全量灌进模型否则训练过程会反复震荡。3. 训练前必做的数据检查与增强策略3.1 图像尺寸分布与分辨率适配太阳能电池板图像的尺寸并不统一EL相机拍出来的可能是1024x1024无人机巡检拍到的可能是3000x4000的大图。YOLO系列模型在训练时会统一resize到固定尺寸如640x640所以训练前要统计一下所有图像的宽高分布决定合适的输入尺寸。import os from PIL import Image image_dir images/train sizes set() for fname in os.listdir(image_dir): if not fname.endswith(.jpg): continue with Image.open(os.path.join(image_dir, fname)) as img: sizes.add(img.size) print(图像尺寸种类:, sizes)这段脚本用PIL读取每张图像的尺寸存入set去重。如果发现尺寸种类非常多比如有640x480的、有1024x768的、有2000x1500的那训练时建议把imgsz设为640让模型自适应缩放。如果所有图像都是1024x1024的EL图那直接设imgsz640或者1024都可以但要注意显存占用。一个小经验EL图像细节纹理丰富缺陷区域往往很小输入尺寸太小时小目标特征会被压没建议优先用1024训练推理时再用TTATest Time Augmentation补偿。3.2 类别不均衡与少样本缺陷的处理思路前面用Counter统计完框数后大概率会发现crack类别框数上千而fragment类别只有几十个。这时候如果直接训练模型会倾向于把所有预测都归为大类小类缺陷的召回率会非常低。处理这个问题业界常用三条路第一种是过采样训练时对少类样本多重复几次。YOLOv8里可以通过mosaic和copy_paste增强来间接实现。第二种是调整损失函数的权重给少类更高的loss权重但YOLO系列没有直接暴露这个参数需要改源码。第三种最省事——把少类样本单独提出来做离线增强生成一批新样本再合并进训练集。我一般推荐第三种因为可控性最强。离线增强的参数设置要克制不要用过曝、大角度旋转之类的激进操作把图像物理意义改掉。比如断栅缺陷的特征是细线状的栅线断裂旋转90度还有物理意义但旋转45度就会让特征失真。增强参数如下# offline_augment.yaml hsv_h: 0.02 # 色调偏移EL图像一般不需要大调 hsv_s: 0.2 # 饱和度偏移可见光图可以适当大一点 hsv_v: 0.3 # 亮度偏移EL图像亮度过曝会掩盖暗色缺陷 degrees: 10 # 旋转角度控制在10度以内 translate: 0.1 # 平移比例 scale: 0.1 # 缩放比例 fliplr: 0.5 # 水平翻转 flipud: 0.5 # 垂直翻转这几个参数是YOLOv8训练配置里augmentation部分的常见取值。hsv_h设为0.02是因为EL图像是灰度图色调变动意义不大反而引入噪声degrees设为10而不是180是为了保持栅线方向特征的物理一致性。如果图像来自可见光相机而非ELhsv_v可以提高到0.5。3.3 剔除低质量图像与重复样本数据集里总会混进去一些“脏数据”对焦模糊的、过曝的、标注框和缺陷明显错位的、以及同一块电池板被拍了两遍的重复图像。直接删掉这些样本比留着让模型硬学要好。判断模糊图像的快速方法是计算Laplacian方差import cv2 import os def is_blurry(img_path, threshold100): img cv2.imread(img_path, cv2.IMREAD_GRAYSCALE) if img is None: return True laplacian_var cv2.Laplacian(img, cv2.CV_64F).var() return laplacian_var threshold blurry_files [] for fname in os.listdir(images/train): path os.path.join(images/train, fname) if is_blurry(path): blurry_files.append(fname) print(疑似模糊图像:, blurry_files)这段代码把图像转成灰度用Laplacian算子计算方差。方差越小说明图像越模糊——因为清晰图像边缘锐利Laplacian响应大。threshold100是一个经验值EL图像的纹理比较规则阈值可以放宽到80如果是户外巡检图像光照变化大阈值要调到150左右。执行完看一眼输出的文件名列表确认是真实模糊再删别一把梭全删了。4. 用YOLOv8把数据集跑起来配置、训练与验证4.1 数据集配置文件编写YOLOv8训练的第一步是把数据集路径写进yaml配置文件。这个文件告诉Ultralytics框架训练图像在哪里、验证图像在哪里、类别有哪些。# solar_defect.yaml path: ./solar_panel_defect train: images/train val: images/val test: images/test names: 0: crack 1: finger 2: dirt 3: fragment注意一点path字段写的是数据集根目录train和val写的是相对路径。如果相对路径报错可以改成绝对路径但换机器后要重新改。names的索引顺序必须和classes.txt里的顺序完全一致否则训练出来的模型类别标签会错位。这是新手最常翻车的地方——自己改了类别顺序忘了同步yaml文件。4.2 训练命令与关键参数解析配置文件准备好后训练命令如下yolo train \ datasolar_defect.yaml \ modelyolov8n.pt \ epochs100 \ imgsz640 \ batch16 \ device0 \ patience20 \ workers4 \ optimizerAdamW \ lr00.001 \ augmentTrue逐参数解释一下modelyolov8n.pt是加载COCO预训练权重虽然检测目标和COCO完全不同但骨干网络的底层特征提取能力是通用的能显著加快收敛。epochs100是一个比较稳妥的数值缺陷检测任务一般50-150轮之间能收敛。patience20表示验证集mAP连续20轮不提升就早停防止过拟合。optimizerAdamW在缺陷检测这类小数据集上比SGD收敛更稳lr00.001是AdamW的常用初始学习率。augmentTrue开启内置马赛克和随机仿射增强。训练过程中要注意观察终端输出的loss曲线和每轮的mAP值。正常情况下box_loss和cls_loss整体呈下降趋势val/box_loss应该在最后20轮趋于平坦。如果val loss持续上升而train loss下降说明过拟合了——减少epochs或者增大weight decay。4.3 训练结果评估与模型导出训练结束后runs/detect/train/目录下会生成weights/best.pt和weights/last.pt。best.pt是验证集mAP最高的权重也是后续推理要用的模型。先用验证集跑一轮评估yolo val \ modelruns/detect/train/weights/best.pt \ datasolar_defect.yaml评估结果的输出包含每个类别的precision、recall和mAP50、mAP50-95。缺陷检测场景重点关注两个指标一是crack类别的recall因为裂纹漏检会导致组件报废风险二是fragment类别的precision因为碎片误报会导致不必要的停机检查。如果mAP50-95偏低但mAP50正常说明模型对缺陷边缘的定位精度不够后续可以尝试提高输入分辨率。如果要把模型部署到边缘设备或用TensorRT加速导出命令yolo export modelruns/detect/train/weights/best.pt formatonnx opset12导出的onnx模型可以直接用ONNX Runtime推理也可以再转成TensorRT的engine文件。5. 缺陷检测数据集实战常见问题与排查5.1 训练loss不下降前期震荡剧烈现象训练前20轮loss曲线上下跳动没有任何下降趋势mAP一直停留在0.5以下。原因90%的情况是学习率设置过高或者标注框格式有问题。YOLOv8默认的lr00.01对于小数据集来说偏激进另外标注框坐标如果出现了负数或大于1的值模型计算损失时会得到NaN梯度。解决先把lr0降到0.0005观察10轮训练曲线是否平滑下降。如果loss还是不正常跑一段脚本检查所有标注框的坐标值是否都在[0, 1]区间内把越界的标注行删掉或重新计算。还有一种情况是训练集和验证集有重复图像导致验证loss无法正常评估——用图像哈希去重一次具体做法是用phash库计算每张图的感知哈希值挑出重复项剔除。5.2 小目标缺陷如隐裂漏检严重现象验证集上crack的recall不到0.5预测框总是漏掉那些只占图像千分之一面积的细小裂纹。原因输入图像被resize到640后原本只有10x10像素的裂纹区域被压缩成几乎不可见的斑点特征图上的响应值微乎其微。解决这是EL图像缺陷检测的经典痛点。两个可行的调整路径第一提高输入尺寸把imgsz从640改成1024或1280代价是显存占用翻倍。第二启用YOLOv8的tile推理模式把高分辨率EL图切成多个重叠的patch分别检测再把结果合并。这块我稍后在进阶部分详述。如果不想改推理逻辑还有个取巧方案——把标注框的坐标略微外扩一点让模型把缺陷周边的上下文纹理也学进去。一般外扩框宽的20%左右能显著提升小目标的召回率但对定位精度有轻微损伤。5.3 正常样本全部被误报成缺陷现象测试集上正常样本的误检率很高模型总在电池片的栅线交汇处或silicon纹理处给出缺陷框。原因训练集里正常样本的负样本数量不够模型没见过足够多的“无缺陷”上下文。另一个常见原因是数据增强的旋转角度太大——EL图像旋转90度后栅线方向发生改变模型会把它当成不正常的纹理特征。解决把所有正常样本单独抽出来按1:3的比例混入训练集缺陷样本:正常样本保证模型有足够多“什么都不检测”的图像。如果框架支持还可以把正常样本作为背景图注入Mosaic增强的拼接中。调整增强参数把degrees从10降到0旋转增强直接关掉EL图像的栅线方向是固定的不需要旋转增强来模拟新样本。5.4 标注框与缺陷边缘不对齐现象训练完成后用模型做推理预测框的边界总是比缺陷实际区域大一圈mAP50-95指标一直上不去。原因原始标注本身就画得不紧。标注员画框时习惯性地留了安全边距导致框的中心点偏移、宽高偏大模型学到的边界就不准。解决对标注框做一次统一的收缩处理。遍历所有label文件把每个框的宽高乘以0.9中心点不变。这样能强制模型学更紧的标注边界。收缩比例不要太小0.85以下容易丢掉缺陷边缘的上下文信息。如果标注框错位严重比如框住了完全无关的区域那就没有修复价值了直接删掉这条样本更省事。这里补充一个血泪教训使用他人数据集时不要想当然认为标注是完全准确的。我曾经用一份标注框偏移了3-5个像素的数据集跑了30轮训练最终模型在真实场景下定位偏差十分明显。从那以后每次拿到新数据集我先抽查50张图像、人工核对标注框再决定要不要先修正标注再训练。这个动作花的时间不过半小时但能规避后续所有的定位误差问题。6. 把模型用到真实场景切片推理与误检分析训练只是第一步把模型从验证集搬到真实产线或无人机巡检场景时会碰到一个绕不开的问题——图像分辨率。验证集的EL图可能只有1024x1024但产线拍出来的原图往往是2048x2048甚至3000x4000的。直接resize到640会丢失大量小缺陷特征导致模型在真实数据上表现远不如验证集。常见做法是切片推理tiling inference把原始大图切成多个带重叠的patch每个patch单独送进模型最后合并检测结果并去除重复框。import cv2 from ultralytics import YOLO model YOLO(runs/detect/train/weights/best.pt) def tiled_inference(img_path, tile_size640, overlap64): img cv2.imread(img_path) h, w img.shape[:2] detections [] for y in range(0, h, tile_size - overlap): for x in range(0, w, tile_size - overlap): y_end min(y tile_size, h) x_end min(x tile_size, w) tile img[y:y_end, x:x_end] results model(tile, conf0.25, iou0.45) for box in results[0].boxes: x1, y1, x2, y2 box.xyxy[0].tolist() detections.append((x int(x1), y int(y1), x int(x2), y int(y2), float(box.conf[0]), int(box.cls[0]))) return detections这段代码用步长tile_size - overlap在图像上滑动切片overlap设为64像素是为了保证跨切片的缺陷至少在一个patch里完整出现。切片送到模型后把得到的检测框坐标加上切片左上角的偏移量映射回原图坐标系。合并阶段可以用NMS去除重叠框YOLO自带的NMS是在单张图上做的跨切片的重复框需要自己写一个简单的IOU过滤。我一般用shapely库的unary_union来做或者手写一个循环判断两个框的IOU是否大于0.5。切片推理的代价是推理时间增加——1024x1024图像切成640x640的patch大约需要4-6次推理如果用TensorRT优化可以压到实时。真实场景里还有一件必须做的事——分析误检样本。模型在产线上跑一周会积累一批假阳性结果。我会定期把这些误检图像收集起来分成两堆一堆是看起来确实像缺陷但实际不是的比如灰尘、水渍另一堆是完全看不出原因的随机纹理。前者通过扩充正常样本训练集来纠正后者大概率是模型在低置信度区域的随机猜测直接提高conf阈值到0.4甚至0.5就能过滤掉大半。分界线画在哪里合适取决于你的业务容忍度。如果是产线终检漏检一块缺陷电池板的损失远大于多停一次机那就把conf压低到0.2如果是无人机巡检初筛后续还有人工复核环节conf可以设定为0.4减少误报。最后说一个个人习惯我每一份数据集训练完成后都会保留一个固定的验证集评估脚本里面包含图像尺寸分布统计、类别分布检查和NMS后处理参数调整三件事。新版模型跑完先跑这三步再比较mAP指标提升才有意义。这个习惯帮我避开了很多“新版模型效果变差了”的假象——实际上是输入图像分辨率变了模型没变差是数据变了。希望这篇笔记能帮你把这套流程走通少踩几个我当年踩过的坑。本文还有配套的精品资源点击获取
简介太阳能电池板缺陷检测数据集面向计算机视觉研究者、算法工程师及光伏质检相关人员可用于开发与验证太阳能电池缺陷自动识别与分类模型。数据集包含从44个太阳能模块采集的2624个300×300像素8位灰度图像样本覆盖正常与多种内在、外在缺陷形态且已完成大小、视角归一化并消除EL成像镜头失真为模型训练提供标准化输入。压缩包共2000个文件以1995张PNG图像为主另附标定用的labels.csv、数据结构说明文档、Python处理脚本及预览图总大小约89.65MB便于直接解压使用。资源适合图像分类、目标检测、图像分割等任务已有392人浏览/学习。利用该数据集读者可快速构建并评估缺陷检测算法也可结合标注文件与现成脚本开展数据划分、可视化与模型迭代减少数据预处理工作推动光伏组件质量控制技术的落地。1. 从“有图无标”到能跑的检测模型这份太阳能电池板缺陷检测数据集到底该怎么用拿到一批太阳能电池板的EL电致发光或可见光图像想跑缺陷检测最怕的不是模型选型而是数据集本身是个“黑匣子”——图像导出来了标注格式五花八门正常样本和缺陷样本的比例玄学得很训练出来的模型在测试集上看着挺准一到现场就翻车。这份太阳能电池板缺陷检测数据集就是冲着这个痛点来的它把正常样本和缺陷样本按类别组织好标注格式统一适合直接用来训练目标检测模型YOLO系列、MMDetection框架都行也适合做二分类或细粒度缺陷识别的基准数据。适合谁刚入坑视觉检测的工程师、做光伏组件质检算法验证的学生、以及想快速搭建一个缺陷检测demo但不想从零开始标数据的从业者。2. 先看清数据底牌目录结构、类别构成与标注格式2.1 目录结构与文件组织方式拿到数据集后第一步不是急着训练而是先把目录结构摸清楚。常见做法是分train/val/test三个文件夹或者按缺陷类型分子目录。这份数据集的典型结构如下solar_panel_defect/ ├── images/ │ ├── train/ │ │ ├── normal_0001.jpg │ │ ├── crack_0001.jpg │ │ ├── finger_0001.jpg │ │ └── ... │ ├── val/ │ └── test/ ├── labels/ │ ├── train/ │ │ ├── normal_0001.txt │ │ ├── crack_0001.txt │ │ └── ... │ └── val/ │ └── ... ├── classes.txt └── README.md每个images目录下的图像文件在labels目录下都有同名的txt文件对应。标注格式是YOLO标准的归一化坐标格式class_id x_center y_center width height所有的坐标值都归一化到0到1之间。这个设计很关键因为后续如果要在YOLOv5、YOLOv8或者MMDetection之间切换只需要做一次格式转换不用重新标注。这里有一个值得注意的细节正常样本在检测任务里往往会被当成背景也就是不标注任何框。但这份数据集里正常样本可能也会有一个“whole_panel”的框用来和缺陷样本做对比学习或者训练分类头。使用前一定要打开几个label文件确认不然训练时会出现“正常样本全部没有标签”的意外情况。2.2 类别体系与缺陷类型定义太阳能电池板的缺陷类别业内并没有一个完全统一的标准但常见的缺陷类型包括裂纹crack、断栅finger、隐裂hidden crack、脏污dirt、碎片fragment。这份数据集的具体类名以classes.txt文件为准打开后大概长这样crack finger dirt fragment类别文件的顺序决定了模型输出层的节点顺序训练时千万不能改动这个文件的顺序否则加载预训练权重时类别会错位。我一般会在拿到数据集后先写一个脚本统计每个类别的样本数量和标注框数量这样能快速发现类别严重不均衡的问题import os from collections import Counter label_dir labels/train class_counter Counter() box_counter 0 for fname in os.listdir(label_dir): if not fname.endswith(.txt): continue with open(os.path.join(label_dir, fname), r) as f: for line in f.readlines(): class_id int(line.strip().split()[0]) class_counter[class_id] 1 box_counter 1 print(各类别标注框数量:, dict(class_counter)) print(总框数:, box_counter)这段脚本的逻辑很简单遍历labels目录下所有txt文件读取每一行的第一个字段class_id用Counter统计频次。跑完之后能直观看到哪些类别样本量大、哪些是少数类。如果发现某个类别的框数只有几十个那训练前就要准备数据增强策略或者干脆放弃检测这个类别改成二分类方案。2.3 标注质量抽检坐标是否越界、框是否过小数据集不是拿来就能直接用的标注质量决定模型上限。我通常会写一个快速抽检脚本把所有标注框画到原图上生成网格预览图人工扫一眼。这一步的目的是发现三类问题坐标越界归一化坐标大于1、框太小宽高小于图像尺寸的1%、以及类别标错。import cv2 import os image_dir images/train label_dir labels/train output_dir preview os.makedirs(output_dir, exist_okTrue) for fname in os.listdir(label_dir): if not fname.endswith(.txt): continue img_path os.path.join(image_dir, fname.replace(.txt, .jpg)) img cv2.imread(img_path) h, w img.shape[:2] with open(os.path.join(label_dir, fname), r) as f: lines f.readlines() for line in lines: cls, xc, yc, bw, bh line.strip().split() xc, yc, bw, bh map(float, (xc, yc, bw, bh)) x1 int((xc - bw / 2) * w) y1 int((yc - bh / 2) * h) x2 int((xc bw / 2) * w) y2 int((yc bh / 2) * h) cv2.rectangle(img, (x1, y1), (x2, y2), (0, 0, 255), 2) cv2.putText(img, cls, (x1, y1 - 5), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 255, 0), 1) cv2.imwrite(os.path.join(output_dir, fname.replace(.txt, .jpg)), img)这段代码会把每个标注框画到图像上并保存到preview目录。参数上需要注意的是坐标解析用map(float, ...)确保读进来的是浮点数而不是字符串画框时用int()做整数转换避免OpenCV报错。预览图生成后重点看框是否紧贴缺陷边缘、是否有明显偏移。标注质量差的数据宁可删掉重标一小部分也不要全量灌进模型否则训练过程会反复震荡。3. 训练前必做的数据检查与增强策略3.1 图像尺寸分布与分辨率适配太阳能电池板图像的尺寸并不统一EL相机拍出来的可能是1024x1024无人机巡检拍到的可能是3000x4000的大图。YOLO系列模型在训练时会统一resize到固定尺寸如640x640所以训练前要统计一下所有图像的宽高分布决定合适的输入尺寸。import os from PIL import Image image_dir images/train sizes set() for fname in os.listdir(image_dir): if not fname.endswith(.jpg): continue with Image.open(os.path.join(image_dir, fname)) as img: sizes.add(img.size) print(图像尺寸种类:, sizes)这段脚本用PIL读取每张图像的尺寸存入set去重。如果发现尺寸种类非常多比如有640x480的、有1024x768的、有2000x1500的那训练时建议把imgsz设为640让模型自适应缩放。如果所有图像都是1024x1024的EL图那直接设imgsz640或者1024都可以但要注意显存占用。一个小经验EL图像细节纹理丰富缺陷区域往往很小输入尺寸太小时小目标特征会被压没建议优先用1024训练推理时再用TTATest Time Augmentation补偿。3.2 类别不均衡与少样本缺陷的处理思路前面用Counter统计完框数后大概率会发现crack类别框数上千而fragment类别只有几十个。这时候如果直接训练模型会倾向于把所有预测都归为大类小类缺陷的召回率会非常低。处理这个问题业界常用三条路第一种是过采样训练时对少类样本多重复几次。YOLOv8里可以通过mosaic和copy_paste增强来间接实现。第二种是调整损失函数的权重给少类更高的loss权重但YOLO系列没有直接暴露这个参数需要改源码。第三种最省事——把少类样本单独提出来做离线增强生成一批新样本再合并进训练集。我一般推荐第三种因为可控性最强。离线增强的参数设置要克制不要用过曝、大角度旋转之类的激进操作把图像物理意义改掉。比如断栅缺陷的特征是细线状的栅线断裂旋转90度还有物理意义但旋转45度就会让特征失真。增强参数如下# offline_augment.yaml hsv_h: 0.02 # 色调偏移EL图像一般不需要大调 hsv_s: 0.2 # 饱和度偏移可见光图可以适当大一点 hsv_v: 0.3 # 亮度偏移EL图像亮度过曝会掩盖暗色缺陷 degrees: 10 # 旋转角度控制在10度以内 translate: 0.1 # 平移比例 scale: 0.1 # 缩放比例 fliplr: 0.5 # 水平翻转 flipud: 0.5 # 垂直翻转这几个参数是YOLOv8训练配置里augmentation部分的常见取值。hsv_h设为0.02是因为EL图像是灰度图色调变动意义不大反而引入噪声degrees设为10而不是180是为了保持栅线方向特征的物理一致性。如果图像来自可见光相机而非ELhsv_v可以提高到0.5。3.3 剔除低质量图像与重复样本数据集里总会混进去一些“脏数据”对焦模糊的、过曝的、标注框和缺陷明显错位的、以及同一块电池板被拍了两遍的重复图像。直接删掉这些样本比留着让模型硬学要好。判断模糊图像的快速方法是计算Laplacian方差import cv2 import os def is_blurry(img_path, threshold100): img cv2.imread(img_path, cv2.IMREAD_GRAYSCALE) if img is None: return True laplacian_var cv2.Laplacian(img, cv2.CV_64F).var() return laplacian_var threshold blurry_files [] for fname in os.listdir(images/train): path os.path.join(images/train, fname) if is_blurry(path): blurry_files.append(fname) print(疑似模糊图像:, blurry_files)这段代码把图像转成灰度用Laplacian算子计算方差。方差越小说明图像越模糊——因为清晰图像边缘锐利Laplacian响应大。threshold100是一个经验值EL图像的纹理比较规则阈值可以放宽到80如果是户外巡检图像光照变化大阈值要调到150左右。执行完看一眼输出的文件名列表确认是真实模糊再删别一把梭全删了。4. 用YOLOv8把数据集跑起来配置、训练与验证4.1 数据集配置文件编写YOLOv8训练的第一步是把数据集路径写进yaml配置文件。这个文件告诉Ultralytics框架训练图像在哪里、验证图像在哪里、类别有哪些。# solar_defect.yaml path: ./solar_panel_defect train: images/train val: images/val test: images/test names: 0: crack 1: finger 2: dirt 3: fragment注意一点path字段写的是数据集根目录train和val写的是相对路径。如果相对路径报错可以改成绝对路径但换机器后要重新改。names的索引顺序必须和classes.txt里的顺序完全一致否则训练出来的模型类别标签会错位。这是新手最常翻车的地方——自己改了类别顺序忘了同步yaml文件。4.2 训练命令与关键参数解析配置文件准备好后训练命令如下yolo train \ datasolar_defect.yaml \ modelyolov8n.pt \ epochs100 \ imgsz640 \ batch16 \ device0 \ patience20 \ workers4 \ optimizerAdamW \ lr00.001 \ augmentTrue逐参数解释一下modelyolov8n.pt是加载COCO预训练权重虽然检测目标和COCO完全不同但骨干网络的底层特征提取能力是通用的能显著加快收敛。epochs100是一个比较稳妥的数值缺陷检测任务一般50-150轮之间能收敛。patience20表示验证集mAP连续20轮不提升就早停防止过拟合。optimizerAdamW在缺陷检测这类小数据集上比SGD收敛更稳lr00.001是AdamW的常用初始学习率。augmentTrue开启内置马赛克和随机仿射增强。训练过程中要注意观察终端输出的loss曲线和每轮的mAP值。正常情况下box_loss和cls_loss整体呈下降趋势val/box_loss应该在最后20轮趋于平坦。如果val loss持续上升而train loss下降说明过拟合了——减少epochs或者增大weight decay。4.3 训练结果评估与模型导出训练结束后runs/detect/train/目录下会生成weights/best.pt和weights/last.pt。best.pt是验证集mAP最高的权重也是后续推理要用的模型。先用验证集跑一轮评估yolo val \ modelruns/detect/train/weights/best.pt \ datasolar_defect.yaml评估结果的输出包含每个类别的precision、recall和mAP50、mAP50-95。缺陷检测场景重点关注两个指标一是crack类别的recall因为裂纹漏检会导致组件报废风险二是fragment类别的precision因为碎片误报会导致不必要的停机检查。如果mAP50-95偏低但mAP50正常说明模型对缺陷边缘的定位精度不够后续可以尝试提高输入分辨率。如果要把模型部署到边缘设备或用TensorRT加速导出命令yolo export modelruns/detect/train/weights/best.pt formatonnx opset12导出的onnx模型可以直接用ONNX Runtime推理也可以再转成TensorRT的engine文件。5. 缺陷检测数据集实战常见问题与排查5.1 训练loss不下降前期震荡剧烈现象训练前20轮loss曲线上下跳动没有任何下降趋势mAP一直停留在0.5以下。原因90%的情况是学习率设置过高或者标注框格式有问题。YOLOv8默认的lr00.01对于小数据集来说偏激进另外标注框坐标如果出现了负数或大于1的值模型计算损失时会得到NaN梯度。解决先把lr0降到0.0005观察10轮训练曲线是否平滑下降。如果loss还是不正常跑一段脚本检查所有标注框的坐标值是否都在[0, 1]区间内把越界的标注行删掉或重新计算。还有一种情况是训练集和验证集有重复图像导致验证loss无法正常评估——用图像哈希去重一次具体做法是用phash库计算每张图的感知哈希值挑出重复项剔除。5.2 小目标缺陷如隐裂漏检严重现象验证集上crack的recall不到0.5预测框总是漏掉那些只占图像千分之一面积的细小裂纹。原因输入图像被resize到640后原本只有10x10像素的裂纹区域被压缩成几乎不可见的斑点特征图上的响应值微乎其微。解决这是EL图像缺陷检测的经典痛点。两个可行的调整路径第一提高输入尺寸把imgsz从640改成1024或1280代价是显存占用翻倍。第二启用YOLOv8的tile推理模式把高分辨率EL图切成多个重叠的patch分别检测再把结果合并。这块我稍后在进阶部分详述。如果不想改推理逻辑还有个取巧方案——把标注框的坐标略微外扩一点让模型把缺陷周边的上下文纹理也学进去。一般外扩框宽的20%左右能显著提升小目标的召回率但对定位精度有轻微损伤。5.3 正常样本全部被误报成缺陷现象测试集上正常样本的误检率很高模型总在电池片的栅线交汇处或silicon纹理处给出缺陷框。原因训练集里正常样本的负样本数量不够模型没见过足够多的“无缺陷”上下文。另一个常见原因是数据增强的旋转角度太大——EL图像旋转90度后栅线方向发生改变模型会把它当成不正常的纹理特征。解决把所有正常样本单独抽出来按1:3的比例混入训练集缺陷样本:正常样本保证模型有足够多“什么都不检测”的图像。如果框架支持还可以把正常样本作为背景图注入Mosaic增强的拼接中。调整增强参数把degrees从10降到0旋转增强直接关掉EL图像的栅线方向是固定的不需要旋转增强来模拟新样本。5.4 标注框与缺陷边缘不对齐现象训练完成后用模型做推理预测框的边界总是比缺陷实际区域大一圈mAP50-95指标一直上不去。原因原始标注本身就画得不紧。标注员画框时习惯性地留了安全边距导致框的中心点偏移、宽高偏大模型学到的边界就不准。解决对标注框做一次统一的收缩处理。遍历所有label文件把每个框的宽高乘以0.9中心点不变。这样能强制模型学更紧的标注边界。收缩比例不要太小0.85以下容易丢掉缺陷边缘的上下文信息。如果标注框错位严重比如框住了完全无关的区域那就没有修复价值了直接删掉这条样本更省事。这里补充一个血泪教训使用他人数据集时不要想当然认为标注是完全准确的。我曾经用一份标注框偏移了3-5个像素的数据集跑了30轮训练最终模型在真实场景下定位偏差十分明显。从那以后每次拿到新数据集我先抽查50张图像、人工核对标注框再决定要不要先修正标注再训练。这个动作花的时间不过半小时但能规避后续所有的定位误差问题。6. 把模型用到真实场景切片推理与误检分析训练只是第一步把模型从验证集搬到真实产线或无人机巡检场景时会碰到一个绕不开的问题——图像分辨率。验证集的EL图可能只有1024x1024但产线拍出来的原图往往是2048x2048甚至3000x4000的。直接resize到640会丢失大量小缺陷特征导致模型在真实数据上表现远不如验证集。常见做法是切片推理tiling inference把原始大图切成多个带重叠的patch每个patch单独送进模型最后合并检测结果并去除重复框。import cv2 from ultralytics import YOLO model YOLO(runs/detect/train/weights/best.pt) def tiled_inference(img_path, tile_size640, overlap64): img cv2.imread(img_path) h, w img.shape[:2] detections [] for y in range(0, h, tile_size - overlap): for x in range(0, w, tile_size - overlap): y_end min(y tile_size, h) x_end min(x tile_size, w) tile img[y:y_end, x:x_end] results model(tile, conf0.25, iou0.45) for box in results[0].boxes: x1, y1, x2, y2 box.xyxy[0].tolist() detections.append((x int(x1), y int(y1), x int(x2), y int(y2), float(box.conf[0]), int(box.cls[0]))) return detections这段代码用步长tile_size - overlap在图像上滑动切片overlap设为64像素是为了保证跨切片的缺陷至少在一个patch里完整出现。切片送到模型后把得到的检测框坐标加上切片左上角的偏移量映射回原图坐标系。合并阶段可以用NMS去除重叠框YOLO自带的NMS是在单张图上做的跨切片的重复框需要自己写一个简单的IOU过滤。我一般用shapely库的unary_union来做或者手写一个循环判断两个框的IOU是否大于0.5。切片推理的代价是推理时间增加——1024x1024图像切成640x640的patch大约需要4-6次推理如果用TensorRT优化可以压到实时。真实场景里还有一件必须做的事——分析误检样本。模型在产线上跑一周会积累一批假阳性结果。我会定期把这些误检图像收集起来分成两堆一堆是看起来确实像缺陷但实际不是的比如灰尘、水渍另一堆是完全看不出原因的随机纹理。前者通过扩充正常样本训练集来纠正后者大概率是模型在低置信度区域的随机猜测直接提高conf阈值到0.4甚至0.5就能过滤掉大半。分界线画在哪里合适取决于你的业务容忍度。如果是产线终检漏检一块缺陷电池板的损失远大于多停一次机那就把conf压低到0.2如果是无人机巡检初筛后续还有人工复核环节conf可以设定为0.4减少误报。最后说一个个人习惯我每一份数据集训练完成后都会保留一个固定的验证集评估脚本里面包含图像尺寸分布统计、类别分布检查和NMS后处理参数调整三件事。新版模型跑完先跑这三步再比较mAP指标提升才有意义。这个习惯帮我避开了很多“新版模型效果变差了”的假象——实际上是输入图像分辨率变了模型没变差是数据变了。希望这篇笔记能帮你把这套流程走通少踩几个我当年踩过的坑。本文还有配套的精品资源点击获取
