简介基于TensorFlow与OpenCV的焊缝识别是一项毕设级机器学习项目面向工业自动化质检场景帮助学习者掌握用卷积神经网络完成焊缝图像自动检测的完整流程。压缩包共27个文件约7.52MB包含12张PNG图像样本、4个XML配置、2个Python训练与测试脚本、2个PB模型文件以及Markdown说明和文本说明便于对照代码、模型和数据集进行复现。目前已有219人学习下载。资源的核心价值在于完整展示了从图像灰度化、直方图均衡化、边缘与轮廓检测到CNN模型设计、训练与评估的全链路方法同时保留项目目录、工程配置和read_me说明适合毕业论文复现、课程设计参考或入门深度学习视觉任务。研读其中代码与模型可快速理解TensorFlow模型构建与OpenCV图像预处理如何协同工作为缺陷检测、目标识别等类似项目提供可迁移的实践范本。1. 焊缝识别为什么要用 TensorFlow OpenCV 这套组合一条焊缝出现气孔还是咬边靠肉眼在工件表面来回扫连续盯上几小时连合格的都想挑出毛病来。这次拆的是一套基于 TensorFlowOpenCV 的焊缝识别毕设资源核心思路很直白OpenCV 负责把焊缝从金属反光和背景纹理里抠出来TensorFlow 负责对抠出来的区域做缺陷分类与定位。这个组合能落地的原因也简单焊缝缺陷是小目标背景占了画面百分之八十以上直接整图塞给神经网络模型学到的是“这张图的亮度分布”不是“这条焊缝哪里有缺陷”。先用传统图像处理缩小搜索范围再把干净的 ROI 交给深度学习识别稳定性和训练速度都会明显改善。适合的读者是准备用机器学习做工业检测、但手里只有几百张焊缝图的人。跟着走一遍你能得到一条从标注、预处理到训练、导出的完整链路而不是一个摆在展示页上跑不起来的黑匣子。2. 焊缝数据准备先把标注做成不会坑到模型的样子焊缝图像和日常拍照有个明显区别背景变化小但同一张图上可能同时出现多个小缺陷。做数据准备前必须先把任务边界定清楚——你只需要判断“合格还是不合格”还是要把每个缺陷的类别和位置都标出来。前者是二分类后者是检测加细分类两者对标注的要求差一个量级。这套资源里的常见做法是先按“正常、气孔、咬边、焊瘤、裂纹”五类做标注图片里如果有多个缺陷就按每个缺陷的包围盒裁出 ROI把每一块 ROI 当作独立样本送进分类网络。这比直接在整图上做多标签分类更稳也符合工业检测里“先找缺陷区域再判断缺陷类型”的习惯。2.1 拍出来的缺陷长什么样任务边界决定标注粒度气孔是圆形暗区边缘比较平滑咬边是沿熔合线走向的一条沟槽看起来像焊缝边缘被切掉一块焊瘤是高出正常表面的鼓包反光时边界特别亮裂纹则是细线状且常带分叉灰度上和背景差距不大是最难标的一种。这四种缺陷外观有交叉比如细长咬边和浅裂纹在低分辨率下很容易混所以标注阶段必须统一成一套固定词表。最忌讳今天标“气孔”、明天标“孔”、后天又标“Porosity”模型会被这种同义标注直接搞乱。采集阶段要注意的是光照角度。金属表面镜面反射强直射光会把焊缝打成一片白缺陷细节全丢。常见做法是斜侧光照明让焊缝纹路产生阴影缺陷的灰度对比度才够。工业相机拍照时固定好工件位置和光源角度手机拍照也行但同一缺陷至少要覆盖三个拍摄角度否则模型对角度变化非常敏感。样本总量不大时不要追求数量先控制多样性覆盖几种常见金属表面、焊接手法和光照条件比硬凑一千张重复背景的图有用得多。2.2 标注格式转换从 VOC XML 到一份通用的 CSV标注工具一般用 LabelImg画框后默认输出 Pascal VOC 格式的 XML 文件。直接拿 XML 给 TensorFlow 用比较绕先把标注转成 CSV后面做 ROI 裁剪或训练集划分都共用同一份文件避免多个格式反复转换过程里出错。下面这段脚本就是干这个的import os import xml.etree.ElementTree as ET import csv xml_dir annotations out_fields [filename, cls, xmin, ymin, xmax, ymax] with open(train_labels.csv, w, newline) as f: writer csv.writer(f) writer.writerow(out_fields) for xml_name in os.listdir(xml_dir): if not xml_name.endswith(.xml): continue tree ET.parse(os.path.join(xml_dir, xml_name)) root tree.getroot() filename root.find(filename).text for obj in root.iter(object): cls obj.find(name).text.strip() bnd obj.find(bndbox) xmin int(bnd.find(xmin).text) ymin int(bnd.find(ymin).text) xmax int(bnd.find(xmax).text) ymax int(bnd.find(ymax).text) writer.writerow([filename, cls, xmin, ymin, xmax, ymax])逻辑说明遍历 annotations 目录下所有 XML 文件从根节点里取 filename再从每个 object 节点里取类别和 bndbox 四个坐标逐行写进 CSV。关键点在于 bndbox 的顺序必须是 xmin、ymin、xmax、ymax也就是左上角和右下角各一组坐标。画框时如果习惯从右下往左上拖坐标顺序会反过来训练时标注框就全是错位的。转完之后先看一眼类别分布心里有个底from collections import Counter import csv counts Counter() with open(train_labels.csv) as f: for row in csv.DictReader(f): counts[row[cls]] 1 print(counts)如果某类只有正常类的五分之一甚至更少后面训练必须靠 class_weight 或数据增强来找补否则模型大概率把所有样本都预测成多数类。2.3 划分规则按工件分不按图片随机分数据划分是最容易给模型“开卷考试”的一步。很多初版项目直接random.shuffle把图片随机分成训练集和验证集结果验证准确率飙到 97%拿到现场连续漏检。原因是同一焊件的连续帧在光照、角度、纹理上高度相似随机划分让大量“近亲”图片同时出现在训练集和验证集里模型只需记住那个工件的外观就能蒙对换一个工件就失效。正确做法是按文件名前缀把图片分组同一个工件的所有图片必须待在同一个集合里。假设图片命名是w01_001.jpg、w01_002.jpg这种格式前缀w01代表同一个工件划分脚本如下import os import random img_list [f for f in os.listdir(images) if f.endswith(.jpg)] random.seed(42) groups {} for fn in img_list: prefix fn.rsplit(_, 1)[0] # 文件名前缀 工件编号 groups.setdefault(prefix, []).append(fn) prefixes sorted(groups.keys()) random.shuffle(prefixes) total len(prefixes) n_train int(total * 0.7) n_val int(total * 0.15) def write_split(tag, pfs): with open(f{tag}.txt, w) as f: for p in pfs: for fn in groups[p]: f.write(fimages/{fn}\n) write_split(train, prefixes[:n_train]) write_split(val, prefixes[n_train:n_train n_val]) write_split(test, prefixes[n_train n_val:])这段脚本先把图片按rsplit(_, 1)[0]取前缀分桶比如w01_001.jpg和w01_002.jpg都归到w01这个桶再对桶做 shuffle 和按比例切分。train.txt、val.txt、test.txt 里存的都是完整图片路径后续训练时直接读取即可。参数方面随机种子建议固定下来不然每次跑结果都不一样排错时会很痛苦比例按 7:1.5:1.5 分如果某个前缀下的图片太多需要手动调整保证每个集合里都有不同工件的样本。3. OpenCV 预处理与 ROI 提取别把背景丢给神经网络焊缝缺陷在整图里通常只占很小一块区域直接把整图缩到 224x224缺陷可能只剩十几个像素分类网络根本没机会学到有意义的特征。OpenCV 在这套资源里承担的不是“识别”而是“定位”把焊缝从背景里抠出来再交给模型。预处理管线的顺序一般是灰度化、滤波去噪、边缘检测、形态学闭运算、行投影找焊缝带。3.1 灰度化、中值滤波与 Canny 参数先让边缘干净焊缝图像本身不需要颜色信息灰度化可以去掉金属氧化色对边缘的干扰。滤波首选的是中值滤波而不是高斯滤波因为焊接飞溅会形成椒盐噪声中值滤波对这种噪声的抑制效果更好同时边缘轮廓保留得更完整。下面是起点代码import cv2 src cv2.imread(images/w01_001.jpg) gray cv2.cvtColor(src, cv2.COLOR_BGR2GRAY) blur cv2.medianBlur(gray, 5) edges cv2.Canny(blur, 80, 200)Canny 的两个阈值直接影响边缘数量。低阈值设得太低打磨纹路和飞溅颗粒全会被当成边缘设得太高咬边、裂纹这类灰度差小的缺陷会被直接抹掉。常见做法是高阈值是低阈值的 2 到 3 倍起步可以试80/200然后按实际效果微调。真实场景里没有一组参数能覆盖所有角度我一般会写一个滑杆调试窗口把低阈值从 50 到 150 一档一档试找到一个“背景边缘少、焊缝边缘完整”的中间值。3.2 形态学闭运算与行投影把离散边缘连成焊缝条带Canny 出来的边缘是断断续续的尤其是裂纹这类细长缺陷中间经常断开。直接用行投影找焊缝位置会把断点投影成多段ROI 区域就会忽宽忽窄。先用闭运算把相邻的边缘点连起来再用行投影确定焊缝条的上下范围import cv2 import numpy as np kernel cv2.getStructuringElement(cv2.MORPH_RECT, (25, 3)) closed cv2.morphologyEx(edges, cv2.MORPH_CLOSE, kernel) # 按行统计边缘像素数焊缝带的边缘密度明显高于背景 proj np.sum(closed 0, axis1) thresh int(proj.max() * 0.2) rows np.where(proj thresh)[0] if len(rows) 0: raise ValueError(未检测到焊缝区域请降低 Canny 阈值或放大闭运算核) y_top, y_bottom rows.min(), rows.max() roi src[max(0, y_top - 10): min(src.shape[0], y_bottom 10), :]闭运算的核形状很关键。这里假设焊缝是横向走向所以核是(25, 3)宽度 25 用来把同一水平线上的断裂边缘接上高度 3 避免把上下相邻的飞溅也连进来。如果你拍的焊缝是纵向的核要换成(3, 25)行投影也要改成按列投影即np.sum(closed 0, axis0)再对 x 方向取最小最大值。参数上proj.max() * 0.2表示只保留边缘密度最高那部分的 20% 的行实际图如果背景杂物多可以调到 0.3如果缺陷本身细长0.1 更保险。3.3 参数边界不同反光条件下怎么调工业现场最怕的不是算法不会跑而是换一条焊缝参数就不对。整理一个参考表方便快速起手环节参数经验范围说明中值滤波核大小3 / 5 / 7核越大边缘越平滑超大核会吞掉细裂纹Canny低阈值60 ~ 120小于 60 背景边缘太多大于 120 浅缺陷丢失Canny高阈值150 ~ 300保持高 / 低比例 2:1 到 3:1闭运算核尺寸横向 (15~35, 3)纵向 (3, 15~35)核太长会把背景纹理连成块行投影比例阈值0.1 ~ 0.3越小越容易纳入噪声行越大越容易裁掉浅缺陷判断标准就一条闭运算之后焊缝边缘应该是连续的一条带背景区域不应该有大量亮块。如果背景连成一大片闭运算核太大了如果焊缝带中间还是断的要么 Canny 阈值高了要么闭运算核不够长。这个步骤反复出现的坑是有人直接把闭运算结果当成“焊缝分割结果”存下来其实闭运算只是用来定 ROI 边界不是最终识别结果。4. TensorFlow 模型搭建与训练用几百张焊缝图完成缺陷分类预处理把焊缝 ROI 抠出来之后后续就是 TensorFlow 的训练环节。焊缝识别本身不是一个需要重新发明网络的任务选对预训练模型、配好数据管道、调好训练参数比堆一堆注意力模块实际得多。4.1 选型用 MobileNetV2 迁移学习而不是自建七层 CNN小样本下自己从头训练 CNN 很容易过拟合。焊缝 ROI 尺寸通常不大几百张图撑不起几十万参数的网络而 MobileNetV2 这类在 ImageNet 上预训练过的模型前几层已经学会了纹理、边缘、角点这些基础特征焊接缺陷的气孔边缘和裂纹走向本质上也是这些基础特征的组合。迁移学习只需替换分类头在最上层微调即可。搭建代码如下import tensorflow as tf IMG_SIZE (224, 224) num_classes 5 # 正常、气孔、咬边、焊瘤、裂纹 base_model tf.keras.applications.MobileNetV2( input_shape(IMG_SIZE[0], IMG_SIZE[1], 3), include_topFalse, weightsimagenet ) base_model.trainable False model tf.keras.Sequential([ base_model, tf.keras.layers.GlobalAveragePooling2D(), tf.keras.layers.Dropout(0.5), tf.keras.layers.Dense(128, activationrelu), tf.keras.layers.Dense(num_classes, activationsoftmax) ])逻辑说明include_topFalse把 MobileNetV2 自带的 1000 类分类头去掉改用 GlobalAveragePooling2D 把特征图压缩成向量再接一个 128 维的全连接层和 5 分类输出。参数方面trainableFalse表示先冻结主干网络只训练新加的全连接层这个阶段学习率可以用 1e-3等损失稳定后把base_model.trainable True解冻用 1e-5 到 1e-4 的学习率微调顶部卷积层。Dropout 0.5 对几百张图这种规模很关键不加几乎必定过拟合。4.2 数据管道把 ROI 图片喂给 tf.data训练数据是第 2 章 CSV 里裁出来的 ROI 图片。裁图时要注意同一个包围盒四周各扩 10 到 20 个像素让缺陷不贴边框否则网络会把“缺陷紧贴图像边界”也学成特征。下面这个数据管道用tf.numpy_function做自定义解码方便复用 OpenCV 的预处理逻辑import cv2 import numpy as np import tensorflow as tf def load_roi(path): img cv2.imread(path.decode(), cv2.IMREAD_COLOR) img cv2.resize(img, IMG_SIZE) img img.astype(np.float32) / 127.5 - 1.0 # 归一化到 [-1, 1] return img paths tf.constant([...]) # 图片路径列表 labels tf.constant([...]) # 对应标签列表 ds tf.data.Dataset.from_tensor_slices((paths, labels)) ds ds.map(lambda p, y: (tf.numpy_function(load_roi, [p], tf.float32), y), num_parallel_calls4) ds ds.shuffle(256).batch(32).prefetch(4)归一化到[-1, 1]是和 MobileNetV2 预训练权重的要求对齐的很多翻车案例就是把输入直接除以 255 变成[0, 1]结果推理阶段错一半。num_parallel_calls4表示用 4 个线程并行解码prefetch(4)让数据加载和模型训练重叠减少 GPU 空转。训练数据量小时不要过度增强翻转和微旋转就够augment tf.keras.Sequential([ tf.keras.layers.RandomFlip(horizontal), tf.keras.layers.RandomRotation(0.05), ])如果焊接方向固定是水平的且咬边左右不对称RandomFlip(horizontal)要慎开水平翻转会把左右方向的咬边镜像成另一种形态反而增加学习难度。4.3 训练参数学习率、类别权重与早停训练阶段建议用这种配置起步model.compile( optimizertf.keras.optimizers.Adam(1e-4), losssparse_categorical_crossentropy, metrics[accuracy] ) class_weight {0: 1.0, 1: 2.5, 2: 2.5, 3: 2.0, 4: 3.0} model.fit( ds, epochs50, class_weightclass_weight, callbacks[ tf.keras.callbacks.EarlyStopping(patience8, restore_best_weightsTrue), tf.keras.callbacks.ReduceLROnPlateau(factor0.5, patience4) ] )先冻结主干时用 1e-4 的 Adam 起步比默认 1e-3 稳得多因为新加的 Dense 层是随机初始化学习率太大会把预训练特征冲坏。class_weight里权重按第 2.2 节的类别统计设少数类权重高模型才能倾向去学它。不要直接把 epoch 定死EarlyStopping 的patience8表示验证损失连续 8 个 epoch 不下降就停并回滚到权重最优的轮次ReduceLROnPlateau在连续 4 轮不下降时把学习率减半给模型再挣扎一次的机会。训练过程中重点看的不是准确率而是验证集上每个缺陷类别的召回率气孔漏了和咬边漏了的代价差别很大。5. 焊缝识别的坑五个最容易翻车的细节与排查焊缝识别项目做到能跑通不难难的是换一条焊缝、换一台相机之后不出问题。这里把常见踩坑点按“现象 → 原因 → 解决”的格式整理出来每个都可以直接对号入座。5.1 验证集“分数高得离谱”现场却不停漏检现象训练时验证准确率 95% 以上部署到现场对真实焊缝段检测缺陷几乎全漏。原因数据划分时按图片随机打散没按工件分桶。同一工件连续拍摄的多帧图片在训练集和验证集里同时出现模型记住了那个工件的纹理和光照换一个工件就崩。解决回到第 2.3 节的按最新“前缀分组”方式重新划分保证同一工件所有图片只出现在训练、验证、测试其中一个集合里。更保险的做法是验证集里单独留出两个完全没见过的工件再不行就把那两个工件的图片直接删掉宁缺毋滥。5.2 整图分类飘忽不定缺陷位置一直在变现象同一张图片换一个旋转角度输入分类结果从“气孔”跳成“正常”。原因直接把整图缩到 224x224 喂给模型缺陷小到只剩几个像素网络只能靠背景亮度瞎猜或者是 Canny、ROI 提取环节的裁剪位置每次不一样模型输入端就乱了。解决先把 ROI 裁出来再分类ROI 提取函数要保证同一缺陷在不同帧里都落在画面的相近位置。裁剪时注意y_top - 10这种扩边逻辑如果 ROI 抖动厉害可以在行投影之前对proj做一次均值平滑把抖动行去掉。原图整图分类只是兜底方案不能作为主线。5.3 模型永远输出“正常”现象训练 loss 一直在降但混淆矩阵里缺陷类几乎全被预测成正常recall 惨不忍睹。原因缺陷样本占比太低网络发现把所有样本都判成正常类就能拿到很低的 loss。普通准确率指标在这种情况下没有参考价值它只是被多数类刷上去了。解决用class_weight给少数类加权或者对缺陷类做更多数据增强——随机亮度、对比度、小角度旋转、局部裁剪都行。如果缺陷样本不足 30 张再配点合成样本把缺陷 ROI 贴到不同背景的焊缝图上注意贴图时做边缘羽化否则粘贴痕迹被模型当成特征。5.4 Canny 参数换一条焊缝就失效现象调好的 Canny 阈值在 A 类工件上完美框出焊缝换成 B 类工件后 ROI 区域丢失一半。原因不同工件的表面粗糙度、氧化色、照明角度不一样固定阈值不可能通吃。解决把预处理管线封装成一个函数阈值允许外部传入部署时用滑杆实时调试记下不同工件对应的参数档位。现场如果光照变化范围太大优先考虑加匀光板或遮光罩而不是在算法里硬怼。传统图像处理本来就是辅助定位不要指望它在一堆不可控光照下完全可靠。5.5 部署时推理结果和训练时不一致准确率断崖下跌现象训练时测试集准确率不错导出 TFLite 后同一张图片预测结果变了。原因有三处最容易漏。一是训练时输入是 RGB而 OpenCV 读进来是 BGR推理时忘了转换或者重复转换二是训练时归一化到[-1, 1]部署时用[0, 1]三是训练时图片经过了随机增强部署时输入却没有做同一套预处理模型输入分布完全不同。解决导出模型之前把验证集中的十张图做成一个固定测试集分别跑一遍训练模型和 TFLite 模型逐张对比argmax结果。归一化、通道顺序、resize 这三项必须写成同一个复用函数不要训练和推理各抄一份代码。6. 部署模型导出为 TFLite接入 OpenCV 摄像头循环训练结束只是第一步真正放在现场跑的是导出后的模型。TFLite 不仅体积小推理速度也比完整 TensorFlow 模型快适合接入 OpenCV 的视频循环里逐帧处理。转换前先在原始模型上做一次固定测试集验证确认没问题再转。model.save(weld_model_saved) converter tf.lite.TFLiteConverter.from_saved_model(weld_model_saved) converter.optimizations [tf.lite.Optimize.DEFAULT] tflite_model converter.convert() with open(weld_model.tflite, wb) as f: f.write(tflite_model)这段代码把训练好的模型导出为 SavedModel再转换成量化后的 TFLite 文件。tf.lite.Optimize.DEFAULT会做动态范围量化模型大小通常能压缩到原来的四分之一左右代价是精度略微下降。如果现场 CPU 算力紧张量化是值得的如果精度下降明显把optimizations去掉重新导出即可。TFLite 的调用方式和 Keras 模型不一样需要先创建解释器再分配张量。接入 OpenCV 摄像头循环的完整流程如下import cv2 import numpy as np import tensorflow as tf interpreter tf.lite.Interpreter(model_pathweld_model.tflite) interpreter.allocate_tensors() in_d interpreter.get_input_details() out_d interpreter.get_output_details() classes [正常, 气孔, 咬边, 焊瘤, 裂纹] cap cv2.VideoCapture(0) while cap.isOpened(): ret, frame cap.read() if not ret: break roi crop_weld_region(frame) # 复用第3章的 ROI 裁剪函数 img cv2.resize(roi, (224, 224)) img img.astype(np.float32) / 127.5 - 1.0 inp np.expand_dims(img, axis0) interpreter.set_tensor(in_d[0][index], inp) interpreter.invoke() pred interpreter.get_tensor(out_d[0][index])[0] label int(pred.argmax()) color (0, 255, 0) if label 0 else (0, 0, 255) cv2.putText(frame, classes[label], (30, 50), cv2.FONT_HERSHEY_SIMPLEX, 1.2, color, 2) cv2.imshow(weld-inspect, frame) if cv2.waitKey(1) 0xFF ord(q): break cap.release() cv2.destroyAllWindows()这一段把训练产物落到了实际画面上每次从摄像头读一帧先走第 3 章的 ROI 提取再 resize 成 224x224归一化到[-1, 1]后喂给解释器。interpreter.set_tensor和invoke是 TFLite 固定的推理两件套输出是一个 5 维概率向量argmax取最大概率对应的类别。类别下标和训练时保持一致第 0 类必须是正常颜色上正常类显示绿色缺陷类显示红色方便现场快速判断。调试时最直接的验证方法是挑一张训练集里准确预测过的图片单独跑一遍推理循环看输出类别是否一致。如果类别变了优先检查归一化范围、通道顺序和 resize 大小如果都不对再检查 ROI 裁剪函数在摄像头画面下是否框得准。部署阶段我还吃过一次亏训练时用的是cv2.imread读进来 BGR 图推理时却用PIL.Image.open加载 RGB 图没做通道转换结果原有准确率直接掉到五成以下。从那以后我每次做工业检测 demo都强制走一遍“训练图、验证图、部署图”三张图对比的流程三个加载路径各跑一次确认输入分布完全一致再谈上线。这套基于 TensorFlowOpenCV 的焊缝识别链路前前后后踩的坑基本都写在前面了照着走能省下不少自己摸索的时间。希望帮到你。本文还有配套的精品资源点击获取
简介基于TensorFlow与OpenCV的焊缝识别是一项毕设级机器学习项目面向工业自动化质检场景帮助学习者掌握用卷积神经网络完成焊缝图像自动检测的完整流程。压缩包共27个文件约7.52MB包含12张PNG图像样本、4个XML配置、2个Python训练与测试脚本、2个PB模型文件以及Markdown说明和文本说明便于对照代码、模型和数据集进行复现。目前已有219人学习下载。资源的核心价值在于完整展示了从图像灰度化、直方图均衡化、边缘与轮廓检测到CNN模型设计、训练与评估的全链路方法同时保留项目目录、工程配置和read_me说明适合毕业论文复现、课程设计参考或入门深度学习视觉任务。研读其中代码与模型可快速理解TensorFlow模型构建与OpenCV图像预处理如何协同工作为缺陷检测、目标识别等类似项目提供可迁移的实践范本。1. 焊缝识别为什么要用 TensorFlow OpenCV 这套组合一条焊缝出现气孔还是咬边靠肉眼在工件表面来回扫连续盯上几小时连合格的都想挑出毛病来。这次拆的是一套基于 TensorFlowOpenCV 的焊缝识别毕设资源核心思路很直白OpenCV 负责把焊缝从金属反光和背景纹理里抠出来TensorFlow 负责对抠出来的区域做缺陷分类与定位。这个组合能落地的原因也简单焊缝缺陷是小目标背景占了画面百分之八十以上直接整图塞给神经网络模型学到的是“这张图的亮度分布”不是“这条焊缝哪里有缺陷”。先用传统图像处理缩小搜索范围再把干净的 ROI 交给深度学习识别稳定性和训练速度都会明显改善。适合的读者是准备用机器学习做工业检测、但手里只有几百张焊缝图的人。跟着走一遍你能得到一条从标注、预处理到训练、导出的完整链路而不是一个摆在展示页上跑不起来的黑匣子。2. 焊缝数据准备先把标注做成不会坑到模型的样子焊缝图像和日常拍照有个明显区别背景变化小但同一张图上可能同时出现多个小缺陷。做数据准备前必须先把任务边界定清楚——你只需要判断“合格还是不合格”还是要把每个缺陷的类别和位置都标出来。前者是二分类后者是检测加细分类两者对标注的要求差一个量级。这套资源里的常见做法是先按“正常、气孔、咬边、焊瘤、裂纹”五类做标注图片里如果有多个缺陷就按每个缺陷的包围盒裁出 ROI把每一块 ROI 当作独立样本送进分类网络。这比直接在整图上做多标签分类更稳也符合工业检测里“先找缺陷区域再判断缺陷类型”的习惯。2.1 拍出来的缺陷长什么样任务边界决定标注粒度气孔是圆形暗区边缘比较平滑咬边是沿熔合线走向的一条沟槽看起来像焊缝边缘被切掉一块焊瘤是高出正常表面的鼓包反光时边界特别亮裂纹则是细线状且常带分叉灰度上和背景差距不大是最难标的一种。这四种缺陷外观有交叉比如细长咬边和浅裂纹在低分辨率下很容易混所以标注阶段必须统一成一套固定词表。最忌讳今天标“气孔”、明天标“孔”、后天又标“Porosity”模型会被这种同义标注直接搞乱。采集阶段要注意的是光照角度。金属表面镜面反射强直射光会把焊缝打成一片白缺陷细节全丢。常见做法是斜侧光照明让焊缝纹路产生阴影缺陷的灰度对比度才够。工业相机拍照时固定好工件位置和光源角度手机拍照也行但同一缺陷至少要覆盖三个拍摄角度否则模型对角度变化非常敏感。样本总量不大时不要追求数量先控制多样性覆盖几种常见金属表面、焊接手法和光照条件比硬凑一千张重复背景的图有用得多。2.2 标注格式转换从 VOC XML 到一份通用的 CSV标注工具一般用 LabelImg画框后默认输出 Pascal VOC 格式的 XML 文件。直接拿 XML 给 TensorFlow 用比较绕先把标注转成 CSV后面做 ROI 裁剪或训练集划分都共用同一份文件避免多个格式反复转换过程里出错。下面这段脚本就是干这个的import os import xml.etree.ElementTree as ET import csv xml_dir annotations out_fields [filename, cls, xmin, ymin, xmax, ymax] with open(train_labels.csv, w, newline) as f: writer csv.writer(f) writer.writerow(out_fields) for xml_name in os.listdir(xml_dir): if not xml_name.endswith(.xml): continue tree ET.parse(os.path.join(xml_dir, xml_name)) root tree.getroot() filename root.find(filename).text for obj in root.iter(object): cls obj.find(name).text.strip() bnd obj.find(bndbox) xmin int(bnd.find(xmin).text) ymin int(bnd.find(ymin).text) xmax int(bnd.find(xmax).text) ymax int(bnd.find(ymax).text) writer.writerow([filename, cls, xmin, ymin, xmax, ymax])逻辑说明遍历 annotations 目录下所有 XML 文件从根节点里取 filename再从每个 object 节点里取类别和 bndbox 四个坐标逐行写进 CSV。关键点在于 bndbox 的顺序必须是 xmin、ymin、xmax、ymax也就是左上角和右下角各一组坐标。画框时如果习惯从右下往左上拖坐标顺序会反过来训练时标注框就全是错位的。转完之后先看一眼类别分布心里有个底from collections import Counter import csv counts Counter() with open(train_labels.csv) as f: for row in csv.DictReader(f): counts[row[cls]] 1 print(counts)如果某类只有正常类的五分之一甚至更少后面训练必须靠 class_weight 或数据增强来找补否则模型大概率把所有样本都预测成多数类。2.3 划分规则按工件分不按图片随机分数据划分是最容易给模型“开卷考试”的一步。很多初版项目直接random.shuffle把图片随机分成训练集和验证集结果验证准确率飙到 97%拿到现场连续漏检。原因是同一焊件的连续帧在光照、角度、纹理上高度相似随机划分让大量“近亲”图片同时出现在训练集和验证集里模型只需记住那个工件的外观就能蒙对换一个工件就失效。正确做法是按文件名前缀把图片分组同一个工件的所有图片必须待在同一个集合里。假设图片命名是w01_001.jpg、w01_002.jpg这种格式前缀w01代表同一个工件划分脚本如下import os import random img_list [f for f in os.listdir(images) if f.endswith(.jpg)] random.seed(42) groups {} for fn in img_list: prefix fn.rsplit(_, 1)[0] # 文件名前缀 工件编号 groups.setdefault(prefix, []).append(fn) prefixes sorted(groups.keys()) random.shuffle(prefixes) total len(prefixes) n_train int(total * 0.7) n_val int(total * 0.15) def write_split(tag, pfs): with open(f{tag}.txt, w) as f: for p in pfs: for fn in groups[p]: f.write(fimages/{fn}\n) write_split(train, prefixes[:n_train]) write_split(val, prefixes[n_train:n_train n_val]) write_split(test, prefixes[n_train n_val:])这段脚本先把图片按rsplit(_, 1)[0]取前缀分桶比如w01_001.jpg和w01_002.jpg都归到w01这个桶再对桶做 shuffle 和按比例切分。train.txt、val.txt、test.txt 里存的都是完整图片路径后续训练时直接读取即可。参数方面随机种子建议固定下来不然每次跑结果都不一样排错时会很痛苦比例按 7:1.5:1.5 分如果某个前缀下的图片太多需要手动调整保证每个集合里都有不同工件的样本。3. OpenCV 预处理与 ROI 提取别把背景丢给神经网络焊缝缺陷在整图里通常只占很小一块区域直接把整图缩到 224x224缺陷可能只剩十几个像素分类网络根本没机会学到有意义的特征。OpenCV 在这套资源里承担的不是“识别”而是“定位”把焊缝从背景里抠出来再交给模型。预处理管线的顺序一般是灰度化、滤波去噪、边缘检测、形态学闭运算、行投影找焊缝带。3.1 灰度化、中值滤波与 Canny 参数先让边缘干净焊缝图像本身不需要颜色信息灰度化可以去掉金属氧化色对边缘的干扰。滤波首选的是中值滤波而不是高斯滤波因为焊接飞溅会形成椒盐噪声中值滤波对这种噪声的抑制效果更好同时边缘轮廓保留得更完整。下面是起点代码import cv2 src cv2.imread(images/w01_001.jpg) gray cv2.cvtColor(src, cv2.COLOR_BGR2GRAY) blur cv2.medianBlur(gray, 5) edges cv2.Canny(blur, 80, 200)Canny 的两个阈值直接影响边缘数量。低阈值设得太低打磨纹路和飞溅颗粒全会被当成边缘设得太高咬边、裂纹这类灰度差小的缺陷会被直接抹掉。常见做法是高阈值是低阈值的 2 到 3 倍起步可以试80/200然后按实际效果微调。真实场景里没有一组参数能覆盖所有角度我一般会写一个滑杆调试窗口把低阈值从 50 到 150 一档一档试找到一个“背景边缘少、焊缝边缘完整”的中间值。3.2 形态学闭运算与行投影把离散边缘连成焊缝条带Canny 出来的边缘是断断续续的尤其是裂纹这类细长缺陷中间经常断开。直接用行投影找焊缝位置会把断点投影成多段ROI 区域就会忽宽忽窄。先用闭运算把相邻的边缘点连起来再用行投影确定焊缝条的上下范围import cv2 import numpy as np kernel cv2.getStructuringElement(cv2.MORPH_RECT, (25, 3)) closed cv2.morphologyEx(edges, cv2.MORPH_CLOSE, kernel) # 按行统计边缘像素数焊缝带的边缘密度明显高于背景 proj np.sum(closed 0, axis1) thresh int(proj.max() * 0.2) rows np.where(proj thresh)[0] if len(rows) 0: raise ValueError(未检测到焊缝区域请降低 Canny 阈值或放大闭运算核) y_top, y_bottom rows.min(), rows.max() roi src[max(0, y_top - 10): min(src.shape[0], y_bottom 10), :]闭运算的核形状很关键。这里假设焊缝是横向走向所以核是(25, 3)宽度 25 用来把同一水平线上的断裂边缘接上高度 3 避免把上下相邻的飞溅也连进来。如果你拍的焊缝是纵向的核要换成(3, 25)行投影也要改成按列投影即np.sum(closed 0, axis0)再对 x 方向取最小最大值。参数上proj.max() * 0.2表示只保留边缘密度最高那部分的 20% 的行实际图如果背景杂物多可以调到 0.3如果缺陷本身细长0.1 更保险。3.3 参数边界不同反光条件下怎么调工业现场最怕的不是算法不会跑而是换一条焊缝参数就不对。整理一个参考表方便快速起手环节参数经验范围说明中值滤波核大小3 / 5 / 7核越大边缘越平滑超大核会吞掉细裂纹Canny低阈值60 ~ 120小于 60 背景边缘太多大于 120 浅缺陷丢失Canny高阈值150 ~ 300保持高 / 低比例 2:1 到 3:1闭运算核尺寸横向 (15~35, 3)纵向 (3, 15~35)核太长会把背景纹理连成块行投影比例阈值0.1 ~ 0.3越小越容易纳入噪声行越大越容易裁掉浅缺陷判断标准就一条闭运算之后焊缝边缘应该是连续的一条带背景区域不应该有大量亮块。如果背景连成一大片闭运算核太大了如果焊缝带中间还是断的要么 Canny 阈值高了要么闭运算核不够长。这个步骤反复出现的坑是有人直接把闭运算结果当成“焊缝分割结果”存下来其实闭运算只是用来定 ROI 边界不是最终识别结果。4. TensorFlow 模型搭建与训练用几百张焊缝图完成缺陷分类预处理把焊缝 ROI 抠出来之后后续就是 TensorFlow 的训练环节。焊缝识别本身不是一个需要重新发明网络的任务选对预训练模型、配好数据管道、调好训练参数比堆一堆注意力模块实际得多。4.1 选型用 MobileNetV2 迁移学习而不是自建七层 CNN小样本下自己从头训练 CNN 很容易过拟合。焊缝 ROI 尺寸通常不大几百张图撑不起几十万参数的网络而 MobileNetV2 这类在 ImageNet 上预训练过的模型前几层已经学会了纹理、边缘、角点这些基础特征焊接缺陷的气孔边缘和裂纹走向本质上也是这些基础特征的组合。迁移学习只需替换分类头在最上层微调即可。搭建代码如下import tensorflow as tf IMG_SIZE (224, 224) num_classes 5 # 正常、气孔、咬边、焊瘤、裂纹 base_model tf.keras.applications.MobileNetV2( input_shape(IMG_SIZE[0], IMG_SIZE[1], 3), include_topFalse, weightsimagenet ) base_model.trainable False model tf.keras.Sequential([ base_model, tf.keras.layers.GlobalAveragePooling2D(), tf.keras.layers.Dropout(0.5), tf.keras.layers.Dense(128, activationrelu), tf.keras.layers.Dense(num_classes, activationsoftmax) ])逻辑说明include_topFalse把 MobileNetV2 自带的 1000 类分类头去掉改用 GlobalAveragePooling2D 把特征图压缩成向量再接一个 128 维的全连接层和 5 分类输出。参数方面trainableFalse表示先冻结主干网络只训练新加的全连接层这个阶段学习率可以用 1e-3等损失稳定后把base_model.trainable True解冻用 1e-5 到 1e-4 的学习率微调顶部卷积层。Dropout 0.5 对几百张图这种规模很关键不加几乎必定过拟合。4.2 数据管道把 ROI 图片喂给 tf.data训练数据是第 2 章 CSV 里裁出来的 ROI 图片。裁图时要注意同一个包围盒四周各扩 10 到 20 个像素让缺陷不贴边框否则网络会把“缺陷紧贴图像边界”也学成特征。下面这个数据管道用tf.numpy_function做自定义解码方便复用 OpenCV 的预处理逻辑import cv2 import numpy as np import tensorflow as tf def load_roi(path): img cv2.imread(path.decode(), cv2.IMREAD_COLOR) img cv2.resize(img, IMG_SIZE) img img.astype(np.float32) / 127.5 - 1.0 # 归一化到 [-1, 1] return img paths tf.constant([...]) # 图片路径列表 labels tf.constant([...]) # 对应标签列表 ds tf.data.Dataset.from_tensor_slices((paths, labels)) ds ds.map(lambda p, y: (tf.numpy_function(load_roi, [p], tf.float32), y), num_parallel_calls4) ds ds.shuffle(256).batch(32).prefetch(4)归一化到[-1, 1]是和 MobileNetV2 预训练权重的要求对齐的很多翻车案例就是把输入直接除以 255 变成[0, 1]结果推理阶段错一半。num_parallel_calls4表示用 4 个线程并行解码prefetch(4)让数据加载和模型训练重叠减少 GPU 空转。训练数据量小时不要过度增强翻转和微旋转就够augment tf.keras.Sequential([ tf.keras.layers.RandomFlip(horizontal), tf.keras.layers.RandomRotation(0.05), ])如果焊接方向固定是水平的且咬边左右不对称RandomFlip(horizontal)要慎开水平翻转会把左右方向的咬边镜像成另一种形态反而增加学习难度。4.3 训练参数学习率、类别权重与早停训练阶段建议用这种配置起步model.compile( optimizertf.keras.optimizers.Adam(1e-4), losssparse_categorical_crossentropy, metrics[accuracy] ) class_weight {0: 1.0, 1: 2.5, 2: 2.5, 3: 2.0, 4: 3.0} model.fit( ds, epochs50, class_weightclass_weight, callbacks[ tf.keras.callbacks.EarlyStopping(patience8, restore_best_weightsTrue), tf.keras.callbacks.ReduceLROnPlateau(factor0.5, patience4) ] )先冻结主干时用 1e-4 的 Adam 起步比默认 1e-3 稳得多因为新加的 Dense 层是随机初始化学习率太大会把预训练特征冲坏。class_weight里权重按第 2.2 节的类别统计设少数类权重高模型才能倾向去学它。不要直接把 epoch 定死EarlyStopping 的patience8表示验证损失连续 8 个 epoch 不下降就停并回滚到权重最优的轮次ReduceLROnPlateau在连续 4 轮不下降时把学习率减半给模型再挣扎一次的机会。训练过程中重点看的不是准确率而是验证集上每个缺陷类别的召回率气孔漏了和咬边漏了的代价差别很大。5. 焊缝识别的坑五个最容易翻车的细节与排查焊缝识别项目做到能跑通不难难的是换一条焊缝、换一台相机之后不出问题。这里把常见踩坑点按“现象 → 原因 → 解决”的格式整理出来每个都可以直接对号入座。5.1 验证集“分数高得离谱”现场却不停漏检现象训练时验证准确率 95% 以上部署到现场对真实焊缝段检测缺陷几乎全漏。原因数据划分时按图片随机打散没按工件分桶。同一工件连续拍摄的多帧图片在训练集和验证集里同时出现模型记住了那个工件的纹理和光照换一个工件就崩。解决回到第 2.3 节的按最新“前缀分组”方式重新划分保证同一工件所有图片只出现在训练、验证、测试其中一个集合里。更保险的做法是验证集里单独留出两个完全没见过的工件再不行就把那两个工件的图片直接删掉宁缺毋滥。5.2 整图分类飘忽不定缺陷位置一直在变现象同一张图片换一个旋转角度输入分类结果从“气孔”跳成“正常”。原因直接把整图缩到 224x224 喂给模型缺陷小到只剩几个像素网络只能靠背景亮度瞎猜或者是 Canny、ROI 提取环节的裁剪位置每次不一样模型输入端就乱了。解决先把 ROI 裁出来再分类ROI 提取函数要保证同一缺陷在不同帧里都落在画面的相近位置。裁剪时注意y_top - 10这种扩边逻辑如果 ROI 抖动厉害可以在行投影之前对proj做一次均值平滑把抖动行去掉。原图整图分类只是兜底方案不能作为主线。5.3 模型永远输出“正常”现象训练 loss 一直在降但混淆矩阵里缺陷类几乎全被预测成正常recall 惨不忍睹。原因缺陷样本占比太低网络发现把所有样本都判成正常类就能拿到很低的 loss。普通准确率指标在这种情况下没有参考价值它只是被多数类刷上去了。解决用class_weight给少数类加权或者对缺陷类做更多数据增强——随机亮度、对比度、小角度旋转、局部裁剪都行。如果缺陷样本不足 30 张再配点合成样本把缺陷 ROI 贴到不同背景的焊缝图上注意贴图时做边缘羽化否则粘贴痕迹被模型当成特征。5.4 Canny 参数换一条焊缝就失效现象调好的 Canny 阈值在 A 类工件上完美框出焊缝换成 B 类工件后 ROI 区域丢失一半。原因不同工件的表面粗糙度、氧化色、照明角度不一样固定阈值不可能通吃。解决把预处理管线封装成一个函数阈值允许外部传入部署时用滑杆实时调试记下不同工件对应的参数档位。现场如果光照变化范围太大优先考虑加匀光板或遮光罩而不是在算法里硬怼。传统图像处理本来就是辅助定位不要指望它在一堆不可控光照下完全可靠。5.5 部署时推理结果和训练时不一致准确率断崖下跌现象训练时测试集准确率不错导出 TFLite 后同一张图片预测结果变了。原因有三处最容易漏。一是训练时输入是 RGB而 OpenCV 读进来是 BGR推理时忘了转换或者重复转换二是训练时归一化到[-1, 1]部署时用[0, 1]三是训练时图片经过了随机增强部署时输入却没有做同一套预处理模型输入分布完全不同。解决导出模型之前把验证集中的十张图做成一个固定测试集分别跑一遍训练模型和 TFLite 模型逐张对比argmax结果。归一化、通道顺序、resize 这三项必须写成同一个复用函数不要训练和推理各抄一份代码。6. 部署模型导出为 TFLite接入 OpenCV 摄像头循环训练结束只是第一步真正放在现场跑的是导出后的模型。TFLite 不仅体积小推理速度也比完整 TensorFlow 模型快适合接入 OpenCV 的视频循环里逐帧处理。转换前先在原始模型上做一次固定测试集验证确认没问题再转。model.save(weld_model_saved) converter tf.lite.TFLiteConverter.from_saved_model(weld_model_saved) converter.optimizations [tf.lite.Optimize.DEFAULT] tflite_model converter.convert() with open(weld_model.tflite, wb) as f: f.write(tflite_model)这段代码把训练好的模型导出为 SavedModel再转换成量化后的 TFLite 文件。tf.lite.Optimize.DEFAULT会做动态范围量化模型大小通常能压缩到原来的四分之一左右代价是精度略微下降。如果现场 CPU 算力紧张量化是值得的如果精度下降明显把optimizations去掉重新导出即可。TFLite 的调用方式和 Keras 模型不一样需要先创建解释器再分配张量。接入 OpenCV 摄像头循环的完整流程如下import cv2 import numpy as np import tensorflow as tf interpreter tf.lite.Interpreter(model_pathweld_model.tflite) interpreter.allocate_tensors() in_d interpreter.get_input_details() out_d interpreter.get_output_details() classes [正常, 气孔, 咬边, 焊瘤, 裂纹] cap cv2.VideoCapture(0) while cap.isOpened(): ret, frame cap.read() if not ret: break roi crop_weld_region(frame) # 复用第3章的 ROI 裁剪函数 img cv2.resize(roi, (224, 224)) img img.astype(np.float32) / 127.5 - 1.0 inp np.expand_dims(img, axis0) interpreter.set_tensor(in_d[0][index], inp) interpreter.invoke() pred interpreter.get_tensor(out_d[0][index])[0] label int(pred.argmax()) color (0, 255, 0) if label 0 else (0, 0, 255) cv2.putText(frame, classes[label], (30, 50), cv2.FONT_HERSHEY_SIMPLEX, 1.2, color, 2) cv2.imshow(weld-inspect, frame) if cv2.waitKey(1) 0xFF ord(q): break cap.release() cv2.destroyAllWindows()这一段把训练产物落到了实际画面上每次从摄像头读一帧先走第 3 章的 ROI 提取再 resize 成 224x224归一化到[-1, 1]后喂给解释器。interpreter.set_tensor和invoke是 TFLite 固定的推理两件套输出是一个 5 维概率向量argmax取最大概率对应的类别。类别下标和训练时保持一致第 0 类必须是正常颜色上正常类显示绿色缺陷类显示红色方便现场快速判断。调试时最直接的验证方法是挑一张训练集里准确预测过的图片单独跑一遍推理循环看输出类别是否一致。如果类别变了优先检查归一化范围、通道顺序和 resize 大小如果都不对再检查 ROI 裁剪函数在摄像头画面下是否框得准。部署阶段我还吃过一次亏训练时用的是cv2.imread读进来 BGR 图推理时却用PIL.Image.open加载 RGB 图没做通道转换结果原有准确率直接掉到五成以下。从那以后我每次做工业检测 demo都强制走一遍“训练图、验证图、部署图”三张图对比的流程三个加载路径各跑一次确认输入分布完全一致再谈上线。这套基于 TensorFlowOpenCV 的焊缝识别链路前前后后踩的坑基本都写在前面了照着走能省下不少自己摸索的时间。希望帮到你。本文还有配套的精品资源点击获取
