简介一套基于Halcon与C开发的芯片缺陷检测系统完整源码专为毕业设计、课程设计与项目开发场景打造适合有一定C基础、希望学习机器视觉工程落地的学习者。资源共73个文件压缩包约42.77MB核心内容包括C源文件cpp/h、Halcon相关数据结构与页面定义、MFC界面框架文件rc/res/aps、编译中间文件obj/tlog/pdb以及用于OCR训练的.trf/.omc模型数据从算法实现到界面交互均有覆盖。已有73人学习浏览。源码已经严格测试可直接运行参考。通过阅读工程中的核心Halcon模块、各类页面控制逻辑与训练数据可快速理解芯片缺陷识别、字符OCR训练、多页面交互等实现思路便于在此基础上二次开发或集成到自身项目。整体结构清晰适合作为课题原型或入职项目储备。1. 芯片缺陷检测系统HALCONC到底解决什么问题只要打开一条芯片外观检测相关岗位的 JDHALCON 大概率出现在“熟悉以下视觉库之一”那一栏。halocon 这个名字其实就是 HALCON 的常见拼写变体它并不是另一套库而是 MVTec 的工业机器视觉算法平台C 则是把这套算法封装成独立程序的工程外壳。这套“基于 HALCONC 的芯片缺陷检测系统”解决的是芯片表面的划痕、崩边、沾污、引脚变形、缺角这类外观缺陷的自动判别完整流程就四步取图、预处理、Blob 分析、特征筛选与判定。它特别适合毕业设计、课程设计以及想入行机器视觉的开发者——你不必从零写图像处理算法而是把 HALCON 里现成的算子库拼成一条检测流水线。真正劝退多数人的反而在最后一步把 HDevelop 里调好的算法接进 C 工程库路径、运行时依赖、License任何一个都能卡你半天。2. 图像采集与预处理从相机取图到干净二值图的4个关键环节2.1 硬件与采集参数光源角度比相机分辨率更影响检测芯片缺陷检测的第一步不是算法而是成像。常见做法是用工业面阵黑白相机拍芯片正面光源根据缺陷类型选择划痕属于低对比度缺陷用同轴光能抑制镀层反光把划痕压成暗线崩边和缺角需要强调边缘轮廓条光或背光更合适引脚区域则用环形光减少阴影干扰。很多毕设团队把预算全砸在相机分辨率上实际上对 2~5mm 的芯片来说边长方向拍 200~400 像素就够用关键是把缺陷和背景的灰度差拍出来。光源角度往往比分辨率更影响检测我见过同一套阈值把 45 度条光改成同轴光之后划痕直接就从背景里分出来了。曝光和增益要固定增益太高会让背景产生随机噪点后面滤波器怎么调都别扭。这些参数最好写进配置文件不要散落在代码里。成像环节关注点推荐设置对应缺陷光源类型同轴光抑制反光低角度同轴光划痕、压伤、污点光源类型条光/背光强化轮廓45 度条光或背光崩边、缺角、引脚变形相机黑白面阵灰度均匀200~400 像素/芯片边长全部曝光固定曝光时间避免残影8~12ms全部增益尽量低噪点控制在 20 灰阶内0~6dB小缺陷误检2.2 HALCON取图read_image与GrabImage的边界开发阶段千万别一上来就接相机先用read_image读离线图片保证算法可复现。等算法稳定了再换grab_image走实时帧。这样做的最大好处是调阈值时可以反复加载同一张图不会因为相机抖动或打光波动导致“上次调好这次又不灵”。* 开发阶段读单张图路径用相对路径方便换机器复现 read_image (Image, samples/chip_001.png) * 上线阶段再走实时采集这里注释保留相机初始化参数 * open_framegrabber (GigEVision2, 0, 0, 0, 0, 0, 0, default, -1, * default, -1, false, camera_0, 0, 0, AcqHandle) * grab_image (Image, AcqHandle)read_image就两个参数输出图像对象和图像文件路径支持 png、bmp、jpg、tif 等常见格式。路径建议用相对路径根目录指向工程目录这样源码包发给别人时不用改路径。open_framegrabber的参数由相机接口类型决定GigE 相机和 USB3 相机的参数顺序略有差异直接复制 HALCON 自带例程里的初始化代码即可重点记住后面grab_image取帧的操作是统一的。2.3 滤波与增强用 gauss_filter 和 emphasize 把缺陷拉出来打光调好之后芯片和背景的灰度差通常超过 150但划痕只有 30~50 的灰度差。如果直接阈值分割噪声会让划痕断成一截一截所以预处理要先做平滑和对比度增强。这里用高斯滤波去高频噪点再用emphasize做局部对比度拉伸让划痕比周围镀层明显更暗。* 相机来的图可能是RGB统一转灰度后续所有算子都基于单通道 rgb1_to_gray (Image, GrayImage) * 高斯滤波Size通常取5或7太大细节被抹掉太小压不住噪点 gauss_filter (GrayImage, ImageFiltered, 5) * 局部对比度增强MaskWidth/MaskHeight取21Factor控制在1.5~3 emphasize (ImageFiltered, ImageEmphasized, 21, 21, 2.0) * 打开灰度直方图观察缺陷峰和背景峰的位置后面阈值就选在两峰之间 gray_histo (ImageEmphasized, ImageEmphasized, Histogram, AbsoluteHisto)gauss_filter的第三个参数是滤波器尺寸HALCON 里只能取奇数工程上芯片图用 5 到 7引脚密集区域用 3防止把细引脚边缘磨平。emphasize的 MaskWidth 和 MaskHeight 控制邻域范围21 和 21 是一个比较稳的起点Factor 调到 2.5 以上容易在强边缘产生光晕调到 1.2 以下增强效果又不明显。调参时把直方图窗口打开能看到两个峰之间有没有清晰谷底——谷底越宽后面阈值越不容易翻车。2.4 阈值分割与形态学从灰度图变成可测量的区域预处理完成之后把芯片区域从背景里分离出来。这一步用threshold配合形态学闭运算。阈值上下限的选择直接看直方图背景峰通常在低灰度区芯片峰在高灰度区取两峰之间的谷底值。* 阈值分割Min取110Max取255具体值以直方图谷底为准 threshold (ImageEmphasized, Segmented, 110, 255) * 闭运算补掉芯片内部的小孔洞Radius取5太大会把相邻芯片粘连 closing_circle (Segmented, RegionClosed, 5) * 把连在一起的所有区域拆成独立连通域 connection (RegionClosed, ConnectedRegions) * 用面积筛掉背景碎块芯片面积一般远大于噪声碎块 select_shape (ConnectedRegions, ChipRegions, area, and, 5000, 50000)closing_circle的 Radius 是闭运算圆盘半径3 到 7 之间比较常见取 5 能把小于 5 像素的孔洞填平同时不会把间隔近的两块芯片粘在一起。select_shape里的面积范围要根据实际图片标定先跑一遍connection用 HALCON 的“灰度直方图”旁边那个区域特征显示窗口看一下每个连通域的面积再把范围收紧一般只要下限够高背景碎块就进不来了。3. 缺陷定位与测量用Blob分析和特征筛选把坏品揪出来3.1 区域初筛select_shape 为什么比肉眼靠谱拿到ChipRegions之后第一个任务是从每个候选区域里判断它是不是一颗完整的芯片。肉眼扫图觉得很直观但代码里必须用可量化的几何特征。select_shape就是干这个的它支持几十个区域特征常用的有面积、圆度、矩形度、宽和长。芯片通常有固定长宽比崩边或切坏的芯片长宽比和正常品明显不同这一步能把坏芯片从源头筛掉。* area: 芯片面积范围width/height: 外接矩形宽高circularity: 圆度 select_shape (ConnectedRegions, ChipCandidates, [area, circularity], and, [5000, 0.6], [50000, 1.0])第一个列表是要筛选的特征名第二个列表是逻辑关系and第三和第四个列表分别是每个特征的最小值和最大值。circularity的取值在 0 到 1 之间1 表示完美圆形芯片这种方形封装块通常圆度在 0.65 以上崩角之后会明显下降。注意select_shape的and是必须同时满足如果你希望“只要面积异常 OR 圆度异常就算坏品”那要拆成两次select_shape再把两次结果用concat_obj合在一起。这个区别很关键很多新手的误检都是把and用成了or。3.2 缺陷提取dyn_threshold 动态阈值的3个参数芯片内部镀层反光不均匀用固定灰度阈值在芯片区域内找划痕会有一堆伪缺陷。正确做法是dyn_threshold动态阈值先用mean_image对芯片区域做均值滤波生成一张“背景估计图”再把原始图和背景图逐像素比较差值超过设定偏移量的像素才算缺陷。* 只处理芯片区域减少背景干扰 reduce_domain (GrayImage, ChipCandidates, ChipImage) * 均值滤波估计背景窗口要大于缺陷尺寸但小于芯片结构特征 mean_image (ChipImage, ImageMean, 15, 15) * 动态阈值Offset12dark模式提取暗缺陷划痕通常比背景暗 dyn_threshold (ChipImage, ImageMean, RegionDefect, 12, dark) * 开运算去掉孤点噪声Radius2只清碎点不动真缺陷 opening_circle (RegionDefect, RegionOpened, 2) * 连通域并筛选面积5~1000像素的缺陷候选 connection (RegionOpened, DefectCandidates) select_shape (DefectCandidates, Defects, area, and, 5, 1000)dyn_threshold的三个核心参数是mean_image的窗口大小、Offset 偏移量和模式。窗口大小取 9 到 21原则是大于缺陷宽度两倍划痕通常 2~6 像素宽15 是一个常见的中间值窗口太小会把划痕本身也平均进背景导致漏检。Offset 是像素级的绝对灰度差先设 10~20调参时把RegionDefect叠加在灰度图上看到伪缺陷太多就加大 Offset看到真实缺陷漏掉就减小。模式dark适合提取比背景暗的缺陷白色颗粒或镀层鼓起用light两边都要检出的场景用equal。3.3 特征测量与判级面积、长宽比和灰度极值缺陷区域提取出来后需要量化描述每个缺陷再根据量化结果判定 OK 还是 NG。量化主要看三方面缺陷面积、缺陷形状、缺陷区域的灰度深浅。面积能区分颗粒污染和大面积崩缺方向性明显的区域通常是划痕灰度极值能辅助判断是浅表擦伤还是深划痕。* 每个缺陷的面积和中心坐标 area_center (Defects, DefectArea, RowCenter, ColCenter) * 最小外接矩形输出长半轴和短半轴用于计算长宽比 smallest_rectangle2 (Defects, Row, Col, Phi, Length1, Length2) * 统计缺陷区域内的灰度极值和极差辅助判断深浅 min_max_gray (Defects, ImageEmphasized, 0, MinGray, MaxGray, RangeGray)smallest_rectangle2输出的Length1和Length2是外接矩形的半长轴和半短轴划痕的长宽比通常在 3 以上而颗粒污染的长宽比接近 1。min_max_gray的第三个参数 0 表示计算所有像素输出该缺陷区域内的最小灰度、最大灰度和灰度极差。把这些值组合起来就能形成判定规则下面是我常用的阈值模板实际数字要根据你自己的样本重新标定。缺陷类型典型特征初始判定阈值划痕长宽比高、方向性明显面积 5~300长宽比 3污点/沾污块状、圆度高面积 5~500圆度 0.6崩边/缺角靠近边缘、形状不规则面积 50圆度 0.3OK 品无明显缺陷区域缺陷总面积 5 像素判定逻辑建议写成独立函数先看总缺陷数量再看最大缺陷面积最后逐条查特征阈值表。顺序别反否则一个小污点会被误判成崩边。3.4 源码目录怎么设计HDevelop脚本和C壳分开维护毕设和课程设计的源码最忌讳把所有代码塞进一个 main.cpp。HALCON 算法脚本和 C 工程最好物理隔离调阈值时只改 HDevelop 脚本不动 C 代码。我一般按下面的结构组织源码包chip-defect-detector/ halcon/ preprocess.hdev # 预处理段 defect_detect.hdev # 缺陷提取与测量 classify_result.hdev # OK/NG判定 cpp/ main.cpp detector.cpp detector.h config/ camera_config.ini # 曝光、增益、图像路径 samples/ ok/ ng/这样的好处有三个答辩演示时可以直接用 HDevelop 打开halcon目录下的脚本一边改参数一边看效果C 目录只负责逻辑控制和用户交互代码量也被压得很小samples目录独立出来后面做验证集测试时直接往里面丢图片不需要重新编译。源码包附带笔记时也按这个目录顺序写先说硬件配置再说 HDevelop 脚本最后说 C 集成读者的思路会顺很多。4. 把HALCON算法接进C工程HDevEngine调用与导出代码的两条路线4.1 两条路线怎么选改动频繁选HDevEngine追求性能选导出代码HALCON 接 C 有两个成熟路线。第一条是用 HDevEngine让 C 程序在运行时加载.hdev脚本并执行算法的修改完全不需要重新编译 C第二条是在 HDevelop 里把脚本导出成 C 源码然后把导出的.cpp文件直接编进工程。对毕业设计和课程设计我的建议是无脑选 HDevEngine——答辩前你一定会反复调阈值HDevEngine 让你改一行参数就重新跑一次不用等在 Visual Studio 里编译半天。如果目标是上线到产线或者帧率要求高再考虑导出代码静态调用少了脚本解析开销部署时也不用带 HDevelop 脚本文件。集成路线优点缺点适合场景HDevEngine改算法不用重新编译需带 .hdev 脚本License 要求完整毕设、课设、频繁调参导出 C 代码执行快、调试方便每次改算法要重新导出并编译产线部署、性能敏感4.2 HDevEngine接入C 调用 .hdev 核心代码HDevEngine 的 C 接口封装在HDevEngine.h里核心流程是创建引擎、设置脚本库路径、加载程序、设置输入、执行、取输出。下面是跑通一个最小例子的完整代码。#include iostream #include halcon/HDevEngine.h #include halcon/HDevProgram.h #include halcon/HDevProgramCall.h using namespace Halcon; int main() { try { // 1. 创建 HDevEngine 并指定 HALCON 库路径 HDevEngine engine; engine.SetHDevLibPath(C:/Program Files/MVTec/HALCON/lib/halconxl); // 2. 加载 HDevelop 脚本脚本名和路径不能改错 HDevProgram program(C:/workspace/chip_halcon/halcon/defect_detect.hdev); HDevProgramCall call(program); // 3. 读取一张芯片图像 HObject image; ReadImage(image, samples/chip_001.png); // 4. 给脚本里的图像输入变量赋值 call.SetInputIconicVar(InputImage, image); // 5. 执行整个脚本 call.Execute(); // 6. 取回脚本输出缺陷区域、OK标志、缺陷数量 HObject defectRegions; HTuple isOK, defectCount; call.GetOutputIconicVar(DefectRegions, defectRegions); call.GetOutputCtrlVar(IsOK, isOK); call.GetOutputCtrlVar(DefectCount, defectCount); std::cout IsOK isOK[0].I() Defects defectCount[0].I() std::endl; } catch (HDevEngineException ex) { std::cerr HDevEngine error: ex.Message() std::endl; return 1; } return 0; }SetInputIconicVar和GetOutputIconicVar里的字符串参数必须和 HDevelop 脚本里声明的变量名完全一致大小写错了不会报编译错误但运行时拿不到值。Execute执行的是整个脚本从第一行到最后一行所以脚本里不要写stop()这种交互式断点否则 C 程序会卡住。4.3 导出C代码从 HDevelop 导出到 CMake 构建第二个路线是导出。在 HDevelop 里打开defect_detect.hdev菜单栏选“文件 - 导出”格式选 CHALCON 会生成defect_detect.cpp和defect_detect.h。导出的头文件里有一个和你脚本同名的函数输入输出参数按脚本里的变量自动生成一般长这样// 导出头文件里声明的函数原型 void defect_detect(HObject InputImage, HObject* DefectRegions, HTuple* IsOK);主程序只需要包含这个头文件像普通函数一样调用即可#include defect_detect.h int main() { HObject image, defects; HTuple isOK; ReadImage(image, samples/chip_001.png); // 导出代码已经把整个检测流程封装成一个函数 defect_detect(image, defects, isOK); std::cout IsOK isOK[0].I() std::endl; return 0; }工程构建用 CMake 最省心。HALCON 安装后自带 include 和 lib 目录下面这个 CMakeLists 可以直接改路径使用cmake_minimum_required(VERSION 3.16) project(chip_defect) # 改成你自己的 HALCON 安装根目录 set(HALCONROOT C:/Program Files/MVTec/HALCON) include_directories(${HALCONROOT}/include ${HALCONROOT}/include/halconcpp) link_directories(${HALCONROOT}/lib/x64-win64) add_executable(chip_defect main.cpp defect_detect.cpp) target_link_libraries(chip_defect halconcpp)CMake 里三个关键点include目录至少有两个halconcpp子目录是 C 封装层的头文件link_directories里x64-win64对应 64 位 WindowsLinux 上改成x64-linux链接库名halconcpp不要拼错。用 Visual Studio 打开生成的工程或者用 VS Code 配合 CMake Tools 扩展都能直接编译VSCode 配置 C 环境时注意把 HALCON 的 include 路径加进c_cpp_properties.json否则 IntelliSense 一堆红线。4.4 运行时部署DLL、VC运行库与License编译通过只是开始把 exe 拷贝到别的机器跑起来才是毕设答辩的生死关。HALCON 程序运行依赖一批动态库最常犯的错就是只拷了 exe缺 DLL目标机器双击没反应或弹错。完整依赖清单如下依赖项说明halcon.dllHALCON 主运行库halconcpp.dllC 接口封装库hdevengine.dll、hdevenginecpp.dll使用 HDevEngine 时必须带上第三方相机 DLL如果用了实时采集要带相机 SDK 的运行库microsoft visual c redistributable (x64)HALCON 运行库依赖目标机器经常没装部署时所有 DLL 放在 exe 同目录不用配 PATH最省事。目标机器上如果报错找不到 MSVCP140.dll 这类文件就是缺 microsoft visual c redistributable (x64)去微软官网下对应版本装好即可。License 方面HALCON 分为开发版和运行时版课程设计用试用 License 就能跑但要注意 License 到期时间答辩前检查一下。5. 避坑指南HALCONC项目最常见的5个翻车现场5.1 现象程序双击后黑框一闪而过很多同学做完 exe拷贝到别的电脑双击窗口闪一下就没影了。原因基本是运行时 DLL 缺失或者核心库没找到。问题是闪退太快根本看不到错误信息。解决方法是先用命令行运行打开 cmd把 exe 拖进去回车它会打印出具体报错信息——“找不到 halcon.dll”“无法定位程序输入点”这类。然后按上一节的依赖表把 DLL 补齐Flash 就不会再发生了。另一个隐蔽原因是 HALCONROOT 环境变量没设置HALCON 靠它定位安装目录把它指到 HALCON 安装根目录或者干脆在系统环境变量里配好。5.2 现象换一台电脑就找不到图像路径开发机上用绝对路径C:/Users/xxx/chip/samples/chip_001.png没问题拷贝到答辩机器上路径不存在程序直接崩。原因很简单绝对路径绑死了开发机的目录结构。我现在的习惯是所有路径从配置文件读取代码里只保留相对路径逻辑。一个最简做法把samples目录和 exe 放同一级代码里用相对于 exe 所在路径去拼接。可以用SetSystemEnv或直接读camera_config.ini里的image_dir字段产品化一点就再加个日志打印当前实际路径省得排查时靠猜。5.3 现象阈值白天正常晚上一批料全 NG固定阈值在实验室里百试百灵到了现场灯光条件一变就翻车。本质原因是threshold和dyn_threshold里的灰度区间是死的来料批次不同、环境光漂移都会让整个灰度分布平移。解决思路有两个一是做灰度归一化用scale_image把图像灰度拉伸到固定范围再走后续算法二是加“学习模式”对连续 N 张 OK 图统计灰度均值和标准差用均值加两倍标准差动态生成阈值。对毕设来说第一种做法更简单也更好答辩因为 HDevelop 里能看到归一化前后的直方图对比演示效果直观。5.4 现象HDevEngine 初始化或执行时抛异常执行call.Execute()时会抛出HDevEngineException错误码类似 -32001提示找不到算子。原因通常是两个SetHDevLibPath指向的目录不正确导致算子库没有加载或者.hdev脚本是另一个 HALCON 版本保存的里面用了当前版本不存在的算子。解决办法首先确认SetHDevLibPath用的是绝对路径不要写相对路径其次用你当前安装的 HALCON 打开.hdev文件重新保存一次再回 C 里跑。顺手检查 License 是否支持 HDevEngine有些精简版 License 会限制脚本执行功能。5.5 现象测试集精度高现场漏检多这类问题最坑因为它不报错结果却不可用。常见原因是特征筛选过拟合拿 20 张图调阈值把每张图的特征值背下来了换一批样本就不行。解决方法是把验证集做大至少 50 张 OK、50 张 NG而且 NG 图要覆盖不同批次、不同划痕粗细。调参时不要一次塞十几个特征先只用面积一个特征确认分类边界后再叠加长宽比和圆度。特征越少出问题越容易定位答辩时也解释得清楚。6. 验证方法与进阶技巧跑通之后怎么证明系统真的可靠跑通检测流程只是第一步答辩或项目验收时一定会被问“准确率多少、漏检率多少”。所以需要在源码包里加一个批量验证工具把所有测试图片按文件名约定标好真值比如 OK 图叫chip_001_ok.pngNG 图叫chip_002_ng.png然后用 C 或 HDevelop 脚本循环处理每张图把预测结果和真值对比统计四个数正确检出 NG 的数量把 OK 误判成 NG 的数量漏掉的 NG 数量正确放过的 OK 数量。这四类落到表格里就是混淆矩阵行是真值列是预测对角线越密集越好。核心指标看两个漏检率NG 被放过的比例必须为零或极低误检率OK 被拦下的比例控制在 5% 以内才算能用。验证脚本里建议加一个技巧把判定边界样本单独存到一个debug_cases目录那些面积刚好落在阈值附近、灰度就差一两个值的图往往就是你后续要优化的方向。如果时间有余还可以做一个进阶方案Blob 分析之后对可疑区域叠加一个轻量级的深度学习二次判别HALCON 自带的 DL 模块支持直接读取可疑区域的裁剪图做分类这样主流程还是快速的形态学分析只有真正拿不准的区域才走深度模型速度和召回率都能兼顾。做这类项目一年下来我最大的习惯是每次调完阈值就把当次 HDevelop 里的参数截图和使用的图片存成一个带日期的目录标注“这个参数是在什么光照、什么批次下调的”。不然三天后回看源码连自己都说不清那组阈值为什么这么定。希望帮到你。本文还有配套的精品资源点击获取
简介一套基于Halcon与C开发的芯片缺陷检测系统完整源码专为毕业设计、课程设计与项目开发场景打造适合有一定C基础、希望学习机器视觉工程落地的学习者。资源共73个文件压缩包约42.77MB核心内容包括C源文件cpp/h、Halcon相关数据结构与页面定义、MFC界面框架文件rc/res/aps、编译中间文件obj/tlog/pdb以及用于OCR训练的.trf/.omc模型数据从算法实现到界面交互均有覆盖。已有73人学习浏览。源码已经严格测试可直接运行参考。通过阅读工程中的核心Halcon模块、各类页面控制逻辑与训练数据可快速理解芯片缺陷识别、字符OCR训练、多页面交互等实现思路便于在此基础上二次开发或集成到自身项目。整体结构清晰适合作为课题原型或入职项目储备。1. 芯片缺陷检测系统HALCONC到底解决什么问题只要打开一条芯片外观检测相关岗位的 JDHALCON 大概率出现在“熟悉以下视觉库之一”那一栏。halocon 这个名字其实就是 HALCON 的常见拼写变体它并不是另一套库而是 MVTec 的工业机器视觉算法平台C 则是把这套算法封装成独立程序的工程外壳。这套“基于 HALCONC 的芯片缺陷检测系统”解决的是芯片表面的划痕、崩边、沾污、引脚变形、缺角这类外观缺陷的自动判别完整流程就四步取图、预处理、Blob 分析、特征筛选与判定。它特别适合毕业设计、课程设计以及想入行机器视觉的开发者——你不必从零写图像处理算法而是把 HALCON 里现成的算子库拼成一条检测流水线。真正劝退多数人的反而在最后一步把 HDevelop 里调好的算法接进 C 工程库路径、运行时依赖、License任何一个都能卡你半天。2. 图像采集与预处理从相机取图到干净二值图的4个关键环节2.1 硬件与采集参数光源角度比相机分辨率更影响检测芯片缺陷检测的第一步不是算法而是成像。常见做法是用工业面阵黑白相机拍芯片正面光源根据缺陷类型选择划痕属于低对比度缺陷用同轴光能抑制镀层反光把划痕压成暗线崩边和缺角需要强调边缘轮廓条光或背光更合适引脚区域则用环形光减少阴影干扰。很多毕设团队把预算全砸在相机分辨率上实际上对 2~5mm 的芯片来说边长方向拍 200~400 像素就够用关键是把缺陷和背景的灰度差拍出来。光源角度往往比分辨率更影响检测我见过同一套阈值把 45 度条光改成同轴光之后划痕直接就从背景里分出来了。曝光和增益要固定增益太高会让背景产生随机噪点后面滤波器怎么调都别扭。这些参数最好写进配置文件不要散落在代码里。成像环节关注点推荐设置对应缺陷光源类型同轴光抑制反光低角度同轴光划痕、压伤、污点光源类型条光/背光强化轮廓45 度条光或背光崩边、缺角、引脚变形相机黑白面阵灰度均匀200~400 像素/芯片边长全部曝光固定曝光时间避免残影8~12ms全部增益尽量低噪点控制在 20 灰阶内0~6dB小缺陷误检2.2 HALCON取图read_image与GrabImage的边界开发阶段千万别一上来就接相机先用read_image读离线图片保证算法可复现。等算法稳定了再换grab_image走实时帧。这样做的最大好处是调阈值时可以反复加载同一张图不会因为相机抖动或打光波动导致“上次调好这次又不灵”。* 开发阶段读单张图路径用相对路径方便换机器复现 read_image (Image, samples/chip_001.png) * 上线阶段再走实时采集这里注释保留相机初始化参数 * open_framegrabber (GigEVision2, 0, 0, 0, 0, 0, 0, default, -1, * default, -1, false, camera_0, 0, 0, AcqHandle) * grab_image (Image, AcqHandle)read_image就两个参数输出图像对象和图像文件路径支持 png、bmp、jpg、tif 等常见格式。路径建议用相对路径根目录指向工程目录这样源码包发给别人时不用改路径。open_framegrabber的参数由相机接口类型决定GigE 相机和 USB3 相机的参数顺序略有差异直接复制 HALCON 自带例程里的初始化代码即可重点记住后面grab_image取帧的操作是统一的。2.3 滤波与增强用 gauss_filter 和 emphasize 把缺陷拉出来打光调好之后芯片和背景的灰度差通常超过 150但划痕只有 30~50 的灰度差。如果直接阈值分割噪声会让划痕断成一截一截所以预处理要先做平滑和对比度增强。这里用高斯滤波去高频噪点再用emphasize做局部对比度拉伸让划痕比周围镀层明显更暗。* 相机来的图可能是RGB统一转灰度后续所有算子都基于单通道 rgb1_to_gray (Image, GrayImage) * 高斯滤波Size通常取5或7太大细节被抹掉太小压不住噪点 gauss_filter (GrayImage, ImageFiltered, 5) * 局部对比度增强MaskWidth/MaskHeight取21Factor控制在1.5~3 emphasize (ImageFiltered, ImageEmphasized, 21, 21, 2.0) * 打开灰度直方图观察缺陷峰和背景峰的位置后面阈值就选在两峰之间 gray_histo (ImageEmphasized, ImageEmphasized, Histogram, AbsoluteHisto)gauss_filter的第三个参数是滤波器尺寸HALCON 里只能取奇数工程上芯片图用 5 到 7引脚密集区域用 3防止把细引脚边缘磨平。emphasize的 MaskWidth 和 MaskHeight 控制邻域范围21 和 21 是一个比较稳的起点Factor 调到 2.5 以上容易在强边缘产生光晕调到 1.2 以下增强效果又不明显。调参时把直方图窗口打开能看到两个峰之间有没有清晰谷底——谷底越宽后面阈值越不容易翻车。2.4 阈值分割与形态学从灰度图变成可测量的区域预处理完成之后把芯片区域从背景里分离出来。这一步用threshold配合形态学闭运算。阈值上下限的选择直接看直方图背景峰通常在低灰度区芯片峰在高灰度区取两峰之间的谷底值。* 阈值分割Min取110Max取255具体值以直方图谷底为准 threshold (ImageEmphasized, Segmented, 110, 255) * 闭运算补掉芯片内部的小孔洞Radius取5太大会把相邻芯片粘连 closing_circle (Segmented, RegionClosed, 5) * 把连在一起的所有区域拆成独立连通域 connection (RegionClosed, ConnectedRegions) * 用面积筛掉背景碎块芯片面积一般远大于噪声碎块 select_shape (ConnectedRegions, ChipRegions, area, and, 5000, 50000)closing_circle的 Radius 是闭运算圆盘半径3 到 7 之间比较常见取 5 能把小于 5 像素的孔洞填平同时不会把间隔近的两块芯片粘在一起。select_shape里的面积范围要根据实际图片标定先跑一遍connection用 HALCON 的“灰度直方图”旁边那个区域特征显示窗口看一下每个连通域的面积再把范围收紧一般只要下限够高背景碎块就进不来了。3. 缺陷定位与测量用Blob分析和特征筛选把坏品揪出来3.1 区域初筛select_shape 为什么比肉眼靠谱拿到ChipRegions之后第一个任务是从每个候选区域里判断它是不是一颗完整的芯片。肉眼扫图觉得很直观但代码里必须用可量化的几何特征。select_shape就是干这个的它支持几十个区域特征常用的有面积、圆度、矩形度、宽和长。芯片通常有固定长宽比崩边或切坏的芯片长宽比和正常品明显不同这一步能把坏芯片从源头筛掉。* area: 芯片面积范围width/height: 外接矩形宽高circularity: 圆度 select_shape (ConnectedRegions, ChipCandidates, [area, circularity], and, [5000, 0.6], [50000, 1.0])第一个列表是要筛选的特征名第二个列表是逻辑关系and第三和第四个列表分别是每个特征的最小值和最大值。circularity的取值在 0 到 1 之间1 表示完美圆形芯片这种方形封装块通常圆度在 0.65 以上崩角之后会明显下降。注意select_shape的and是必须同时满足如果你希望“只要面积异常 OR 圆度异常就算坏品”那要拆成两次select_shape再把两次结果用concat_obj合在一起。这个区别很关键很多新手的误检都是把and用成了or。3.2 缺陷提取dyn_threshold 动态阈值的3个参数芯片内部镀层反光不均匀用固定灰度阈值在芯片区域内找划痕会有一堆伪缺陷。正确做法是dyn_threshold动态阈值先用mean_image对芯片区域做均值滤波生成一张“背景估计图”再把原始图和背景图逐像素比较差值超过设定偏移量的像素才算缺陷。* 只处理芯片区域减少背景干扰 reduce_domain (GrayImage, ChipCandidates, ChipImage) * 均值滤波估计背景窗口要大于缺陷尺寸但小于芯片结构特征 mean_image (ChipImage, ImageMean, 15, 15) * 动态阈值Offset12dark模式提取暗缺陷划痕通常比背景暗 dyn_threshold (ChipImage, ImageMean, RegionDefect, 12, dark) * 开运算去掉孤点噪声Radius2只清碎点不动真缺陷 opening_circle (RegionDefect, RegionOpened, 2) * 连通域并筛选面积5~1000像素的缺陷候选 connection (RegionOpened, DefectCandidates) select_shape (DefectCandidates, Defects, area, and, 5, 1000)dyn_threshold的三个核心参数是mean_image的窗口大小、Offset 偏移量和模式。窗口大小取 9 到 21原则是大于缺陷宽度两倍划痕通常 2~6 像素宽15 是一个常见的中间值窗口太小会把划痕本身也平均进背景导致漏检。Offset 是像素级的绝对灰度差先设 10~20调参时把RegionDefect叠加在灰度图上看到伪缺陷太多就加大 Offset看到真实缺陷漏掉就减小。模式dark适合提取比背景暗的缺陷白色颗粒或镀层鼓起用light两边都要检出的场景用equal。3.3 特征测量与判级面积、长宽比和灰度极值缺陷区域提取出来后需要量化描述每个缺陷再根据量化结果判定 OK 还是 NG。量化主要看三方面缺陷面积、缺陷形状、缺陷区域的灰度深浅。面积能区分颗粒污染和大面积崩缺方向性明显的区域通常是划痕灰度极值能辅助判断是浅表擦伤还是深划痕。* 每个缺陷的面积和中心坐标 area_center (Defects, DefectArea, RowCenter, ColCenter) * 最小外接矩形输出长半轴和短半轴用于计算长宽比 smallest_rectangle2 (Defects, Row, Col, Phi, Length1, Length2) * 统计缺陷区域内的灰度极值和极差辅助判断深浅 min_max_gray (Defects, ImageEmphasized, 0, MinGray, MaxGray, RangeGray)smallest_rectangle2输出的Length1和Length2是外接矩形的半长轴和半短轴划痕的长宽比通常在 3 以上而颗粒污染的长宽比接近 1。min_max_gray的第三个参数 0 表示计算所有像素输出该缺陷区域内的最小灰度、最大灰度和灰度极差。把这些值组合起来就能形成判定规则下面是我常用的阈值模板实际数字要根据你自己的样本重新标定。缺陷类型典型特征初始判定阈值划痕长宽比高、方向性明显面积 5~300长宽比 3污点/沾污块状、圆度高面积 5~500圆度 0.6崩边/缺角靠近边缘、形状不规则面积 50圆度 0.3OK 品无明显缺陷区域缺陷总面积 5 像素判定逻辑建议写成独立函数先看总缺陷数量再看最大缺陷面积最后逐条查特征阈值表。顺序别反否则一个小污点会被误判成崩边。3.4 源码目录怎么设计HDevelop脚本和C壳分开维护毕设和课程设计的源码最忌讳把所有代码塞进一个 main.cpp。HALCON 算法脚本和 C 工程最好物理隔离调阈值时只改 HDevelop 脚本不动 C 代码。我一般按下面的结构组织源码包chip-defect-detector/ halcon/ preprocess.hdev # 预处理段 defect_detect.hdev # 缺陷提取与测量 classify_result.hdev # OK/NG判定 cpp/ main.cpp detector.cpp detector.h config/ camera_config.ini # 曝光、增益、图像路径 samples/ ok/ ng/这样的好处有三个答辩演示时可以直接用 HDevelop 打开halcon目录下的脚本一边改参数一边看效果C 目录只负责逻辑控制和用户交互代码量也被压得很小samples目录独立出来后面做验证集测试时直接往里面丢图片不需要重新编译。源码包附带笔记时也按这个目录顺序写先说硬件配置再说 HDevelop 脚本最后说 C 集成读者的思路会顺很多。4. 把HALCON算法接进C工程HDevEngine调用与导出代码的两条路线4.1 两条路线怎么选改动频繁选HDevEngine追求性能选导出代码HALCON 接 C 有两个成熟路线。第一条是用 HDevEngine让 C 程序在运行时加载.hdev脚本并执行算法的修改完全不需要重新编译 C第二条是在 HDevelop 里把脚本导出成 C 源码然后把导出的.cpp文件直接编进工程。对毕业设计和课程设计我的建议是无脑选 HDevEngine——答辩前你一定会反复调阈值HDevEngine 让你改一行参数就重新跑一次不用等在 Visual Studio 里编译半天。如果目标是上线到产线或者帧率要求高再考虑导出代码静态调用少了脚本解析开销部署时也不用带 HDevelop 脚本文件。集成路线优点缺点适合场景HDevEngine改算法不用重新编译需带 .hdev 脚本License 要求完整毕设、课设、频繁调参导出 C 代码执行快、调试方便每次改算法要重新导出并编译产线部署、性能敏感4.2 HDevEngine接入C 调用 .hdev 核心代码HDevEngine 的 C 接口封装在HDevEngine.h里核心流程是创建引擎、设置脚本库路径、加载程序、设置输入、执行、取输出。下面是跑通一个最小例子的完整代码。#include iostream #include halcon/HDevEngine.h #include halcon/HDevProgram.h #include halcon/HDevProgramCall.h using namespace Halcon; int main() { try { // 1. 创建 HDevEngine 并指定 HALCON 库路径 HDevEngine engine; engine.SetHDevLibPath(C:/Program Files/MVTec/HALCON/lib/halconxl); // 2. 加载 HDevelop 脚本脚本名和路径不能改错 HDevProgram program(C:/workspace/chip_halcon/halcon/defect_detect.hdev); HDevProgramCall call(program); // 3. 读取一张芯片图像 HObject image; ReadImage(image, samples/chip_001.png); // 4. 给脚本里的图像输入变量赋值 call.SetInputIconicVar(InputImage, image); // 5. 执行整个脚本 call.Execute(); // 6. 取回脚本输出缺陷区域、OK标志、缺陷数量 HObject defectRegions; HTuple isOK, defectCount; call.GetOutputIconicVar(DefectRegions, defectRegions); call.GetOutputCtrlVar(IsOK, isOK); call.GetOutputCtrlVar(DefectCount, defectCount); std::cout IsOK isOK[0].I() Defects defectCount[0].I() std::endl; } catch (HDevEngineException ex) { std::cerr HDevEngine error: ex.Message() std::endl; return 1; } return 0; }SetInputIconicVar和GetOutputIconicVar里的字符串参数必须和 HDevelop 脚本里声明的变量名完全一致大小写错了不会报编译错误但运行时拿不到值。Execute执行的是整个脚本从第一行到最后一行所以脚本里不要写stop()这种交互式断点否则 C 程序会卡住。4.3 导出C代码从 HDevelop 导出到 CMake 构建第二个路线是导出。在 HDevelop 里打开defect_detect.hdev菜单栏选“文件 - 导出”格式选 CHALCON 会生成defect_detect.cpp和defect_detect.h。导出的头文件里有一个和你脚本同名的函数输入输出参数按脚本里的变量自动生成一般长这样// 导出头文件里声明的函数原型 void defect_detect(HObject InputImage, HObject* DefectRegions, HTuple* IsOK);主程序只需要包含这个头文件像普通函数一样调用即可#include defect_detect.h int main() { HObject image, defects; HTuple isOK; ReadImage(image, samples/chip_001.png); // 导出代码已经把整个检测流程封装成一个函数 defect_detect(image, defects, isOK); std::cout IsOK isOK[0].I() std::endl; return 0; }工程构建用 CMake 最省心。HALCON 安装后自带 include 和 lib 目录下面这个 CMakeLists 可以直接改路径使用cmake_minimum_required(VERSION 3.16) project(chip_defect) # 改成你自己的 HALCON 安装根目录 set(HALCONROOT C:/Program Files/MVTec/HALCON) include_directories(${HALCONROOT}/include ${HALCONROOT}/include/halconcpp) link_directories(${HALCONROOT}/lib/x64-win64) add_executable(chip_defect main.cpp defect_detect.cpp) target_link_libraries(chip_defect halconcpp)CMake 里三个关键点include目录至少有两个halconcpp子目录是 C 封装层的头文件link_directories里x64-win64对应 64 位 WindowsLinux 上改成x64-linux链接库名halconcpp不要拼错。用 Visual Studio 打开生成的工程或者用 VS Code 配合 CMake Tools 扩展都能直接编译VSCode 配置 C 环境时注意把 HALCON 的 include 路径加进c_cpp_properties.json否则 IntelliSense 一堆红线。4.4 运行时部署DLL、VC运行库与License编译通过只是开始把 exe 拷贝到别的机器跑起来才是毕设答辩的生死关。HALCON 程序运行依赖一批动态库最常犯的错就是只拷了 exe缺 DLL目标机器双击没反应或弹错。完整依赖清单如下依赖项说明halcon.dllHALCON 主运行库halconcpp.dllC 接口封装库hdevengine.dll、hdevenginecpp.dll使用 HDevEngine 时必须带上第三方相机 DLL如果用了实时采集要带相机 SDK 的运行库microsoft visual c redistributable (x64)HALCON 运行库依赖目标机器经常没装部署时所有 DLL 放在 exe 同目录不用配 PATH最省事。目标机器上如果报错找不到 MSVCP140.dll 这类文件就是缺 microsoft visual c redistributable (x64)去微软官网下对应版本装好即可。License 方面HALCON 分为开发版和运行时版课程设计用试用 License 就能跑但要注意 License 到期时间答辩前检查一下。5. 避坑指南HALCONC项目最常见的5个翻车现场5.1 现象程序双击后黑框一闪而过很多同学做完 exe拷贝到别的电脑双击窗口闪一下就没影了。原因基本是运行时 DLL 缺失或者核心库没找到。问题是闪退太快根本看不到错误信息。解决方法是先用命令行运行打开 cmd把 exe 拖进去回车它会打印出具体报错信息——“找不到 halcon.dll”“无法定位程序输入点”这类。然后按上一节的依赖表把 DLL 补齐Flash 就不会再发生了。另一个隐蔽原因是 HALCONROOT 环境变量没设置HALCON 靠它定位安装目录把它指到 HALCON 安装根目录或者干脆在系统环境变量里配好。5.2 现象换一台电脑就找不到图像路径开发机上用绝对路径C:/Users/xxx/chip/samples/chip_001.png没问题拷贝到答辩机器上路径不存在程序直接崩。原因很简单绝对路径绑死了开发机的目录结构。我现在的习惯是所有路径从配置文件读取代码里只保留相对路径逻辑。一个最简做法把samples目录和 exe 放同一级代码里用相对于 exe 所在路径去拼接。可以用SetSystemEnv或直接读camera_config.ini里的image_dir字段产品化一点就再加个日志打印当前实际路径省得排查时靠猜。5.3 现象阈值白天正常晚上一批料全 NG固定阈值在实验室里百试百灵到了现场灯光条件一变就翻车。本质原因是threshold和dyn_threshold里的灰度区间是死的来料批次不同、环境光漂移都会让整个灰度分布平移。解决思路有两个一是做灰度归一化用scale_image把图像灰度拉伸到固定范围再走后续算法二是加“学习模式”对连续 N 张 OK 图统计灰度均值和标准差用均值加两倍标准差动态生成阈值。对毕设来说第一种做法更简单也更好答辩因为 HDevelop 里能看到归一化前后的直方图对比演示效果直观。5.4 现象HDevEngine 初始化或执行时抛异常执行call.Execute()时会抛出HDevEngineException错误码类似 -32001提示找不到算子。原因通常是两个SetHDevLibPath指向的目录不正确导致算子库没有加载或者.hdev脚本是另一个 HALCON 版本保存的里面用了当前版本不存在的算子。解决办法首先确认SetHDevLibPath用的是绝对路径不要写相对路径其次用你当前安装的 HALCON 打开.hdev文件重新保存一次再回 C 里跑。顺手检查 License 是否支持 HDevEngine有些精简版 License 会限制脚本执行功能。5.5 现象测试集精度高现场漏检多这类问题最坑因为它不报错结果却不可用。常见原因是特征筛选过拟合拿 20 张图调阈值把每张图的特征值背下来了换一批样本就不行。解决方法是把验证集做大至少 50 张 OK、50 张 NG而且 NG 图要覆盖不同批次、不同划痕粗细。调参时不要一次塞十几个特征先只用面积一个特征确认分类边界后再叠加长宽比和圆度。特征越少出问题越容易定位答辩时也解释得清楚。6. 验证方法与进阶技巧跑通之后怎么证明系统真的可靠跑通检测流程只是第一步答辩或项目验收时一定会被问“准确率多少、漏检率多少”。所以需要在源码包里加一个批量验证工具把所有测试图片按文件名约定标好真值比如 OK 图叫chip_001_ok.pngNG 图叫chip_002_ng.png然后用 C 或 HDevelop 脚本循环处理每张图把预测结果和真值对比统计四个数正确检出 NG 的数量把 OK 误判成 NG 的数量漏掉的 NG 数量正确放过的 OK 数量。这四类落到表格里就是混淆矩阵行是真值列是预测对角线越密集越好。核心指标看两个漏检率NG 被放过的比例必须为零或极低误检率OK 被拦下的比例控制在 5% 以内才算能用。验证脚本里建议加一个技巧把判定边界样本单独存到一个debug_cases目录那些面积刚好落在阈值附近、灰度就差一两个值的图往往就是你后续要优化的方向。如果时间有余还可以做一个进阶方案Blob 分析之后对可疑区域叠加一个轻量级的深度学习二次判别HALCON 自带的 DL 模块支持直接读取可疑区域的裁剪图做分类这样主流程还是快速的形态学分析只有真正拿不准的区域才走深度模型速度和召回率都能兼顾。做这类项目一年下来我最大的习惯是每次调完阈值就把当次 HDevelop 里的参数截图和使用的图片存成一个带日期的目录标注“这个参数是在什么光照、什么批次下调的”。不然三天后回看源码连自己都说不清那组阈值为什么这么定。希望帮到你。本文还有配套的精品资源点击获取
