简介这份PPT面向机器视觉工程师、自动化检测从业者及希望快速上手Sherlock的初学用户系统梳理该Windows平台视觉软件的功能定位与点击式配置流程重点解决检测应用搭建、图像工具选用和界面操作不熟悉的问题。压缩包仅含1个PPT文件大小约3.93MB便于直接查阅和团队内部分享。内容覆盖主菜单栏、工具栏、图像窗口、程序窗口、监视窗口、变量窗口与报表窗口的使用并展开Landmark位置标定、Calibration刻度校准、Search区域搜索、颜色处理等核心功能同时涉及多线程、通讯、I/O接口与调试支持配合程序单元拖拉调整、变量类型及数组等细节帮助读者理解从算法添加、参数设置到检测数据输出的完整链路。已有1564人学习适合用作软件入门培训、项目选型参考及自动化检测方案的快速查阅资料。1. 夹具换一副程序全变红夹具换了一副相机支架被撞歪两毫米昨天还稳稳出 OK 的检测程序今天满屏红框——这是我见过最多、也最没必要的一次停线。Sherlock 机器视觉应用软件对这类问题的处理思路很直接把“位置”从检测算法里抽出来做成一层独立对齐方案ROI 和算法原封不动地跟着特征点走。它是一套跑在 Windows 上、点击式配置的图形化视觉平台多视野、多工具箱预处理、定位、测量、Blob 分析、边缘计数、一维码二维码与 OCR、颜色分类在同一程序窗口里排队执行脚本编辑和 I/O、OPC 接口负责把结果送出。天天重写算法的人用不上它需要产线自己维护程序的人正合适。下面按程序结构、位置标定、通讯多线程、踩坑、验证的顺序把这份 PPT 里没展开的部分补成能照着做的步骤。2. 程序结构与变量五种类型撑起整条检测链点击式配置最大的误解是以为“不用写代码就等于没有编程”。Sherlock 的程序窗口本质上就是一段可视化的顺序程序每一步占一行从上往下执行每步的输入输出都挂在变量上。搞不清变量类型和执行顺序界面再友好也只能靠试。2.1 五个窗口各管一段找问题时先站对窗口很多人一出问题就去图像窗口挪 ROI其实大部分故障根本不在图上。五个窗口的分工是清楚的图像窗口负责“看”和“加”程序窗口负责“算”和“序”变量窗口负责“值”监视窗口负责“错”报表窗口负责“出”。窗口里面有什么出问题时的典型症状先看哪个字段图像窗口图像、ROI、预处理结果、缩放与采集控制图像亮但结果异常、ROI 框偏出特征ROI 覆盖范围、预处理后对比度程序窗口算法步骤、输入输出、执行顺序结果对不上、偶尔跳步、变量没值步骤顺序、每步的输出变量名变量窗口各类变量的实时值数值一直在跳或一直不变变量是否在采集后被刷新监视窗口警告、错误、单步执行时间程序跑得慢、莫名中断单步耗时最长的那个算法报表窗口由 Reporter 指令写出的字符串报表永远一个值、格式串位打印的是变量还是常量监视窗口需要从主菜单 View 里打开 View → Monitor它有清空、启停、保存成文档三个动作。我习惯把它当黑匣子用连续跑二十分钟再把内容存成文档回看比盯屏幕有效得多。报表窗口在没执行 IO:Reporter Print 之前是空的别急着怀疑软件坏了。2.2 五种变量类型与数组N/B/S/P/L 各自的边界Sherlock 里只有五种标量类型每种都有对应的数组形式。类型不是装饰它决定了某个算法的输出能不能直接喂给下一步。类型含义典型来源常见误用NNumber数值尺寸、角度、面积、灰度均值拿 N 去接字符串结果变量窗口显示 0BBoolean布尔判定结果、使能标志、I/O 状态用 0/1 的 N 代替 B 做条件判断SString字符串条码内容、OCR 文本、报表拼串拼串时忘了加方括号导致打印成常量PPoint点坐标边缘点、重心、模板匹配中心把点当成两个数值分开传LLine线拟合直线、边界线用两点坐标自己算斜率精度反而下降数组形式N[]、B[]、S[]、P[]、L[]是为多工位、多视野准备的。一台机器带四个相机位、一个视野里排六个检测位用 N[1] 到 N[6] 对应工位比 N1 到 N6 这种平铺命名好维护得多——程序窗口里一拖拉顺序平铺命名全靠人肉记住谁是谁数组至少还能靠循环把结果一次性送去报表。提示变量名首字母直接写类型比如 S1、N1、P3、L2、B1程序窗口里一眼能看出类型后面我给的静态自查脚本也是靠这个约定生效的。2.3 执行顺序靠拖拉分支靠通用指令在程序窗口里加完算法和预处理步骤的顺序就是逻辑本身。要调整位置选中那一步按住鼠标左键拖到目标行顶部再松手顺序就换了。这个操作很顺手顺手到容易忘一件事拖拉改的是执行时刻也就改了变量的赋值时刻。分支和循环靠 Program 图形工具栏的通用指令完成能做的事有四类调用子程序、设置逻辑判断条件、在条件成立时重复执行一段指令、从当前语句跳到程序任意位置另外还有添加和设置子程序本身。实操上我一般这样组织图像采集放最上面预处理紧跟其后定位 / 模板寻找和 First Edge 这类“找基准”的步骤排在所有测量之前测量结果集中落在变量窗口最后一段专门拼报表和写 I/O。判定逻辑B 变量放在中间偏后别放在最前面——判定要用到的测量值还没算出来布尔量永远是上一帧的残留值。注意拖拉只改顺序不会检查依赖。把某一步拖到它引用的变量赋值之前程序不报错只会安静地用上一帧的值这种 bug 在连续运行里极其难抓单步执行时反而一切正常。2.4 用一段脚本给程序窗口做静态自查程序窗口的步骤不少的时候人工核对“这个变量到底在哪一步赋的值”非常累。我一般把程序窗口的步骤按固定格式抄成文本交给一段脚本跑一遍先排除时序类和格式类的低级问题再上机调试。# check_steps.py —— 对从程序窗口抄下来的步骤清单做静态自查 # 输入 steps.txt每行形如RectA.Barcode1D - S1 import re from pathlib import Path # 只认 来源 - 目标变量 这一种写法目标变量首字母即类型 STEP re.compile(r^\s*(?Psrc[\w\.\[\]:])\s*-\s*(?Pdst[NBLSP]\w*(\[\d\])?)\s*$) TYPE_BY_HEAD {N: Number, B: Boolean, S: String, P: Point, L: Line} def parse(path): steps [] for lineno, raw in enumerate(Path(path).read_text(encodingutf-8).splitlines(), 1): if not raw.strip() or raw.lstrip().startswith(#): continue m STEP.match(raw) if not m: print(f[格式] 第{lineno}行没匹配上{raw!r}) # 多半是漏箭头或变量名写错 continue steps.append((lineno, m.group(src), m.group(dst))) return steps def check(steps): defined {} for lineno, src, dst in steps: if dst[0] not in TYPE_BY_HEAD: print(f[类型] 第{lineno}行 {dst} 首字母不在 N/B/S/L/P 内) continue if dst in defined: print(f[覆盖] 第{lineno}行 {dst} 已在第{defined[dst]}行赋过值确认是否有意重写) if src in defined and defined[src] lineno: pass defined[dst] lineno if src not in defined and src[:2] in (N[, B[, S[, P[, L[): print(f[时序] 第{lineno}行引用了 {src}此前没有赋值) return defined if __name__ __main__: final check(parse(steps.txt)) print(共识别步骤变量, len(final), 个)正则里的-是我自己定的分隔符实际抄写时改成软件里的箭头即可TYPE_BY_HEAD负责把首字母映射成类型名一旦有人写成X1就会被这条规则拦下来。defined字典记录每个变量第一次被赋值的行号两个告警分别对应“重复覆盖”和“先用后赋”。第三段那个空pass是留给你填业务规则的位置比如规定S1必须在B1判定的上一行赋值。这套检查只能覆盖语法和时序逻辑对不对还得靠跑图。但在现场改程序改到半夜的时候它能省掉大量“明明加了为什么没值”的来回。3. 位置标定与刻度校准让 ROI 跟着特征走一个合格的视觉应用要在成百上千张图里分析同一组特征可运动控制、采集设备、工件摆放三者叠加每张图的绝对位置都不一样。ROI 钉死在像素坐标上一旦工件平移几毫米ROI 里装进去的就是背景。3.1 偏移和旋转到底破坏了什么像素统计类算法——面积、灰度均值、边缘位置——的前提是 ROI 和特征在同一个坐标系里。工件往右挪两个像素矩形 ROI 覆盖的区域就换了一块Barcode 1D 读的是空白Blob 分析算出来的是噪声面积。解决办法不是让算法更鲁棒而是给 ROI 一个自我标定的坐标先用一个对位置敏感、对内容不敏感的工具找出基准特征一般是一条稳定的边或一个模板把偏移量算出来再让所有下游 ROI 按这个偏移量一起搬。这就是 Alignment 的意义——它搬运的是坐标不是算法参数。PPT 里那个图书封面的例子非常典型矩形 ROI 配 Barcode 1D 读封面条码图像一右移就读不出来左侧商标的边界用线形 ROI 配 First Edge 去探边缘强度设到 100探到一个稳定的点以这个点为标定点建对齐方案矩形 ROI 就自动跟着条码走了。3.2 从 First Edge 到 alignment scheme 的落地步骤操作链条不算长但顺序错了就得重来尤其是标定点必须在建方案之前探出来。在图像窗口画一个线形 ROI横跨商标左边界长度覆盖边界上下各留 20 像素左右避免边界稍有倾斜就探空。给这个线形 ROI 配 First Edge 算法边缘强度和极性按实际对比度调探到的点会出现在 Point readings 里。打开图像窗口的 Options 对话框切到 Alignment 页面点 Create alignment 建一个方案。默认命名是 alignmentA、alignmentB 这样我习惯直接改成有含义的名字比如 alignLeftEdge。把 Point readings 里那个点拖到 alignLeftEdge 下面一个标定点就完成了。一个方案至少一个点只做平移要抗旋转得加第二个点。打开需要跟随的 ROI 的 Edit 窗口切到属性栏在 Alignment 下拉框里选中 alignLeftEdge。单步跑一遍把工件人为平移观察矩形 ROI 是否跟着移动原始位置会用虚线标出来做参照。参数作用起调值调错的表现边缘强度判定“算不算一条边”的梯度阈值80100太低探到纹理噪点太高探不到边返回无效边缘极性从暗到亮还是从亮到暗按工件对比度定极性反了会锁到对侧边偏移方向整体镜像ROI 长度参与拟合的像素行数覆盖特征 1.2 倍太短易受局部污渍影响太长受背景干扰搜索方向沿哪条轴扫垂直于边界斜着扫会把间距算成斜距标定比例失真标定点数量决定能纠正几个自由度平移 1 个、平移加旋转 2 个只有一个点却指望纠旋转结果越纠越偏注意标定点要选在被检工件之外的固定特征上或者选工件上永远不动的特征。选错了会形成双重跟随——工件动基准也动偏移量永远是零程序看着正常实际一点没纠。3.3 把 alignment 应用到 ROI一个 ROI 一个下拉框方案建好不等于生效。每个需要跟随的 ROI 都要单独在属性栏的 Alignment 下拉里挂上去挂完整个程序里所有 ROI 的下拉框都得过一遍。这一步没有批量操作ROI 多了容易漏我一般按程序窗口从上到下的顺序过一遍过完在步骤清单里搜一次“Alignment”确认每个测量型 ROI 都有值。线形 ROI 用 First Edge 探边计算偏移矩形 ROI 执行 Barcode 1D 时按标定点自动调整位置图上虚线表示原始位置——虚线这个设计很好用偏移量对不对看虚线和实框之间的距离就能估出来不用去翻变量窗口。3.4 刻度校准把像素换算成毫米还要纠正畸变对齐解决了“在哪”刻度校准解决“多大”。像素值本身没有物理意义要输出毫米必须建立像素到毫米的映射。平面场景用仿射变换够用广角镜头或大视野边缘畸变明显的场景得用带非线性项的多项式或分区标定。标定的常规做法是拿一块九点或更多点的标定板采集图像把每个点的像素坐标和平台实际坐标配成对做最小二乘拟合再看残差。import numpy as np # 标定板九个点的像素坐标与对应的平台实际坐标单位 mm px np.array([[120.5, 88.2], [512.0, 90.1], [905.3, 92.0], [118.9, 480.4], [510.2, 482.0], [903.0, 484.1], [121.0, 872.6], [509.8, 874.0], [901.5, 876.2]]) mm np.array([[0, 0], [50, 0], [100, 0], [0, 50], [50, 50], [100, 50], [0, 100], [50, 100], [100, 100]], dtypefloat) # 仿射模型mm coef^T · [px, py, 1] X np.hstack([px, np.ones((px.shape[0], 1))]) coef, *_ np.linalg.lstsq(X, mm, rcondNone) # 3x2两列分别是 x、y 方向的系数 pred X coef res np.linalg.norm(pred - mm, axis1) # 每点残差单位 mm print(x 方向 mm/px:, round(1 / np.linalg.norm(coef[0]), 4)) print(y 方向 mm/px:, round(1 / np.linalg.norm(coef[1]), 4)) print(残差 mm:, np.round(res, 3)) print(最大残差:, round(res.max(), 3), | 阈值 0.05)lstsq做最小二乘返回的coef是 3×2 矩阵每列对应一个输出分量所以两个方向的比例要分开算。残差是判断标定质量的唯一依据九点里最大残差超过 0.05 mm说明镜头畸变已经明显到不能用单一仿射描述要么先把畸变纠正打开要么把视野分成四块分别标定。还有一种情况是残差全小但比例明显不对那基本是标定板点位录错了一行九点里错一行很难看出来残差图会立刻暴露——有一侧的残差会突然变大。提示标定数据存好每次换镜头、动相机支架、清洁完镜片重新上紧都要重标。我见过最冤的一次退货是因为换了镜头忘了重标比例差了百分之三。4. 通讯与多线程把报表字符串变成产线信号检测结果留在变量窗口里没有价值得走出去。Sherlock 给出的出口不止一个Reporter 报表打印字符串、I/O 接口对接 PLC、OPC 兼容接口与其它应用交换数据、脚本做算法定制和自定义算子。三条路各有各的脾气选错一条会连带把多线程的问题一起带进来。4.1 Reporter 的字符串约定变量必须带方括号报表窗口的内容由 IO:Reporter Print 指令写入IO:Reporter Clear 负责清空。这里有一个很容易翻车的规则定制打印字符串时变量名两边要加方括号软件靠方括号识别“这是变量”不加就会被当成常量原样打印。而且只能打印变量值已知读数打不进去。拼串时我一般定一套固定格式用竖线做分隔方便下游解析比如把[S1]、[N1]、[N2]拼成[S1]|[N1]|[N2]运行起来报表里就是OK|12.34|0.87。字段顺序一旦定下来就写进文档后面谁加字段只能追加在末尾不能插在中间否则所有解析方一起改。注意报表窗口本身有缓存连续运行时记得在每帧开头放一条 IO:Reporter Clear否则报表会一直往下滚下游读到的永远是最旧那一行。4.2 三条通讯路的选型通道实时性部署成本调试手段适合场景PLC I/O 硬接点最高毫秒级需要接线与点位规划万用表、PLC 监视表只传 OK/NG、触发、就绪这类开关量OPC 接口中十毫秒到百毫秒需要配服务端与项名OPC 客户端浏览项、抓值与上位机、MES、组态软件交换结构化数据脚本 TCP中低百毫秒级只需约定报文格式抓包、日志文件传字符串报表、条码内容、多字段结果我的默认组合是开关量走 PLC I/O保证节拍结构化数值走 OPC方便组态软件直接读项文本类结果走脚本发 TCP因为格式最自由。三条都开的时候一定要保证同一次检测的三个通道用同一帧的数据不然上位机会看到“OK 但长度是上一帧的”。4.3 多线程桥接接收线程只管收主线程只管判定脚本发 TCP 的时候接收端如果写成一个阻塞的 recv 循环界面一动就卡死或者一帧数据跨两次 recv 被切成两半解析直接失败。标准做法是生产者-消费者接收线程只管收和切帧塞进队列主线程只管从队列取出来判定和写回。import queue, socket, threading, time RAW queue.Queue(maxsize200) # 上限 200 条满了丢最旧的 def receiver(host127.0.0.1, port9100): srv socket.socket(socket.AF_INET, socket.SOCK_STREAM) srv.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1) srv.bind((host, port)) srv.listen(1) while True: conn, _ srv.accept() with conn: buf b while True: chunk conn.recv(4096) if not chunk: break buf chunk while b\n in buf: # 换行是帧边界不能一次 recv 当一帧 line, buf buf.split(b\n, 1) text line.decode(utf-8, replace) try: RAW.put_nowait(text) except queue.Full: RAW.get_nowait() # 视觉结果只关心最新丢旧不堵 RAW.put_nowait(text) def consumer(): while True: try: line RAW.get(timeout0.5) # 0.5 s 无数据就回来检查停止标志 except queue.Empty: continue print(time.strftime(%H:%M:%S), -, line) if __name__ __main__: threading.Thread(targetreceiver, daemonTrue).start() consumer()几个参数值得说清楚。maxsize200是背压阈值队列有上限接收线程就不会无限吃内存queue.Full分支里先get_nowait再put_nowait实现“丢最旧留最新”这对高频视觉结果是对的——产线要的是当前这一帧不是三秒前的。get(timeout0.5)让消费端有机会周期性检查退出条件不会永久阻塞在队列上。接收线程设成 daemon主线程退出时不会被它拖住。为什么不用一个全局变量加锁共享因为共享变量意味着两边都能改读写时机不可控队列把“什么时候有数据”这件事变成了一个明确的阻塞点行为可复现。多线程的坑九成出在共享可变状态上队列是最便宜的后悔药。4.4 解析与对账别让一条脏报文带偏整批报文到了消费端第一件事是校验而不是直接用。字段数量、类型、分隔符任何一项不符合就整条丢弃并计数绝不能“差不多就解析”。import re PATTERN re.compile(r^(?PokOK|NG)\|(?Plen\d\.\d{2})\|(?Pang-?\d\.\d{2})$) def parse(line): m PATTERN.match(line.strip()) if not m: return None # 长度不对、分隔符变了、旧固件格式一律算脏数据 return {result: m.group(ok), length_mm: float(m.group(len)), angle_deg: float(m.group(ang))}正则里\d\.\d{2}强制两位小数-?允许角度为负$卡住末尾防止多余字段被忽略。返回 None 的时候上层要做两件事脏数据计数加一以及超过阈值就报警。很多人只做前者不做后者结果一个格式漂移在产线上跑了三天才被发现报表全是空的。5. 避坑与排查五条现场记录这些不是理论风险是实际停过线的。5.1 标定点选在工件上跟着跟着就漂了现象程序刚调好时精度很好跑了两小时开始零星 NG越跑越多。原因标定点取的是工件自身的特征工件一平移基准跟着平移算出来的偏移量接近零下游 ROI 实际上没有跟随位置误差全部进了测量结果。这种 bug 的隐蔽之处在于它“看起来在工作”——ROI 确实动了只是动错了方向。解决标定点只取固定特征比如夹具边缘、治具上的定位销、相机视野内的机台标记。标定板建好以后做一次人为平移试验把工件从视野左端挪到右端看矩形 ROI 的虚线原始位置和实框之间距离是否随平移线性增长不增长就是双重跟随。5.2 alignment 建好ROI 没挂上去现象对齐方案里的点值在变说明标定在算但条码还是读不出来。原因方案建好只是“存在”每个 ROI 必须在 Edit 窗口属性栏的 Alignment 下拉里手动选中才生效漏一个就漏一个。解决按程序窗口从上到下过一遍所有 ROI 的属性栏一个不落。ROI 超过十个的时候我直接用步骤清单搜前缀把每个测量型 ROI 的 Alignment 字段列出来核对。5.3 报表里打印的是常量不是变量现象报表窗口每一行都是N1而不是数值。原因拼串时忘了加方括号。软件把没加括号的内容当字面常量原样打印而且它允许你打印字面量不会报错。解决所有变量名两侧加方括号改完先单步跑一帧看报表内容再开连续运行。另外已知读数打不进去想输出固定前缀就直接写字面量别试图用变量代替。5.4 拖拉完顺序没重跑单步现象连续运行偶尔出一帧异常数据单步跑永远复现不了。原因把某步拖到了它依赖的赋值之前程序中不报错安静地用了上一帧残留在变量里的值。单步执行节奏慢残留值恰好是对的连续运行帧间隔短残留值就是错的。解决任何顺序调整后强制单步走一遍完整流程看变量窗口里每个变量是不是都在本帧被刷新过。我在第 2 章那个静态自查脚本就是为这个场景写的改完先跑脚本再上机。5.5 结果线程直接改写共享变量现象通讯程序跑几小时后偶发卡死或者两台相机的数据串批。原因接收线程和主线程同时读写同一个全局字典或界面控件锁没加全或者加了锁但持锁期间做了耗时操作写文件、弹窗形成阻塞链。解决一律走队列线程之间不共享可变对象。真要共享配置用只读快照启动时读一次。队列满时按第 4 章的丢旧策略处理别让它无限涨。5.6 把排查顺序固定成一张表别临场发挥排查顺序看什么判断依据下一步1监视窗口有无错误与耗时突增单步耗时比平时大三倍以上检查预处理是否换了参数2图像窗口预处理后的图对比度够不够、有没有反光调光源或改预处理3变量窗口本帧是否刷新值不变说明步骤没执行回程序窗口查顺序4标定点值是否随平移变化不变即双重跟随换固定特征重建方案5报表字符串字段数与格式与约定格式比对转发侧核对拼串6通讯队列长度与脏数据计数持续增长说明下游堵了查消费端与网络按这个顺序走八成问题在前三步就定位了。反过来一上来就怀疑软件版本或者重装纯粹浪费停机时间。6. 进阶用一次“移动测试”验完整个闭环标定、变量、通讯全配好之后很多人直接开量产结果第一批次出一半 OK 一半 NG回头再猜是哪一环。我一般在上线前做一次移动测试不动程序只动工件位置从三个方向各推 10 毫米看整条链的每个环节是不是同步动。具体做法是先在程序里临时加一个位置变量把基准点的 P 读数记下来再在报表串末尾追加两个字段分别是当前帧的 x、y 偏移连续采集 30 帧工件每 10 帧手动平移 5 毫米。然后把报表导出来看三件事检查点合格标准不合格说明什么偏移量随平移线性变化每 5 mm 平移对应偏移误差小于 0.1 mm标定点选自可变特征或边缘极性设反测量值长度、角度不随平移变极差小于测量重复性 2 倍下游 ROI 没挂 Alignment或挂错了方案报文帧数与采集次数一致30 帧对应 30 条报文无丢帧无重复队列阻塞或切帧用了 recv 边界第三步最容易出问题。丢帧通常是消费端处理太慢把队列顶满重复帧一般是拼串那条指令被放在循环里执行了两次。把这两个字段挪出来单独定位比在产线上守着强得多。测试做完记得把临时字段删掉但删之前先存一份报文样例留在项目的通讯文档里——半年后有人问“这个字段是干什么的”样例比任何说明都直接。血泪经验是这么来的早些年我在一个多相机项目里省了这一步直接上线第二天客户反馈“偶尔漏检”我带着笔记本查了两天最后发现是第二个视野的 ROI 在属性栏里没选对齐方案那个 ROI 一直在用图像中心的固定坐标测一个会动的工件。从那以后我每次配完多视野程序都强制走一遍移动测试不管工期多紧一个视野推三次推完再看报表。希望帮到你。这份 PPT 把界面和功能讲得比较全真正上手时缺的往往就是这些流程细节原文里对着图一步步点下去配合上面这些检查点能省掉不少返工。本文还有配套的精品资源点击获取
简介这份PPT面向机器视觉工程师、自动化检测从业者及希望快速上手Sherlock的初学用户系统梳理该Windows平台视觉软件的功能定位与点击式配置流程重点解决检测应用搭建、图像工具选用和界面操作不熟悉的问题。压缩包仅含1个PPT文件大小约3.93MB便于直接查阅和团队内部分享。内容覆盖主菜单栏、工具栏、图像窗口、程序窗口、监视窗口、变量窗口与报表窗口的使用并展开Landmark位置标定、Calibration刻度校准、Search区域搜索、颜色处理等核心功能同时涉及多线程、通讯、I/O接口与调试支持配合程序单元拖拉调整、变量类型及数组等细节帮助读者理解从算法添加、参数设置到检测数据输出的完整链路。已有1564人学习适合用作软件入门培训、项目选型参考及自动化检测方案的快速查阅资料。1. 夹具换一副程序全变红夹具换了一副相机支架被撞歪两毫米昨天还稳稳出 OK 的检测程序今天满屏红框——这是我见过最多、也最没必要的一次停线。Sherlock 机器视觉应用软件对这类问题的处理思路很直接把“位置”从检测算法里抽出来做成一层独立对齐方案ROI 和算法原封不动地跟着特征点走。它是一套跑在 Windows 上、点击式配置的图形化视觉平台多视野、多工具箱预处理、定位、测量、Blob 分析、边缘计数、一维码二维码与 OCR、颜色分类在同一程序窗口里排队执行脚本编辑和 I/O、OPC 接口负责把结果送出。天天重写算法的人用不上它需要产线自己维护程序的人正合适。下面按程序结构、位置标定、通讯多线程、踩坑、验证的顺序把这份 PPT 里没展开的部分补成能照着做的步骤。2. 程序结构与变量五种类型撑起整条检测链点击式配置最大的误解是以为“不用写代码就等于没有编程”。Sherlock 的程序窗口本质上就是一段可视化的顺序程序每一步占一行从上往下执行每步的输入输出都挂在变量上。搞不清变量类型和执行顺序界面再友好也只能靠试。2.1 五个窗口各管一段找问题时先站对窗口很多人一出问题就去图像窗口挪 ROI其实大部分故障根本不在图上。五个窗口的分工是清楚的图像窗口负责“看”和“加”程序窗口负责“算”和“序”变量窗口负责“值”监视窗口负责“错”报表窗口负责“出”。窗口里面有什么出问题时的典型症状先看哪个字段图像窗口图像、ROI、预处理结果、缩放与采集控制图像亮但结果异常、ROI 框偏出特征ROI 覆盖范围、预处理后对比度程序窗口算法步骤、输入输出、执行顺序结果对不上、偶尔跳步、变量没值步骤顺序、每步的输出变量名变量窗口各类变量的实时值数值一直在跳或一直不变变量是否在采集后被刷新监视窗口警告、错误、单步执行时间程序跑得慢、莫名中断单步耗时最长的那个算法报表窗口由 Reporter 指令写出的字符串报表永远一个值、格式串位打印的是变量还是常量监视窗口需要从主菜单 View 里打开 View → Monitor它有清空、启停、保存成文档三个动作。我习惯把它当黑匣子用连续跑二十分钟再把内容存成文档回看比盯屏幕有效得多。报表窗口在没执行 IO:Reporter Print 之前是空的别急着怀疑软件坏了。2.2 五种变量类型与数组N/B/S/P/L 各自的边界Sherlock 里只有五种标量类型每种都有对应的数组形式。类型不是装饰它决定了某个算法的输出能不能直接喂给下一步。类型含义典型来源常见误用NNumber数值尺寸、角度、面积、灰度均值拿 N 去接字符串结果变量窗口显示 0BBoolean布尔判定结果、使能标志、I/O 状态用 0/1 的 N 代替 B 做条件判断SString字符串条码内容、OCR 文本、报表拼串拼串时忘了加方括号导致打印成常量PPoint点坐标边缘点、重心、模板匹配中心把点当成两个数值分开传LLine线拟合直线、边界线用两点坐标自己算斜率精度反而下降数组形式N[]、B[]、S[]、P[]、L[]是为多工位、多视野准备的。一台机器带四个相机位、一个视野里排六个检测位用 N[1] 到 N[6] 对应工位比 N1 到 N6 这种平铺命名好维护得多——程序窗口里一拖拉顺序平铺命名全靠人肉记住谁是谁数组至少还能靠循环把结果一次性送去报表。提示变量名首字母直接写类型比如 S1、N1、P3、L2、B1程序窗口里一眼能看出类型后面我给的静态自查脚本也是靠这个约定生效的。2.3 执行顺序靠拖拉分支靠通用指令在程序窗口里加完算法和预处理步骤的顺序就是逻辑本身。要调整位置选中那一步按住鼠标左键拖到目标行顶部再松手顺序就换了。这个操作很顺手顺手到容易忘一件事拖拉改的是执行时刻也就改了变量的赋值时刻。分支和循环靠 Program 图形工具栏的通用指令完成能做的事有四类调用子程序、设置逻辑判断条件、在条件成立时重复执行一段指令、从当前语句跳到程序任意位置另外还有添加和设置子程序本身。实操上我一般这样组织图像采集放最上面预处理紧跟其后定位 / 模板寻找和 First Edge 这类“找基准”的步骤排在所有测量之前测量结果集中落在变量窗口最后一段专门拼报表和写 I/O。判定逻辑B 变量放在中间偏后别放在最前面——判定要用到的测量值还没算出来布尔量永远是上一帧的残留值。注意拖拉只改顺序不会检查依赖。把某一步拖到它引用的变量赋值之前程序不报错只会安静地用上一帧的值这种 bug 在连续运行里极其难抓单步执行时反而一切正常。2.4 用一段脚本给程序窗口做静态自查程序窗口的步骤不少的时候人工核对“这个变量到底在哪一步赋的值”非常累。我一般把程序窗口的步骤按固定格式抄成文本交给一段脚本跑一遍先排除时序类和格式类的低级问题再上机调试。# check_steps.py —— 对从程序窗口抄下来的步骤清单做静态自查 # 输入 steps.txt每行形如RectA.Barcode1D - S1 import re from pathlib import Path # 只认 来源 - 目标变量 这一种写法目标变量首字母即类型 STEP re.compile(r^\s*(?Psrc[\w\.\[\]:])\s*-\s*(?Pdst[NBLSP]\w*(\[\d\])?)\s*$) TYPE_BY_HEAD {N: Number, B: Boolean, S: String, P: Point, L: Line} def parse(path): steps [] for lineno, raw in enumerate(Path(path).read_text(encodingutf-8).splitlines(), 1): if not raw.strip() or raw.lstrip().startswith(#): continue m STEP.match(raw) if not m: print(f[格式] 第{lineno}行没匹配上{raw!r}) # 多半是漏箭头或变量名写错 continue steps.append((lineno, m.group(src), m.group(dst))) return steps def check(steps): defined {} for lineno, src, dst in steps: if dst[0] not in TYPE_BY_HEAD: print(f[类型] 第{lineno}行 {dst} 首字母不在 N/B/S/L/P 内) continue if dst in defined: print(f[覆盖] 第{lineno}行 {dst} 已在第{defined[dst]}行赋过值确认是否有意重写) if src in defined and defined[src] lineno: pass defined[dst] lineno if src not in defined and src[:2] in (N[, B[, S[, P[, L[): print(f[时序] 第{lineno}行引用了 {src}此前没有赋值) return defined if __name__ __main__: final check(parse(steps.txt)) print(共识别步骤变量, len(final), 个)正则里的-是我自己定的分隔符实际抄写时改成软件里的箭头即可TYPE_BY_HEAD负责把首字母映射成类型名一旦有人写成X1就会被这条规则拦下来。defined字典记录每个变量第一次被赋值的行号两个告警分别对应“重复覆盖”和“先用后赋”。第三段那个空pass是留给你填业务规则的位置比如规定S1必须在B1判定的上一行赋值。这套检查只能覆盖语法和时序逻辑对不对还得靠跑图。但在现场改程序改到半夜的时候它能省掉大量“明明加了为什么没值”的来回。3. 位置标定与刻度校准让 ROI 跟着特征走一个合格的视觉应用要在成百上千张图里分析同一组特征可运动控制、采集设备、工件摆放三者叠加每张图的绝对位置都不一样。ROI 钉死在像素坐标上一旦工件平移几毫米ROI 里装进去的就是背景。3.1 偏移和旋转到底破坏了什么像素统计类算法——面积、灰度均值、边缘位置——的前提是 ROI 和特征在同一个坐标系里。工件往右挪两个像素矩形 ROI 覆盖的区域就换了一块Barcode 1D 读的是空白Blob 分析算出来的是噪声面积。解决办法不是让算法更鲁棒而是给 ROI 一个自我标定的坐标先用一个对位置敏感、对内容不敏感的工具找出基准特征一般是一条稳定的边或一个模板把偏移量算出来再让所有下游 ROI 按这个偏移量一起搬。这就是 Alignment 的意义——它搬运的是坐标不是算法参数。PPT 里那个图书封面的例子非常典型矩形 ROI 配 Barcode 1D 读封面条码图像一右移就读不出来左侧商标的边界用线形 ROI 配 First Edge 去探边缘强度设到 100探到一个稳定的点以这个点为标定点建对齐方案矩形 ROI 就自动跟着条码走了。3.2 从 First Edge 到 alignment scheme 的落地步骤操作链条不算长但顺序错了就得重来尤其是标定点必须在建方案之前探出来。在图像窗口画一个线形 ROI横跨商标左边界长度覆盖边界上下各留 20 像素左右避免边界稍有倾斜就探空。给这个线形 ROI 配 First Edge 算法边缘强度和极性按实际对比度调探到的点会出现在 Point readings 里。打开图像窗口的 Options 对话框切到 Alignment 页面点 Create alignment 建一个方案。默认命名是 alignmentA、alignmentB 这样我习惯直接改成有含义的名字比如 alignLeftEdge。把 Point readings 里那个点拖到 alignLeftEdge 下面一个标定点就完成了。一个方案至少一个点只做平移要抗旋转得加第二个点。打开需要跟随的 ROI 的 Edit 窗口切到属性栏在 Alignment 下拉框里选中 alignLeftEdge。单步跑一遍把工件人为平移观察矩形 ROI 是否跟着移动原始位置会用虚线标出来做参照。参数作用起调值调错的表现边缘强度判定“算不算一条边”的梯度阈值80100太低探到纹理噪点太高探不到边返回无效边缘极性从暗到亮还是从亮到暗按工件对比度定极性反了会锁到对侧边偏移方向整体镜像ROI 长度参与拟合的像素行数覆盖特征 1.2 倍太短易受局部污渍影响太长受背景干扰搜索方向沿哪条轴扫垂直于边界斜着扫会把间距算成斜距标定比例失真标定点数量决定能纠正几个自由度平移 1 个、平移加旋转 2 个只有一个点却指望纠旋转结果越纠越偏注意标定点要选在被检工件之外的固定特征上或者选工件上永远不动的特征。选错了会形成双重跟随——工件动基准也动偏移量永远是零程序看着正常实际一点没纠。3.3 把 alignment 应用到 ROI一个 ROI 一个下拉框方案建好不等于生效。每个需要跟随的 ROI 都要单独在属性栏的 Alignment 下拉里挂上去挂完整个程序里所有 ROI 的下拉框都得过一遍。这一步没有批量操作ROI 多了容易漏我一般按程序窗口从上到下的顺序过一遍过完在步骤清单里搜一次“Alignment”确认每个测量型 ROI 都有值。线形 ROI 用 First Edge 探边计算偏移矩形 ROI 执行 Barcode 1D 时按标定点自动调整位置图上虚线表示原始位置——虚线这个设计很好用偏移量对不对看虚线和实框之间的距离就能估出来不用去翻变量窗口。3.4 刻度校准把像素换算成毫米还要纠正畸变对齐解决了“在哪”刻度校准解决“多大”。像素值本身没有物理意义要输出毫米必须建立像素到毫米的映射。平面场景用仿射变换够用广角镜头或大视野边缘畸变明显的场景得用带非线性项的多项式或分区标定。标定的常规做法是拿一块九点或更多点的标定板采集图像把每个点的像素坐标和平台实际坐标配成对做最小二乘拟合再看残差。import numpy as np # 标定板九个点的像素坐标与对应的平台实际坐标单位 mm px np.array([[120.5, 88.2], [512.0, 90.1], [905.3, 92.0], [118.9, 480.4], [510.2, 482.0], [903.0, 484.1], [121.0, 872.6], [509.8, 874.0], [901.5, 876.2]]) mm np.array([[0, 0], [50, 0], [100, 0], [0, 50], [50, 50], [100, 50], [0, 100], [50, 100], [100, 100]], dtypefloat) # 仿射模型mm coef^T · [px, py, 1] X np.hstack([px, np.ones((px.shape[0], 1))]) coef, *_ np.linalg.lstsq(X, mm, rcondNone) # 3x2两列分别是 x、y 方向的系数 pred X coef res np.linalg.norm(pred - mm, axis1) # 每点残差单位 mm print(x 方向 mm/px:, round(1 / np.linalg.norm(coef[0]), 4)) print(y 方向 mm/px:, round(1 / np.linalg.norm(coef[1]), 4)) print(残差 mm:, np.round(res, 3)) print(最大残差:, round(res.max(), 3), | 阈值 0.05)lstsq做最小二乘返回的coef是 3×2 矩阵每列对应一个输出分量所以两个方向的比例要分开算。残差是判断标定质量的唯一依据九点里最大残差超过 0.05 mm说明镜头畸变已经明显到不能用单一仿射描述要么先把畸变纠正打开要么把视野分成四块分别标定。还有一种情况是残差全小但比例明显不对那基本是标定板点位录错了一行九点里错一行很难看出来残差图会立刻暴露——有一侧的残差会突然变大。提示标定数据存好每次换镜头、动相机支架、清洁完镜片重新上紧都要重标。我见过最冤的一次退货是因为换了镜头忘了重标比例差了百分之三。4. 通讯与多线程把报表字符串变成产线信号检测结果留在变量窗口里没有价值得走出去。Sherlock 给出的出口不止一个Reporter 报表打印字符串、I/O 接口对接 PLC、OPC 兼容接口与其它应用交换数据、脚本做算法定制和自定义算子。三条路各有各的脾气选错一条会连带把多线程的问题一起带进来。4.1 Reporter 的字符串约定变量必须带方括号报表窗口的内容由 IO:Reporter Print 指令写入IO:Reporter Clear 负责清空。这里有一个很容易翻车的规则定制打印字符串时变量名两边要加方括号软件靠方括号识别“这是变量”不加就会被当成常量原样打印。而且只能打印变量值已知读数打不进去。拼串时我一般定一套固定格式用竖线做分隔方便下游解析比如把[S1]、[N1]、[N2]拼成[S1]|[N1]|[N2]运行起来报表里就是OK|12.34|0.87。字段顺序一旦定下来就写进文档后面谁加字段只能追加在末尾不能插在中间否则所有解析方一起改。注意报表窗口本身有缓存连续运行时记得在每帧开头放一条 IO:Reporter Clear否则报表会一直往下滚下游读到的永远是最旧那一行。4.2 三条通讯路的选型通道实时性部署成本调试手段适合场景PLC I/O 硬接点最高毫秒级需要接线与点位规划万用表、PLC 监视表只传 OK/NG、触发、就绪这类开关量OPC 接口中十毫秒到百毫秒需要配服务端与项名OPC 客户端浏览项、抓值与上位机、MES、组态软件交换结构化数据脚本 TCP中低百毫秒级只需约定报文格式抓包、日志文件传字符串报表、条码内容、多字段结果我的默认组合是开关量走 PLC I/O保证节拍结构化数值走 OPC方便组态软件直接读项文本类结果走脚本发 TCP因为格式最自由。三条都开的时候一定要保证同一次检测的三个通道用同一帧的数据不然上位机会看到“OK 但长度是上一帧的”。4.3 多线程桥接接收线程只管收主线程只管判定脚本发 TCP 的时候接收端如果写成一个阻塞的 recv 循环界面一动就卡死或者一帧数据跨两次 recv 被切成两半解析直接失败。标准做法是生产者-消费者接收线程只管收和切帧塞进队列主线程只管从队列取出来判定和写回。import queue, socket, threading, time RAW queue.Queue(maxsize200) # 上限 200 条满了丢最旧的 def receiver(host127.0.0.1, port9100): srv socket.socket(socket.AF_INET, socket.SOCK_STREAM) srv.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1) srv.bind((host, port)) srv.listen(1) while True: conn, _ srv.accept() with conn: buf b while True: chunk conn.recv(4096) if not chunk: break buf chunk while b\n in buf: # 换行是帧边界不能一次 recv 当一帧 line, buf buf.split(b\n, 1) text line.decode(utf-8, replace) try: RAW.put_nowait(text) except queue.Full: RAW.get_nowait() # 视觉结果只关心最新丢旧不堵 RAW.put_nowait(text) def consumer(): while True: try: line RAW.get(timeout0.5) # 0.5 s 无数据就回来检查停止标志 except queue.Empty: continue print(time.strftime(%H:%M:%S), -, line) if __name__ __main__: threading.Thread(targetreceiver, daemonTrue).start() consumer()几个参数值得说清楚。maxsize200是背压阈值队列有上限接收线程就不会无限吃内存queue.Full分支里先get_nowait再put_nowait实现“丢最旧留最新”这对高频视觉结果是对的——产线要的是当前这一帧不是三秒前的。get(timeout0.5)让消费端有机会周期性检查退出条件不会永久阻塞在队列上。接收线程设成 daemon主线程退出时不会被它拖住。为什么不用一个全局变量加锁共享因为共享变量意味着两边都能改读写时机不可控队列把“什么时候有数据”这件事变成了一个明确的阻塞点行为可复现。多线程的坑九成出在共享可变状态上队列是最便宜的后悔药。4.4 解析与对账别让一条脏报文带偏整批报文到了消费端第一件事是校验而不是直接用。字段数量、类型、分隔符任何一项不符合就整条丢弃并计数绝不能“差不多就解析”。import re PATTERN re.compile(r^(?PokOK|NG)\|(?Plen\d\.\d{2})\|(?Pang-?\d\.\d{2})$) def parse(line): m PATTERN.match(line.strip()) if not m: return None # 长度不对、分隔符变了、旧固件格式一律算脏数据 return {result: m.group(ok), length_mm: float(m.group(len)), angle_deg: float(m.group(ang))}正则里\d\.\d{2}强制两位小数-?允许角度为负$卡住末尾防止多余字段被忽略。返回 None 的时候上层要做两件事脏数据计数加一以及超过阈值就报警。很多人只做前者不做后者结果一个格式漂移在产线上跑了三天才被发现报表全是空的。5. 避坑与排查五条现场记录这些不是理论风险是实际停过线的。5.1 标定点选在工件上跟着跟着就漂了现象程序刚调好时精度很好跑了两小时开始零星 NG越跑越多。原因标定点取的是工件自身的特征工件一平移基准跟着平移算出来的偏移量接近零下游 ROI 实际上没有跟随位置误差全部进了测量结果。这种 bug 的隐蔽之处在于它“看起来在工作”——ROI 确实动了只是动错了方向。解决标定点只取固定特征比如夹具边缘、治具上的定位销、相机视野内的机台标记。标定板建好以后做一次人为平移试验把工件从视野左端挪到右端看矩形 ROI 的虚线原始位置和实框之间距离是否随平移线性增长不增长就是双重跟随。5.2 alignment 建好ROI 没挂上去现象对齐方案里的点值在变说明标定在算但条码还是读不出来。原因方案建好只是“存在”每个 ROI 必须在 Edit 窗口属性栏的 Alignment 下拉里手动选中才生效漏一个就漏一个。解决按程序窗口从上到下过一遍所有 ROI 的属性栏一个不落。ROI 超过十个的时候我直接用步骤清单搜前缀把每个测量型 ROI 的 Alignment 字段列出来核对。5.3 报表里打印的是常量不是变量现象报表窗口每一行都是N1而不是数值。原因拼串时忘了加方括号。软件把没加括号的内容当字面常量原样打印而且它允许你打印字面量不会报错。解决所有变量名两侧加方括号改完先单步跑一帧看报表内容再开连续运行。另外已知读数打不进去想输出固定前缀就直接写字面量别试图用变量代替。5.4 拖拉完顺序没重跑单步现象连续运行偶尔出一帧异常数据单步跑永远复现不了。原因把某步拖到了它依赖的赋值之前程序中不报错安静地用了上一帧残留在变量里的值。单步执行节奏慢残留值恰好是对的连续运行帧间隔短残留值就是错的。解决任何顺序调整后强制单步走一遍完整流程看变量窗口里每个变量是不是都在本帧被刷新过。我在第 2 章那个静态自查脚本就是为这个场景写的改完先跑脚本再上机。5.5 结果线程直接改写共享变量现象通讯程序跑几小时后偶发卡死或者两台相机的数据串批。原因接收线程和主线程同时读写同一个全局字典或界面控件锁没加全或者加了锁但持锁期间做了耗时操作写文件、弹窗形成阻塞链。解决一律走队列线程之间不共享可变对象。真要共享配置用只读快照启动时读一次。队列满时按第 4 章的丢旧策略处理别让它无限涨。5.6 把排查顺序固定成一张表别临场发挥排查顺序看什么判断依据下一步1监视窗口有无错误与耗时突增单步耗时比平时大三倍以上检查预处理是否换了参数2图像窗口预处理后的图对比度够不够、有没有反光调光源或改预处理3变量窗口本帧是否刷新值不变说明步骤没执行回程序窗口查顺序4标定点值是否随平移变化不变即双重跟随换固定特征重建方案5报表字符串字段数与格式与约定格式比对转发侧核对拼串6通讯队列长度与脏数据计数持续增长说明下游堵了查消费端与网络按这个顺序走八成问题在前三步就定位了。反过来一上来就怀疑软件版本或者重装纯粹浪费停机时间。6. 进阶用一次“移动测试”验完整个闭环标定、变量、通讯全配好之后很多人直接开量产结果第一批次出一半 OK 一半 NG回头再猜是哪一环。我一般在上线前做一次移动测试不动程序只动工件位置从三个方向各推 10 毫米看整条链的每个环节是不是同步动。具体做法是先在程序里临时加一个位置变量把基准点的 P 读数记下来再在报表串末尾追加两个字段分别是当前帧的 x、y 偏移连续采集 30 帧工件每 10 帧手动平移 5 毫米。然后把报表导出来看三件事检查点合格标准不合格说明什么偏移量随平移线性变化每 5 mm 平移对应偏移误差小于 0.1 mm标定点选自可变特征或边缘极性设反测量值长度、角度不随平移变极差小于测量重复性 2 倍下游 ROI 没挂 Alignment或挂错了方案报文帧数与采集次数一致30 帧对应 30 条报文无丢帧无重复队列阻塞或切帧用了 recv 边界第三步最容易出问题。丢帧通常是消费端处理太慢把队列顶满重复帧一般是拼串那条指令被放在循环里执行了两次。把这两个字段挪出来单独定位比在产线上守着强得多。测试做完记得把临时字段删掉但删之前先存一份报文样例留在项目的通讯文档里——半年后有人问“这个字段是干什么的”样例比任何说明都直接。血泪经验是这么来的早些年我在一个多相机项目里省了这一步直接上线第二天客户反馈“偶尔漏检”我带着笔记本查了两天最后发现是第二个视野的 ROI 在属性栏里没选对齐方案那个 ROI 一直在用图像中心的固定坐标测一个会动的工件。从那以后我每次配完多视野程序都强制走一遍移动测试不管工期多紧一个视野推三次推完再看报表。希望帮到你。这份 PPT 把界面和功能讲得比较全真正上手时缺的往往就是这些流程细节原文里对着图一步步点下去配合上面这些检查点能省掉不少返工。本文还有配套的精品资源点击获取
