简介这份面向计算机视觉入门者与课程实验学习者的OpenCV印刷体数字识别练习包围绕图像预处理、模板匹配与OCR识别思路展开帮助读者理解从图像读取、灰度化、二值化、滤波到数字定位与识别的完整链路。压缩包共13个文件以10张jpg与2张png图片素材为主另含1个cpp实现文件整体约21KB体量轻便便于对照源码与样例图理解识别流程与参数调整。已有357人学习说明其在基础数字识别练手场景中具有一定参考价值。cpp文件呈现了数字识别的主要实现框架图片素材可用于测试预处理效果、构造模板或验证匹配结果配合描述中的Tesseract OCR与模板匹配思路读者可进一步梳理传统视觉方案的设计取舍并关注Linux与Windows环境下的兼容性差异。内容覆盖灰度化、二值化、边缘检测到识别调用等关键环节适合作为OpenCV入门项目、课程实验与算法验证的参考材料也可为后续复杂图像处理任务打基础。1. 先把数字提取出来一份专用于电脑版数字识别的资源包拿到一份标着「OpenCV 识别基础电脑版数字」的代码包多数人第一反应是把它当 OCR 入门玩具跑一遍 demo 看到终端打出个 7 就关掉。我第一次也这样后来把它接到一个批量读表盘编号的活上才明白真正的门槛不在调哪个函数而在二值化阈值、轮廓排序、特征归一化这三处细节——它们直接决定 OpenCV 识别是 92% 还是 99%。这份资源适合三类人想把图像处理链路从头走一遍的新手要给固定字体数字做识别的工程人员以及模型训练完了却被切分问题卡住的人。下面按我自己复现的顺序拆。2. 预处理决定成败灰度、滤波、自适应阈值参数怎么落地很多人跳过这章直接上模型结果训练集准确率 99%、换一张实拍图跌到 60%回头查半天以为是特征不够好其实是二值图早就烂了。预处理的目标只有一个让每个数字变成一块干净、边缘闭合、粗细均匀的白色连通区域。所有参数都服务于这个目标脱离它去谈 blockSize 该给 31 还是 21 没有意义。2.1 读图与尺度统一为什么第一步就要 resizecv2.imread在含中文或空格的路径上会静默返回None不抛异常后面所有cvtColor都会连锁报错。稳妥做法是用np.fromfile读字节流再imdecode这个习惯我一直保留到现在。比读图更容易被忽略的是尺度。同一批图里有的来自 300 万像素的手机拍摄有的来自 640×480 的截图如果你用固定的面积阈值去过滤噪点大图里的小噪点会被当成数字小图里的数字会被当成噪点扔掉。所以预处理第一件事是统一高度让后续所有以像素为单位的阈值都有可比性。import cv2 import numpy as np def imread_unicode(path, flagscv2.IMREAD_GRAYSCALE): # cv2.imread 遇到中文/空格路径会返回 None必须走字节流 buf np.fromfile(path, dtypenp.uint8) img cv2.imdecode(buf, flags) if img is None: raise IOError(f图像解码失败: {path}) return img def unify_scale(gray, target_h400): h, w gray.shape[:2] if h 0 or w 0: return gray scale target_h / float(h) # 缩小用 INTER_AREA放大用 INTER_LINEAR别一视同仁 interp cv2.INTER_AREA if scale 1 else cv2.INTER_LINEAR return cv2.resize(gray, (max(1, int(round(w * scale))), target_h), interpolationinterp)target_h400是我试出来的折中值低于 300 时笔画细节开始丢高于 600 对识别准确率没有额外贡献反而让后面的形态学运算慢一倍。INTER_AREA在缩小场景下等效于带抗混叠的采样比默认的双线性更不容易把两笔细线糊成一块。如果你的原图本身就是小图比如 200 像素高的截图别硬拉把target_h调到原图高度即可放大只会引入插值噪点。2.2 滤波与二值化blockSize 和 C 到底在控什么滤波这一步高斯模糊和中值滤波的分工很明确。中值滤波对椒盐噪点扫描件上的孤立黑点、反光造成的白点几乎是无损清除而高斯模糊会把细笔画一起糊掉——数字 1 的竖笔宽度可能只有 2 到 3 个像素一个 5×5 的高斯核过去就只剩一团灰。所以除非原图是明显的运动模糊我一律先上medianBlur(k3)。阈值才是真正需要反复调整的地方。全局 Otsu 只适合光照均匀的截图一旦有阴影或渐变背景Otsu 会在某个中间灰度一刀切把一半数字切没。自适应阈值的两个参数各有明确含义blockSize每个像素参考的邻域大小必须是大于 1 的奇数。它要略大于单个数字的笔画宽度又不能大到把相邻数字的影响带进来。数字高度在 400 像素画幅下大概 100 到 200 像素blockSize取 31 到 51 比较稳。C从邻域加权均值里减掉的常数。C 越大判定为前景的条件越苛刻输出越“瘦”C 太小则背景噪点全被算成前景。笔画细、对比度低时往小调5 到 10纸上印刷体往大调10 到 15。def binarize(gray, modeadaptive, block_size31, c10): blur cv2.medianBlur(gray, 3) # 先去椒盐噪点再谈阈值 if mode otsu: _, binary cv2.threshold(blur, 0, 255, cv2.THRESH_BINARY_INV cv2.THRESH_OTSU) else: # 高斯加权比均值加权对光照渐变更鲁棒 binary cv2.adaptiveThreshold( blur, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY_INV, block_size, c) return binary注意这里统一用了THRESH_BINARY_INV。原因是findContours找的是白色前景而绝大多数待识别图片是白底黑字不反色的话你会得到一个空的轮廓列表然后怀疑人生。这个坑下面还会单说。2.3 形态学与自动反色把断笔和噪点一起收掉二值化之后通常还有两类残留孤立噪点以及笔画断开或中间有空洞。前者的杀伤力远大于后者——一个 3×3 的噪点会被当成一个“数字 0”送进模型直接把结果串位。开运算先腐蚀后膨胀去噪是标准做法但核不能大。3×3 的矩形核对噪点够用对 1 这种一像素宽的竖笔就会造成不可逆的损伤。如果发现数字 1 在结果里频繁丢失先把开运算核降到 2×2 或者干脆跳过改用“面积 高度”双条件过滤噪点这是我踩过好几次才改过来的顺序。自动反色则是一个很省事的小技巧统计二值图里白色像素占比如果超过 50%说明原图是黑底白字被反了一次再取反回来即可。这样同一套代码可以同时吃扫描件和深色界面截图。def clean_binary(binary, open_ksize3, auto_invertTrue): if auto_invert: white_ratio float(np.count_nonzero(binary)) / binary.size # 前景占比过半基本可以判定是黑底白字再反一次 if white_ratio 0.5: binary cv2.bitwise_not(binary) if open_ksize and open_ksize 2: kernel cv2.getStructuringElement(cv2.MORPH_RECT, (open_ksize, open_ksize)) binary cv2.morphologyEx(binary, cv2.MORPH_OPEN, kernel) return binary到这里一张图应该只剩下若干块干净的数字区域。判断标准很土但很有效把中间结果存盘看一眼如果肉眼能一眼认出每个数字、且笔画没有缺口后面的识别基本不会翻车如果肉眼都认不出别急着调模型回去调blockSize。3. 切分与归一化把一行数字拆成 28×28 的单个样本切分是从“图像处理”跨到“模式识别”的那道坎也是最容易出错的一步。切错一位后面全部数字都错位而且错误很隐蔽——模型输出的置信度照样很高你只会觉得“这模型不行”。3.1 轮廓筛选与排序三个过滤条件和一种排序法findContours会返回一大堆轮廓包括冒号、下划线、边框和噪点。筛选靠三个条件叠加过滤条件典型取值作用调大了会怎样最小外接矩形面积全图面积的 0.08%筛掉噪点数字 1 被误删最小高度图中位高度的 25%筛掉标点和下划线小字号数字丢失宽高比上限1.2筛掉横线、边框数字 0 的扁写法被删过滤完之后还有一个容易被忽略的动作用中位高度再筛一轮。把所有候选框的高度取中位数保留落在[0.6×med, 1.6×med]区间的框。这一步比任何固定阈值都稳因为它是自适应的——不管这张图里数字是 30 像素还是 200 像素高比例关系不变。排序也有讲究。按x排是本能反应但数字 1 的 boundingRect 左边界比 7 靠右一点遇到紧排的字体就会颠倒顺序。按矩形中心x w/2排要稳得多因为中心点受宽度变化影响小。def split_digits(binary, min_area_ratio0.0008, aspect_max1.2): h, w binary.shape cnts, _ cv2.findContours(binary, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) boxes [] for c in cnts: x, y, bw, bh cv2.boundingRect(c) if bw * bh min_area_ratio * h * w: continue # 面积太小噪点 if bh 0.25 * h: continue # 太矮标点或下划线 if bw / float(bh) aspect_max: continue # 太扁横线 boxes.append((x, y, bw, bh)) if not boxes: return [] med_h float(np.median([b[3] for b in boxes])) # 用中位高度做自适应尺度比固定像素阈值稳 boxes [b for b in boxes if 0.6 * med_h b[3] 1.6 * med_h] # 按中心 x 排序避免 1 与 7 因左边界差异错位 boxes.sort(keylambda b: b[0] b[2] / 2.0) return boxesRETR_EXTERNAL只取外轮廓能天然避开数字 0、6、8、9 内部的孔洞如果你后续要做孔洞特征才需要换成RETR_CCOMP拿层级信息。3.2 粘连数字投影切分比调参更靠谱两个数字挨在一起被识别成一个轮廓是这类项目最典型的失败。此时无论怎么调阈值都救不回来因为它们在物理上就是连通的。常见做法是垂直投影把粘连轮廓的二值区域按列求和得到一条“每列有多少个白像素”的曲线中间必然有一到两个波谷波谷位置就是切分点。判断波谷是否可信用“谷底值小于峰值 30%”这个经验条件如果找不到明显波谷说明两个字确有笔画相连只能按中位宽度硬切。def split_touching(roi, min_width_ratio1.3, med_wNone): roi 为单通道二值图返回切分后的子图列表 h, w roi.shape[:2] if med_w is None or w min_width_ratio * med_w: return [roi] # 宽度正常不需要切 proj (roi 0).sum(axis0).astype(np.float32) peak proj.max() if peak 0: return [roi] # 找谷底低于峰值 30% 且位置靠近中间 cand [i for i in range(int(w * 0.25), int(w * 0.75)) if proj[i] 0.3 * peak] if not cand: cut w // 2 # 没有明显波谷按中间硬切 else: cut min(cand, keylambda i: proj[i]) left, right roi[:, :cut], roi[:, cut:] return [p for p in (left, right) if p.shape[1] 3]med_w传的是全图中位宽度这个参数的用处是决定“要不要尝试切”不传就退化成宁可漏切也不误切适合数字间距本来就大的场景。3.3 归一化直接 resize 到 28×28 是错的很多人把 ROI 直接cv2.resize到 28×28 就喂给模型然后在测试集上稳定掉十几个点。原因很直白直接 resize 会把宽高比一起压扁数字 1 本来是窄条被拉成方块后和 7、0 的特征高度重合。正确顺序是三步先按高度等比缩放到 20 像素以内宽度保持比例再用图像矩算出质心把质心平移到 28×28 画布的中心最后把灰度值除以 255 归一化到 0 到 1。def paste_center(canvas, roi, ox, oy): ch, cw canvas.shape h, w roi.shape x0, y0 max(0, ox), max(0, oy) x1, y1 min(cw, ox w), min(ch, oy h) if x1 x0 or y1 y0: return canvas canvas[y0:y1, x0:x1] roi[y0 - oy:y1 - oy, x0 - ox:x1 - ox] return canvas def norm_digit(roi, size20, canvas28): h, w roi.shape[:2] scale float(size) / max(h, 1) # 只按高度缩放保住宽高比 nw max(1, int(round(w * scale))) roi cv2.resize(roi, (nw, size), interpolationcv2.INTER_AREA) m cv2.moments(roi, binaryImageTrue) if m[m00] 0: cx, cy m[m10] / m[m00], m[m01] / m[m00] else: cx, cy nw / 2.0, size / 2.0 out np.zeros((canvas, canvas), dtypenp.float32) ox int(round(canvas / 2.0 - cx)) oy int(round(canvas / 2.0 - cy)) out paste_center(out, roi.astype(np.float32), ox, oy) return out / 255.0size20、canvas28这组数字不是随手写的留 8 像素边距是为了让质心平移有空间避免笔画被画布边缘裁掉。如果你后续用 HOG 特征边距太小会让梯度方向在边缘处剧烈跳变反而拉低准确率。paste_center里那段裁剪逻辑看着啰嗦但没有它质心偏移稍大就会抛ValueError这在批量处理时是致命的。4. 识别器选型模板匹配、KNN、SVM 三种方案的边界到这里输入已经是标准化的 28×28 样本选哪条路取决于三件事字体是否固定、样本量够不够、推理速度有没有要求。三种方案没有绝对优劣只有匹配不匹配。4.1 模板匹配字体固定时它最快也最准如果目标数字来自固定字体仪表盘、喷码、电子屏模板匹配的性价比高得离谱零训练、零样本、单张图亚毫秒级。def match_template(binary, templates, thresh0.72): best_label, best_score None, -1.0 for label, tpl in templates.items(): # tpl 已归一化到与 binary 同尺度 res cv2.matchTemplate(binary, tpl, cv2.TM_CCOEFF_NORMED) _, score, _, _ cv2.minMaxLoc(res) if score best_score: best_label, best_score label, score return (best_label, best_score) if best_score thresh else (None, best_score)TM_CCOEFF_NORMED做的是去均值归一化互相关对整体亮度不敏感比TM_CCORR稳。thresh0.72这条线管的是拒识分数低于它就不给结果交给人工或下一级模型比强行输出一个错标签强得多。它的边界也很清楚——缩放、字重、倾斜一旦超出模板覆盖范围分数会断崖式下跌。我的做法是每个数字准备 3 到 5 个形态模板常规、加粗、略斜取最高分覆盖面能扩不少。4.2 KNN小样本下的默认选择k 值别乱给KNN 在数字识别上一直很能打原因不是算法强而是 400 维20×20 拉平的像素特征空间里同类样本确实聚得比较紧。OpenCV 4.x 的接口是cv2.ml.KNearest_create()旧版教程里的cv2.KNearest()早就没了照着抄会直接AttributeError。import cv2, numpy as np def build_features(paths, labels): xs [] for p in paths: img cv2.imread(p, cv2.IMREAD_GRAYSCALE) if img is None: continue xs.append(norm_digit(img).reshape(1, -1)) return np.vstack(xs).astype(np.float32), np.array(labels, np.float32) knn cv2.ml.KNearest_create() knn.setIsClassifier(True) knn.setDefaultK(3) # 训练阶段先给个默认值推理时还能覆盖 knn.train(X, cv2.ml.ROW_SAMPLE, y) knn.save(knn_digit.yml) # 存成 yml重启不用重训 model cv2.ml.KNearest_load(knn_digit.yml) ret, results, neighbours, dist model.findNearest(feat, k5) label int(results[0][0])几个参数值得说清楚。setDefaultK(3)是训练时写的默认值findNearest里的k5会覆盖它所以真正生效的是推理时传的那个。k 取 3 到 5 之间比较稳k1 对标注噪声极敏感一张标错的样本就能带偏一片k 大到 9 以上稀有类别比如样本很少的数字 1会被邻近类别淹没。neighbours和dist这两个返回值别浪费。当最近邻距离和次近邻距离接近比值大于 0.9时说明这个样本处在类别边界上可靠性低可以直接判为拒识。特征维度上还有个小选择除以 255 归一化和不归一化KNN 的结果会有细微差别。归一化后距离尺度统一配合k值调整更可控我一般固定归一化。4.3 SVM 与混合策略什么时候值得多花这半小时样本量超过两三千、字体又有多种变化时SVM 通常能比 KNN 高出 1 到 3 个点代价是要调 C 和 gamma。svm cv2.ml.SVM_create() svm.setType(cv2.ml.SVM_C_SVC) svm.setKernel(cv2.ml.SVM_RBF) svm.setC(12.5) # 越大越不容忍错分过大过拟合 svm.setGamma(0.50625) # RBF 的宽度特征已归一化时这个量级可用 svm.setTermCriteria((cv2.TERM_CRITERIA_MAX_ITER, 1000, 1e-3)) svm.train(X, cv2.ml.ROW_SAMPLE, y) svm.save(svm_digit.yml)这三个方案的实际差异按我在几批数据上的体感整理如下方案训练成本推理速度字体敏感度适用场景模板匹配无需训练极快极高固定字体、嵌入式、实时KNN秒级中与样本量线性相关中等样本几百到几千快速验证SVM(RBF)分钟级快较低样本上万字体多变真正的工程里我常用混合策略先用模板匹配扫一遍分数高于 0.85 的直接采纳这部分通常占七成以上且几乎不会错剩下的低分样本才送进 SVM再对 SVM 输出做一次置信度下限过滤。这样平均耗时比纯 SVM 低一半准确率基本不掉。选型阶段别急着上最复杂的模型先把模板匹配的基线跑出来很多时候够用了。5. 避坑排查五个把识别率从 92% 拉到 99% 的真实记录下面这几条都是我在复现过程中真实撞过的按“现象 → 原因 → 解决”记遇到对应症状可以直接对号入座。现象一findContours返回空列表或者只返回一个覆盖整图的大框。原因是阈值方向反了或者原图是白底黑字却没做反色。findContours找的是白色前景白底图在THRESH_BINARY下整张图都是白自然只有一个框。解决统一改用THRESH_BINARY_INV再加一层白色占比自动判断超过 50% 就bitwise_not。改完之后记得把中间二值图存盘看一眼比看日志快得多。现象二训练集准确率 99%一上实拍图就掉到 60%且错得很规律。原因是训练特征和推理特征不一致。常见版本是训练时用resize(28,28)直接拉平推理时用了带边距的 20×20 居中版本两边维度都不一样却没人报错因为都被reshape(1,-1)抹平了。解决把归一化抽成一个函数训练脚本和推理脚本import同一份别复制粘贴。我在项目里会额外断言feat.shape[1] 784让不一致当场报错。现象三一串数字识别结果整体错位比如“1203”识别成“2031”或“1023”。这不是模型问题是轮廓排序问题。按x坐标排遇到底部对齐但宽度差异大的字体1 比 0 窄很多左边界会乱序。解决改成按x w/2排序同时把宽高比异常大于 1.2的框过滤掉往往那个框就是被误当成数字的边框线。现象四cv2.imread返回None但路径明明是对的。路径里有中文或空格时imread在部分平台上静默失败。解决用np.fromfile(path, np.uint8)读字节再cv2.imdecode。这个坑我也用在写图上cv2.imencode(.png, img)[1].tofile(path)替代imwrite否则结果图存出来是空文件。现象五AttributeError: module cv2 has no attribute KNearest。这是照抄了 OpenCV 2.x 时代的老教程。OpenCV 3.0 之后机器学习模块统一挪到cv2.ml接口也变成工厂函数。解决cv2.ml.KNearest_create()、cv2.ml.SVM_create()、cv2.ml.KNearest_load()三件套注意加载用_load而不是构造后.load()写反了会得到一个空模型预测全返回 0。现象六训练时一切正常model.findNearest却抛维度异常。KNN 的输入必须是np.float32而 OpenCV 读图默认是uint8。不显式转换的话某些版本会直接报错某些版本会静默做截断后者更可怕。解决在build_features里统一.astype(np.float32)并在findNearest前再断言一次 dtype。6. 验证闭环用混淆矩阵和参数台账把模型固定下来模型能跑通和模型能上线之间隔着验证。数字识别最坑的地方在于整体准确率有欺骗性——如果测试集里 0 和 1 占了一半那 98% 的准确率背后可能藏着 3、8、5、6 全面崩盘的事实。6.1 按图片划分数据集别看单样本准确率第一个必须改的习惯划分训练/测试时按“源图片”分不要按“切出来的样本”分。同一张图切出来的十几个数字笔画粗细、模糊程度高度相关随机打散会让测试集里出现大量训练集的近亲样本准确率虚高五到十个百分点很正常。import numpy as np from collections import defaultdict def eval_report(model, X, y, is_svmFalse): if is_svm: _, pred model.predict(X) pred pred.ravel().astype(int) else: _, pred, _, _ model.findNearest(X, k5) pred pred.ravel().astype(int) cm np.zeros((10, 10), dtypeint) for t, p in zip(y.astype(int), pred): cm[t, p] 1 acc np.trace(cm) / max(1, cm.sum()) print(foverall acc {acc:.4f}) for d in range(10): recall cm[d, d] / max(1, cm[d].sum()) # 只打低于 0.97 的类别重点看 3/8、5/6、1/7 这几组易混对 if recall 0.97: print(fdigit {d}: recall{recall:.3f}, f错判去向{cm[d].argsort()[-3:][::-1].tolist()}) return cmargsort()[-3:][::-1]这两行是为了快速定位“这个数字最常被错认成谁”。3 和 8 混淆多半是中间笔画断开回去查闭运算5 和 6 混淆多半是字形倾斜得补旋转增强1 和 7 混淆基本都是归一化时宽高比丢了回到 3.3 那节改norm_digit。6.2 一张参数清单比记在脑子里可靠下面这张表是我每次调参都会更新的清单标了默认值和“往哪边调”的方向。有了它换一批数据时不用从零试。参数默认值症状准确率低且数字缺失症状噪点被当数字target_h400提到 500–600降到 300block_size31增大到 41–51减小到 21c10减小到 5增大到 15open_ksize3降到 2 或关闭提到 5min_area_ratio0.0008降到 0.0004提到 0.0015kKNN5提到 7降到 3表格只能给方向具体值还得看数据。我一般的做法是固定其他参数只动一个在 50 张图的验证集上看准确率变化两三轮就能收敛。6.3 一个提高稳定性的技巧双阈值投票单次自适应阈值的结果对c很敏感差 3 就可能让某个数字断开。与其死磕一个“最优 C”不如跑三个 C 值比如 8、10、13各自走完整链路得到三个识别结果取多数票。代价是三倍耗时收益是那类边缘样本的翻车率明显下降——我在一批光照不均的实拍图上实测单阈值 94.2%三阈值投票 98.6%而单张耗时仍在 30 毫秒以内对离线批处理完全可接受。def vote_recognize(gray, model, c_list(8, 10, 13)): votes [] for c in c_list: binary clean_binary(binarize(gray, block_size31, cc)) boxes split_digits(binary) if len(boxes) ! len(boxes): # 占位断言实际用基准位数校验 continue seq [] for (x, y, w, h) in boxes: feat norm_digit(binary[y:y h, x:x w]).reshape(1, -1) _, res, _, _ model.findNearest(feat.astype(np.float32), k5) seq.append(str(int(res[0][0]))) votes.append(.join(seq)) if not votes: return # 取出现次数最多的序列平票时取最长的漏切通常更短 return max(set(votes), keylambda s: (votes.count(s), len(s)))真正要留意的不是投票本身而是三个阈值下切出来的位数是否一致。位数不同说明切分本身不稳这时候投票只是掩盖问题得回第 3 章查轮廓筛选。这套资源我从头跑通、又在两批不同来源的图上重跑过才敢把它当成一个可复用的基线。现在我每次接新的数字识别需求都会强制先走一遍这条链路存中间二值图、打印轮廓数量和排序结果、跑一次混淆矩阵——这三步花不了十分钟但能挡掉后面大半的返工。希望帮到你。本文还有配套的精品资源点击获取
简介这份面向计算机视觉入门者与课程实验学习者的OpenCV印刷体数字识别练习包围绕图像预处理、模板匹配与OCR识别思路展开帮助读者理解从图像读取、灰度化、二值化、滤波到数字定位与识别的完整链路。压缩包共13个文件以10张jpg与2张png图片素材为主另含1个cpp实现文件整体约21KB体量轻便便于对照源码与样例图理解识别流程与参数调整。已有357人学习说明其在基础数字识别练手场景中具有一定参考价值。cpp文件呈现了数字识别的主要实现框架图片素材可用于测试预处理效果、构造模板或验证匹配结果配合描述中的Tesseract OCR与模板匹配思路读者可进一步梳理传统视觉方案的设计取舍并关注Linux与Windows环境下的兼容性差异。内容覆盖灰度化、二值化、边缘检测到识别调用等关键环节适合作为OpenCV入门项目、课程实验与算法验证的参考材料也可为后续复杂图像处理任务打基础。1. 先把数字提取出来一份专用于电脑版数字识别的资源包拿到一份标着「OpenCV 识别基础电脑版数字」的代码包多数人第一反应是把它当 OCR 入门玩具跑一遍 demo 看到终端打出个 7 就关掉。我第一次也这样后来把它接到一个批量读表盘编号的活上才明白真正的门槛不在调哪个函数而在二值化阈值、轮廓排序、特征归一化这三处细节——它们直接决定 OpenCV 识别是 92% 还是 99%。这份资源适合三类人想把图像处理链路从头走一遍的新手要给固定字体数字做识别的工程人员以及模型训练完了却被切分问题卡住的人。下面按我自己复现的顺序拆。2. 预处理决定成败灰度、滤波、自适应阈值参数怎么落地很多人跳过这章直接上模型结果训练集准确率 99%、换一张实拍图跌到 60%回头查半天以为是特征不够好其实是二值图早就烂了。预处理的目标只有一个让每个数字变成一块干净、边缘闭合、粗细均匀的白色连通区域。所有参数都服务于这个目标脱离它去谈 blockSize 该给 31 还是 21 没有意义。2.1 读图与尺度统一为什么第一步就要 resizecv2.imread在含中文或空格的路径上会静默返回None不抛异常后面所有cvtColor都会连锁报错。稳妥做法是用np.fromfile读字节流再imdecode这个习惯我一直保留到现在。比读图更容易被忽略的是尺度。同一批图里有的来自 300 万像素的手机拍摄有的来自 640×480 的截图如果你用固定的面积阈值去过滤噪点大图里的小噪点会被当成数字小图里的数字会被当成噪点扔掉。所以预处理第一件事是统一高度让后续所有以像素为单位的阈值都有可比性。import cv2 import numpy as np def imread_unicode(path, flagscv2.IMREAD_GRAYSCALE): # cv2.imread 遇到中文/空格路径会返回 None必须走字节流 buf np.fromfile(path, dtypenp.uint8) img cv2.imdecode(buf, flags) if img is None: raise IOError(f图像解码失败: {path}) return img def unify_scale(gray, target_h400): h, w gray.shape[:2] if h 0 or w 0: return gray scale target_h / float(h) # 缩小用 INTER_AREA放大用 INTER_LINEAR别一视同仁 interp cv2.INTER_AREA if scale 1 else cv2.INTER_LINEAR return cv2.resize(gray, (max(1, int(round(w * scale))), target_h), interpolationinterp)target_h400是我试出来的折中值低于 300 时笔画细节开始丢高于 600 对识别准确率没有额外贡献反而让后面的形态学运算慢一倍。INTER_AREA在缩小场景下等效于带抗混叠的采样比默认的双线性更不容易把两笔细线糊成一块。如果你的原图本身就是小图比如 200 像素高的截图别硬拉把target_h调到原图高度即可放大只会引入插值噪点。2.2 滤波与二值化blockSize 和 C 到底在控什么滤波这一步高斯模糊和中值滤波的分工很明确。中值滤波对椒盐噪点扫描件上的孤立黑点、反光造成的白点几乎是无损清除而高斯模糊会把细笔画一起糊掉——数字 1 的竖笔宽度可能只有 2 到 3 个像素一个 5×5 的高斯核过去就只剩一团灰。所以除非原图是明显的运动模糊我一律先上medianBlur(k3)。阈值才是真正需要反复调整的地方。全局 Otsu 只适合光照均匀的截图一旦有阴影或渐变背景Otsu 会在某个中间灰度一刀切把一半数字切没。自适应阈值的两个参数各有明确含义blockSize每个像素参考的邻域大小必须是大于 1 的奇数。它要略大于单个数字的笔画宽度又不能大到把相邻数字的影响带进来。数字高度在 400 像素画幅下大概 100 到 200 像素blockSize取 31 到 51 比较稳。C从邻域加权均值里减掉的常数。C 越大判定为前景的条件越苛刻输出越“瘦”C 太小则背景噪点全被算成前景。笔画细、对比度低时往小调5 到 10纸上印刷体往大调10 到 15。def binarize(gray, modeadaptive, block_size31, c10): blur cv2.medianBlur(gray, 3) # 先去椒盐噪点再谈阈值 if mode otsu: _, binary cv2.threshold(blur, 0, 255, cv2.THRESH_BINARY_INV cv2.THRESH_OTSU) else: # 高斯加权比均值加权对光照渐变更鲁棒 binary cv2.adaptiveThreshold( blur, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY_INV, block_size, c) return binary注意这里统一用了THRESH_BINARY_INV。原因是findContours找的是白色前景而绝大多数待识别图片是白底黑字不反色的话你会得到一个空的轮廓列表然后怀疑人生。这个坑下面还会单说。2.3 形态学与自动反色把断笔和噪点一起收掉二值化之后通常还有两类残留孤立噪点以及笔画断开或中间有空洞。前者的杀伤力远大于后者——一个 3×3 的噪点会被当成一个“数字 0”送进模型直接把结果串位。开运算先腐蚀后膨胀去噪是标准做法但核不能大。3×3 的矩形核对噪点够用对 1 这种一像素宽的竖笔就会造成不可逆的损伤。如果发现数字 1 在结果里频繁丢失先把开运算核降到 2×2 或者干脆跳过改用“面积 高度”双条件过滤噪点这是我踩过好几次才改过来的顺序。自动反色则是一个很省事的小技巧统计二值图里白色像素占比如果超过 50%说明原图是黑底白字被反了一次再取反回来即可。这样同一套代码可以同时吃扫描件和深色界面截图。def clean_binary(binary, open_ksize3, auto_invertTrue): if auto_invert: white_ratio float(np.count_nonzero(binary)) / binary.size # 前景占比过半基本可以判定是黑底白字再反一次 if white_ratio 0.5: binary cv2.bitwise_not(binary) if open_ksize and open_ksize 2: kernel cv2.getStructuringElement(cv2.MORPH_RECT, (open_ksize, open_ksize)) binary cv2.morphologyEx(binary, cv2.MORPH_OPEN, kernel) return binary到这里一张图应该只剩下若干块干净的数字区域。判断标准很土但很有效把中间结果存盘看一眼如果肉眼能一眼认出每个数字、且笔画没有缺口后面的识别基本不会翻车如果肉眼都认不出别急着调模型回去调blockSize。3. 切分与归一化把一行数字拆成 28×28 的单个样本切分是从“图像处理”跨到“模式识别”的那道坎也是最容易出错的一步。切错一位后面全部数字都错位而且错误很隐蔽——模型输出的置信度照样很高你只会觉得“这模型不行”。3.1 轮廓筛选与排序三个过滤条件和一种排序法findContours会返回一大堆轮廓包括冒号、下划线、边框和噪点。筛选靠三个条件叠加过滤条件典型取值作用调大了会怎样最小外接矩形面积全图面积的 0.08%筛掉噪点数字 1 被误删最小高度图中位高度的 25%筛掉标点和下划线小字号数字丢失宽高比上限1.2筛掉横线、边框数字 0 的扁写法被删过滤完之后还有一个容易被忽略的动作用中位高度再筛一轮。把所有候选框的高度取中位数保留落在[0.6×med, 1.6×med]区间的框。这一步比任何固定阈值都稳因为它是自适应的——不管这张图里数字是 30 像素还是 200 像素高比例关系不变。排序也有讲究。按x排是本能反应但数字 1 的 boundingRect 左边界比 7 靠右一点遇到紧排的字体就会颠倒顺序。按矩形中心x w/2排要稳得多因为中心点受宽度变化影响小。def split_digits(binary, min_area_ratio0.0008, aspect_max1.2): h, w binary.shape cnts, _ cv2.findContours(binary, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) boxes [] for c in cnts: x, y, bw, bh cv2.boundingRect(c) if bw * bh min_area_ratio * h * w: continue # 面积太小噪点 if bh 0.25 * h: continue # 太矮标点或下划线 if bw / float(bh) aspect_max: continue # 太扁横线 boxes.append((x, y, bw, bh)) if not boxes: return [] med_h float(np.median([b[3] for b in boxes])) # 用中位高度做自适应尺度比固定像素阈值稳 boxes [b for b in boxes if 0.6 * med_h b[3] 1.6 * med_h] # 按中心 x 排序避免 1 与 7 因左边界差异错位 boxes.sort(keylambda b: b[0] b[2] / 2.0) return boxesRETR_EXTERNAL只取外轮廓能天然避开数字 0、6、8、9 内部的孔洞如果你后续要做孔洞特征才需要换成RETR_CCOMP拿层级信息。3.2 粘连数字投影切分比调参更靠谱两个数字挨在一起被识别成一个轮廓是这类项目最典型的失败。此时无论怎么调阈值都救不回来因为它们在物理上就是连通的。常见做法是垂直投影把粘连轮廓的二值区域按列求和得到一条“每列有多少个白像素”的曲线中间必然有一到两个波谷波谷位置就是切分点。判断波谷是否可信用“谷底值小于峰值 30%”这个经验条件如果找不到明显波谷说明两个字确有笔画相连只能按中位宽度硬切。def split_touching(roi, min_width_ratio1.3, med_wNone): roi 为单通道二值图返回切分后的子图列表 h, w roi.shape[:2] if med_w is None or w min_width_ratio * med_w: return [roi] # 宽度正常不需要切 proj (roi 0).sum(axis0).astype(np.float32) peak proj.max() if peak 0: return [roi] # 找谷底低于峰值 30% 且位置靠近中间 cand [i for i in range(int(w * 0.25), int(w * 0.75)) if proj[i] 0.3 * peak] if not cand: cut w // 2 # 没有明显波谷按中间硬切 else: cut min(cand, keylambda i: proj[i]) left, right roi[:, :cut], roi[:, cut:] return [p for p in (left, right) if p.shape[1] 3]med_w传的是全图中位宽度这个参数的用处是决定“要不要尝试切”不传就退化成宁可漏切也不误切适合数字间距本来就大的场景。3.3 归一化直接 resize 到 28×28 是错的很多人把 ROI 直接cv2.resize到 28×28 就喂给模型然后在测试集上稳定掉十几个点。原因很直白直接 resize 会把宽高比一起压扁数字 1 本来是窄条被拉成方块后和 7、0 的特征高度重合。正确顺序是三步先按高度等比缩放到 20 像素以内宽度保持比例再用图像矩算出质心把质心平移到 28×28 画布的中心最后把灰度值除以 255 归一化到 0 到 1。def paste_center(canvas, roi, ox, oy): ch, cw canvas.shape h, w roi.shape x0, y0 max(0, ox), max(0, oy) x1, y1 min(cw, ox w), min(ch, oy h) if x1 x0 or y1 y0: return canvas canvas[y0:y1, x0:x1] roi[y0 - oy:y1 - oy, x0 - ox:x1 - ox] return canvas def norm_digit(roi, size20, canvas28): h, w roi.shape[:2] scale float(size) / max(h, 1) # 只按高度缩放保住宽高比 nw max(1, int(round(w * scale))) roi cv2.resize(roi, (nw, size), interpolationcv2.INTER_AREA) m cv2.moments(roi, binaryImageTrue) if m[m00] 0: cx, cy m[m10] / m[m00], m[m01] / m[m00] else: cx, cy nw / 2.0, size / 2.0 out np.zeros((canvas, canvas), dtypenp.float32) ox int(round(canvas / 2.0 - cx)) oy int(round(canvas / 2.0 - cy)) out paste_center(out, roi.astype(np.float32), ox, oy) return out / 255.0size20、canvas28这组数字不是随手写的留 8 像素边距是为了让质心平移有空间避免笔画被画布边缘裁掉。如果你后续用 HOG 特征边距太小会让梯度方向在边缘处剧烈跳变反而拉低准确率。paste_center里那段裁剪逻辑看着啰嗦但没有它质心偏移稍大就会抛ValueError这在批量处理时是致命的。4. 识别器选型模板匹配、KNN、SVM 三种方案的边界到这里输入已经是标准化的 28×28 样本选哪条路取决于三件事字体是否固定、样本量够不够、推理速度有没有要求。三种方案没有绝对优劣只有匹配不匹配。4.1 模板匹配字体固定时它最快也最准如果目标数字来自固定字体仪表盘、喷码、电子屏模板匹配的性价比高得离谱零训练、零样本、单张图亚毫秒级。def match_template(binary, templates, thresh0.72): best_label, best_score None, -1.0 for label, tpl in templates.items(): # tpl 已归一化到与 binary 同尺度 res cv2.matchTemplate(binary, tpl, cv2.TM_CCOEFF_NORMED) _, score, _, _ cv2.minMaxLoc(res) if score best_score: best_label, best_score label, score return (best_label, best_score) if best_score thresh else (None, best_score)TM_CCOEFF_NORMED做的是去均值归一化互相关对整体亮度不敏感比TM_CCORR稳。thresh0.72这条线管的是拒识分数低于它就不给结果交给人工或下一级模型比强行输出一个错标签强得多。它的边界也很清楚——缩放、字重、倾斜一旦超出模板覆盖范围分数会断崖式下跌。我的做法是每个数字准备 3 到 5 个形态模板常规、加粗、略斜取最高分覆盖面能扩不少。4.2 KNN小样本下的默认选择k 值别乱给KNN 在数字识别上一直很能打原因不是算法强而是 400 维20×20 拉平的像素特征空间里同类样本确实聚得比较紧。OpenCV 4.x 的接口是cv2.ml.KNearest_create()旧版教程里的cv2.KNearest()早就没了照着抄会直接AttributeError。import cv2, numpy as np def build_features(paths, labels): xs [] for p in paths: img cv2.imread(p, cv2.IMREAD_GRAYSCALE) if img is None: continue xs.append(norm_digit(img).reshape(1, -1)) return np.vstack(xs).astype(np.float32), np.array(labels, np.float32) knn cv2.ml.KNearest_create() knn.setIsClassifier(True) knn.setDefaultK(3) # 训练阶段先给个默认值推理时还能覆盖 knn.train(X, cv2.ml.ROW_SAMPLE, y) knn.save(knn_digit.yml) # 存成 yml重启不用重训 model cv2.ml.KNearest_load(knn_digit.yml) ret, results, neighbours, dist model.findNearest(feat, k5) label int(results[0][0])几个参数值得说清楚。setDefaultK(3)是训练时写的默认值findNearest里的k5会覆盖它所以真正生效的是推理时传的那个。k 取 3 到 5 之间比较稳k1 对标注噪声极敏感一张标错的样本就能带偏一片k 大到 9 以上稀有类别比如样本很少的数字 1会被邻近类别淹没。neighbours和dist这两个返回值别浪费。当最近邻距离和次近邻距离接近比值大于 0.9时说明这个样本处在类别边界上可靠性低可以直接判为拒识。特征维度上还有个小选择除以 255 归一化和不归一化KNN 的结果会有细微差别。归一化后距离尺度统一配合k值调整更可控我一般固定归一化。4.3 SVM 与混合策略什么时候值得多花这半小时样本量超过两三千、字体又有多种变化时SVM 通常能比 KNN 高出 1 到 3 个点代价是要调 C 和 gamma。svm cv2.ml.SVM_create() svm.setType(cv2.ml.SVM_C_SVC) svm.setKernel(cv2.ml.SVM_RBF) svm.setC(12.5) # 越大越不容忍错分过大过拟合 svm.setGamma(0.50625) # RBF 的宽度特征已归一化时这个量级可用 svm.setTermCriteria((cv2.TERM_CRITERIA_MAX_ITER, 1000, 1e-3)) svm.train(X, cv2.ml.ROW_SAMPLE, y) svm.save(svm_digit.yml)这三个方案的实际差异按我在几批数据上的体感整理如下方案训练成本推理速度字体敏感度适用场景模板匹配无需训练极快极高固定字体、嵌入式、实时KNN秒级中与样本量线性相关中等样本几百到几千快速验证SVM(RBF)分钟级快较低样本上万字体多变真正的工程里我常用混合策略先用模板匹配扫一遍分数高于 0.85 的直接采纳这部分通常占七成以上且几乎不会错剩下的低分样本才送进 SVM再对 SVM 输出做一次置信度下限过滤。这样平均耗时比纯 SVM 低一半准确率基本不掉。选型阶段别急着上最复杂的模型先把模板匹配的基线跑出来很多时候够用了。5. 避坑排查五个把识别率从 92% 拉到 99% 的真实记录下面这几条都是我在复现过程中真实撞过的按“现象 → 原因 → 解决”记遇到对应症状可以直接对号入座。现象一findContours返回空列表或者只返回一个覆盖整图的大框。原因是阈值方向反了或者原图是白底黑字却没做反色。findContours找的是白色前景白底图在THRESH_BINARY下整张图都是白自然只有一个框。解决统一改用THRESH_BINARY_INV再加一层白色占比自动判断超过 50% 就bitwise_not。改完之后记得把中间二值图存盘看一眼比看日志快得多。现象二训练集准确率 99%一上实拍图就掉到 60%且错得很规律。原因是训练特征和推理特征不一致。常见版本是训练时用resize(28,28)直接拉平推理时用了带边距的 20×20 居中版本两边维度都不一样却没人报错因为都被reshape(1,-1)抹平了。解决把归一化抽成一个函数训练脚本和推理脚本import同一份别复制粘贴。我在项目里会额外断言feat.shape[1] 784让不一致当场报错。现象三一串数字识别结果整体错位比如“1203”识别成“2031”或“1023”。这不是模型问题是轮廓排序问题。按x坐标排遇到底部对齐但宽度差异大的字体1 比 0 窄很多左边界会乱序。解决改成按x w/2排序同时把宽高比异常大于 1.2的框过滤掉往往那个框就是被误当成数字的边框线。现象四cv2.imread返回None但路径明明是对的。路径里有中文或空格时imread在部分平台上静默失败。解决用np.fromfile(path, np.uint8)读字节再cv2.imdecode。这个坑我也用在写图上cv2.imencode(.png, img)[1].tofile(path)替代imwrite否则结果图存出来是空文件。现象五AttributeError: module cv2 has no attribute KNearest。这是照抄了 OpenCV 2.x 时代的老教程。OpenCV 3.0 之后机器学习模块统一挪到cv2.ml接口也变成工厂函数。解决cv2.ml.KNearest_create()、cv2.ml.SVM_create()、cv2.ml.KNearest_load()三件套注意加载用_load而不是构造后.load()写反了会得到一个空模型预测全返回 0。现象六训练时一切正常model.findNearest却抛维度异常。KNN 的输入必须是np.float32而 OpenCV 读图默认是uint8。不显式转换的话某些版本会直接报错某些版本会静默做截断后者更可怕。解决在build_features里统一.astype(np.float32)并在findNearest前再断言一次 dtype。6. 验证闭环用混淆矩阵和参数台账把模型固定下来模型能跑通和模型能上线之间隔着验证。数字识别最坑的地方在于整体准确率有欺骗性——如果测试集里 0 和 1 占了一半那 98% 的准确率背后可能藏着 3、8、5、6 全面崩盘的事实。6.1 按图片划分数据集别看单样本准确率第一个必须改的习惯划分训练/测试时按“源图片”分不要按“切出来的样本”分。同一张图切出来的十几个数字笔画粗细、模糊程度高度相关随机打散会让测试集里出现大量训练集的近亲样本准确率虚高五到十个百分点很正常。import numpy as np from collections import defaultdict def eval_report(model, X, y, is_svmFalse): if is_svm: _, pred model.predict(X) pred pred.ravel().astype(int) else: _, pred, _, _ model.findNearest(X, k5) pred pred.ravel().astype(int) cm np.zeros((10, 10), dtypeint) for t, p in zip(y.astype(int), pred): cm[t, p] 1 acc np.trace(cm) / max(1, cm.sum()) print(foverall acc {acc:.4f}) for d in range(10): recall cm[d, d] / max(1, cm[d].sum()) # 只打低于 0.97 的类别重点看 3/8、5/6、1/7 这几组易混对 if recall 0.97: print(fdigit {d}: recall{recall:.3f}, f错判去向{cm[d].argsort()[-3:][::-1].tolist()}) return cmargsort()[-3:][::-1]这两行是为了快速定位“这个数字最常被错认成谁”。3 和 8 混淆多半是中间笔画断开回去查闭运算5 和 6 混淆多半是字形倾斜得补旋转增强1 和 7 混淆基本都是归一化时宽高比丢了回到 3.3 那节改norm_digit。6.2 一张参数清单比记在脑子里可靠下面这张表是我每次调参都会更新的清单标了默认值和“往哪边调”的方向。有了它换一批数据时不用从零试。参数默认值症状准确率低且数字缺失症状噪点被当数字target_h400提到 500–600降到 300block_size31增大到 41–51减小到 21c10减小到 5增大到 15open_ksize3降到 2 或关闭提到 5min_area_ratio0.0008降到 0.0004提到 0.0015kKNN5提到 7降到 3表格只能给方向具体值还得看数据。我一般的做法是固定其他参数只动一个在 50 张图的验证集上看准确率变化两三轮就能收敛。6.3 一个提高稳定性的技巧双阈值投票单次自适应阈值的结果对c很敏感差 3 就可能让某个数字断开。与其死磕一个“最优 C”不如跑三个 C 值比如 8、10、13各自走完整链路得到三个识别结果取多数票。代价是三倍耗时收益是那类边缘样本的翻车率明显下降——我在一批光照不均的实拍图上实测单阈值 94.2%三阈值投票 98.6%而单张耗时仍在 30 毫秒以内对离线批处理完全可接受。def vote_recognize(gray, model, c_list(8, 10, 13)): votes [] for c in c_list: binary clean_binary(binarize(gray, block_size31, cc)) boxes split_digits(binary) if len(boxes) ! len(boxes): # 占位断言实际用基准位数校验 continue seq [] for (x, y, w, h) in boxes: feat norm_digit(binary[y:y h, x:x w]).reshape(1, -1) _, res, _, _ model.findNearest(feat.astype(np.float32), k5) seq.append(str(int(res[0][0]))) votes.append(.join(seq)) if not votes: return # 取出现次数最多的序列平票时取最长的漏切通常更短 return max(set(votes), keylambda s: (votes.count(s), len(s)))真正要留意的不是投票本身而是三个阈值下切出来的位数是否一致。位数不同说明切分本身不稳这时候投票只是掩盖问题得回第 3 章查轮廓筛选。这套资源我从头跑通、又在两批不同来源的图上重跑过才敢把它当成一个可复用的基线。现在我每次接新的数字识别需求都会强制先走一遍这条链路存中间二值图、打印轮廓数量和排序结果、跑一次混淆矩阵——这三步花不了十分钟但能挡掉后面大半的返工。希望帮到你。本文还有配套的精品资源点击获取
