简介面向深度学习入门与计算机视觉实践的字符型数字验证码识别项目围绕卷积神经网络与循环神经网络的组合建模讲解从数据集准备、图像归一化与数据增强、字符序列编码到模型构建、训练评估与推理的完整流程并给出可直接运行的Python实现与源码参考。压缩包共1210个文件包含978个png、202个jpg验证码及样本图片17个py脚本用于数据处理与模型训练另有txt说明、rst文档和少量模型文件整体约9.58MB便于按数据、代码与文档模块查阅。已有1542人学习适合希望理解CNNRNN验证码识别思路、复现训练过程或对照源码排错的学习者可据此掌握数据集组织、模型搭建与训练调参的关键环节。1. 需求先立住字符型图片数字验证码识别为什么要做成完整管线基于深度学习的字符型图片数字验证码识别完整过程及Python实现真正的门槛不在某个模型结构而在从图片到标签的每一步都能复现。课程设计里常见的情况是模型跑起来了换一批图片就翻车训练集准确率很高答辩现场演示却输在预处理不一致。这套方案面向固定字符集、长度有限的字符型图片验证码在自建或授权测试环境中完成数据生成、字符模型训练、CTC解码、推理封装和验收。读者如果是做毕设或课设可以按章节直接搭如果是从业者做方案交付可以把模块拆开替换。下面从任务边界开始把每个容易踩坑的点落到可执行代码和验收口径。2. 数据与任务定义字符集、长度分布和合成样本管线字符型图片验证码识别最容易出现的一种错觉是拿到一批图片后直接上模型训练loss降得很快验证集却一塌糊涂。根因往往不是网络不够深而是任务边界没有定清楚字符集到底包含哪些字符、长度范围是多少、图片是否允许反色、标注里有没有空标签、训练集和验证集是不是同一批样本的增强副本。数据层一旦含糊后面的CTC解码、准确率统计、答辩演示都会变成玄学。我的习惯是先把输入输出写成一张“任务契约”再谈模型。2.1 任务边界固定字符集、输出字符串和评价口径这套方案把输入定义为单通道灰度图统一缩放到宽192、高32输出定义为字符串字符集采用数字0到9加小写字母并去掉容易混淆的i、l、o长度控制在1到6位。这样做的原因很实际字符集越小分类头越轻CTC的blank占比越容易控制去掉易混字符后标注和人工复核的成本会下降。实际项目里如果必须保留全部字符也可以把字符集换成完整数字加字母但训练样本要覆盖相似字形评估时要单独统计易混字符的混淆矩阵。数据来源分成两类一类是合成样本用于冷启动和覆盖长度分布另一类是自建系统或授权测试环境导出的样本用于校准真实风格。合成样本不能只生成“干净字体”否则模型学到的是字体特征不是字符结构。通常的做法是给每个字符加入随机字号、随机横向间距、轻度旋转、随机噪声线和噪点再以较低概率加高斯模糊。增强强度不要一上来拉满否则小模型会先学噪声。标注文件建议用CSV或JSONL保存“来源ID、图片路径、标签”三列来源ID用于切分避免同一张原图的多个增强副本同时进入训练集和验证集。评价口径要提前定整图准确率看预测字符串和标签是否完全一致字符错误率看编辑距离占标签长度的比例长度准确率看预测长度是否等于标签长度。三个指标一起看才能区分“模型完全没学会”和“模型只漏了一个字符”。如果只报训练loss答辩时很难解释为什么演示图片识别错了。2.2 合成样本管线Pillow绘制、噪声和几何增强下面的脚本用Pillow生成轻中度干扰的字符型样本字符逐个绘制并加入随机旋转、噪声线和噪点。实际项目里把your_font.ttf换成自备字体路径字体数量建议准备3到5种但不要用过于花哨的手写体作为唯一字体。import random from PIL import Image, ImageDraw, ImageFont, ImageFilter CHARSET 0123456789abcdefghjkmnpqrstuvwxyz def random_text(min_len1, max_len6): n random.randint(min_len, max_len) return .join(random.choice(CHARSET) for _ in range(n)) def render_sample(text, width192, height32): canvas Image.new(L, (width, height), 255) x random.randint(2, 8) for ch in text: font_size random.randint(18, 26) try: font ImageFont.truetype(your_font.ttf, font_size) except OSError: font ImageFont.load_default() bbox font.getbbox(ch) w bbox[2] - bbox[0] 4 h bbox[3] - bbox[1] 4 char_img Image.new(L, (w, h), 255) d ImageDraw.Draw(char_img) d.text((2, 2), ch, fontfont, fillrandom.randint(0, 80)) char_img char_img.rotate( random.uniform(-18, 18), resampleImage.BILINEAR, expand1, fillcolor255 ) y random.randint(1, max(1, height - char_img.height - 1)) canvas.paste(char_img, (x, y)) x char_img.width random.randint(0, 3) draw ImageDraw.Draw(canvas) for _ in range(random.randint(0, 3)): draw.line( (random.randint(0, width), random.randint(0, height), random.randint(0, width), random.randint(0, height)), fillrandom.randint(100, 220), width1 ) for _ in range(random.randint(20, 80)): draw.point( (random.randint(0, width - 1), random.randint(0, height - 1)), fillrandom.randint(80, 230) ) if random.random() 0.5: canvas canvas.filter(ImageFilter.GaussianBlur(radiusrandom.uniform(0.3, 1.0))) return canvas这段代码的关键参数有四个width和height决定输入尺寸后续模型的时间步长度由宽度决定font_size控制字符占高比例太小会让CNN特征过弱太大容易字符粘连旋转角度控制在正负18度以内避免字符被裁切噪声线和噪点数量控制在低到中等先让模型学会字符主干。ImageFont.load_default()只是兜底正式训练要换成多字体路径并且把字体文件加入版本管理否则合成样本风格会漂移。注意合成样本只用于教学、课程设计和自建系统测试。不要从真实第三方系统抓取验证码也不要拿这套流程去识别未授权服务。2.3 数据集切分与标签编码避免同源泄漏字符集确定后标签编码必须固定blank用0字符从1开始。CTC损失要求target里不能出现blank也不能出现字符集之外的索引。很多训练不收敛的案例最后查出来是标签编码时把blank也算进了字符表或者训练脚本和推理脚本用了两套字符集顺序。字符集顺序一旦变化模型权重基本作废所以建议把字符集写进配置文件训练和推理都从同一个文件读取。import random CHARSET 0123456789abcdefghjkmnpqrstuvwxyz char2idx {c: i 1 for i, c in enumerate(CHARSET)} idx2char {i 1: c for i, c in enumerate(CHARSET)} BLANK 0 def encode_label(text): return [char2idx[c] for c in text] def split_by_source(items, val_ratio0.2, seed42): # items: [(source_id, image_path, label), ...] ids sorted({x[0] for x in items}) random.Random(seed).shuffle(ids) val_size max(1, int(len(ids) * val_ratio)) val_ids set(ids[:val_size]) train [x for x in items if x[0] not in val_ids] val [x for x in items if x[0] in val_ids] return train, valsplit_by_source按来源ID切分不按图片路径随机切。原因很直接同一张原图可能被增强出十几张副本如果按图片随机切训练集和验证集会共享同一个来源验证准确率会虚高线上演示就会翻车。val_ratio一般取0.2样本很少时按来源切完后要检查验证集长度分布避免验证集全是短标签。标签编码完成后建议打印前几个batch的targets和target_lengths确认没有0、没有越界索引长度和标签字符串一致。3. 模型选型与总体架构CRNN加CTC还是分类头模型选型不需要从“最先进”开始而要从任务约束倒推。字符型验证码如果长度固定、字符集很小直接用CNN多标签分类也能跑如果字符容易切分分割后单字符分类更直观但真实项目里长度经常变化字符还会轻度粘连分割算法一遇到粘连就翻车。这个场景下CRNN加CTC是比较稳的折中CNN提取局部特征BiLSTM建模字符顺序CTC处理不定长对齐省掉了显式分割。3.1 三条路线对比定长分类、分割单字、CRNNCTC路线适用场景优点主要风险CNN多标签分类长度固定、字符集小结构简单训练快长度变化要改输出头字符顺序信息弱分割加单字符分类字符间距明显、干扰少可解释单字准确率好统计粘连、重叠、噪声线导致切分错位CRNN加CTC长度不定、轻中度粘连端到端不需要字符级切分输入宽度和时间步不足时解码困难这张表不是用来堆概念的而是答辩时解释“为什么不用更简单的分类头”的依据。如果项目要求固定6位数字CNN多标签分类完全够用没必要上LSTM如果项目里字符长度1到6位还夹着小写字母CRNN加CTC更合适。选型确定后输入尺寸也要跟着定高度32足够保留字符结构宽度192对应时间步48能覆盖6位字符加重复字符的blank分隔。宽度太小会让CTC在重复字符上解码失败宽度太大则推理延迟上升。3.2 网络结构CNN特征提取、BiLSTM和字符分类头下面的模型把输入B x 1 x 32 x 192经过四段卷积高度从32降到2宽度从192降到48然后在高度方向做平均池化得到B x 256 x 48的特征序列。序列送进双向LSTM最后接线性层输出每个时间步的字符概率。num_classes等于字符集大小加1加的那个1就是CTC的blank。import torch import torch.nn as nn class CRNN(nn.Module): def __init__(self, num_classes, hidden128): super().__init__() def block(cin, cout, pool): return nn.Sequential( nn.Conv2d(cin, cout, 3, padding1), nn.BatchNorm2d(cout), nn.ReLU(inplaceTrue), pool ) self.cnn nn.Sequential( block(1, 64, nn.MaxPool2d(2, 2)), # 32x192 - 16x96 block(64, 128, nn.MaxPool2d(2, 2)), # 16x96 - 8x48 block(128, 256, nn.MaxPool2d((2, 1))), # 8x48 - 4x48 block(256, 256, nn.MaxPool2d((2, 1))), # 4x48 - 2x48 ) self.rnn nn.LSTM( 256, hidden, num_layers1, bidirectionalTrue, batch_firstTrue ) self.fc nn.Linear(hidden * 2, num_classes) def forward(self, x): # x: B x 1 x 32 x 192 f self.cnn(x) # B x 256 x 2 x 48 f f.mean(dim2) # B x 256 x 48 f f.permute(0, 2, 1) # B x 48 x 256 out, _ self.rnn(f) # B x 48 x 256 logits self.fc(out) # B x 48 x num_classes return logits.log_softmax(dim2)hidden128表示单向LSTM隐藏维度双向拼接后是256和CNN输出通道对上。num_classes由len(CHARSET)1决定不能写死。log_softmax放在模型里训练时直接接CTC损失推理时直接取argmax。时间步长度不是手动传的而是由输入宽度和池化层决定如果改写输入宽度要重新算T并检查T是否大于标签长度加重复字符所需的最小长度。通常的做法是先用小样本跑一次前向打印log_probs.shape确认T和标签长度匹配。3.3 CTC损失与贪心解码blank、重复字符和后处理CTC的规则不复杂但细节很容易写错blank索引是0target里不能有0解码时先取每个时间步概率最大的索引再合并连续相同索引最后去掉blank。重复字符必须靠blank隔开例如标签aab在CTC对齐里可能是a blank a b贪心解码时如果直接把连续a合并就会丢字符。下面的解码函数按标准CTC规则处理idx2char从1开始映射。import torch def ctc_loss(log_probs, targets, target_lengths, input_lengths): # log_probs: B x T x C return torch.nn.functional.ctc_loss( log_probs.transpose(0, 1), targets, input_lengths, target_lengths, blank0, zero_infinityTrue ) def greedy_decode(log_probs, idx2char): # log_probs: B x T x C pred log_probs.argmax(dim2) # B x T results [] for seq in pred: out [] prev 0 for k in seq.tolist(): if k ! 0 and k ! prev: out.append(idx2char[k]) prev k results.append(.join(out)) return resultszero_infinityTrue用于避免标签长度超过输入长度时出现无穷大损失但它是保护措施不是解决方案。如果训练日志里频繁出现inf要先查T和标签长度而不是只加这个参数。greedy_decode里的prev初始化为0表示blank连续相同字符只有在中间隔了blank时才会保留。这个后处理不需要额外训练但要在验证脚本和推理脚本里用同一份实现否则训练时准确率正常、部署时字符串被多去重一次线上精度就会掉。4. 训练管线与调参从过拟合小样本到稳定收敛训练管线要解决的不是“把模型跑起来”而是“每次跑起来结果可解释”。字符型验证码的数据集往往不大合成样本和真实样本风格差异明显学习率、batch大小、增强强度都会影响收敛。我的习惯是先用50到100张样本做一次过拟合测试确认模型有能力把训练集背下来再扩到全量。如果小样本都过拟合不了调参没有意义先查标签、字符集、输入尺寸和解码逻辑。4.1 Dataset与Collate变长标签拼接下面的Dataset把图片转灰度、缩放到192x32、转张量并归一化到[-1,1]。归一化参数要和推理脚本一致训练用(0.5,)(0.5,)推理也必须一样。Collate函数把变长标签拼成一维张量同时返回每个标签的长度这是CTC损失需要的格式。import torch from torch.utils.data import Dataset from PIL import Image import torchvision.transforms as T class CaptchaDataset(Dataset): def __init__(self, items, char2idx, img_w192, img_h32): self.items items self.char2idx char2idx self.tf T.Compose([ T.Grayscale(), T.Resize((img_h, img_w)), T.ToTensor(), T.Normalize((0.5,), (0.5,)) ]) def __len__(self): return len(self.items) def __getitem__(self, i): _, path, label self.items[i] img self.tf(Image.open(path).convert(L)) target torch.tensor( [self.char2idx[c] for c in label], dtypetorch.long ) return img, target def collate_fn(batch): imgs, targets zip(*batch) imgs torch.stack(imgs, dim0) target_lengths torch.tensor([len(t) for t in targets], dtypetorch.long) targets torch.cat(targets, dim0) return imgs, targets, target_lengthsT.Resize((img_h, img_w))的参数顺序是高度、宽度别写成宽度、高度否则图片会被拉成怪比例。targets在collate后是一维拼接张量target_lengths记录每条标签的长度顺序必须和batch内图片顺序一致。如果自己重写DataLoader注意shuffleTrue只打乱batch顺序不会打乱targets和target_lengths的对应关系但手动拼接时要用同一个batch顺序不能先打乱图片再单独打乱标签。提示训练前先取一个batch打印imgs.shape、targets、target_lengths确认图片是B x 1 x 32 x 192标签里没有0长度和字符串一致。4.2 训练循环CTC损失、学习率与早停训练循环里最重要的是input_lengths。它表示每个样本的时间步长度当前模型固定输出48步所以可以直接填48。优化器用Adam学习率从1e-3开始权重衰减1e-4梯度裁剪5.0。CTC损失偶尔会出现梯度尖峰梯度裁剪是必要的保险。早停以验证集整图准确率或CER为准连续8轮不提升就停不要只看训练loss。import torch def train_one_epoch(model, loader, optimizer, device): model.train() total_loss 0.0 for imgs, targets, target_lengths in loader: imgs imgs.to(device) targets targets.to(device) target_lengths target_lengths.to(device) log_probs model(imgs) # B x T x C input_lengths torch.full( (imgs.size(0),), log_probs.size(1), dtypetorch.long, devicedevice ) loss torch.nn.functional.ctc_loss( log_probs.transpose(0, 1), targets, input_lengths, target_lengths, blank0, zero_infinityTrue ) optimizer.zero_grad() loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), 5.0) optimizer.step() total_loss loss.item() * imgs.size(0) return total_loss / len(loader.dataset)loss.item() * imgs.size(0)用于按样本数加权平均避免最后一个batch偏小导致loss统计偏差。log_probs.transpose(0,1)把B x T x C转成T x B x C这是PyTorch CTC损失要求的格式。input_lengths必须和log_probs.size(1)一致不能填成图片宽度192。训练日志建议每轮记录训练loss、验证整图准确率、验证CER、学习率如果验证CER先降后升说明增强过强或学习率偏大先把增强概率降下来再考虑调小学习率。4.3 调参顺序先小样本过拟合再加增强调参不要同时改五个参数否则出了问题不知道是谁的锅。我的顺序是第一步取50到100张训练样本关闭旋转和模糊只保留缩放和灰度学习率1e-3batch取16训练20轮左右看训练集能否接近100%整图准确率。如果小样本都背不下来先查标签编码、字符集顺序、输入尺寸和CTC的input_lengths不要急着换模型。第二步扩到全量训练集开启弱增强batch调到64学习率保持1e-3观察验证集是否稳定。第三步逐步加入噪声线、噪点和轻度模糊每次只加一种增强验证CER不降就回退。第四步用早停和固定随机种子复跑一次确认结果可复现。常见参数可以这样起步batch_size64epochs50lr1e-3weight_decay1e-4patience8num_workers4。显存不够时不要直接砍模型先把batch降到32再开梯度累积字符集不大时hidden128已经够用盲目加到256容易过拟合。验证集准确率波动大先检查验证集来源是否和训练集同源再检查预处理是否一致。字符型验证码的调参有一点玄学成分但玄学的部分通常来自数据分布不是来自某个神秘超参数。5. 避坑与排查训练不收敛、切分错位和线上精度掉点这个项目翻车的点很集中基本都落在数据、解码和预处理三处。模型结构反而是最不容易出问题的部分因为CRNN加CTC已经是成熟组合。下面五类问题是我在课程设计和项目交付里见过最多的按“现象、原因、解决”拆开写答辩前可以逐条对照检查。5.1 五类高频翻车点现象、原因和解决现象原因解决训练loss不降或出现NaN标签里混入blank0字符集顺序不一致标签长度超过时间步统一blank0、标签从1开始打印首个batch的targets和target_lengths检查T是否足够loss下降但解码全是空串输入宽度太小导致T不足学习率过大blank占比过高增加输入宽度或减少池化学习率降到3e-4先用小样本确认能解码出非空串验证集准确率高演示图片识别错推理预处理和训练不一致灰度、反色、resize插值不同归一化参数不同把预处理封装成一个函数训练和推理共用固定Resize尺寸和归一化参数重复字符漏识别或字符串被多去重训练样本缺少重复字符解码时把非连续重复也合并后处理重复去重合成样本覆盖aa、11这类重复模式解码严格按CTC规则训练和推理共用解码函数显存不足或推理延迟高输入尺寸过大batch过大LSTM时间步过长固定32x192batch从64降到32推理用torch.no_grad()必要时做模型导出和半精度推理第一类问题最常见也最容易被“换个模型”掩盖。标签里混入0时CTC损失不会直接报错但训练会变得很奇怪所以要在Dataset里加断言assert all(1 t len(CHARSET) for t in target)。第二类问题要区分“模型没学会”和“解码没解出来”可以先在训练集上跑贪心解码看输出是否非空如果训练集也全空基本是T不够或标签长度超限。第三类问题属于部署一致性训练时用Image.open().convert(L)推理时就不能用OpenCV读成BGR再转灰度插值方式也要统一。第四类问题在字符型验证码里很典型。CTC允许重复字符但需要blank分隔如果训练集里几乎没有aa、00这种样本模型在重复字符上的对齐会变弱。合成样本时要有意加入重复字符比例不用太高但必须覆盖。后处理不要在解码函数外面再写一次“相邻去重”否则会把本来合法的重复字符删掉。第五类问题通常不是模型本身而是输入尺寸和batch配置不合理答辩现场用CPU推理时先把torch.no_grad()加上再考虑把batch固定为1。注意排查时先做“最小复现”不要在全量数据上反复训练。取10张训练图、10张验证图、一个固定随机种子能在几分钟内复现的问题不要花几个小时跑完整训练。5.2 排查脚本先看标签、长度和尺寸排查顺序建议从数据开始先审计标签再审计图片尺寸最后看模型输出。下面的脚本会统计长度分布、字符覆盖和坏标签同时检查图片尺寸是否和训练配置一致。把结果打印出来很多问题一眼就能定位。from collections import Counter from PIL import Image def audit_labels(items, charset, max_len6): bad [] lens Counter() char_count Counter() for sid, path, label in items: lens[len(label)] 1 char_count.update(label) if not label or len(label) max_len: bad.append((path, label, 长度异常)) elif any(c not in charset for c in label): bad.append((path, label, 字符集外字符)) return bad, lens, char_count def audit_images(items, expect_size(192, 32)): bad [] for _, path, _ in items: with Image.open(path) as im: if im.size ! expect_size: bad.append((path, im.size, expect_size)) return badaudit_labels返回三类信息坏标签列表、长度分布、字符出现次数。长度分布能看出验证集是否偏短本文还有配套的精品资源点击获取
简介面向深度学习入门与计算机视觉实践的字符型数字验证码识别项目围绕卷积神经网络与循环神经网络的组合建模讲解从数据集准备、图像归一化与数据增强、字符序列编码到模型构建、训练评估与推理的完整流程并给出可直接运行的Python实现与源码参考。压缩包共1210个文件包含978个png、202个jpg验证码及样本图片17个py脚本用于数据处理与模型训练另有txt说明、rst文档和少量模型文件整体约9.58MB便于按数据、代码与文档模块查阅。已有1542人学习适合希望理解CNNRNN验证码识别思路、复现训练过程或对照源码排错的学习者可据此掌握数据集组织、模型搭建与训练调参的关键环节。1. 需求先立住字符型图片数字验证码识别为什么要做成完整管线基于深度学习的字符型图片数字验证码识别完整过程及Python实现真正的门槛不在某个模型结构而在从图片到标签的每一步都能复现。课程设计里常见的情况是模型跑起来了换一批图片就翻车训练集准确率很高答辩现场演示却输在预处理不一致。这套方案面向固定字符集、长度有限的字符型图片验证码在自建或授权测试环境中完成数据生成、字符模型训练、CTC解码、推理封装和验收。读者如果是做毕设或课设可以按章节直接搭如果是从业者做方案交付可以把模块拆开替换。下面从任务边界开始把每个容易踩坑的点落到可执行代码和验收口径。2. 数据与任务定义字符集、长度分布和合成样本管线字符型图片验证码识别最容易出现的一种错觉是拿到一批图片后直接上模型训练loss降得很快验证集却一塌糊涂。根因往往不是网络不够深而是任务边界没有定清楚字符集到底包含哪些字符、长度范围是多少、图片是否允许反色、标注里有没有空标签、训练集和验证集是不是同一批样本的增强副本。数据层一旦含糊后面的CTC解码、准确率统计、答辩演示都会变成玄学。我的习惯是先把输入输出写成一张“任务契约”再谈模型。2.1 任务边界固定字符集、输出字符串和评价口径这套方案把输入定义为单通道灰度图统一缩放到宽192、高32输出定义为字符串字符集采用数字0到9加小写字母并去掉容易混淆的i、l、o长度控制在1到6位。这样做的原因很实际字符集越小分类头越轻CTC的blank占比越容易控制去掉易混字符后标注和人工复核的成本会下降。实际项目里如果必须保留全部字符也可以把字符集换成完整数字加字母但训练样本要覆盖相似字形评估时要单独统计易混字符的混淆矩阵。数据来源分成两类一类是合成样本用于冷启动和覆盖长度分布另一类是自建系统或授权测试环境导出的样本用于校准真实风格。合成样本不能只生成“干净字体”否则模型学到的是字体特征不是字符结构。通常的做法是给每个字符加入随机字号、随机横向间距、轻度旋转、随机噪声线和噪点再以较低概率加高斯模糊。增强强度不要一上来拉满否则小模型会先学噪声。标注文件建议用CSV或JSONL保存“来源ID、图片路径、标签”三列来源ID用于切分避免同一张原图的多个增强副本同时进入训练集和验证集。评价口径要提前定整图准确率看预测字符串和标签是否完全一致字符错误率看编辑距离占标签长度的比例长度准确率看预测长度是否等于标签长度。三个指标一起看才能区分“模型完全没学会”和“模型只漏了一个字符”。如果只报训练loss答辩时很难解释为什么演示图片识别错了。2.2 合成样本管线Pillow绘制、噪声和几何增强下面的脚本用Pillow生成轻中度干扰的字符型样本字符逐个绘制并加入随机旋转、噪声线和噪点。实际项目里把your_font.ttf换成自备字体路径字体数量建议准备3到5种但不要用过于花哨的手写体作为唯一字体。import random from PIL import Image, ImageDraw, ImageFont, ImageFilter CHARSET 0123456789abcdefghjkmnpqrstuvwxyz def random_text(min_len1, max_len6): n random.randint(min_len, max_len) return .join(random.choice(CHARSET) for _ in range(n)) def render_sample(text, width192, height32): canvas Image.new(L, (width, height), 255) x random.randint(2, 8) for ch in text: font_size random.randint(18, 26) try: font ImageFont.truetype(your_font.ttf, font_size) except OSError: font ImageFont.load_default() bbox font.getbbox(ch) w bbox[2] - bbox[0] 4 h bbox[3] - bbox[1] 4 char_img Image.new(L, (w, h), 255) d ImageDraw.Draw(char_img) d.text((2, 2), ch, fontfont, fillrandom.randint(0, 80)) char_img char_img.rotate( random.uniform(-18, 18), resampleImage.BILINEAR, expand1, fillcolor255 ) y random.randint(1, max(1, height - char_img.height - 1)) canvas.paste(char_img, (x, y)) x char_img.width random.randint(0, 3) draw ImageDraw.Draw(canvas) for _ in range(random.randint(0, 3)): draw.line( (random.randint(0, width), random.randint(0, height), random.randint(0, width), random.randint(0, height)), fillrandom.randint(100, 220), width1 ) for _ in range(random.randint(20, 80)): draw.point( (random.randint(0, width - 1), random.randint(0, height - 1)), fillrandom.randint(80, 230) ) if random.random() 0.5: canvas canvas.filter(ImageFilter.GaussianBlur(radiusrandom.uniform(0.3, 1.0))) return canvas这段代码的关键参数有四个width和height决定输入尺寸后续模型的时间步长度由宽度决定font_size控制字符占高比例太小会让CNN特征过弱太大容易字符粘连旋转角度控制在正负18度以内避免字符被裁切噪声线和噪点数量控制在低到中等先让模型学会字符主干。ImageFont.load_default()只是兜底正式训练要换成多字体路径并且把字体文件加入版本管理否则合成样本风格会漂移。注意合成样本只用于教学、课程设计和自建系统测试。不要从真实第三方系统抓取验证码也不要拿这套流程去识别未授权服务。2.3 数据集切分与标签编码避免同源泄漏字符集确定后标签编码必须固定blank用0字符从1开始。CTC损失要求target里不能出现blank也不能出现字符集之外的索引。很多训练不收敛的案例最后查出来是标签编码时把blank也算进了字符表或者训练脚本和推理脚本用了两套字符集顺序。字符集顺序一旦变化模型权重基本作废所以建议把字符集写进配置文件训练和推理都从同一个文件读取。import random CHARSET 0123456789abcdefghjkmnpqrstuvwxyz char2idx {c: i 1 for i, c in enumerate(CHARSET)} idx2char {i 1: c for i, c in enumerate(CHARSET)} BLANK 0 def encode_label(text): return [char2idx[c] for c in text] def split_by_source(items, val_ratio0.2, seed42): # items: [(source_id, image_path, label), ...] ids sorted({x[0] for x in items}) random.Random(seed).shuffle(ids) val_size max(1, int(len(ids) * val_ratio)) val_ids set(ids[:val_size]) train [x for x in items if x[0] not in val_ids] val [x for x in items if x[0] in val_ids] return train, valsplit_by_source按来源ID切分不按图片路径随机切。原因很直接同一张原图可能被增强出十几张副本如果按图片随机切训练集和验证集会共享同一个来源验证准确率会虚高线上演示就会翻车。val_ratio一般取0.2样本很少时按来源切完后要检查验证集长度分布避免验证集全是短标签。标签编码完成后建议打印前几个batch的targets和target_lengths确认没有0、没有越界索引长度和标签字符串一致。3. 模型选型与总体架构CRNN加CTC还是分类头模型选型不需要从“最先进”开始而要从任务约束倒推。字符型验证码如果长度固定、字符集很小直接用CNN多标签分类也能跑如果字符容易切分分割后单字符分类更直观但真实项目里长度经常变化字符还会轻度粘连分割算法一遇到粘连就翻车。这个场景下CRNN加CTC是比较稳的折中CNN提取局部特征BiLSTM建模字符顺序CTC处理不定长对齐省掉了显式分割。3.1 三条路线对比定长分类、分割单字、CRNNCTC路线适用场景优点主要风险CNN多标签分类长度固定、字符集小结构简单训练快长度变化要改输出头字符顺序信息弱分割加单字符分类字符间距明显、干扰少可解释单字准确率好统计粘连、重叠、噪声线导致切分错位CRNN加CTC长度不定、轻中度粘连端到端不需要字符级切分输入宽度和时间步不足时解码困难这张表不是用来堆概念的而是答辩时解释“为什么不用更简单的分类头”的依据。如果项目要求固定6位数字CNN多标签分类完全够用没必要上LSTM如果项目里字符长度1到6位还夹着小写字母CRNN加CTC更合适。选型确定后输入尺寸也要跟着定高度32足够保留字符结构宽度192对应时间步48能覆盖6位字符加重复字符的blank分隔。宽度太小会让CTC在重复字符上解码失败宽度太大则推理延迟上升。3.2 网络结构CNN特征提取、BiLSTM和字符分类头下面的模型把输入B x 1 x 32 x 192经过四段卷积高度从32降到2宽度从192降到48然后在高度方向做平均池化得到B x 256 x 48的特征序列。序列送进双向LSTM最后接线性层输出每个时间步的字符概率。num_classes等于字符集大小加1加的那个1就是CTC的blank。import torch import torch.nn as nn class CRNN(nn.Module): def __init__(self, num_classes, hidden128): super().__init__() def block(cin, cout, pool): return nn.Sequential( nn.Conv2d(cin, cout, 3, padding1), nn.BatchNorm2d(cout), nn.ReLU(inplaceTrue), pool ) self.cnn nn.Sequential( block(1, 64, nn.MaxPool2d(2, 2)), # 32x192 - 16x96 block(64, 128, nn.MaxPool2d(2, 2)), # 16x96 - 8x48 block(128, 256, nn.MaxPool2d((2, 1))), # 8x48 - 4x48 block(256, 256, nn.MaxPool2d((2, 1))), # 4x48 - 2x48 ) self.rnn nn.LSTM( 256, hidden, num_layers1, bidirectionalTrue, batch_firstTrue ) self.fc nn.Linear(hidden * 2, num_classes) def forward(self, x): # x: B x 1 x 32 x 192 f self.cnn(x) # B x 256 x 2 x 48 f f.mean(dim2) # B x 256 x 48 f f.permute(0, 2, 1) # B x 48 x 256 out, _ self.rnn(f) # B x 48 x 256 logits self.fc(out) # B x 48 x num_classes return logits.log_softmax(dim2)hidden128表示单向LSTM隐藏维度双向拼接后是256和CNN输出通道对上。num_classes由len(CHARSET)1决定不能写死。log_softmax放在模型里训练时直接接CTC损失推理时直接取argmax。时间步长度不是手动传的而是由输入宽度和池化层决定如果改写输入宽度要重新算T并检查T是否大于标签长度加重复字符所需的最小长度。通常的做法是先用小样本跑一次前向打印log_probs.shape确认T和标签长度匹配。3.3 CTC损失与贪心解码blank、重复字符和后处理CTC的规则不复杂但细节很容易写错blank索引是0target里不能有0解码时先取每个时间步概率最大的索引再合并连续相同索引最后去掉blank。重复字符必须靠blank隔开例如标签aab在CTC对齐里可能是a blank a b贪心解码时如果直接把连续a合并就会丢字符。下面的解码函数按标准CTC规则处理idx2char从1开始映射。import torch def ctc_loss(log_probs, targets, target_lengths, input_lengths): # log_probs: B x T x C return torch.nn.functional.ctc_loss( log_probs.transpose(0, 1), targets, input_lengths, target_lengths, blank0, zero_infinityTrue ) def greedy_decode(log_probs, idx2char): # log_probs: B x T x C pred log_probs.argmax(dim2) # B x T results [] for seq in pred: out [] prev 0 for k in seq.tolist(): if k ! 0 and k ! prev: out.append(idx2char[k]) prev k results.append(.join(out)) return resultszero_infinityTrue用于避免标签长度超过输入长度时出现无穷大损失但它是保护措施不是解决方案。如果训练日志里频繁出现inf要先查T和标签长度而不是只加这个参数。greedy_decode里的prev初始化为0表示blank连续相同字符只有在中间隔了blank时才会保留。这个后处理不需要额外训练但要在验证脚本和推理脚本里用同一份实现否则训练时准确率正常、部署时字符串被多去重一次线上精度就会掉。4. 训练管线与调参从过拟合小样本到稳定收敛训练管线要解决的不是“把模型跑起来”而是“每次跑起来结果可解释”。字符型验证码的数据集往往不大合成样本和真实样本风格差异明显学习率、batch大小、增强强度都会影响收敛。我的习惯是先用50到100张样本做一次过拟合测试确认模型有能力把训练集背下来再扩到全量。如果小样本都过拟合不了调参没有意义先查标签、字符集、输入尺寸和解码逻辑。4.1 Dataset与Collate变长标签拼接下面的Dataset把图片转灰度、缩放到192x32、转张量并归一化到[-1,1]。归一化参数要和推理脚本一致训练用(0.5,)(0.5,)推理也必须一样。Collate函数把变长标签拼成一维张量同时返回每个标签的长度这是CTC损失需要的格式。import torch from torch.utils.data import Dataset from PIL import Image import torchvision.transforms as T class CaptchaDataset(Dataset): def __init__(self, items, char2idx, img_w192, img_h32): self.items items self.char2idx char2idx self.tf T.Compose([ T.Grayscale(), T.Resize((img_h, img_w)), T.ToTensor(), T.Normalize((0.5,), (0.5,)) ]) def __len__(self): return len(self.items) def __getitem__(self, i): _, path, label self.items[i] img self.tf(Image.open(path).convert(L)) target torch.tensor( [self.char2idx[c] for c in label], dtypetorch.long ) return img, target def collate_fn(batch): imgs, targets zip(*batch) imgs torch.stack(imgs, dim0) target_lengths torch.tensor([len(t) for t in targets], dtypetorch.long) targets torch.cat(targets, dim0) return imgs, targets, target_lengthsT.Resize((img_h, img_w))的参数顺序是高度、宽度别写成宽度、高度否则图片会被拉成怪比例。targets在collate后是一维拼接张量target_lengths记录每条标签的长度顺序必须和batch内图片顺序一致。如果自己重写DataLoader注意shuffleTrue只打乱batch顺序不会打乱targets和target_lengths的对应关系但手动拼接时要用同一个batch顺序不能先打乱图片再单独打乱标签。提示训练前先取一个batch打印imgs.shape、targets、target_lengths确认图片是B x 1 x 32 x 192标签里没有0长度和字符串一致。4.2 训练循环CTC损失、学习率与早停训练循环里最重要的是input_lengths。它表示每个样本的时间步长度当前模型固定输出48步所以可以直接填48。优化器用Adam学习率从1e-3开始权重衰减1e-4梯度裁剪5.0。CTC损失偶尔会出现梯度尖峰梯度裁剪是必要的保险。早停以验证集整图准确率或CER为准连续8轮不提升就停不要只看训练loss。import torch def train_one_epoch(model, loader, optimizer, device): model.train() total_loss 0.0 for imgs, targets, target_lengths in loader: imgs imgs.to(device) targets targets.to(device) target_lengths target_lengths.to(device) log_probs model(imgs) # B x T x C input_lengths torch.full( (imgs.size(0),), log_probs.size(1), dtypetorch.long, devicedevice ) loss torch.nn.functional.ctc_loss( log_probs.transpose(0, 1), targets, input_lengths, target_lengths, blank0, zero_infinityTrue ) optimizer.zero_grad() loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), 5.0) optimizer.step() total_loss loss.item() * imgs.size(0) return total_loss / len(loader.dataset)loss.item() * imgs.size(0)用于按样本数加权平均避免最后一个batch偏小导致loss统计偏差。log_probs.transpose(0,1)把B x T x C转成T x B x C这是PyTorch CTC损失要求的格式。input_lengths必须和log_probs.size(1)一致不能填成图片宽度192。训练日志建议每轮记录训练loss、验证整图准确率、验证CER、学习率如果验证CER先降后升说明增强过强或学习率偏大先把增强概率降下来再考虑调小学习率。4.3 调参顺序先小样本过拟合再加增强调参不要同时改五个参数否则出了问题不知道是谁的锅。我的顺序是第一步取50到100张训练样本关闭旋转和模糊只保留缩放和灰度学习率1e-3batch取16训练20轮左右看训练集能否接近100%整图准确率。如果小样本都背不下来先查标签编码、字符集顺序、输入尺寸和CTC的input_lengths不要急着换模型。第二步扩到全量训练集开启弱增强batch调到64学习率保持1e-3观察验证集是否稳定。第三步逐步加入噪声线、噪点和轻度模糊每次只加一种增强验证CER不降就回退。第四步用早停和固定随机种子复跑一次确认结果可复现。常见参数可以这样起步batch_size64epochs50lr1e-3weight_decay1e-4patience8num_workers4。显存不够时不要直接砍模型先把batch降到32再开梯度累积字符集不大时hidden128已经够用盲目加到256容易过拟合。验证集准确率波动大先检查验证集来源是否和训练集同源再检查预处理是否一致。字符型验证码的调参有一点玄学成分但玄学的部分通常来自数据分布不是来自某个神秘超参数。5. 避坑与排查训练不收敛、切分错位和线上精度掉点这个项目翻车的点很集中基本都落在数据、解码和预处理三处。模型结构反而是最不容易出问题的部分因为CRNN加CTC已经是成熟组合。下面五类问题是我在课程设计和项目交付里见过最多的按“现象、原因、解决”拆开写答辩前可以逐条对照检查。5.1 五类高频翻车点现象、原因和解决现象原因解决训练loss不降或出现NaN标签里混入blank0字符集顺序不一致标签长度超过时间步统一blank0、标签从1开始打印首个batch的targets和target_lengths检查T是否足够loss下降但解码全是空串输入宽度太小导致T不足学习率过大blank占比过高增加输入宽度或减少池化学习率降到3e-4先用小样本确认能解码出非空串验证集准确率高演示图片识别错推理预处理和训练不一致灰度、反色、resize插值不同归一化参数不同把预处理封装成一个函数训练和推理共用固定Resize尺寸和归一化参数重复字符漏识别或字符串被多去重训练样本缺少重复字符解码时把非连续重复也合并后处理重复去重合成样本覆盖aa、11这类重复模式解码严格按CTC规则训练和推理共用解码函数显存不足或推理延迟高输入尺寸过大batch过大LSTM时间步过长固定32x192batch从64降到32推理用torch.no_grad()必要时做模型导出和半精度推理第一类问题最常见也最容易被“换个模型”掩盖。标签里混入0时CTC损失不会直接报错但训练会变得很奇怪所以要在Dataset里加断言assert all(1 t len(CHARSET) for t in target)。第二类问题要区分“模型没学会”和“解码没解出来”可以先在训练集上跑贪心解码看输出是否非空如果训练集也全空基本是T不够或标签长度超限。第三类问题属于部署一致性训练时用Image.open().convert(L)推理时就不能用OpenCV读成BGR再转灰度插值方式也要统一。第四类问题在字符型验证码里很典型。CTC允许重复字符但需要blank分隔如果训练集里几乎没有aa、00这种样本模型在重复字符上的对齐会变弱。合成样本时要有意加入重复字符比例不用太高但必须覆盖。后处理不要在解码函数外面再写一次“相邻去重”否则会把本来合法的重复字符删掉。第五类问题通常不是模型本身而是输入尺寸和batch配置不合理答辩现场用CPU推理时先把torch.no_grad()加上再考虑把batch固定为1。注意排查时先做“最小复现”不要在全量数据上反复训练。取10张训练图、10张验证图、一个固定随机种子能在几分钟内复现的问题不要花几个小时跑完整训练。5.2 排查脚本先看标签、长度和尺寸排查顺序建议从数据开始先审计标签再审计图片尺寸最后看模型输出。下面的脚本会统计长度分布、字符覆盖和坏标签同时检查图片尺寸是否和训练配置一致。把结果打印出来很多问题一眼就能定位。from collections import Counter from PIL import Image def audit_labels(items, charset, max_len6): bad [] lens Counter() char_count Counter() for sid, path, label in items: lens[len(label)] 1 char_count.update(label) if not label or len(label) max_len: bad.append((path, label, 长度异常)) elif any(c not in charset for c in label): bad.append((path, label, 字符集外字符)) return bad, lens, char_count def audit_images(items, expect_size(192, 32)): bad [] for _, path, _ in items: with Image.open(path) as im: if im.size ! expect_size: bad.append((path, im.size, expect_size)) return badaudit_labels返回三类信息坏标签列表、长度分布、字符出现次数。长度分布能看出验证集是否偏短本文还有配套的精品资源点击获取
