简介基于PyQt5的多线程神经网络智能垃圾分类项目非常适合嵌入式、树莓派开发者与图像分类学习者解决小算力设备上的实时垃圾识别与交互问题。项目通过PyQt5搭建操作主界面采用多线程架构主线程负责界面后台线程承载神经网络推理与拍照契合树莓派CPU资源受限的实际场景。包内含作者自制并训练的图像数据集覆盖电池、塑料瓶等多类垃圾测试识别准确率达到100%。压缩包共2000个文件以1196张jpg与789张jpeg图片为主体另有13个py源码、JSON配置及MD说明文档gcxls文件夹为工程代码train与val分别存放训练集和验证集整体562.12MB目录结构清晰便于直接复现。目前已有269人学习下载适合希望从界面设计、多线程调度到模型训练全流程完成的读者。1. 智能垃圾分类项目源码与数据集的真实定位从交付物反推技术栈同样是毕业设计或课程设计仓库里的常客这个标题本质上是一个“桌面端图片分类应用”的完整交付词PyQt5写界面多线程保证识别过程中窗体不冻结神经网络负责把垃圾图片映射到预设类别再配一份能直接训练的数据集。它解决的是“有界面、能演示、有数据”三件事而不是把分类准确率推到极限。适合正在赶交付、或想快速把训练好的模型接进桌面应用的人看。想研究分类算法本身这个项目给不了太多但想搞明白“模型怎么从训练脚本变成一个能点的按钮”它是很完整的脚手架。跑通它最花时间的不是炼丹而是把数据、模型、界面三块按顺序拼起来下面按这个顺序拆。2. 先处理垃圾分类数据集目录清洗、类别映射与训练集划分标题里那份数据集不管装的是什么分类方案常见有可回收、有害、厨余、其他四分类也有塑料瓶、纸箱、电池这种细分类解压后第一件事都不是训练而是把目录清一遍。我在这类项目上花最多时间的往往是数据而不是模型类别名有中文、有空格图片里混着0字节文件各类样本数能差出三倍这些都会在后面训练或部署时以很隐蔽的方式暴露出来。2.1 先摸清数据集长什么样用目录扫描代替肉眼翻图不要急着打开图片一张张看。先做两个“体检”。第一条命令统计每种扩展名的文件数如果混进.gif、.bmp或没有扩展名的文件后面 ImageFolder 读取时未必报错但统一格式能少很多低级问题第二条命令确认目录层级某些数据集会把类别放在二级目录比如“可回收物/塑料瓶”这会直接影响你接下来写类别映射的方式。# 查看文件扩展名分布确认是不是清一色 jpg/png find dataset -type f | sed s/.*\.// | sort | uniq -c # 查看一级类别目录数量和名称 find dataset -maxdepth 1 -type d接着用一段 Python 把每个类别的样本数统计出来顺便发现文件名乱码问题# scan_dataset.py import os from collections import Counter root dataset ext_counter Counter() class_counter Counter() total_files 0 for cls_name in sorted(os.listdir(root)): cls_path os.path.join(root, cls_name) if not os.path.isdir(cls_path): continue files os.listdir(cls_path) class_counter[cls_name] len(files) total_files len(files) for f in files: ext_counter[os.path.splitext(f)[1].lower()] 1 for name, cnt in class_counter.items(): print(f{name}: {cnt} 张) print(f总计: {total_files} 张, 扩展名分布: {dict(ext_counter)})sorted(os.listdir(root))保证类别顺序稳定后续做标签映射时不会出现两次运行结果不一致。样本数打印出来后重点看最少的类和最多的类差距超过3倍就需要在训练环节做类别权重不能直接硬训。检查坏图也要在这一阶段做。Image.open()只打开文件头img.load()才真正把像素读进内存很多解压不完整的数据集要等训练中途才抛 OSError提前扫一遍能把问题暴露在前。# check_images.py from PIL import Image import os broken [] for root_dir, _, files in os.walk(dataset): for f in files: path os.path.join(root_dir, f) try: img Image.open(path) img.load() # 真正解码像素坏图会在这里抛异常 if img.mode ! RGB: # 灰度图或带透明通道的PNG统一转RGB img.convert(RGB).save(path) except Exception as e: broken.append((path, str(e))) print(f损坏文件: {len(broken)}) for p, reason in broken[:30]: print(p, reason)这段脚本会原地覆盖非 RGB 图片。如果你不想动原始 zip就把save(path)改成写到另一个清洗目录比如dataset_clean。这里多说一句img.mode ! RGB判断不能省灰度图直接进训练也能跑但和 ImageNet 预训练权重期望的三通道分布不一致会让迁移学习的效果打折扣。2.2 类别映射与标签统一从中文目录到class_indices.json第二步是把中文目录名重命名成英文或拼音同时生成一份“类别名到索引”的 JSON后续模型训练和 Qt 界面都读同一份 JSON保证两边不会各说各话。# normalize_classes.py import os, json, shutil root dataset # 原始数据集目录 target_root dataset_en # 清洗后目录保留原始zip不动 os.makedirs(target_root, exist_okTrue) class_map { 塑料瓶: plastic, 纸箱: paper, 易拉罐: metal, 玻璃瓶: glass, 5号电池: battery, 果皮: kitchen_waste } label_map {} for idx, (cn_name, en_name) in enumerate(class_map.items()): src os.path.join(root, cn_name) dst os.path.join(target_root, en_name) if os.path.isdir(src): shutil.copytree(src, dst, dirs_exist_okTrue) label_map[en_name] idx with open(class_indices.json, w, encodingutf-8) as f: json.dump(label_map, f, indent2, ensure_asciiFalse) print(类别映射:, json.dumps(label_map, ensure_asciiFalse))class_map的键要和你扫描出来的目录名完全一致enumerate的序号就是模型输出的类别索引训练和推理必须对齐后面 Qt 界面显示的类别名也是按这个顺序来的。json.dump里的ensure_asciiFalse保留中文可读如果词典里仍混着中文这个参数能防止被转成\uXXXX界面端还要多一层解码。这里有个容易踩的坑如果数据集是“大类/小类”两级目录ImageFolder会把“可回收物/塑料瓶”整体当作一个类名训练出来的索引和你预期的完全对不上。这类项目里我一般直接取一级目录作为类别不再套二级分类。2.3 划分训练集与验证集先固定随机种子再调数据增强边界目录清洗完按 8:2 把每个类别分别切出训练集和验证集。注意按类别切不要把所有图片混在一起再随机切否则类别不均衡问题会被进一步放大。# split_dataset.py import os, shutil, random random.seed(42) # 固定随机种子保证可复现 source_root dataset_en train_root data/train val_root data/val for cls in os.listdir(source_root): cls_path os.path.join(source_root, cls) if not os.path.isdir(cls_path): continue files os.listdir(cls_path) random.shuffle(files) split_idx int(len(files) * 0.8) train_files files[:split_idx] val_files files[split_idx:] os.makedirs(os.path.join(train_root, cls), exist_okTrue) os.makedirs(os.path.join(val_root, cls), exist_okTrue) for f in train_files: shutil.copy(os.path.join(cls_path, f), os.path.join(train_root, cls, f)) for f in val_files: shutil.copy(os.path.join(cls_path, f), os.path.join(val_root, cls, f)) print(f{cls}: train {len(train_files)} 张, val {len(val_files)} 张)random.seed(42)必须放在shuffle之前才有效。验证集每类少于20张时建议把比例改成 9:1甚至用 K 折交叉验证但这类课程设计项目 8:2 足够。数据增强参数在垃圾图片分类里不能乱堆。常见最稳的组合是这样增强手段建议参数说明随机裁剪RandomResizedCrop(224, scale(0.8, 1.0))模拟不同距离拍摄水平翻转RandomHorizontalFlip(p0.5)正面拍摄时安全颜色抖动ColorJitter(brightness0.2, contrast0.2, saturation0.2)适应不同光线垂直翻转不建议摄像头不会倒着拍垃圾垂直翻转是很多第一次做的人会踩的点看起来能扩一倍数据但会让模型学到“倒着的瓶子”这种真实使用中几乎不存在的分布。垃圾分类场景里摄像头固定在桶上方或工人手持拍摄垂直翻转后的图像在真实使用时不会出现。3. 神经网络识别模块轻量模型选型、训练参数与ONNX导出这类项目几乎都跑在普通 PC 上PyQt5 界面所在的机器大概率没有 GPU所以模型选择顺序是推理时间优先参数量其次准确率放在最后。一次识别超过 300ms界面再流畅也显得迟钝。3.1 模型选型先看推理时间和CPU占用再看准确率模型参数量约CPU单张推理耗时约适合场景ResNet1811M60–100ms求稳调参简单ResNet3421M120–200ms数据量较大时MobileNetV3-Small2.5M20–40msCPU优先准确率略低EfficientNet-B05M80–150ms要高精度且能等我一般先用 ResNet18 搭一版能跑的流程确认数据流没问题后再换 MobileNetV3-Small 压到 CPU 上。不要一上来就选 EfficientNet-B0它的缩放系数对学习率敏感同样的超参在 ResNet18 上能收敛到 B0 上可能准确率上不去。如果你只需要判断“这张图属于哪个垃圾类别”用图片分类模型就够。常见有人直接套 yolov8 训练自己的数据集那是目标检测要输出“垃圾在哪是什么”才需要纯分类场景里 YOLO 的标注成本和推理耗时都不划算。3.2 训练脚本迁移学习、优化器参数与早停完整训练脚本如下用 ImageFolder 直接读取 2.3 节划分好的目录结构。# train.py import torch import torch.nn as nn from torchvision import datasets, transforms, models device torch.device(cuda if torch.cuda.is_available() else cpu) print(训练设备:, device) transform_train transforms.Compose([ transforms.Resize((256, 256)), transforms.RandomCrop((224, 224)), transforms.RandomHorizontalFlip(p0.5), transforms.ColorJitter(brightness0.2, contrast0.2, saturation0.2), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) transform_val transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) train_data datasets.ImageFolder(data/train, transformtransform_train) val_data datasets.ImageFolder(data/val, transformtransform_val) train_loader torch.utils.data.DataLoader( train_data, batch_size32, shuffleTrue, num_workers4) val_loader torch.utils.data.DataLoader( val_data, batch_size32, shuffleFalse, num_workers4) # 迁移学习加载ImageNet预训练权重 model models.mobilenet_v3_small( weightsmodels.MobileNet_V3_Small_Weights.IMAGENET1K_V1) # 替换分类头把1000类改成自己的类别数 model.classifier[3] nn.Linear(model.classifier[3].in_features, len(train_data.classes)) # 先冻结backbone只训分类头防止小数据集上预训练特征被破坏 for param in model.features.parameters(): param.requires_grad False model.to(device) criterion nn.CrossEntropyLoss() optimizer torch.optim.AdamW( model.parameters(), lr1e-3, weight_decay1e-4) scheduler torch.optim.lr_scheduler.CosineAnnealingLR( optimizer, T_max30) best_acc 0.0 for epoch in range(30): model.train() running_loss 0.0 for images, labels in train_loader: images, labels images.to(device), labels.to(device) optimizer.zero_grad() outputs model(images) loss criterion(outputs, labels) loss.backward() optimizer.step() running_loss loss.item() * images.size(0) # 每个epoch后在验证集上评估一次 model.eval() correct total 0 with torch.no_grad(): for images, labels in val_loader: images, labels images.to(device), labels.to(device) outputs model(images) _, predicted torch.max(outputs, 1) total labels.size(0) correct (predicted labels).sum().item() acc correct / total print(fEpoch {epoch1:02d}/30 | Loss {running_loss/len(train_data):.4f} | Val Acc {acc:.4f}) if acc best_acc: best_acc acc torch.save(model.state_dict(), best_model.pth) print(f 新best acc: {acc:.4f}, 已保存)参数说明batch_size32在没有 GPU 时建议调成 8 或 16显存不够不是唯一原因普通 PC 内存不够时 DataLoader 会报DefaultCPUAllocator相关错误num_workers4在 Windows 上偶尔会卡在迭代环节改成 2 更保险。先冻结model.features只训练分类头跑 3~5 个 epoch 后如果准确率还在涨再解冻所有参数并把学习率降到 1e-4 微调这是小数据集迁移学习的常见做法。脚本里没写解冻段因为对这个体量的 demo只训分类头通常就能到不错的基线。torch.save(model.state_dict(), best_model.pth)只存权重不存结构。部署时用导出脚本重建结构再load_state_dict能避开 PyTorch 版本升级后torch.load整个模型时的反序列化错误。注意加载前必须先把model.classifier[3]替换成相同输出维度顺序反了会报 shape mismatch。3.3 导出ONNX把模型和预处理参数一起钉死PyQt5 端不直接依赖 PyTorch虽然也能用但每次都要带着整一套 torch 环境体积大且版本容易冲突。常见做法是导出 ONNX用 onnxruntime 推理。# export_onnx.py import torch from torchvision import models model models.mobilenet_v3_small(weightsNone) model.classifier[3] torch.nn.Linear(model.classifier[3].in_features, 6) model.load_state_dict(torch.load(best_model.pth, map_locationcpu)) model.eval() dummy_input torch.randn(1, 3, 224, 224) torch.onnx.export( model, dummy_input, garbage_cls.onnx, opset_version13, input_names[input], output_names[output], dynamic_axesNone ) print(ONNX导出完成)weightsNone是为了不重复下载预训练权重直接从best_model.pth加载数字6是类别数和训练时保持一致。dynamic_axesNone把输入尺寸固定成(1, 3, 224, 224)Qt 端 resize 成 224 就能跑不用处理动态宽高。opset_version13是兼容性很好的版本不推荐追新。注意ONNX 模型是“没有归一化”的裸模型。训练时的ToTensor和Normalize(mean, std)不会被打包进去PyQt5 端必须在推理前自己把(H,W,C)的 uint8 图像转成(1,C,H,W)的 float32 并做归一化。这个环节漏掉模型输出会乱七八糟而且不会报错只能靠对比训练时的手感发现。4. 用PyQt5写多线程识别界面线程分工、信号槽传参与实时识别接入PyQt5 的 QApplication 事件循环跑在主线程按钮点击、鼠标移动、窗口重绘都在这个线程里排队。你把session.run()直接写进按钮槽函数推理占用 CPU 的几百毫秒内事件循环被占住窗口就表现为卡死、无响应macOS 上还会被系统标记为“应用程序未响应”。标题特意带“多线程”要解决的就是这个体感问题。4.1 界面为什么会被一次几百毫秒的推理卡死Qt 里做多线程有几个选择QThread、QRunnableQThreadPool或者 Python threading 配合信号转接。这里最常用、也最好讲的方案是 QThread 子类加 pyqtSignal 信号槽。Python 的 GIL 在这里不是瓶颈因为 onnxruntime 底层是 C 推理不持有 GILQThread 让出的 CPU 资源能被真正用起来。4.2 用QThread pyqtSignal实现多线程图片识别先写一个常驻的识别线程类。和每次 new 线程的做法相比常驻线程不会反复创建销毁也方便在窗口关闭时统一回收。# worker.py import numpy as np import onnxruntime as ort from PyQt5.QtCore import QThread, pyqtSignal from PIL import Image class RecognizerWorker(QThread): # 信号参数: 类别索引(int), 置信度(float), 类别名(str) result_ready pyqtSignal(int, float, str) error_occurred pyqtSignal(str) def __init__(self, onnx_path, class_names, parentNone): super().__init__(parent) self.class_names class_names self.image_path None self.session ort.InferenceSession( onnx_path, providers[CPUExecutionProvider]) def run(self): try: img Image.open(self.image_path).convert(RGB) img img.resize((224, 224)) arr np.array(img).astype(np.float32) / 255.0 mean np.array([0.485, 0.456, 0.406], dtypenp.float32) std np.array([0.229, 0.224, 0.225], dtypenp.float32) arr (arr - mean) / std arr arr.transpose(2, 0, 1)[np.newaxis, ...].astype(np.float32) outputs self.session.run(None, {input: arr})[0][0] idx int(np.argmax(outputs)) exp np.exp(outputs - np.max(outputs)) conf float(exp[idx] / np.sum(exp)) self.result_ready.emit(idx, conf, self.class_names[idx]) except Exception as e: self.error_occurred.emit(str(e))代码里需要注意三件事。self.session在__init__里创建而不是在run里创建模型只加载一次如果在 run 里加载每次识别都要重新读一遍模型文件耗时从几十毫秒变成几百毫秒。self.image_path由主线程在start()之前赋值QThread 启动后 run 在子线程执行这个简单赋值是可行的如果要传更复杂的参数更规范的写法是封装成方法并加锁。convert(RGB)防止灰度图、带透明通道 PNG 导致数组维度不一致。主窗口里的调用逻辑# main_window.py 片段 from PyQt5.QtWidgets import QMainWindow, QFileDialog from worker import RecognizerWorker class MainWindow(QMainWindow): def __init__(self): super().__init__() self.worker RecognizerWorker( garbage_cls.onnx, [glass, paper, plastic, metal, battery, kitchen_waste], self ) self.worker.result_ready.connect(self.on_result) self.worker.error_occurred.connect(self.on_error) def choose_file(self): path, _ QFileDialog.getOpenFileName( self, 选择图片, , 图片文件 (*.jpg *.png)) if not path: return if self.worker.isRunning(): # 上次识别还没结束忽略本次点击不要连续 start 同一个 QThread return self.worker.image_path path self.worker.start() def on_result(self, idx, conf, name): self.label_result.setText(f{name} | 置信度: {conf:.2%}) def on_error(self, msg): self.label_result.setText(f识别出错: {msg}) def closeEvent(self, event): if self.worker.isRunning(): self.worker.requestInterruption() self.worker.wait(1000) event.accept()isRunning()这段是血泪经验QThread 对象在start()后不能再次start()否则 Qt 会告警甚至崩溃。closeEvent 里先requestInterruption()再wait(1000)给子线程一点收尾时间超时后继续关闭窗口避免用户点关闭按钮后程序僵在那里。4.3 摄像头实时识别采集线程和识别线程分开接入摄像头后采集和识别如果挤在一个线程里摄像头帧率会被推理拖垮。常见做法是采集线程只负责读帧、显示预览识别线程独立处理最新帧。最小可跑结构如下# camera_worker.py import cv2 from PyQt5.QtCore import QThread, pyqtSignal class CameraWorker(QThread): frame_ready pyqtSignal(object) def __init__(self, parentNone): super().__init__(parent) self.running False def run(self): cap cv2.VideoCapture(0) if not cap.isOpened(): self.running False return self.running True while self.running: ret, frame cap.read() if not ret: continue self.frame_ready.emit(frame.copy()) cap.release()收到frame_ready信号后在主线程里更新预览并触发识别线程做一次推理# main_window.py 片段 def on_frame(self, frame): # cv2 是 BGRQImage 需要 RGB不转的话画面发蓝 rgb cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) h, w, ch rgb.shape qimg QImage(rgb.data, w, h, 3 * w, QImage.Format_RGB888) self.label_camera.setPixmap( QPixmap.fromImage(qimg).scaled( self.label_camera.size(), Qt.KeepAspectRatio)) # 把帧写到临时文件复用图片识别流程 if not self.recognizer.isRunning(): self.recognizer.image_path self.save_temp_frame(frame) self.recognizer.start()QImage(rgb.data, ...)并没有复制像素数据函数返回后frame被释放QPixmap 可能拿到一块被回收的内存出现花屏。稳妥做法是qimg qimg.copy()或者把frame保存为成员变量。另一个细节是识别线程每次都从路径读图摄像头帧在内存里可以先把帧cv2.imwrite到临时文件再去识别虽然多一次磁盘 IO但能完整复用图片识别的代码路径。更讲究一点的方案是在识别线程里加一个“最新待识别帧”缓存线程空闲时取最新一帧推理第6章会再提一句。5. 多线程与界面项目避坑5条能复现的排查记录这里集中记录几个常见翻车点每条按现象、原因、解决三段展开。5.1 点识别按钮后窗口卡死标题栏出现“未响应”现象点击按钮选择图片后整个窗口冻结过几秒才恢复。原因推理代码写在按钮槽函数里。onnxruntime 单次推理虽然只要几十毫秒但加上图片解码、resize、归一化一次完整识别接近 300ms。这期间 PyQt5 主线程事件循环被阻塞窗口不再重绘系统判定“未响应”。解决把读图、预处理、推理全部搬进RecognizerWorker.run()主线程只负责start()和接收信号。注意不只是把session.run()挪走预处理也要一起挪否则主线程一样会被 numpy 计算卡住。5.2 关闭窗口时崩溃QThread: Destroyed while thread is still running现象程序退出或关闭主窗口时控制台打印QThread: Destroyed while thread is still running然后崩溃。原因RecognizerWorker是主窗口的子对象窗口析构时 Qt 会销毁子线程对象但线程还在跑对象析构先于线程结束。解决实现closeEvent先requestInterruption()让 run 里的循环有机会退出再wait(1000)等线程结束。如果 run 里是一次性识别而不是循环wait 超时后直接退出问题也不大。不要用terminate()强制终止线程可能导致模型上下文损坏下次启动识别报错。5.3 标注图片时labelme把PyQt5环境弄坏了现象先装好本项目pip install labelme后再运行程序Qt 报错或界面起不来。这和“labelme 无法安装 pyqt5”是同一类问题。原因pip 把 labelme 依赖的 PyQt5 版本和项目里已有的版本互相覆盖一个环境里多份 Qt 绑定冲突。课程设计里很多人用 labelme 标注垃圾图片这个坑出现频率非常高。解决把标注工具和项目环境隔开。# 单独建一个标注环境避免污染项目环境 conda create -n labelme python3.8 -y conda activate labelme pip install labelme如果已经在一个环境里装乱了先把本项目依赖的 PyQt5 版本固定下来用pip install PyQt55.15.x重新装回。项目运行环境只装pyqt5、onnxruntime、pillow、numpy、opencv-python这几个就够。判断 Qt 绑定是否还正常执行python -c from PyQt5.QtCore import QT_VERSION_STR; print(QT_VERSION_STR)能打印版本号说明没被破坏。5.4 模型能加载但推理报维度错误或者结果和训练对不上现象session.run时报张量维度不匹配或者不报错但识别结果全错比如任何图都识别成同一类。原因维度错误通常是把dummy_input固定为(1, 3, 224, 224)后Qt 端却传入了(1, 224, 224, 3)或者尺寸不是 224。结果全错一般是预处理没做ONNX 模型不包含 Normalize 和 ToTensor训练时的除以 255 和 mean/std 归一化必须由客户端复现。还有一种常见情况是Image.open读进来是 RGB而 opencv 读进来是 BGR通道顺序反了但代码不报错。解决在 worker 里把预处理写成固定四步resize 224 → 转 float32 → 除以 255 → 减 mean 除 std → transpose 成 CHW 并加 batch 维。训练、导出、界面三处各放一份相同的预处理改一处就同步改另外两处。排查时先打印输入数组的 shape、dtype、min、max对照训练时 transform 后的数值范围比对着结果猜高效得多。5.5 验证集准确率不低但界面里测真实照片翻车现象训练阶段验证集 acc 有 90% 以上拿手机拍的垃圾照片进界面识别连续错好几个。原因数据集和真实使用场景分布不一致。这类公开数据集的图片大多是干净抠图或固定背景真实照片有光照、遮挡、复杂背景。另一个原因是类别不均衡整体 acc 被样本多的类别拉高了样本少的类别几乎没学出来。解决第一优先级是补几张真实照片重新训练通常加几十张就有明显改善。第二在训练脚本里给样本少的类别做加权采样WeightedRandomSampler按样本数倒数生成权重比简单复制少数类更不容易过拟合。第三是界面端增加置信度显示预测低于阈值时输出“无法确定”而不是硬给一个答案。阈值怎么调下一章集中说。6. 从能跑到稳用验证脚本找薄弱类别、调置信度阈值、给CPU推理留余量运行界面之前先跑一次逐类测试比整体 acc 更容易发现模型盲区。# evaluate.py import os import numpy as np import onnxruntime as ort from PIL import Image session ort.InferenceSession(garbage_cls.onnx, providers[CPUExecutionProvider]) mean np.array([0.485, 0.456, 0.406], dtypenp.float32) std np.array([0.229, 0.224, 0.225], dtypenp.float32) class_names [glass, paper, plastic, metal, battery, kitchen_waste] for cls in class_names: hit total 0 for fname in os.listdir(fdata/val/{cls}): img Image.open(fdata/val/{cls}/{fname}).convert(RGB).resize((224, 224)) arr (np.array(img).astype(np.float32) / 255.0 - mean) / std arr arr.transpose(2, 0, 1)[np.newaxis, ...].astype(np.float32) pred_idx int(np.argmax(session.run(None, {input: arr})[0][0])) hit (pred_idx class_names.index(cls)) total 1 print(f{cls}: {hit}/{total} {hit/total:.2%})如果某个类别特别低比如纸类只有 60%说明要么样本不够要么它和别的类别外观太接近。接下来做两件事。第一设置识别阈值。模型输出的 softmax 最高置信度只有 0.4 时强行 argmax 很容易给错结论。界面端低于 0.5 显示“无法确定”业务上比硬给一个答案安全。阈值具体取多少拿真实照片跑一遍看正确样本的置信度分布选一个能覆盖大多数正确样本的值。第二给 CPU 推理留余量。onnxruntime 默认会尝试吃满所有 CPU 核心在 Qt 界面里会和主线程抢资源创建 session 时限制线程数import onnxruntime as ort sess_options ort.SessionOptions() sess_options.intra_op_num_threads 2 session ort.InferenceSession( garbage_cls.onnx, sess_optionssess_options, providers[CPUExecutionProvider] )intra_op_num_threads2时单张推理时间会从 30ms 涨到 50ms 左右但窗口拖动、按钮反馈会顺滑很多。摄像头场景还可以在识别线程里只保留“最新待识别帧”线程空闲时从缓存取最新一帧推理处理不过来的帧直接丢弃保证识别结果永远是最新的而不是排队识别一堆旧帧。我自己跑这类项目时的习惯是worker、onnx、class_names 三个文件固定成一套部署模板新任务只改数据准备和类别表关闭程序时严格按“先停摄像头线程再停识别线程最后关窗口”的顺序收尾。头一回做时我也跳过这一步结果每次关闭都崩后来才把这套顺序养成习惯。如果你也在做这个标题下的项目希望这篇能帮你少绕两趟也希望你能比我第一次跑通时少踩几个线程的坑。希望帮到你。本文还有配套的精品资源点击获取
简介基于PyQt5的多线程神经网络智能垃圾分类项目非常适合嵌入式、树莓派开发者与图像分类学习者解决小算力设备上的实时垃圾识别与交互问题。项目通过PyQt5搭建操作主界面采用多线程架构主线程负责界面后台线程承载神经网络推理与拍照契合树莓派CPU资源受限的实际场景。包内含作者自制并训练的图像数据集覆盖电池、塑料瓶等多类垃圾测试识别准确率达到100%。压缩包共2000个文件以1196张jpg与789张jpeg图片为主体另有13个py源码、JSON配置及MD说明文档gcxls文件夹为工程代码train与val分别存放训练集和验证集整体562.12MB目录结构清晰便于直接复现。目前已有269人学习下载适合希望从界面设计、多线程调度到模型训练全流程完成的读者。1. 智能垃圾分类项目源码与数据集的真实定位从交付物反推技术栈同样是毕业设计或课程设计仓库里的常客这个标题本质上是一个“桌面端图片分类应用”的完整交付词PyQt5写界面多线程保证识别过程中窗体不冻结神经网络负责把垃圾图片映射到预设类别再配一份能直接训练的数据集。它解决的是“有界面、能演示、有数据”三件事而不是把分类准确率推到极限。适合正在赶交付、或想快速把训练好的模型接进桌面应用的人看。想研究分类算法本身这个项目给不了太多但想搞明白“模型怎么从训练脚本变成一个能点的按钮”它是很完整的脚手架。跑通它最花时间的不是炼丹而是把数据、模型、界面三块按顺序拼起来下面按这个顺序拆。2. 先处理垃圾分类数据集目录清洗、类别映射与训练集划分标题里那份数据集不管装的是什么分类方案常见有可回收、有害、厨余、其他四分类也有塑料瓶、纸箱、电池这种细分类解压后第一件事都不是训练而是把目录清一遍。我在这类项目上花最多时间的往往是数据而不是模型类别名有中文、有空格图片里混着0字节文件各类样本数能差出三倍这些都会在后面训练或部署时以很隐蔽的方式暴露出来。2.1 先摸清数据集长什么样用目录扫描代替肉眼翻图不要急着打开图片一张张看。先做两个“体检”。第一条命令统计每种扩展名的文件数如果混进.gif、.bmp或没有扩展名的文件后面 ImageFolder 读取时未必报错但统一格式能少很多低级问题第二条命令确认目录层级某些数据集会把类别放在二级目录比如“可回收物/塑料瓶”这会直接影响你接下来写类别映射的方式。# 查看文件扩展名分布确认是不是清一色 jpg/png find dataset -type f | sed s/.*\.// | sort | uniq -c # 查看一级类别目录数量和名称 find dataset -maxdepth 1 -type d接着用一段 Python 把每个类别的样本数统计出来顺便发现文件名乱码问题# scan_dataset.py import os from collections import Counter root dataset ext_counter Counter() class_counter Counter() total_files 0 for cls_name in sorted(os.listdir(root)): cls_path os.path.join(root, cls_name) if not os.path.isdir(cls_path): continue files os.listdir(cls_path) class_counter[cls_name] len(files) total_files len(files) for f in files: ext_counter[os.path.splitext(f)[1].lower()] 1 for name, cnt in class_counter.items(): print(f{name}: {cnt} 张) print(f总计: {total_files} 张, 扩展名分布: {dict(ext_counter)})sorted(os.listdir(root))保证类别顺序稳定后续做标签映射时不会出现两次运行结果不一致。样本数打印出来后重点看最少的类和最多的类差距超过3倍就需要在训练环节做类别权重不能直接硬训。检查坏图也要在这一阶段做。Image.open()只打开文件头img.load()才真正把像素读进内存很多解压不完整的数据集要等训练中途才抛 OSError提前扫一遍能把问题暴露在前。# check_images.py from PIL import Image import os broken [] for root_dir, _, files in os.walk(dataset): for f in files: path os.path.join(root_dir, f) try: img Image.open(path) img.load() # 真正解码像素坏图会在这里抛异常 if img.mode ! RGB: # 灰度图或带透明通道的PNG统一转RGB img.convert(RGB).save(path) except Exception as e: broken.append((path, str(e))) print(f损坏文件: {len(broken)}) for p, reason in broken[:30]: print(p, reason)这段脚本会原地覆盖非 RGB 图片。如果你不想动原始 zip就把save(path)改成写到另一个清洗目录比如dataset_clean。这里多说一句img.mode ! RGB判断不能省灰度图直接进训练也能跑但和 ImageNet 预训练权重期望的三通道分布不一致会让迁移学习的效果打折扣。2.2 类别映射与标签统一从中文目录到class_indices.json第二步是把中文目录名重命名成英文或拼音同时生成一份“类别名到索引”的 JSON后续模型训练和 Qt 界面都读同一份 JSON保证两边不会各说各话。# normalize_classes.py import os, json, shutil root dataset # 原始数据集目录 target_root dataset_en # 清洗后目录保留原始zip不动 os.makedirs(target_root, exist_okTrue) class_map { 塑料瓶: plastic, 纸箱: paper, 易拉罐: metal, 玻璃瓶: glass, 5号电池: battery, 果皮: kitchen_waste } label_map {} for idx, (cn_name, en_name) in enumerate(class_map.items()): src os.path.join(root, cn_name) dst os.path.join(target_root, en_name) if os.path.isdir(src): shutil.copytree(src, dst, dirs_exist_okTrue) label_map[en_name] idx with open(class_indices.json, w, encodingutf-8) as f: json.dump(label_map, f, indent2, ensure_asciiFalse) print(类别映射:, json.dumps(label_map, ensure_asciiFalse))class_map的键要和你扫描出来的目录名完全一致enumerate的序号就是模型输出的类别索引训练和推理必须对齐后面 Qt 界面显示的类别名也是按这个顺序来的。json.dump里的ensure_asciiFalse保留中文可读如果词典里仍混着中文这个参数能防止被转成\uXXXX界面端还要多一层解码。这里有个容易踩的坑如果数据集是“大类/小类”两级目录ImageFolder会把“可回收物/塑料瓶”整体当作一个类名训练出来的索引和你预期的完全对不上。这类项目里我一般直接取一级目录作为类别不再套二级分类。2.3 划分训练集与验证集先固定随机种子再调数据增强边界目录清洗完按 8:2 把每个类别分别切出训练集和验证集。注意按类别切不要把所有图片混在一起再随机切否则类别不均衡问题会被进一步放大。# split_dataset.py import os, shutil, random random.seed(42) # 固定随机种子保证可复现 source_root dataset_en train_root data/train val_root data/val for cls in os.listdir(source_root): cls_path os.path.join(source_root, cls) if not os.path.isdir(cls_path): continue files os.listdir(cls_path) random.shuffle(files) split_idx int(len(files) * 0.8) train_files files[:split_idx] val_files files[split_idx:] os.makedirs(os.path.join(train_root, cls), exist_okTrue) os.makedirs(os.path.join(val_root, cls), exist_okTrue) for f in train_files: shutil.copy(os.path.join(cls_path, f), os.path.join(train_root, cls, f)) for f in val_files: shutil.copy(os.path.join(cls_path, f), os.path.join(val_root, cls, f)) print(f{cls}: train {len(train_files)} 张, val {len(val_files)} 张)random.seed(42)必须放在shuffle之前才有效。验证集每类少于20张时建议把比例改成 9:1甚至用 K 折交叉验证但这类课程设计项目 8:2 足够。数据增强参数在垃圾图片分类里不能乱堆。常见最稳的组合是这样增强手段建议参数说明随机裁剪RandomResizedCrop(224, scale(0.8, 1.0))模拟不同距离拍摄水平翻转RandomHorizontalFlip(p0.5)正面拍摄时安全颜色抖动ColorJitter(brightness0.2, contrast0.2, saturation0.2)适应不同光线垂直翻转不建议摄像头不会倒着拍垃圾垂直翻转是很多第一次做的人会踩的点看起来能扩一倍数据但会让模型学到“倒着的瓶子”这种真实使用中几乎不存在的分布。垃圾分类场景里摄像头固定在桶上方或工人手持拍摄垂直翻转后的图像在真实使用时不会出现。3. 神经网络识别模块轻量模型选型、训练参数与ONNX导出这类项目几乎都跑在普通 PC 上PyQt5 界面所在的机器大概率没有 GPU所以模型选择顺序是推理时间优先参数量其次准确率放在最后。一次识别超过 300ms界面再流畅也显得迟钝。3.1 模型选型先看推理时间和CPU占用再看准确率模型参数量约CPU单张推理耗时约适合场景ResNet1811M60–100ms求稳调参简单ResNet3421M120–200ms数据量较大时MobileNetV3-Small2.5M20–40msCPU优先准确率略低EfficientNet-B05M80–150ms要高精度且能等我一般先用 ResNet18 搭一版能跑的流程确认数据流没问题后再换 MobileNetV3-Small 压到 CPU 上。不要一上来就选 EfficientNet-B0它的缩放系数对学习率敏感同样的超参在 ResNet18 上能收敛到 B0 上可能准确率上不去。如果你只需要判断“这张图属于哪个垃圾类别”用图片分类模型就够。常见有人直接套 yolov8 训练自己的数据集那是目标检测要输出“垃圾在哪是什么”才需要纯分类场景里 YOLO 的标注成本和推理耗时都不划算。3.2 训练脚本迁移学习、优化器参数与早停完整训练脚本如下用 ImageFolder 直接读取 2.3 节划分好的目录结构。# train.py import torch import torch.nn as nn from torchvision import datasets, transforms, models device torch.device(cuda if torch.cuda.is_available() else cpu) print(训练设备:, device) transform_train transforms.Compose([ transforms.Resize((256, 256)), transforms.RandomCrop((224, 224)), transforms.RandomHorizontalFlip(p0.5), transforms.ColorJitter(brightness0.2, contrast0.2, saturation0.2), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) transform_val transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) train_data datasets.ImageFolder(data/train, transformtransform_train) val_data datasets.ImageFolder(data/val, transformtransform_val) train_loader torch.utils.data.DataLoader( train_data, batch_size32, shuffleTrue, num_workers4) val_loader torch.utils.data.DataLoader( val_data, batch_size32, shuffleFalse, num_workers4) # 迁移学习加载ImageNet预训练权重 model models.mobilenet_v3_small( weightsmodels.MobileNet_V3_Small_Weights.IMAGENET1K_V1) # 替换分类头把1000类改成自己的类别数 model.classifier[3] nn.Linear(model.classifier[3].in_features, len(train_data.classes)) # 先冻结backbone只训分类头防止小数据集上预训练特征被破坏 for param in model.features.parameters(): param.requires_grad False model.to(device) criterion nn.CrossEntropyLoss() optimizer torch.optim.AdamW( model.parameters(), lr1e-3, weight_decay1e-4) scheduler torch.optim.lr_scheduler.CosineAnnealingLR( optimizer, T_max30) best_acc 0.0 for epoch in range(30): model.train() running_loss 0.0 for images, labels in train_loader: images, labels images.to(device), labels.to(device) optimizer.zero_grad() outputs model(images) loss criterion(outputs, labels) loss.backward() optimizer.step() running_loss loss.item() * images.size(0) # 每个epoch后在验证集上评估一次 model.eval() correct total 0 with torch.no_grad(): for images, labels in val_loader: images, labels images.to(device), labels.to(device) outputs model(images) _, predicted torch.max(outputs, 1) total labels.size(0) correct (predicted labels).sum().item() acc correct / total print(fEpoch {epoch1:02d}/30 | Loss {running_loss/len(train_data):.4f} | Val Acc {acc:.4f}) if acc best_acc: best_acc acc torch.save(model.state_dict(), best_model.pth) print(f 新best acc: {acc:.4f}, 已保存)参数说明batch_size32在没有 GPU 时建议调成 8 或 16显存不够不是唯一原因普通 PC 内存不够时 DataLoader 会报DefaultCPUAllocator相关错误num_workers4在 Windows 上偶尔会卡在迭代环节改成 2 更保险。先冻结model.features只训练分类头跑 3~5 个 epoch 后如果准确率还在涨再解冻所有参数并把学习率降到 1e-4 微调这是小数据集迁移学习的常见做法。脚本里没写解冻段因为对这个体量的 demo只训分类头通常就能到不错的基线。torch.save(model.state_dict(), best_model.pth)只存权重不存结构。部署时用导出脚本重建结构再load_state_dict能避开 PyTorch 版本升级后torch.load整个模型时的反序列化错误。注意加载前必须先把model.classifier[3]替换成相同输出维度顺序反了会报 shape mismatch。3.3 导出ONNX把模型和预处理参数一起钉死PyQt5 端不直接依赖 PyTorch虽然也能用但每次都要带着整一套 torch 环境体积大且版本容易冲突。常见做法是导出 ONNX用 onnxruntime 推理。# export_onnx.py import torch from torchvision import models model models.mobilenet_v3_small(weightsNone) model.classifier[3] torch.nn.Linear(model.classifier[3].in_features, 6) model.load_state_dict(torch.load(best_model.pth, map_locationcpu)) model.eval() dummy_input torch.randn(1, 3, 224, 224) torch.onnx.export( model, dummy_input, garbage_cls.onnx, opset_version13, input_names[input], output_names[output], dynamic_axesNone ) print(ONNX导出完成)weightsNone是为了不重复下载预训练权重直接从best_model.pth加载数字6是类别数和训练时保持一致。dynamic_axesNone把输入尺寸固定成(1, 3, 224, 224)Qt 端 resize 成 224 就能跑不用处理动态宽高。opset_version13是兼容性很好的版本不推荐追新。注意ONNX 模型是“没有归一化”的裸模型。训练时的ToTensor和Normalize(mean, std)不会被打包进去PyQt5 端必须在推理前自己把(H,W,C)的 uint8 图像转成(1,C,H,W)的 float32 并做归一化。这个环节漏掉模型输出会乱七八糟而且不会报错只能靠对比训练时的手感发现。4. 用PyQt5写多线程识别界面线程分工、信号槽传参与实时识别接入PyQt5 的 QApplication 事件循环跑在主线程按钮点击、鼠标移动、窗口重绘都在这个线程里排队。你把session.run()直接写进按钮槽函数推理占用 CPU 的几百毫秒内事件循环被占住窗口就表现为卡死、无响应macOS 上还会被系统标记为“应用程序未响应”。标题特意带“多线程”要解决的就是这个体感问题。4.1 界面为什么会被一次几百毫秒的推理卡死Qt 里做多线程有几个选择QThread、QRunnableQThreadPool或者 Python threading 配合信号转接。这里最常用、也最好讲的方案是 QThread 子类加 pyqtSignal 信号槽。Python 的 GIL 在这里不是瓶颈因为 onnxruntime 底层是 C 推理不持有 GILQThread 让出的 CPU 资源能被真正用起来。4.2 用QThread pyqtSignal实现多线程图片识别先写一个常驻的识别线程类。和每次 new 线程的做法相比常驻线程不会反复创建销毁也方便在窗口关闭时统一回收。# worker.py import numpy as np import onnxruntime as ort from PyQt5.QtCore import QThread, pyqtSignal from PIL import Image class RecognizerWorker(QThread): # 信号参数: 类别索引(int), 置信度(float), 类别名(str) result_ready pyqtSignal(int, float, str) error_occurred pyqtSignal(str) def __init__(self, onnx_path, class_names, parentNone): super().__init__(parent) self.class_names class_names self.image_path None self.session ort.InferenceSession( onnx_path, providers[CPUExecutionProvider]) def run(self): try: img Image.open(self.image_path).convert(RGB) img img.resize((224, 224)) arr np.array(img).astype(np.float32) / 255.0 mean np.array([0.485, 0.456, 0.406], dtypenp.float32) std np.array([0.229, 0.224, 0.225], dtypenp.float32) arr (arr - mean) / std arr arr.transpose(2, 0, 1)[np.newaxis, ...].astype(np.float32) outputs self.session.run(None, {input: arr})[0][0] idx int(np.argmax(outputs)) exp np.exp(outputs - np.max(outputs)) conf float(exp[idx] / np.sum(exp)) self.result_ready.emit(idx, conf, self.class_names[idx]) except Exception as e: self.error_occurred.emit(str(e))代码里需要注意三件事。self.session在__init__里创建而不是在run里创建模型只加载一次如果在 run 里加载每次识别都要重新读一遍模型文件耗时从几十毫秒变成几百毫秒。self.image_path由主线程在start()之前赋值QThread 启动后 run 在子线程执行这个简单赋值是可行的如果要传更复杂的参数更规范的写法是封装成方法并加锁。convert(RGB)防止灰度图、带透明通道 PNG 导致数组维度不一致。主窗口里的调用逻辑# main_window.py 片段 from PyQt5.QtWidgets import QMainWindow, QFileDialog from worker import RecognizerWorker class MainWindow(QMainWindow): def __init__(self): super().__init__() self.worker RecognizerWorker( garbage_cls.onnx, [glass, paper, plastic, metal, battery, kitchen_waste], self ) self.worker.result_ready.connect(self.on_result) self.worker.error_occurred.connect(self.on_error) def choose_file(self): path, _ QFileDialog.getOpenFileName( self, 选择图片, , 图片文件 (*.jpg *.png)) if not path: return if self.worker.isRunning(): # 上次识别还没结束忽略本次点击不要连续 start 同一个 QThread return self.worker.image_path path self.worker.start() def on_result(self, idx, conf, name): self.label_result.setText(f{name} | 置信度: {conf:.2%}) def on_error(self, msg): self.label_result.setText(f识别出错: {msg}) def closeEvent(self, event): if self.worker.isRunning(): self.worker.requestInterruption() self.worker.wait(1000) event.accept()isRunning()这段是血泪经验QThread 对象在start()后不能再次start()否则 Qt 会告警甚至崩溃。closeEvent 里先requestInterruption()再wait(1000)给子线程一点收尾时间超时后继续关闭窗口避免用户点关闭按钮后程序僵在那里。4.3 摄像头实时识别采集线程和识别线程分开接入摄像头后采集和识别如果挤在一个线程里摄像头帧率会被推理拖垮。常见做法是采集线程只负责读帧、显示预览识别线程独立处理最新帧。最小可跑结构如下# camera_worker.py import cv2 from PyQt5.QtCore import QThread, pyqtSignal class CameraWorker(QThread): frame_ready pyqtSignal(object) def __init__(self, parentNone): super().__init__(parent) self.running False def run(self): cap cv2.VideoCapture(0) if not cap.isOpened(): self.running False return self.running True while self.running: ret, frame cap.read() if not ret: continue self.frame_ready.emit(frame.copy()) cap.release()收到frame_ready信号后在主线程里更新预览并触发识别线程做一次推理# main_window.py 片段 def on_frame(self, frame): # cv2 是 BGRQImage 需要 RGB不转的话画面发蓝 rgb cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) h, w, ch rgb.shape qimg QImage(rgb.data, w, h, 3 * w, QImage.Format_RGB888) self.label_camera.setPixmap( QPixmap.fromImage(qimg).scaled( self.label_camera.size(), Qt.KeepAspectRatio)) # 把帧写到临时文件复用图片识别流程 if not self.recognizer.isRunning(): self.recognizer.image_path self.save_temp_frame(frame) self.recognizer.start()QImage(rgb.data, ...)并没有复制像素数据函数返回后frame被释放QPixmap 可能拿到一块被回收的内存出现花屏。稳妥做法是qimg qimg.copy()或者把frame保存为成员变量。另一个细节是识别线程每次都从路径读图摄像头帧在内存里可以先把帧cv2.imwrite到临时文件再去识别虽然多一次磁盘 IO但能完整复用图片识别的代码路径。更讲究一点的方案是在识别线程里加一个“最新待识别帧”缓存线程空闲时取最新一帧推理第6章会再提一句。5. 多线程与界面项目避坑5条能复现的排查记录这里集中记录几个常见翻车点每条按现象、原因、解决三段展开。5.1 点识别按钮后窗口卡死标题栏出现“未响应”现象点击按钮选择图片后整个窗口冻结过几秒才恢复。原因推理代码写在按钮槽函数里。onnxruntime 单次推理虽然只要几十毫秒但加上图片解码、resize、归一化一次完整识别接近 300ms。这期间 PyQt5 主线程事件循环被阻塞窗口不再重绘系统判定“未响应”。解决把读图、预处理、推理全部搬进RecognizerWorker.run()主线程只负责start()和接收信号。注意不只是把session.run()挪走预处理也要一起挪否则主线程一样会被 numpy 计算卡住。5.2 关闭窗口时崩溃QThread: Destroyed while thread is still running现象程序退出或关闭主窗口时控制台打印QThread: Destroyed while thread is still running然后崩溃。原因RecognizerWorker是主窗口的子对象窗口析构时 Qt 会销毁子线程对象但线程还在跑对象析构先于线程结束。解决实现closeEvent先requestInterruption()让 run 里的循环有机会退出再wait(1000)等线程结束。如果 run 里是一次性识别而不是循环wait 超时后直接退出问题也不大。不要用terminate()强制终止线程可能导致模型上下文损坏下次启动识别报错。5.3 标注图片时labelme把PyQt5环境弄坏了现象先装好本项目pip install labelme后再运行程序Qt 报错或界面起不来。这和“labelme 无法安装 pyqt5”是同一类问题。原因pip 把 labelme 依赖的 PyQt5 版本和项目里已有的版本互相覆盖一个环境里多份 Qt 绑定冲突。课程设计里很多人用 labelme 标注垃圾图片这个坑出现频率非常高。解决把标注工具和项目环境隔开。# 单独建一个标注环境避免污染项目环境 conda create -n labelme python3.8 -y conda activate labelme pip install labelme如果已经在一个环境里装乱了先把本项目依赖的 PyQt5 版本固定下来用pip install PyQt55.15.x重新装回。项目运行环境只装pyqt5、onnxruntime、pillow、numpy、opencv-python这几个就够。判断 Qt 绑定是否还正常执行python -c from PyQt5.QtCore import QT_VERSION_STR; print(QT_VERSION_STR)能打印版本号说明没被破坏。5.4 模型能加载但推理报维度错误或者结果和训练对不上现象session.run时报张量维度不匹配或者不报错但识别结果全错比如任何图都识别成同一类。原因维度错误通常是把dummy_input固定为(1, 3, 224, 224)后Qt 端却传入了(1, 224, 224, 3)或者尺寸不是 224。结果全错一般是预处理没做ONNX 模型不包含 Normalize 和 ToTensor训练时的除以 255 和 mean/std 归一化必须由客户端复现。还有一种常见情况是Image.open读进来是 RGB而 opencv 读进来是 BGR通道顺序反了但代码不报错。解决在 worker 里把预处理写成固定四步resize 224 → 转 float32 → 除以 255 → 减 mean 除 std → transpose 成 CHW 并加 batch 维。训练、导出、界面三处各放一份相同的预处理改一处就同步改另外两处。排查时先打印输入数组的 shape、dtype、min、max对照训练时 transform 后的数值范围比对着结果猜高效得多。5.5 验证集准确率不低但界面里测真实照片翻车现象训练阶段验证集 acc 有 90% 以上拿手机拍的垃圾照片进界面识别连续错好几个。原因数据集和真实使用场景分布不一致。这类公开数据集的图片大多是干净抠图或固定背景真实照片有光照、遮挡、复杂背景。另一个原因是类别不均衡整体 acc 被样本多的类别拉高了样本少的类别几乎没学出来。解决第一优先级是补几张真实照片重新训练通常加几十张就有明显改善。第二在训练脚本里给样本少的类别做加权采样WeightedRandomSampler按样本数倒数生成权重比简单复制少数类更不容易过拟合。第三是界面端增加置信度显示预测低于阈值时输出“无法确定”而不是硬给一个答案。阈值怎么调下一章集中说。6. 从能跑到稳用验证脚本找薄弱类别、调置信度阈值、给CPU推理留余量运行界面之前先跑一次逐类测试比整体 acc 更容易发现模型盲区。# evaluate.py import os import numpy as np import onnxruntime as ort from PIL import Image session ort.InferenceSession(garbage_cls.onnx, providers[CPUExecutionProvider]) mean np.array([0.485, 0.456, 0.406], dtypenp.float32) std np.array([0.229, 0.224, 0.225], dtypenp.float32) class_names [glass, paper, plastic, metal, battery, kitchen_waste] for cls in class_names: hit total 0 for fname in os.listdir(fdata/val/{cls}): img Image.open(fdata/val/{cls}/{fname}).convert(RGB).resize((224, 224)) arr (np.array(img).astype(np.float32) / 255.0 - mean) / std arr arr.transpose(2, 0, 1)[np.newaxis, ...].astype(np.float32) pred_idx int(np.argmax(session.run(None, {input: arr})[0][0])) hit (pred_idx class_names.index(cls)) total 1 print(f{cls}: {hit}/{total} {hit/total:.2%})如果某个类别特别低比如纸类只有 60%说明要么样本不够要么它和别的类别外观太接近。接下来做两件事。第一设置识别阈值。模型输出的 softmax 最高置信度只有 0.4 时强行 argmax 很容易给错结论。界面端低于 0.5 显示“无法确定”业务上比硬给一个答案安全。阈值具体取多少拿真实照片跑一遍看正确样本的置信度分布选一个能覆盖大多数正确样本的值。第二给 CPU 推理留余量。onnxruntime 默认会尝试吃满所有 CPU 核心在 Qt 界面里会和主线程抢资源创建 session 时限制线程数import onnxruntime as ort sess_options ort.SessionOptions() sess_options.intra_op_num_threads 2 session ort.InferenceSession( garbage_cls.onnx, sess_optionssess_options, providers[CPUExecutionProvider] )intra_op_num_threads2时单张推理时间会从 30ms 涨到 50ms 左右但窗口拖动、按钮反馈会顺滑很多。摄像头场景还可以在识别线程里只保留“最新待识别帧”线程空闲时从缓存取最新一帧推理处理不过来的帧直接丢弃保证识别结果永远是最新的而不是排队识别一堆旧帧。我自己跑这类项目时的习惯是worker、onnx、class_names 三个文件固定成一套部署模板新任务只改数据准备和类别表关闭程序时严格按“先停摄像头线程再停识别线程最后关窗口”的顺序收尾。头一回做时我也跳过这一步结果每次关闭都崩后来才把这套顺序养成习惯。如果你也在做这个标题下的项目希望这篇能帮你少绕两趟也希望你能比我第一次跑通时少踩几个线程的坑。希望帮到你。本文还有配套的精品资源点击获取
