深度学习实战-基于Resnet50的青光眼疾病图像识别模型

‍♂️ 个人主页艾派森的个人主页✍作者简介Python学习者 希望大家多多支持我们一起进步如果文章对你有帮助的话欢迎评论 点赞 收藏 加关注目录1.项目背景2.数据集介绍3.技术工具4.实验过程4.1导入数据4.2数据可视化4.3特征工程4.4构建模型4.5训练模型4.6模型评估5.总结1.项目背景在现代眼科临床诊断与公共卫生防盲治盲体系中青光眼作为全球首位不可逆性致盲眼病其早期的隐匿性与突发性对传统筛查模式提出了严峻的挑战。由于该病变在发病初期症状极不明显大量患者在确诊时已造成了不可逆的视神经萎缩与视野缺损。传统的临床筛查高度依赖资深眼科医生对眼底彩照中的视盘、视杯形态及杯盘比进行人工判读。然而这种依靠主观经验的诊断模式不仅极度消耗专家资源且在基层医疗或大面积人群普查中面临复盖率低、误诊率高的工程瓶颈。随着医学影像技术的数字化转型与智能医疗的深入推进如何利用计算机视觉技术提取精细的解剖学异质性特征构建自动、高效且稳健的眼底病变识别系统已成为辅助临床诊断、优化医疗资源配置的紧迫技术课题。本项目立足于医学影像分析与迁移学习的交叉前沿展开了基于深度学习架构的青光眼全自动辅助筛查研究。实验围绕眼底彩照中视网膜血管走势及视神经乳头的微观形变规律深度部署了具备卓越残差拟合能力的ResNet50神经网络模型。通过重构预训练骨干网络的末端分类决策头模型成功实现了通用视觉先验向眼科垂直病理诊断空间的深度迁移。在整个技术闭环中方案不仅打通了从医学图像流式动态增强、硬件加速自适应映射到多维定量评估的端到端管线更通过对独立测试集的深度透视科学量化了模型在保障高准确率的同时控制医疗漏诊率的实战效能为开发下沉至社区和基层医院的便携式智能眼底筛查设备提供了可靠的算法支撑与工程技术参照。2.数据集介绍本实验数据集来源于Kaggle的青光眼数据集Hillel Yaffe 青光眼数据集 (HYGD) 是一个经过精心整理的、黄金标准的带标注眼底图像集合旨在用于青光眼的自动检测和分类。该数据集提供高质量的图像对于训练和评估眼科诊断领域的机器学习和深度学习模型至关重要。青光眼是全球导致不可逆性失明的主要原因之一。早期发现对于有效治疗和保护视力至关重要。本数据集旨在通过提供可靠的、带注释的资源弥合临床眼科学与人工智能之间的差距从而促进开发强大的自动化诊断工具。数据集内容图像包含 747 张高分辨率眼底图像图像目录。注释包含一个 Labels.csv 文件为每张图像提供结构化的元数据。文档包含 README.md 和 LICENSE.txt其中包含技术规范和使用权信息。完整性提供了一个 SHA256SUMS.txt 文件以确保在下载和处理过程中数据的完整性。潜在应用案例疾病检测训练二元或多类分类器来识别青光眼眼底图像与健康眼底图像。计算机视觉研究开发视盘和视杯分割算法。医疗人工智能开发实现和评估用于医学图像分析的深度学习架构例如CNN、Vision Transformer。3.技术工具Python版本:3.9代码编辑器jupyter notebook4.实验过程4.1导入数据在临床眼科诊断与防盲治盲工作中青光眼作为全球首位不可逆性致盲眼病其早期的隐匿性使得临床筛查面临巨大挑战。传统的眼底彩照人工判读不仅极度消耗专家资源且受限于主观经验在基层医疗机构中难以实现大面积覆盖。本项目深入临床医学影像与计算机视觉的交叉领域利用 PyTorch 深度学习框架构建了一套基于ResNet50深度残差网络的眼底图像青光眼全自动识别方案。实验流程第一步聚焦于底层环境的初始化与病理标签数据的结构化解析。通过导入核心的张量计算、医学图像处理及模型评估组件并利用 Pandas 对临床标注的 CSV 数据集进行深度清洗与字段剔除不仅实现了计算硬件GPU/CPU的自适应分配也为后续构建稳健的眼底图流式动态加载管道奠定了规范的数据形态。import os import numpy as np import pandas as pd import matplotlib.pyplot as plt from PIL import Image import torch import torch.nn as nn from torch.utils.data import Dataset, DataLoader import torchvision from torchvision import transforms from sklearn.model_selection import train_test_split from sklearn.metrics import ( accuracy_score, classification_report, confusion_matrix ) from torchvision.models import resnet50 # --- 1. 计算硬件加速自适应配置 --- # 优先检测当前环境中是否存在可用的英伟达 GPU 加速芯片否则回退至 CPU 计算 device torch.device(cuda if torch.cuda.is_available() else cpu) # --- 2. 物理数据集标注文件读取 --- csv_path /kaggle/input/datasets/nilesh2042/hillel-yaffe-glaucoma-dataset-hygd-images/hillel-yaffe-glaucoma-dataset-hygd-a-gold-standard-annotated-fundus-dataset-for-glaucoma-detection-1.1.0/Labels.csv df pd.read_csv(csv_path) # --- 3. 结构化表格清洗与冗余字段剔除 --- # 去除数据集中未命名的空白杂质列确保 DataFrame 数据对齐 df df.drop(columns[Unnamed: 4]) # 预览前五行数据初步核验图像路径、患者ID及疾病标签的映射关系 df.head()4.2数据可视化在医学图像分类任务中深入了解病变样本的底层形态与色彩分布是设计鲁棒特征流水线的重要前提。青光眼的临床诊断通常依赖于眼底彩照中视盘、视杯的解剖学变异如杯盘比扩大、视网膜神经纤维层缺损等因此在将影像输入残差网络前必须进行路径的映射重组与物理抽检。本阶段首先利用 Lambda 表达式实现图像文件名与物理硬盘存储路径的流式组装并利用随机采样逻辑调取多幅眼底图进行网格化渲染帮助我们从宏观上审视光照分布、对比度波动以及病灶特征的清晰度。import random # --- 1. 物理图像存储根目录配置 --- IMAGE_DIR /kaggle/input/datasets/nilesh2042/hillel-yaffe-glaucoma-dataset-hygd-images/hillel-yaffe-glaucoma-dataset-hygd-a-gold-standard-annotated-fundus-dataset-for-glaucoma-detection-1.1.0/Images image_files os.listdir(IMAGE_DIR) # --- 2. 动态路径合成与 DataFrame 字段扩展 --- # 利用匿名函数将根目录路径与文件名列进行字符串拼接生成完整的物理文件访问索引 df[image_path] df[Image Name].apply( lambda x: os.path.join(IMAGE_DIR, x) ) # --- 3. 2x3 临床眼底图矩阵网络画布组装 --- fig, axes plt.subplots(2, 3, figsize(12, 8)) # 扁平化轴阵列循环抽取样本执行定量回显 for ax in axes.flatten(): # 随机挑选当前图像池中的一个眼底样本文件名 img_name random.choice(image_files) img_path os.path.join(IMAGE_DIR, img_name) # 依托 PIL 引擎加载物理影像并渲染至对应的子图 img Image.open(img_path) ax.imshow(img) ax.set_title(img_name) # 将子图标题设置为当前文件名以便于追溯病理编号 ax.axis(off) # 移除传统物理坐标轴聚焦于眼底解剖结构本身 plt.tight_layout() plt.show()通过这一阶段的映射与可视化数据流水线的完备性得到了初步验证。将合成的物理路径存储于 DataFrame 中避免了后续训练时频繁执行磁盘扫描带来的算力空耗而随机采样的 2 x 3 眼底图像网格则揭示了真实医学影像中的常见技术挑战如不同批次间的光照异质性、眼底视网膜血管分布的错综复杂等。这些直观的视觉反馈明确地告诉我们在下一阶段的特征工程中必须引入标准化的中心裁剪与对比度归一化才能协助ResNet50绕开环境环境噪声将有限的感受野精准聚焦于视神经乳头的微观病变区。4.3特征工程在深度学习临床医学影像任务中特征工程的核心价值在于构建严谨的受试者数据隔离流水线并通过针对性的光学扰动增强模型面对多机构影像时的泛化边界。本阶段首先实现临床病理文本标签向离散整数张量的数字化映射接着采用多阶分层抽样技术将患者数据集严密划分为训练集、验证集与独立测试集。随后针对眼底照相机光源不均及视网膜形态的异质性定制了双轨制的torchvision.transforms预处理算子并继承自 PyTorch 的 Base Dataset 构建了流式数据异步加载管道实现了物理眼底图像向张量矩阵的无缝转化与高效批分发。# # 第一部分临床标签数字化、多阶分层划分与数据增强配置 # # --- 1. 临床医学文本标签向离散整数标签的映射映射 --- label_map { GON-: 0, # Healthy (健康眼底彩照) GON: 1 # Glaucoma (确诊青光眼病理影像) } df[target] df[Label].map(label_map) # --- 2. 引入分层抽样机制执行多阶数据集切分 --- # stratifydf[target] 确保训练集和测试集中的健康与青光眼样本比例与原始大盘严格保持一致 train_df, test_df train_test_split(df, test_size0.2, random_state42, stratifydf[target]) train_df, val_df train_test_split(train_df, test_size0.2, random_state42, stratifytrain_df[target]) # --- 3. 训练集数据增强与标准化管道配置 --- train_transform transforms.Compose([ transforms.Resize((224,224)), # 将眼底图统一缩放至 ResNet50 的标准输入尺寸 transforms.RandomHorizontalFlip(), # 模拟左/右眼底镜像的空间对称性 transforms.RandomRotation(10), # 模拟由于患者头部轻微倾斜带来的解剖位置偏移 transforms.ColorJitter( brightness0.2, contrast0.2 ), # 模拟不同品牌眼底相机如Topcon或Zeiss的光源照度与对比度波动 transforms.ToTensor(), # 将 HWC 格式的 PIL 图像转化为 CHW 的 PyTorch 张量 transforms.Normalize( mean[0.485,0.456,0.406], std[0.229,0.224,0.225] ) # 基于 ImageNet 数据集的均值与标准差执行全通道归一化 ]) # --- 4. 验证集与测试集标准化管道配置 --- # 注意测试阶段严禁使用任何随机翻转与色彩扰动以保障评估的客观客观性 test_transform transforms.Compose([ transforms.Resize((224,224)), transforms.ToTensor(), transforms.Normalize( mean[0.485,0.456,0.406], std[0.229,0.224,0.225] ) ]) # 打印各子集样本规模核验数据资产分布 print(Train:, len(train_df)) print(Validation:, len(val_df)) print(Test:, len(test_df)) # # 第二部分自定义 PyTorch 数据集定义与高并发 DataLoader 实例化 # # --- 5. 继承 Dataset 类自定义眼底图像流式加载器 --- class GlaucomaDataset(Dataset): def __init__(self, dataframe, transformNone): # 必须重置索引确保通过 loc 检索连续逻辑序号时不会引发 KeyError 报错 self.df dataframe.reset_index(dropTrue) self.transform transform def __len__(self): return len(self.df) def __getitem__(self, idx): # 动态索引当前批次的物理图片文件存储路径 image_path self.df.loc[idx, image_path] # 转换为三通道 RGB 模式消除部分特殊医学格式产生的 alpha 通道杂质 image Image.open(image_path).convert(RGB) # 调取临床真值标签 label self.df.loc[idx, target] # 流式触发张量处理与标准化增强 if self.transform: image self.transform(image) return image, torch.tensor(label, dtypetorch.long) # --- 6. 实例化三个独立的医学数据集对象 --- train_dataset GlaucomaDataset(train_df, transformtrain_transform) val_dataset GlaucomaDataset(val_df, transformtest_transform) test_dataset GlaucomaDataset(test_df, transformtest_transform) # --- 7. 构建多线程异步流式数据分发加载器 --- # 配合 16 的小批次大小num_workers2 开启多进程加速数据矩阵解码 train_loader DataLoader(train_dataset, batch_size16, shuffleTrue, num_workers2) val_loader DataLoader(val_dataset, batch_size16, shuffleFalse, num_workers2) test_loader DataLoader(test_dataset, batch_size16, shuffleFalse, num_workers2) # --- 8. 抽取首批数据执行管线深度打通验证 --- images, labels next(iter(train_loader)) print(images.shape) # 预期输出: torch.Size([16, 3, 224, 224]) print(labels.shape) # 预期输出: torch.Size([16]) print(labels[:10]) # 打印当前批次前 10 个样本的离散疾病真值标签数据管道的全面实例化与自检成功完成。控制台回显的训练集、验证集与测试集数量展示了清晰的受试者分配逻辑。通过next(iter(train_loader))的边界测试我们成功获取到了第一组形如[16, 3, 224, 224]的四维批次图像张量。这意味着 CPU 已经成功在内存中完成了图像的解码、缩放、灰度变换与多通道归一化整个特征工程的输出形态与后续ResNet50的第一层三维空间感受野达成了完美的维度对齐数据流可以安全地推向计算硬件。4.4构建模型在医学影像识别领域利用在大规模通用视觉数据集上训练成熟的深度残差网络进行迁移学习是解决医疗样本稀缺、加速模型收敛的经典策略。ResNet50凭借其独特的跨层恒等映射机制能够有效避免网络加深带来的梯度色散其浅层和中层卷积组积攒了强大的边缘、纹理及高级空间结构感知能力。针对眼底彩照中视盘与视杯的微观解剖形变我们无需从零训练庞大的特征提取器而是通过保留其强大的骨干权重专职重构其末端的全连接分类决策头使其在保持原有高阶视觉感知力的同时精准适配本次青光眼二分类任务的输出维度。# --- 1. 导入具备高阶先验特征的预训练 ResNet50 骨架网络 --- # 选用官方深度优化的 IMAGENET1K_V2 权重版本其相比 V1 具有更强的特征泛化与表示上限 model resnet50(weightsIMAGENET1K_V2) # --- 2. 动态解析原始分类头的输入特征维度 --- # 提取 ResNet50 最后一层全连接层fc的输入神经元通道数预期为 2048 维 num_features model.fc.in_features # --- 3. 重构全连接层分类决策头 --- # 将原先面向 ImageNet 千分类的输出拓扑替换为面向“健康 / 青光眼”的全新线性映射层输出维度为 2 model.fc nn.Linear(num_features, 2) # --- 4. 将计算图与网络参数全面推向目标计算硬件 --- # 配合前期的硬件检测将模型权重整体载入 GPU 显存或 CPU为前向传播做准备 model model.to(device)本环节成功完成了核心分类网络的拓扑重组与硬件常驻。通过调取代表通用视觉特征最高水平之一的IMAGENET1K_V2权重模型在物理层面上已经具备了辨识微观色彩渐变与几何边界的“视力”。通过破坏原有的model.fc并重新实例化一个输入为 2048 维、输出为 2 维的nn.Linear算子我们强迫网络在后续的微调Fine-tuning训练中将所有注意力聚焦于如何将眼底图像的高维语义特征映射到临床诊断标签上完成了从通用目标检测向专业医疗辅助诊断的技术跨越。4.5训练模型在深度学习模型的生命周期中训练控制循环是决定模型能否将先验视觉能力转化为垂直领域诊断精度的关键阶段。青光眼识别作为一项严谨的医疗辅助诊断任务其参数优化过程需要兼顾收敛的平稳性与泛化边界。本阶段通过配置标准的标准交叉熵损失函数CrossEntropyLoss来量化预测概率与临床真值之间的偏差并引入Adam 优化器以 0.0001 的精细步长对网络参数实施渐进式微调。通过显式切换模型的训练train()与评估eval()状态我们在 10 个 Epoch 的双轨控制循环中交替执行前向传播、梯度反向传播以及无梯度的验证集性能盘点将每一轮的损失值与准确率动态固化至历史监控容器中。# --- 1. 损失函数与参数优化器配置 --- criterion nn.CrossEntropyLoss() optimizer torch.optim.Adam(model.parameters(), lr1e-4) # 使用保守的学习率平滑微调预训练权重 epochs 10 # --- 2. 初始化核心监控数据指标容器 --- train_losses [] val_losses [] train_accuracies [] val_accuracies [] # --- 3. 端到端双轨控制训练循环 --- for epoch in range(epochs): # # 训练阶段 (Training Phase) # model.train() # 显式激活训练模式允许 Dropout 与 Batch Normalization 动态更新 running_loss 0 correct 0 total 0 for images, labels in train_loader: # 将输入矩阵与标签动态载入指定的物理计算设备 images images.to(device) labels labels.to(device) # 梯度清零防止历史批次的残余梯度对当前权重产生干扰 optimizer.zero_grad() # 前向传播计算眼底图像在当前网络下的置信度得分 outputs model(images) loss criterion(outputs, labels) # 反向传播自动计算各层神经元的偏导数 loss.backward() # 参数更新利用 Adam 算子沿着梯度负方向更迭权重 optimizer.step() # 统计当前批次的累加损失值与正确频数 running_loss loss.item() _, preds torch.max(outputs, 1) total labels.size(0) correct (preds labels).sum().item() # 计算当前轮次的平均训练损失与准确率 train_loss running_loss / len(train_loader) train_acc correct / total train_losses.append(train_loss) train_accuracies.append(train_acc) # # 验证阶段 (Validation Phase) # model.eval() # 显式激活评估模式锁死 BN 统计量与神经元随机失活机制 val_running_loss 0 val_correct 0 val_total 0 # 锁定内存计算图关闭梯度流计算节约训练期间的显存与算力 with torch.no_grad(): for images, labels in val_loader: images images.to(device) labels labels.to(device) outputs model(images) loss criterion(outputs, labels) val_running_loss loss.item() _, preds torch.max(outputs, 1) val_total labels.size(0) val_correct (preds labels).sum().item() # 计算当前轮次的平均验证损失与准确率 val_loss val_running_loss / len(val_loader) val_acc val_correct / val_total val_losses.append(val_loss) val_accuracies.append(val_acc) # 实时回显当前周期的宏观性能指标 print( fEpoch [{epoch1}/{epochs}] fTrain Loss: {train_loss:.4f} fTrain Acc: {train_acc:.4f} fVal Loss: {val_loss:.4f} fVal Acc: {val_acc:.4f} )4.6模型评估训练与验证损失曲线复盘本部分利用 Matplotlib 算子将训练阶段固化下来的train_losses与val_losses历史日志进行双线同框渲染。通过观察两条损失随 Epoch 演进的收敛轨迹我们可以直观判断残差网络在寻找局部最优解时的稳定度。# --- 1. 渲染训练集与验证集损失函数对比曲线 --- plt.figure(figsize(10,5)) plt.plot(train_losses, labelTrain Loss) plt.plot(val_losses, labelValidation Loss) plt.xlabel(Epoch) plt.ylabel(Loss) plt.title(Training vs Validation Loss) plt.legend() plt.show()准确率增量演进对比本部分聚焦于模型判别效能的成长状态将训练集与验证集的准确率轨迹train_accuracies与val_accuracies映射至同一坐标系中用以复盘 ResNet50 在特征空间重组过程中的学习增益速度。# --- 2. 渲染训练集与验证集分类准确率对比曲线 --- plt.figure(figsize(10,5)) plt.plot(train_accuracies, labelTrain Accuracy) plt.plot(val_accuracies, labelValidation Accuracy) plt.xlabel(Epoch) plt.ylabel(Accuracy) plt.title(Training vs Validation Accuracy) plt.legend() plt.show()独立测试集流式推断与多指标精细报告为了确保评估结果不带有任何信息泄露Data Leakage偏置本部分全面切入完全独立的test_loader测试集管线。通过关闭梯度流、将模型强制置为eval()评估模式流式收集未见样本的预测结果并调用 Scikit-Learn 算子输出涵盖精确率Precision、召回率Recall与F1-Score的细粒度医学分类报告。# --- 3. 独立测试集流式前向推断与评估 --- model.eval() # 冻结批归一化统计量确立测试模式 all_preds [] all_labels [] with torch.no_grad(): # 彻底锁定计算图阻断梯度传播降低测试能耗 for images, labels in test_loader: # 矩阵流跨硬件载入 images images.to(device) labels labels.to(device) # 模型前向推理得到预测置信度 outputs model(images) _, preds torch.max(outputs, 1) # 提取置信度最高的类别索引 # 将测试结果与临床真值同步回收至 CPU 显存空间中 all_preds.extend(preds.cpu().numpy()) all_labels.extend(labels.cpu().numpy()) # --- 4. 打印针对健康眼底与青光眼病灶的细粒度分类报告 --- print( classification_report( all_labels, all_preds, target_names[ Healthy, Glaucoma ] ) )独立测试集整盘综合跑分判定本部分作为全盘定量的硬性标准通过调用accuracy_score直接计算最优权重模型在整个独立测试集上的总正确比率直观反映该医疗辅助诊断算法的宏观可靠度。# --- 5. 计算并打印测试集全局总准确率 --- test_acc accuracy_score( all_labels, all_preds ) print(Test Accuracy:, test_acc)混淆矩阵空间可视化作为多分类性能盘点的压轴环节本部分计算并绘制了结构化的二维混淆矩阵Confusion Matrix。通过结合plt.imshow将数值分布矩阵转化为直观的色块热图可视化展示各样本类型的分类归宿。# --- 6. 计算混淆矩阵并执行色块热图渲染 --- cm confusion_matrix( all_labels, all_preds ) print(cm) # 打印原始矩阵频数阵列 plt.figure(figsize(6,5)) plt.imshow(cm) # 渲染混淆空间热度 plt.colorbar() # 挂载热图色彩刻度尺 plt.xlabel(Predicted) plt.ylabel(Actual) plt.title(Confusion Matrix) plt.show()最后可以保存模型torch.save( model.state_dict(), glaucoma_resnet50.pth ) print(Model Saved Successfully)5.总结本实验围绕全球首位不可逆性致盲眼病——青光眼的早期临床自动检测展开依托黄金标准的 Hillel Yaffe 青光眼数据集HYGD成功实现了一套高精度的医学影像辅助诊断管线。实验利用数据集中 747 张高分辨率眼底彩照作为底层资产在经历文本标签转换、受试者多阶分层切分以及光学异质性数据增强后全流程打通了预训练ResNet50深度残差网络的微调训练。定量评估结果表明模型在未参与任何优化迭代的 150 例独立测试集大盘中展现出了卓越的泛化与判别边界最终交出了全局总准确率98.67%的优秀成绩。深度透视其细粒度多指标分类报告网络针对“Healthy健康”与“Glaucoma青光眼”的加权平均 F1-score 达到了0.99且双向混淆矩阵显示在 110 例真实的青光眼病理影像中模型仅产生 1 例漏诊对阳性病灶的召回率高达99%。这一杰出的数据表现充分论证了深度残差网络在复用通用视觉先验的基础上能够极其敏锐地捕捉到视盘、视杯等细微解剖结构的变异与形变。本实战不仅弥合了临床眼科学与计算机视觉之间的技术鸿沟更为未来将高精度医学人工智能算法下沉部署至基层医疗机构、开发便携式全自动眼底筛查系统提供了极具数理背书与工程落地价值的规范化范例。资料获取更多粉丝福利关注下方公众号获取