简介基于PyTorch的MNIST手写数字图像分类实战项目面向期末大作业、课程设计和深度学习入门人群围绕经典MNIST数据集的图像分类任务给出了完整的项目源码与工程化实现。代码覆盖数据读取与预处理、模型定义、训练评估等环节既可直接运行完成手写数字识别也适合在课程设计中作为基线项目扩展。整包共14个文件包括3个Python源码脚本、2个idx1-ubyte标签文件、2个idx3-ubyte图像文件、依赖说明requirements.txt、README.md及.gitignore配置其中4个gzip文件主要是MNIST数据的打包形态便于离线使用避免额外下载数据集。压缩后大小约22.02MB目录结构按功能拆分便于定位与二次改动。项目目前已获得443人学习下载热度较好。借助这些模块化源码读者既能巩固PyTorch与CNN的基本操作也能将同样的训练流程套用到Fashion-MNIST等数据集是冲击高分大作业的可用代码基底。1. 为什么拿 PyTorch 把 MNIST 做成完整项目而不是直接跑通很多人做手写数字识别大作业习惯把数据集一载、模型一建、打印个准确率就交差。但高分项目和“能跑”的差别恰恰在那些不显眼的地方数据加载是否稳定、训练和评估模式是否切干净、指标是否只报了 accuracy 而没有混淆矩阵、保存的模型能不能被答辩环境直接加载。MNIST 是 PyTorch 基础框架里入门图像分类最经典的数据集也是数据管道、张量操作和自动求导三个核心能力的最小汇合点。这里就按一个能拿高分的大作业标准把从 torchvision 拉数据到分类评估、模型落地的完整链路拆开讲并提供一套能直接跑的源码结构。新手能照着做熟手也能在参数和数据边界上有所收获。2. 数据准备torchvision 拉取 MNIST 的 404 坑与 transform 参数2.1 为什么归一化比可视化预处理更重要MNIST 是 28×28 的灰度图每个像素取值 0255。直接把原始取值喂给网络虽然能训练但收敛速度和稳定性都会差一截。原因在于 Sigmoid、Tanh 这类激活函数在输入绝对值偏大时梯度会饱和而即使使用 ReLU偏置初始化也要跟着输入尺度调整。常见做法是先用transforms.ToTensor()把 PIL Image 转成(C, H, W)的张量并自动除以 255再做一次均值方差标准化。from torchvision import datasets, transforms # 官方统计 MNIST 全量样本得到的均值与标准差 transform transforms.Compose([ transforms.ToTensor(), # (H, W) - (1, H, W)像素除以 255 transforms.Normalize((0.1307,), (0.3081,)) # 灰度图只需一个通道 ])Normalize的另一个作用是让数据分布贴近零均值和单位方差这对使用批归一化的网络不是必需但对 LR 较大的优化器有明显收益。要说明的是这套均值和方差是对训练集统计出来的测试集应该复用同一组参数而不是在测试集上重新统计——这是大作业里最容易丢分的样本泄漏之一。另外MNIST 的源文件是 IDX 格式torchvision 已经替我们解析成(N, 28, 28)的 numpy 数组transform 部分只需要关注通道维度和数值域不需要自己写解析器。2.2 torchvision 下载 404 的两种处理方式datasets.MNIST默认从 Yann LeCun 维护的站点拉取四个 gz 压缩包。这个上游地址偶尔会调整目录结构或响应变慢表现出来就是 torchvision 一路报 404 或下载超时。注意downloadTrue时torchvision 把下载和解压分开处理解压好的train-images-idx3-ubyte等文件在data/MNIST/raw/下如果 raw 目录里缺文件它会重新下载。两个稳一点的做法。第一个是关掉内置下载自己把四个文件放好mkdir -p data/MNIST/raw # train-images-idx3-ubyte.gz / train-labels-idx1-ubyte.gz # t10k-images-idx3-ubyte.gz / t10k-labels-idx1-ubyte.gz # 从可用的镜像或备用地址获取后解压到 data/MNIST/raw/ 下 python -c from torchvision import datasets datasets.MNIST(root./data, trainTrue, downloadFalse) print(train check ok) downloadFalse只检查不下载文件齐了就通过。第二个是重写download()方法替换下载源但课程大作业一般不需要做到这一步。日常开发我更建议直接把上边的目录检查脚本放进项目里让裁判或同学在无网络环境下也能跑通这会成为大作业交付时的一个稳定性加分点。2.3 DataLoader 的 batch_size、shuffle、num_workers 怎么配加载器方面PyTorch 基础框架里DataLoader的四个参数对大作业影响最直接batch_size、shuffle、num_workers和drop_last。MNIST 训练集 60000 张单张 28×28 很小常见 batch 取 64 或 128num_workers在 Linux 下可以设 24Windows 上如果跑在 Jupyter 里建议设 0否则多进程重复创建会报BrokenPipeError。train_loader DataLoader(train_set, batch_size128, shuffleTrue, num_workers2) test_loader DataLoader(test_set, batch_size512, shuffleFalse, num_workers2)shuffleTrue只用于训练测试集必须保持shuffleFalse否则混淆矩阵的行列含义和提交报告对不上。batch_size选 128 时单 epoch 约 469 步参数更新频率适中如果是 GPU 环境显存占用约几十 MB不需要刻意缩小。drop_last默认 False即最后不足一个 batch 的样本也会参与迭代真实计算时每个 epoch 的步数是ceil(60000 / 128) 469代码里按len(train_loader.dataset)算准确率分母就不会错。3. 模型设计从全连接到 CNN 的层维度推演3.1 先用 MLP 验证数据和训练链路不要在没跑通数据管道之前直接上卷积。用一个两层全连接先确认 DataLoader、Loss、反向传播没有低级 bug。输入是(batch, 1, 28, 28)先Flatten成(batch, 784)中间层 256输出 10 对应 09 十个类别。class MLP(nn.Module): def __init__(self): super().__init__() self.fc nn.Sequential( nn.Flatten(), nn.Linear(784, 256), nn.ReLU(), nn.Linear(256, 10) ) def forward(self, x): return self.fc(x)这个网络本身也能到 97% 以上但它没有利用像素的邻域结构。先用它跑通一个 epoch 的意义在于验证loss.item()的变化趋势、梯度是否回传、显存是否溢出。确认无误后替换成 CNN 时只需要换模型类其余训练代码不用动。很多项目的问题不是模型不够先进而是数据和训练链路有问题时直接上复杂模型排错成本翻倍。3.2 为什么 CNN 的参数个数反而可控图像分类的直接需求是空间不变性——数字平移几个像素语义不变。全连接层的每个输出和全图所有像素相连784 维还好换成 224×224 的图就是 5 万个输入特征。卷积层通过局部感受野和权值共享把参数量压下来。MNIST 这种小图一个 LeNet-5 风格网络参数量在 6 万左右远小于同等容量的 MLP。kernel_size 选 5 而不是 3来自 LeNet 的原始设计5×5 在 28×28 小图上能覆盖两笔交叉的区域如果数据集换成 FashionMNIST 这种局部纹理更丰富的3×3 堆叠两层往往更稳。这个选择的权衡可以在报告里展开写比单纯记录“用了 5×5”更有思考深度。3.3 LeNet-5 变体的每一层输出尺寸层操作输入输出参数量conv1Conv2d(1, 6, 5, padding2) ReLU1×28×286×28×281×6×5×56156pool1MaxPool2d(2)6×28×286×14×140conv2Conv2d(6, 16, 5) ReLU6×14×1416×10×106×16×5×5162416pool2MaxPool2d(2)16×10×1016×5×50fc1Linear(16×5×5, 120)40012048120fc2Linear(120, 84)1208410164fc3Linear(84, 10)8410850关键点在最容易算错的 conv2padding没设时输出尺寸是(14-5)/1110第二次池化后变5×5。如果改了输入尺寸fc1 的输入维数必须跟着改常见错误是只改卷积不改全连接把16*5*5当成固定常量。我一般会把输入尺寸设成变量动态算出全连接输入维。class LeNet5(nn.Module): def __init__(self): super().__init__() self.features nn.Sequential( nn.Conv2d(1, 6, kernel_size5, padding2), # 28 - 28 nn.ReLU(), nn.MaxPool2d(2), # 28 - 14 nn.Conv2d(6, 16, kernel_size5), # 14 - 10 nn.ReLU(), nn.MaxPool2d(2) # 10 - 5 ) self.classifier nn.Sequential( nn.Flatten(), nn.Linear(16 * 5 * 5, 120), nn.ReLU(), nn.Dropout(0.5), nn.Linear(120, 84), nn.ReLU(), nn.Linear(84, 10) ) def forward(self, x): return self.classifier(self.features(x))Dropout(0.5)放在最后一个 ReLU 后面、输出层之前训练时随机屏蔽一半神经元测试时自动关闭。它对 CNN 的作用比 MLP 弱但确实能把验证准确率往上拉 0.20.5 个点。批归一化不是必需MNIST 足够简单加 BN 反而会让答辩时“为什么这么设计”的问题变复杂。4. 训练闭环损失函数、优化器与验证逻辑4.1 CrossEntropyLoss 里藏着的两步操作nn.CrossEntropyLoss()在 PyTorch 里不是简单的交叉熵单点计算它内部先对网络输出做 softmax 归一化再取负对数似然。也就是说网络最后一层不需要手动接LogSoftmax。用CrossEntropyLoss时 label 是 09 的长整型标量如果误把 label 做成了 one-hotloss 的维度就要手动 squeeze这是常见报错。label 的 dtype 必须是torch.long传入 float 类型会触发断言错误这种错误比 shape 不匹配更隐蔽因为报错信息不会直接指出是 label 的类型问题。4.2 Adam 与 SGD 的选择依据优化器典型 LR收敛速度需要调参的内容适合场景SGD0.01慢momentum、lr 调度验证学习率曲线、教学演示Adam1e-3快一般只需调 lr 和 weight_decay大作业、快速拿到结果AdamW1e-3快weight_decay 解耦配合 Transformer 类结构在时间有限的情况下我一般直接用 Adamlr1e-3、weight_decay1e-5一个 epoch 后看 loss 是否趋势性下降。如果想在报告里展示“超参-准确率”表格再跑一组 SGD momentum 0.9 作为对照说明你理解两套优化器的收敛特性差异而不只是会调包。4.3 训练循环的标准骨架与易错点model LeNet5().to(device) criterion nn.CrossEntropyLoss() optimizer torch.optim.Adam(model.parameters(), lr1e-3, weight_decay1e-5) for epoch in range(10): model.train() # 必须切回训练模式否则 Dropout/BN 失效 train_loss, correct 0.0, 0 for images, labels in train_loader: images, labels images.to(device), labels.to(device) optimizer.zero_grad() outputs model(images) loss criterion(outputs, labels) loss.backward() optimizer.step() train_loss loss.item() * images.size(0) correct (outputs.argmax(dim1) labels).sum().item() # 验证 model.eval() val_loss, val_correct 0.0, 0 with torch.no_grad(): for images, labels in test_loader: images, labels images.to(device), labels.to(device) outputs model(images) val_loss criterion(outputs, labels).item() * images.size(0) val_correct (outputs.argmax(dim1) labels).sum().item() train_acc correct / len(train_loader.dataset) val_acc val_correct / len(test_loader.dataset) print(fepoch {epoch1}: train_acc{train_acc:.4f} val_acc{val_acc:.4f})三个细节决定这个循环是否达标。第一model.eval()和with torch.no_grad()是两件事前者关 Dropout、用 BN 的运行统计后者关梯度计算。只写一个虽然在 MNIST 上不一定炸但会在答辩时被追问。第二correct一定要用outputs.argmax(dim1)和 label 比较而不是对 loss 做任何推断。第三train_loss loss.item() * images.size(0)是加权求和因为最后一个 batch 可能不足 128直接累加loss.item()会高估贡献。4.4 学习率调度和早停的轻量实现如果 10 个 epoch 后准确率停在 99.1% 附近开始震荡常见做法是用StepLR在第 6 和第 8 个 epoch 把 LR 降为原来的 1/10。PyTorch 的torch.optim.lr_scheduler系列接口在optimizer.step()之后调用scheduler.step()即可。早停可以只看验证准确率连续 3 个 epoch 不涨就停但注意要保留历史最佳模型否则会拿训练末期的模型去评估。scheduler torch.optim.lr_scheduler.StepLR(optimizer, step_size5, gamma0.1) # 每个 epoch 训练结束后执行 scheduler.step()step_size5表示每 5 个 epoch 衰减一次gamma0.1表示 LR 变为原来的十分之一。在 10 个 epoch 的实验里这样配置会得到第 1~5 轮较大步长、第 6~10 轮精细收敛的两段式曲线报告里画出来比手写规则更有说服力。5. 分类评估矩阵、模型保存与一次复现性验证5.1 只报 accuracy 不够看混淆矩阵和 F1MNIST 各类别样本均匀准确率看起来很高但“9 被认成 4”和“4 被认成 9”对使用者是完全不同的问题。把测试集全量喂进model.eval()后收集预测再用 sklearn 算出逐类报告比单看 accuracy 更能体现你对分类评估的理解from sklearn.metrics import confusion_matrix, classification_report model.eval() all_preds, all_labels [], [] with torch.no_grad(): for images, labels in test_loader: images images.to(device) logits model(images) all_preds.extend(logits.argmax(dim1).cpu().numpy()) all_labels.extend(labels.numpy()) cm confusion_matrix(all_labels, all_preds) print(classification_report(all_labels, all_preds, digits4))classification_report输出的每一行对应一个数字类别的 precision、recall、F1 和样本数。MNIST 里“1”常有极高的 precision而“8”偶尔偏低如果发现某类 recall 明显低优先怀疑的是训练集该类样本本身的噪声而不是模型结构错了。5.2 保存 checkpoint 的两种方式差异方式代码恢复适用state_dicttorch.save(model.state_dict(), mnist.pt)model.load_state_dict(...)课程作业、自己跑实验完整对象torch.save(model, mnist_full.pt)torch.load(...)需要连带类定义一起迁移checkpointtorch.save({model: ..., optim: ..., epoch: ...}, ...)手动组装中断后恢复训练交源码时我推荐交state_dict加一行加载代码因为压缩包里带着完整工程不需要用 pickle 序列化模型类。如果你训练中途崩过那就用第三种 checkpoint把 optimizer 状态和当前 epoch 一起存恢复后optimizer.load_state_dict接着跑。5.3 一次可复现的验证技巧固定随机种子后重跑最后给一个答辩现场最容易被问的细节。PyTorch 里定了多个随机源只做torch.manual_seed并不能保证完全可复现。完整做法是import random import numpy as np import torch def set_seed(seed42): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed) set_seed(42)把set_seed放在模型定义、DataLoader 创建和数据 shuffle 之前。注意 CUDA 的某些算子本身是非确定性的追求严格可复现还要设torch.backends.cudnn.deterministic True但代价是慢一些。体现你对复现性的理解、又在报告里诚实说明限制比盲目声称“完全可复现”更专业。验证时固定种子后完整跑完 10 个 epoch前后两次测试集准确率应完全一致这会成为项目里一个干净的验收点。本文还有配套的精品资源点击获取
简介基于PyTorch的MNIST手写数字图像分类实战项目面向期末大作业、课程设计和深度学习入门人群围绕经典MNIST数据集的图像分类任务给出了完整的项目源码与工程化实现。代码覆盖数据读取与预处理、模型定义、训练评估等环节既可直接运行完成手写数字识别也适合在课程设计中作为基线项目扩展。整包共14个文件包括3个Python源码脚本、2个idx1-ubyte标签文件、2个idx3-ubyte图像文件、依赖说明requirements.txt、README.md及.gitignore配置其中4个gzip文件主要是MNIST数据的打包形态便于离线使用避免额外下载数据集。压缩后大小约22.02MB目录结构按功能拆分便于定位与二次改动。项目目前已获得443人学习下载热度较好。借助这些模块化源码读者既能巩固PyTorch与CNN的基本操作也能将同样的训练流程套用到Fashion-MNIST等数据集是冲击高分大作业的可用代码基底。1. 为什么拿 PyTorch 把 MNIST 做成完整项目而不是直接跑通很多人做手写数字识别大作业习惯把数据集一载、模型一建、打印个准确率就交差。但高分项目和“能跑”的差别恰恰在那些不显眼的地方数据加载是否稳定、训练和评估模式是否切干净、指标是否只报了 accuracy 而没有混淆矩阵、保存的模型能不能被答辩环境直接加载。MNIST 是 PyTorch 基础框架里入门图像分类最经典的数据集也是数据管道、张量操作和自动求导三个核心能力的最小汇合点。这里就按一个能拿高分的大作业标准把从 torchvision 拉数据到分类评估、模型落地的完整链路拆开讲并提供一套能直接跑的源码结构。新手能照着做熟手也能在参数和数据边界上有所收获。2. 数据准备torchvision 拉取 MNIST 的 404 坑与 transform 参数2.1 为什么归一化比可视化预处理更重要MNIST 是 28×28 的灰度图每个像素取值 0255。直接把原始取值喂给网络虽然能训练但收敛速度和稳定性都会差一截。原因在于 Sigmoid、Tanh 这类激活函数在输入绝对值偏大时梯度会饱和而即使使用 ReLU偏置初始化也要跟着输入尺度调整。常见做法是先用transforms.ToTensor()把 PIL Image 转成(C, H, W)的张量并自动除以 255再做一次均值方差标准化。from torchvision import datasets, transforms # 官方统计 MNIST 全量样本得到的均值与标准差 transform transforms.Compose([ transforms.ToTensor(), # (H, W) - (1, H, W)像素除以 255 transforms.Normalize((0.1307,), (0.3081,)) # 灰度图只需一个通道 ])Normalize的另一个作用是让数据分布贴近零均值和单位方差这对使用批归一化的网络不是必需但对 LR 较大的优化器有明显收益。要说明的是这套均值和方差是对训练集统计出来的测试集应该复用同一组参数而不是在测试集上重新统计——这是大作业里最容易丢分的样本泄漏之一。另外MNIST 的源文件是 IDX 格式torchvision 已经替我们解析成(N, 28, 28)的 numpy 数组transform 部分只需要关注通道维度和数值域不需要自己写解析器。2.2 torchvision 下载 404 的两种处理方式datasets.MNIST默认从 Yann LeCun 维护的站点拉取四个 gz 压缩包。这个上游地址偶尔会调整目录结构或响应变慢表现出来就是 torchvision 一路报 404 或下载超时。注意downloadTrue时torchvision 把下载和解压分开处理解压好的train-images-idx3-ubyte等文件在data/MNIST/raw/下如果 raw 目录里缺文件它会重新下载。两个稳一点的做法。第一个是关掉内置下载自己把四个文件放好mkdir -p data/MNIST/raw # train-images-idx3-ubyte.gz / train-labels-idx1-ubyte.gz # t10k-images-idx3-ubyte.gz / t10k-labels-idx1-ubyte.gz # 从可用的镜像或备用地址获取后解压到 data/MNIST/raw/ 下 python -c from torchvision import datasets datasets.MNIST(root./data, trainTrue, downloadFalse) print(train check ok) downloadFalse只检查不下载文件齐了就通过。第二个是重写download()方法替换下载源但课程大作业一般不需要做到这一步。日常开发我更建议直接把上边的目录检查脚本放进项目里让裁判或同学在无网络环境下也能跑通这会成为大作业交付时的一个稳定性加分点。2.3 DataLoader 的 batch_size、shuffle、num_workers 怎么配加载器方面PyTorch 基础框架里DataLoader的四个参数对大作业影响最直接batch_size、shuffle、num_workers和drop_last。MNIST 训练集 60000 张单张 28×28 很小常见 batch 取 64 或 128num_workers在 Linux 下可以设 24Windows 上如果跑在 Jupyter 里建议设 0否则多进程重复创建会报BrokenPipeError。train_loader DataLoader(train_set, batch_size128, shuffleTrue, num_workers2) test_loader DataLoader(test_set, batch_size512, shuffleFalse, num_workers2)shuffleTrue只用于训练测试集必须保持shuffleFalse否则混淆矩阵的行列含义和提交报告对不上。batch_size选 128 时单 epoch 约 469 步参数更新频率适中如果是 GPU 环境显存占用约几十 MB不需要刻意缩小。drop_last默认 False即最后不足一个 batch 的样本也会参与迭代真实计算时每个 epoch 的步数是ceil(60000 / 128) 469代码里按len(train_loader.dataset)算准确率分母就不会错。3. 模型设计从全连接到 CNN 的层维度推演3.1 先用 MLP 验证数据和训练链路不要在没跑通数据管道之前直接上卷积。用一个两层全连接先确认 DataLoader、Loss、反向传播没有低级 bug。输入是(batch, 1, 28, 28)先Flatten成(batch, 784)中间层 256输出 10 对应 09 十个类别。class MLP(nn.Module): def __init__(self): super().__init__() self.fc nn.Sequential( nn.Flatten(), nn.Linear(784, 256), nn.ReLU(), nn.Linear(256, 10) ) def forward(self, x): return self.fc(x)这个网络本身也能到 97% 以上但它没有利用像素的邻域结构。先用它跑通一个 epoch 的意义在于验证loss.item()的变化趋势、梯度是否回传、显存是否溢出。确认无误后替换成 CNN 时只需要换模型类其余训练代码不用动。很多项目的问题不是模型不够先进而是数据和训练链路有问题时直接上复杂模型排错成本翻倍。3.2 为什么 CNN 的参数个数反而可控图像分类的直接需求是空间不变性——数字平移几个像素语义不变。全连接层的每个输出和全图所有像素相连784 维还好换成 224×224 的图就是 5 万个输入特征。卷积层通过局部感受野和权值共享把参数量压下来。MNIST 这种小图一个 LeNet-5 风格网络参数量在 6 万左右远小于同等容量的 MLP。kernel_size 选 5 而不是 3来自 LeNet 的原始设计5×5 在 28×28 小图上能覆盖两笔交叉的区域如果数据集换成 FashionMNIST 这种局部纹理更丰富的3×3 堆叠两层往往更稳。这个选择的权衡可以在报告里展开写比单纯记录“用了 5×5”更有思考深度。3.3 LeNet-5 变体的每一层输出尺寸层操作输入输出参数量conv1Conv2d(1, 6, 5, padding2) ReLU1×28×286×28×281×6×5×56156pool1MaxPool2d(2)6×28×286×14×140conv2Conv2d(6, 16, 5) ReLU6×14×1416×10×106×16×5×5162416pool2MaxPool2d(2)16×10×1016×5×50fc1Linear(16×5×5, 120)40012048120fc2Linear(120, 84)1208410164fc3Linear(84, 10)8410850关键点在最容易算错的 conv2padding没设时输出尺寸是(14-5)/1110第二次池化后变5×5。如果改了输入尺寸fc1 的输入维数必须跟着改常见错误是只改卷积不改全连接把16*5*5当成固定常量。我一般会把输入尺寸设成变量动态算出全连接输入维。class LeNet5(nn.Module): def __init__(self): super().__init__() self.features nn.Sequential( nn.Conv2d(1, 6, kernel_size5, padding2), # 28 - 28 nn.ReLU(), nn.MaxPool2d(2), # 28 - 14 nn.Conv2d(6, 16, kernel_size5), # 14 - 10 nn.ReLU(), nn.MaxPool2d(2) # 10 - 5 ) self.classifier nn.Sequential( nn.Flatten(), nn.Linear(16 * 5 * 5, 120), nn.ReLU(), nn.Dropout(0.5), nn.Linear(120, 84), nn.ReLU(), nn.Linear(84, 10) ) def forward(self, x): return self.classifier(self.features(x))Dropout(0.5)放在最后一个 ReLU 后面、输出层之前训练时随机屏蔽一半神经元测试时自动关闭。它对 CNN 的作用比 MLP 弱但确实能把验证准确率往上拉 0.20.5 个点。批归一化不是必需MNIST 足够简单加 BN 反而会让答辩时“为什么这么设计”的问题变复杂。4. 训练闭环损失函数、优化器与验证逻辑4.1 CrossEntropyLoss 里藏着的两步操作nn.CrossEntropyLoss()在 PyTorch 里不是简单的交叉熵单点计算它内部先对网络输出做 softmax 归一化再取负对数似然。也就是说网络最后一层不需要手动接LogSoftmax。用CrossEntropyLoss时 label 是 09 的长整型标量如果误把 label 做成了 one-hotloss 的维度就要手动 squeeze这是常见报错。label 的 dtype 必须是torch.long传入 float 类型会触发断言错误这种错误比 shape 不匹配更隐蔽因为报错信息不会直接指出是 label 的类型问题。4.2 Adam 与 SGD 的选择依据优化器典型 LR收敛速度需要调参的内容适合场景SGD0.01慢momentum、lr 调度验证学习率曲线、教学演示Adam1e-3快一般只需调 lr 和 weight_decay大作业、快速拿到结果AdamW1e-3快weight_decay 解耦配合 Transformer 类结构在时间有限的情况下我一般直接用 Adamlr1e-3、weight_decay1e-5一个 epoch 后看 loss 是否趋势性下降。如果想在报告里展示“超参-准确率”表格再跑一组 SGD momentum 0.9 作为对照说明你理解两套优化器的收敛特性差异而不只是会调包。4.3 训练循环的标准骨架与易错点model LeNet5().to(device) criterion nn.CrossEntropyLoss() optimizer torch.optim.Adam(model.parameters(), lr1e-3, weight_decay1e-5) for epoch in range(10): model.train() # 必须切回训练模式否则 Dropout/BN 失效 train_loss, correct 0.0, 0 for images, labels in train_loader: images, labels images.to(device), labels.to(device) optimizer.zero_grad() outputs model(images) loss criterion(outputs, labels) loss.backward() optimizer.step() train_loss loss.item() * images.size(0) correct (outputs.argmax(dim1) labels).sum().item() # 验证 model.eval() val_loss, val_correct 0.0, 0 with torch.no_grad(): for images, labels in test_loader: images, labels images.to(device), labels.to(device) outputs model(images) val_loss criterion(outputs, labels).item() * images.size(0) val_correct (outputs.argmax(dim1) labels).sum().item() train_acc correct / len(train_loader.dataset) val_acc val_correct / len(test_loader.dataset) print(fepoch {epoch1}: train_acc{train_acc:.4f} val_acc{val_acc:.4f})三个细节决定这个循环是否达标。第一model.eval()和with torch.no_grad()是两件事前者关 Dropout、用 BN 的运行统计后者关梯度计算。只写一个虽然在 MNIST 上不一定炸但会在答辩时被追问。第二correct一定要用outputs.argmax(dim1)和 label 比较而不是对 loss 做任何推断。第三train_loss loss.item() * images.size(0)是加权求和因为最后一个 batch 可能不足 128直接累加loss.item()会高估贡献。4.4 学习率调度和早停的轻量实现如果 10 个 epoch 后准确率停在 99.1% 附近开始震荡常见做法是用StepLR在第 6 和第 8 个 epoch 把 LR 降为原来的 1/10。PyTorch 的torch.optim.lr_scheduler系列接口在optimizer.step()之后调用scheduler.step()即可。早停可以只看验证准确率连续 3 个 epoch 不涨就停但注意要保留历史最佳模型否则会拿训练末期的模型去评估。scheduler torch.optim.lr_scheduler.StepLR(optimizer, step_size5, gamma0.1) # 每个 epoch 训练结束后执行 scheduler.step()step_size5表示每 5 个 epoch 衰减一次gamma0.1表示 LR 变为原来的十分之一。在 10 个 epoch 的实验里这样配置会得到第 1~5 轮较大步长、第 6~10 轮精细收敛的两段式曲线报告里画出来比手写规则更有说服力。5. 分类评估矩阵、模型保存与一次复现性验证5.1 只报 accuracy 不够看混淆矩阵和 F1MNIST 各类别样本均匀准确率看起来很高但“9 被认成 4”和“4 被认成 9”对使用者是完全不同的问题。把测试集全量喂进model.eval()后收集预测再用 sklearn 算出逐类报告比单看 accuracy 更能体现你对分类评估的理解from sklearn.metrics import confusion_matrix, classification_report model.eval() all_preds, all_labels [], [] with torch.no_grad(): for images, labels in test_loader: images images.to(device) logits model(images) all_preds.extend(logits.argmax(dim1).cpu().numpy()) all_labels.extend(labels.numpy()) cm confusion_matrix(all_labels, all_preds) print(classification_report(all_labels, all_preds, digits4))classification_report输出的每一行对应一个数字类别的 precision、recall、F1 和样本数。MNIST 里“1”常有极高的 precision而“8”偶尔偏低如果发现某类 recall 明显低优先怀疑的是训练集该类样本本身的噪声而不是模型结构错了。5.2 保存 checkpoint 的两种方式差异方式代码恢复适用state_dicttorch.save(model.state_dict(), mnist.pt)model.load_state_dict(...)课程作业、自己跑实验完整对象torch.save(model, mnist_full.pt)torch.load(...)需要连带类定义一起迁移checkpointtorch.save({model: ..., optim: ..., epoch: ...}, ...)手动组装中断后恢复训练交源码时我推荐交state_dict加一行加载代码因为压缩包里带着完整工程不需要用 pickle 序列化模型类。如果你训练中途崩过那就用第三种 checkpoint把 optimizer 状态和当前 epoch 一起存恢复后optimizer.load_state_dict接着跑。5.3 一次可复现的验证技巧固定随机种子后重跑最后给一个答辩现场最容易被问的细节。PyTorch 里定了多个随机源只做torch.manual_seed并不能保证完全可复现。完整做法是import random import numpy as np import torch def set_seed(seed42): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed) set_seed(42)把set_seed放在模型定义、DataLoader 创建和数据 shuffle 之前。注意 CUDA 的某些算子本身是非确定性的追求严格可复现还要设torch.backends.cudnn.deterministic True但代价是慢一些。体现你对复现性的理解、又在报告里诚实说明限制比盲目声称“完全可复现”更专业。验证时固定种子后完整跑完 10 个 epoch前后两次测试集准确率应完全一致这会成为项目里一个干净的验收点。本文还有配套的精品资源点击获取
