简介一套完整的BP神经网络MNIST手写数字识别项目源码包面向计算机专业期末大作业与深度学习入门实战场景源码已跑通并获较高评分可直接用于课程设计或答辩演示。包体共61个文件、15.3MB以7个Python脚本主程序、数据加载、图片预处理、训练示例、调参与调试工具为核心配套MNIST的npz数据集、训练好的3层模型pkl、效果展示mp4及readme说明文档便于复现与二次开发。目前已有534人学习下载代码结构清晰涵盖数据预处理、网络构建、模型训练、超参数调整与结果可视化环节。读者不仅能获得可直接运行的BP实现和预训练权重还可用附带图片测试单张数字识别并借助调参脚本理解学习率、层数等对准确率的影响快速完成大作业设计与报告撰写。1. 基于BP神经网络的MNIST手写数字识别期末大作业真正的分水岭不在公式以“基于BP神经网络mnist手写数字识别Python实现源码期末大作业”为选题的人普遍把反向传播公式背得很熟但一到键盘前就不知道代码该怎么组织。MNIST数据集包含6万张28x28灰度图像手写数字识别的任务先要把每张图展平成784维向量再通过两个全连接层映射到10个类别。期末大作业通常要求提交完整源码并且能被现场运行调参。真正容易翻车的不是BP公式本身而是数据加载路径、矩阵维度对不齐、权重初始化不合理。下面从理论到调参逐层拆开让这套BP网络在你自己的电脑上也能跑出95%左右的准确率。2. BP神经网络与MNIST的结构选择从784维输入到10维输出BP神经网络最经典的形式是输入层、隐藏层、输出层各一个。对于MNIST输入层是784个节点对应图像展开后的每个像素输出层是10个节点对应0到9的类别概率。中间隐藏层节点数没有严格公式128是一个性价比很高的起点。接下来的三个决定直接影响代码形态是否展平、激活函数选哪种、输出层用什么损失函数。2.1 为什么MNIST要把28x28像素展平又为什么BP比卷积核更合适卷积神经网络可以保留图像的空间结构但BP神经网络本身是把每个像素当作独立特征。把28x28的矩阵改成784维向量后相邻像素的相对位置信息被舍弃了。MNIST数字结构简单即使丢失空间信息一个隐藏层的MLP也能获得约95%的准确率这足以满足期末大作业的验收要求。若强行保留二维结构就需要在反向传播中处理卷积核的局部区域那已经不是BP神经网络这道题的范畴。展平操作在数据加载阶段最方便完成。读入的原始图片本来就是28x28x1的字节流直接reshape成(样本数,784)即可。从矩阵维度看x是(B,784)W1是(784,128)b1是(128,)前向第一步得到(B,128)再乘W2(128,10)得到(B,10)。后面的反向传播全部遵循这个形状约束写代码时需要经常回头检查维度。还需要注意像素值范围是0到255sigmoid输入如果落在这个区间会直接进入饱和区数据预处理阶段要统一除以255。2.2 隐藏层激活函数sigmoid和ReLU的期末答辩答案隐藏层激活函数最常见的两个选项是sigmoid和ReLU。很多教材里的BP推导都用sigmoid因为它处处可导梯度表达式简洁但sigmoid在输入较大或较小时梯度接近0容易造成梯度消失。ReLU在正区间梯度恒为1能有效缓解这一点但它在负区间梯度为0可能出现节点死亡。激活函数输出范围梯度范围经典BP教材MNIST实测倾向sigmoid(0,1)(0,0.25]常用收敛稳定但学习率过大会饱和ReLU[0,∞)0 或 1少用收敛更快但需控制初始化期末大作业通常要求推导BP公式写清sigmoid导数更容易得分。我们的实现里选择sigmoid作为隐藏层激活函数并且把权重初始化设为0.01倍标准差避免一开始就进入饱和区域。如果换用ReLU只需要改激活函数和对应的导数项后面第三、四章会说明改动点。画bp神经网络结构图时输入层可以标注“784”隐藏层标注“128”输出层标注“10”三层之间用全连接箭头表示这是答辩PPT里最常见的结构图模板。2.3 输出层softmax配合交叉熵为什么比均方误差更稳输出层如果直接使用sigmoid十个节点各自输出0到1无法保证概率之和为1。更合适的做法是softmax它把原始分数转换成概率分布。交叉熵损失在softmax下的反向传播表达非常优雅输出层误差项就是“预测概率减去独热标签”。如果用均方误差输出层误差还需要乘上softmax导数梯度容易变小训练速度慢不少。交叉熵公式是 L -sum(y_i * log(p_i))其中y_i是独热编码。由于y_i只有真实类别是1其余为0因此可以简化为L -log(p_true)。代码实现时不需要显式展开这个公式只需要用np.log在正确位置采样。在数值层面softmax和交叉熵通常合在一起计算否则当概率接近0时log会出现inf。因此后面的_softmax函数里会先减去该行最大值配合预测时的log概率取值从源头规避溢出风险。3. 用Python和NumPy实现BP神经网络源码级的矩阵运算在PyTorch里几行代码能完成的训练在这里需要自己写前向、反向和参数更新。采用纯NumPy实现不依赖深度学习框架期末答辩时也能明确说清每一行公式的来源。整个代码结构按“数据加载、网络定义、训练循环”三部分组织。3.1 MNIST数据集加载torchvision下载404时的替代路径在较新版本的torchvision中直接使用torchvision.datasets.MNIST下载数据有时会遭遇404错误原因是MNIST服务器目录结构或文件名的调整。期末大作业里不必纠结这个依赖直接从MNIST官网获取四个二进制gz文件即可。它们分别是训练图像、训练标签、测试图像和测试标签。以下函数读取IDX二进制格式并把图像reshape成样本数x784的二维数组。import gzip import os import struct import numpy as np def load_mnist(kind, data_dir): # kind: train 或 t10k labels_path os.path.join(data_dir, f{kind}-labels-idx1-ubyte.gz) images_path os.path.join(data_dir, f{kind}-images-idx3-ubyte.gz) with gzip.open(labels_path, rb) as f: magic, n struct.unpack(II, f.read(8)) labels np.frombuffer(f.read(), dtypenp.uint8) with gzip.open(images_path, rb) as f: magic, n, rows, cols struct.unpack(IIII, f.read(16)) images np.frombuffer(f.read(), dtypenp.uint8) images images.reshape(len(labels), rows * cols) return images, labels读取后的图像保持为0到255的uint8训练前再统一除以255这样既省内存也不会在读取阶段引入浮点误差。struct.unpack的格式字符串II表示大端模式读取两个无符号32位整数IDX文件的所有头信息都是大端字节序这一点忘了会读错维度。注意不要自己重命名数据集文件保持train-labels-idx1-ubyte.gz这种原始文件名否则需要额外维护一套路径映射。3.2 前向传播将784维向量映射到10个类别BPNetwork类负责保存权重和偏置。初始化时W1的形状是(784, hidden_size)W2的形状是(hidden_size, 10)。权重使用小随机数初始化偏置全部初始化为0。class BPNetwork: def __init__(self, input_size784, hidden_size128, output_size10, lr0.1): self.W1 np.random.randn(input_size, hidden_size) * 0.01 self.b1 np.zeros(hidden_size) self.W2 np.random.randn(hidden_size, output_size) * 0.01 self.b2 np.zeros(output_size) self.lr lr def _sigmoid(self, x): return 1.0 / (1.0 np.exp(-x)) def _sigmoid_grad(self, a): return a * (1.0 - a) def _softmax(self, x): shifted x - np.max(x, axis-1, keepdimsTrue) exp_val np.exp(shifted) return exp_val / np.sum(exp_val, axis-1, keepdimsTrue) def forward(self, x): self.z1 x self.W1 self.b1 self.a1 self._sigmoid(self.z1) self.z2 self.a1 self.W2 self.b2 self.a2 self._softmax(self.z2) return self.a2sigmoid_grad会在反向传播中被调用。_softmax里先减去每行最大值用于数值稳定防止exp(x)溢出。前向传播保存了中间变量a1和z1它们是反向传播的必要输入。3.3 反向传播与参数更新矩阵化实现的关键代码训练时输入是随机batch所以所有矩阵都按batch维度B展开。反向传播分两步先计算输出层误差delta2再计算隐藏层误差delta1最后累加梯度并除以B。def backward(self, x, y_true): # x: (B, 784), y_true: (B,) B x.shape[0] y_onehot np.eye(self.W2.shape[1])[y_true] # 输出层梯度softmax cross entropy 的简化结果 delta2 self.a2 - y_onehot grad_W2 self.a1.T delta2 / B grad_b2 delta2.mean(axis0) # 隐藏层梯度链式法则 delta1 (delta2 self.W2.T) * self._sigmoid_grad(self.a1) grad_W1 x.T delta1 / B grad_b1 delta1.mean(axis0) self.W1 - self.lr * grad_W1 self.b1 - self.lr * grad_b1 self.W2 - self.lr * grad_W2 self.b2 - self.lr * grad_b2这里没有手动计算交叉熵的梯度因为它被softmax层抵消了delta2直接等于预测减去独热标签。隐藏层梯度用delta2乘以W2转置再乘sigmoid导数sigmoid导数是a1*(1-a1)属于逐元素运算。除以B的作用是取平均梯度等价于小批量梯度下降。3.4 训练主流程打乱顺序、小批量梯度下降、输出准确率完成前向和反向之后还需要一个evaluate函数来计算损失和准确率以及一个train函数来调度整个流程。train函数接受测试集作为验证集每个epoch结束后打印一次验证结果。def evaluate(model, X, y): prob model.forward(X) pred np.argmax(prob, axis1) acc np.mean(pred y) loss -np.mean(np.log(prob[range(len(y)), y] 1e-8)) return loss, acc def train(model, X_train, y_train, X_val, y_val, epochs10, batch_size32, shuffle_seed42): gen np.random.default_rng(shuffle_seed) n X_train.shape[0] for epoch in range(epochs): idx gen.permutation(n) X_train, y_train X_train[idx], y_train[idx] for i in range(0, n, batch_size): X_batch X_train[i:ibatch_size] y_batch y_train[i:ibatch_size] model.forward(X_batch) model.backward(X_batch, y_batch) val_loss, val_acc evaluate(model, X_val, y_val) print(fepoch {epoch1}, val_loss {val_loss:.4f}, val_acc {val_acc:.4f})main部分加载数据、归一化并启动训练if __name__ __main__: data_dir ./mnist X_train, y_train load_mnist(train, data_dir) X_test, y_test load_mnist(t10k, data_dir) # 归一化uint8 - float32并缩放到0-1 X_train X_train.astype(np.float32) / 255.0 X_test X_test.astype(np.float32) / 255.0 np.random.seed(42) # 让权重初始化可复现 model BPNetwork(hidden_size128, lr0.1) train(model, X_train, y_train, X_test, y_test, epochs10, batch_size32)np.random.seed(42)放在模型初始化之前保证两次运行得到的初始化权重一致。shuffle_seed控制训练数据打乱顺序用default_rng生成独立生成器不会污染全局随机状态。如果机器性能有限可以先用X_train[:10000]训练速度会快很多准确率也不会下降太多。4. 期末大作业的调参清单学习率、隐藏层尺寸、初始化和归一化跑通上面的源码后准确率通常可以到95%左右。但如果把参数乱改一通结果可能降到90%以下。下面三个参数组合是我调期末作业时一定会看的。4.1 学习率0.1、0.5还是0.01用验证损失判断学习率决定权重更新的步长。sigmoid网络对学习率相对敏感0.01太保守迭代10轮可能还没到最优0.5会导致损失震荡甚至无法下降0.1是比较稳妥的起点。如果换用ReLU学习率可以适当提高到0.3左右。学习率前5轮验证准确率典型问题0.0185%以下缓慢上升更新太小需要增加epoch0.190%~95%稳定收敛作业默认值0.5波动明显容易卡在局部极值或梯度爆炸判断该不该调学习率最好的方法是观察val_loss的走势。如果每一步都在下降但幅度小就增加学习率如果loss不断跳动甚至上升就减小学习率。写报告时把这个现象描述清楚比单纯给一张最终准确率图更有说服力。4.2 隐藏层节点数64、128还是256隐藏层大小不是越大越好。64个节点计算更快但拟合能力有限256个节点可能过拟合准确率不一定显著高于128。作业中常用128。另一种常见变体是两层隐藏层比如128-64理论上能学习更复杂边界但参数量增加训练时间也增加MNIST这种简单图像收益有限。隐藏节点数参数量(约)10轮准确率建议6450k93%~94%想快速跑通用128100k95%~96%首选默认值256200k95%左右过拟合风险上升参数量估算方式是7846464再加上641010。节点数增大时矩阵乘法的耗时也成比例上涨。如果老师追问为什么不用两层隐藏层可以答两个隐藏层的BP在MNIST上准确率提升有限但训练时间几乎翻倍属于性价比权衡。4.3 权重初始化和归一化结果不稳定多半是这里权重如果全部初始化为0所有隐藏节点会同步更新永远无法学到差异必须随机初始化。np.random.randn(...) * 0.01是常见做法标准差0.01让加权和保持在较小范围。如果改成标准正态分布*1多个输入累加后很容易让z1超过10sigmoid进入饱和区梯度接近0训练基本停滞。数据归一化同样关键。像素值0~255如果不处理加权和会非常大即使权重很小乘积也可能导致输出饱和。使用/255.0把数据缩放到0~1区间朴素且稳妥。归一化只改变输入尺度不改变图像内容却能让BP网络的误差景观变得更平缓损失下降更稳定。5. 期末答辩前的验证损失曲线、错误样本和可复现的实验记录写报告前最好把训练过程中的中间状态都留存下来。除了准确率老师更关心你能否证明模型是真正学会了识别数字而不只是背下了训练集。5.1 用matplotlib绘制损失曲线和准确率曲线在train函数里收集每个epoch的val_loss和val_acc然后绘图。最简单做法是创建两个列表在循环里append训练结束后plot。如果觉得曲线不够平滑可以对损失做滑动平均或者在报告中说明前几个epoch波动大的原因。loss_history, acc_history [], [] # 在train的epoch循环中 # loss_history.append(val_loss) # acc_history.append(val_acc) import matplotlib.pyplot as plt plt.plot(loss_history, markero, linewidth1) plt.xlabel(epoch) plt.ylabel(val loss) plt.title(Validation Loss Curve) plt.savefig(loss_curve.svg)图中曲线平滑下降并逐渐变平说明模型已收敛如果曲线剧烈抖动说明学习率需要降低。把这张图插进报告比粘贴十行终端输出更直观。5.2 找出错误样本说明边界情况从测试集里取模型预测错的样本把图片、真实标签和预测标签放在一起展示。手写数字的误判通常发生在4和9、7和2之间原因是笔画连笔或潦草。展示这些边界情况能证明分析过模型的局限性这是期末答辩中的加分项。遍历错误样本时可以同时打印softmax输出的top2概率。按“最大预测概率”降序排序优先展示那些置信度高但预测错的样本比如把“9”错认成“4”且置信度高达0.9。这类样本能引出对softmax置信度校准的讨论。5.3 交作业前检查随机种子、数据路径和batch维度最后检查三个看似琐碎但会在现场出丑的细节。第一main里设置np.random.seed(42)保证答辩时第二次运行结果与报告一致。第二load_mnist的data_dir应包含原始gz文件不要在代码里写死绝对路径。第三evaluate时确认X_test是二维数组形状为(N,784)而不是(N,28,28)。这些检查做好后这套“基于BP神经网络mnist手写数字识别Python实现源码”才能真正从一个课程作业变成可复现的工程演示。本文还有配套的精品资源点击获取
简介一套完整的BP神经网络MNIST手写数字识别项目源码包面向计算机专业期末大作业与深度学习入门实战场景源码已跑通并获较高评分可直接用于课程设计或答辩演示。包体共61个文件、15.3MB以7个Python脚本主程序、数据加载、图片预处理、训练示例、调参与调试工具为核心配套MNIST的npz数据集、训练好的3层模型pkl、效果展示mp4及readme说明文档便于复现与二次开发。目前已有534人学习下载代码结构清晰涵盖数据预处理、网络构建、模型训练、超参数调整与结果可视化环节。读者不仅能获得可直接运行的BP实现和预训练权重还可用附带图片测试单张数字识别并借助调参脚本理解学习率、层数等对准确率的影响快速完成大作业设计与报告撰写。1. 基于BP神经网络的MNIST手写数字识别期末大作业真正的分水岭不在公式以“基于BP神经网络mnist手写数字识别Python实现源码期末大作业”为选题的人普遍把反向传播公式背得很熟但一到键盘前就不知道代码该怎么组织。MNIST数据集包含6万张28x28灰度图像手写数字识别的任务先要把每张图展平成784维向量再通过两个全连接层映射到10个类别。期末大作业通常要求提交完整源码并且能被现场运行调参。真正容易翻车的不是BP公式本身而是数据加载路径、矩阵维度对不齐、权重初始化不合理。下面从理论到调参逐层拆开让这套BP网络在你自己的电脑上也能跑出95%左右的准确率。2. BP神经网络与MNIST的结构选择从784维输入到10维输出BP神经网络最经典的形式是输入层、隐藏层、输出层各一个。对于MNIST输入层是784个节点对应图像展开后的每个像素输出层是10个节点对应0到9的类别概率。中间隐藏层节点数没有严格公式128是一个性价比很高的起点。接下来的三个决定直接影响代码形态是否展平、激活函数选哪种、输出层用什么损失函数。2.1 为什么MNIST要把28x28像素展平又为什么BP比卷积核更合适卷积神经网络可以保留图像的空间结构但BP神经网络本身是把每个像素当作独立特征。把28x28的矩阵改成784维向量后相邻像素的相对位置信息被舍弃了。MNIST数字结构简单即使丢失空间信息一个隐藏层的MLP也能获得约95%的准确率这足以满足期末大作业的验收要求。若强行保留二维结构就需要在反向传播中处理卷积核的局部区域那已经不是BP神经网络这道题的范畴。展平操作在数据加载阶段最方便完成。读入的原始图片本来就是28x28x1的字节流直接reshape成(样本数,784)即可。从矩阵维度看x是(B,784)W1是(784,128)b1是(128,)前向第一步得到(B,128)再乘W2(128,10)得到(B,10)。后面的反向传播全部遵循这个形状约束写代码时需要经常回头检查维度。还需要注意像素值范围是0到255sigmoid输入如果落在这个区间会直接进入饱和区数据预处理阶段要统一除以255。2.2 隐藏层激活函数sigmoid和ReLU的期末答辩答案隐藏层激活函数最常见的两个选项是sigmoid和ReLU。很多教材里的BP推导都用sigmoid因为它处处可导梯度表达式简洁但sigmoid在输入较大或较小时梯度接近0容易造成梯度消失。ReLU在正区间梯度恒为1能有效缓解这一点但它在负区间梯度为0可能出现节点死亡。激活函数输出范围梯度范围经典BP教材MNIST实测倾向sigmoid(0,1)(0,0.25]常用收敛稳定但学习率过大会饱和ReLU[0,∞)0 或 1少用收敛更快但需控制初始化期末大作业通常要求推导BP公式写清sigmoid导数更容易得分。我们的实现里选择sigmoid作为隐藏层激活函数并且把权重初始化设为0.01倍标准差避免一开始就进入饱和区域。如果换用ReLU只需要改激活函数和对应的导数项后面第三、四章会说明改动点。画bp神经网络结构图时输入层可以标注“784”隐藏层标注“128”输出层标注“10”三层之间用全连接箭头表示这是答辩PPT里最常见的结构图模板。2.3 输出层softmax配合交叉熵为什么比均方误差更稳输出层如果直接使用sigmoid十个节点各自输出0到1无法保证概率之和为1。更合适的做法是softmax它把原始分数转换成概率分布。交叉熵损失在softmax下的反向传播表达非常优雅输出层误差项就是“预测概率减去独热标签”。如果用均方误差输出层误差还需要乘上softmax导数梯度容易变小训练速度慢不少。交叉熵公式是 L -sum(y_i * log(p_i))其中y_i是独热编码。由于y_i只有真实类别是1其余为0因此可以简化为L -log(p_true)。代码实现时不需要显式展开这个公式只需要用np.log在正确位置采样。在数值层面softmax和交叉熵通常合在一起计算否则当概率接近0时log会出现inf。因此后面的_softmax函数里会先减去该行最大值配合预测时的log概率取值从源头规避溢出风险。3. 用Python和NumPy实现BP神经网络源码级的矩阵运算在PyTorch里几行代码能完成的训练在这里需要自己写前向、反向和参数更新。采用纯NumPy实现不依赖深度学习框架期末答辩时也能明确说清每一行公式的来源。整个代码结构按“数据加载、网络定义、训练循环”三部分组织。3.1 MNIST数据集加载torchvision下载404时的替代路径在较新版本的torchvision中直接使用torchvision.datasets.MNIST下载数据有时会遭遇404错误原因是MNIST服务器目录结构或文件名的调整。期末大作业里不必纠结这个依赖直接从MNIST官网获取四个二进制gz文件即可。它们分别是训练图像、训练标签、测试图像和测试标签。以下函数读取IDX二进制格式并把图像reshape成样本数x784的二维数组。import gzip import os import struct import numpy as np def load_mnist(kind, data_dir): # kind: train 或 t10k labels_path os.path.join(data_dir, f{kind}-labels-idx1-ubyte.gz) images_path os.path.join(data_dir, f{kind}-images-idx3-ubyte.gz) with gzip.open(labels_path, rb) as f: magic, n struct.unpack(II, f.read(8)) labels np.frombuffer(f.read(), dtypenp.uint8) with gzip.open(images_path, rb) as f: magic, n, rows, cols struct.unpack(IIII, f.read(16)) images np.frombuffer(f.read(), dtypenp.uint8) images images.reshape(len(labels), rows * cols) return images, labels读取后的图像保持为0到255的uint8训练前再统一除以255这样既省内存也不会在读取阶段引入浮点误差。struct.unpack的格式字符串II表示大端模式读取两个无符号32位整数IDX文件的所有头信息都是大端字节序这一点忘了会读错维度。注意不要自己重命名数据集文件保持train-labels-idx1-ubyte.gz这种原始文件名否则需要额外维护一套路径映射。3.2 前向传播将784维向量映射到10个类别BPNetwork类负责保存权重和偏置。初始化时W1的形状是(784, hidden_size)W2的形状是(hidden_size, 10)。权重使用小随机数初始化偏置全部初始化为0。class BPNetwork: def __init__(self, input_size784, hidden_size128, output_size10, lr0.1): self.W1 np.random.randn(input_size, hidden_size) * 0.01 self.b1 np.zeros(hidden_size) self.W2 np.random.randn(hidden_size, output_size) * 0.01 self.b2 np.zeros(output_size) self.lr lr def _sigmoid(self, x): return 1.0 / (1.0 np.exp(-x)) def _sigmoid_grad(self, a): return a * (1.0 - a) def _softmax(self, x): shifted x - np.max(x, axis-1, keepdimsTrue) exp_val np.exp(shifted) return exp_val / np.sum(exp_val, axis-1, keepdimsTrue) def forward(self, x): self.z1 x self.W1 self.b1 self.a1 self._sigmoid(self.z1) self.z2 self.a1 self.W2 self.b2 self.a2 self._softmax(self.z2) return self.a2sigmoid_grad会在反向传播中被调用。_softmax里先减去每行最大值用于数值稳定防止exp(x)溢出。前向传播保存了中间变量a1和z1它们是反向传播的必要输入。3.3 反向传播与参数更新矩阵化实现的关键代码训练时输入是随机batch所以所有矩阵都按batch维度B展开。反向传播分两步先计算输出层误差delta2再计算隐藏层误差delta1最后累加梯度并除以B。def backward(self, x, y_true): # x: (B, 784), y_true: (B,) B x.shape[0] y_onehot np.eye(self.W2.shape[1])[y_true] # 输出层梯度softmax cross entropy 的简化结果 delta2 self.a2 - y_onehot grad_W2 self.a1.T delta2 / B grad_b2 delta2.mean(axis0) # 隐藏层梯度链式法则 delta1 (delta2 self.W2.T) * self._sigmoid_grad(self.a1) grad_W1 x.T delta1 / B grad_b1 delta1.mean(axis0) self.W1 - self.lr * grad_W1 self.b1 - self.lr * grad_b1 self.W2 - self.lr * grad_W2 self.b2 - self.lr * grad_b2这里没有手动计算交叉熵的梯度因为它被softmax层抵消了delta2直接等于预测减去独热标签。隐藏层梯度用delta2乘以W2转置再乘sigmoid导数sigmoid导数是a1*(1-a1)属于逐元素运算。除以B的作用是取平均梯度等价于小批量梯度下降。3.4 训练主流程打乱顺序、小批量梯度下降、输出准确率完成前向和反向之后还需要一个evaluate函数来计算损失和准确率以及一个train函数来调度整个流程。train函数接受测试集作为验证集每个epoch结束后打印一次验证结果。def evaluate(model, X, y): prob model.forward(X) pred np.argmax(prob, axis1) acc np.mean(pred y) loss -np.mean(np.log(prob[range(len(y)), y] 1e-8)) return loss, acc def train(model, X_train, y_train, X_val, y_val, epochs10, batch_size32, shuffle_seed42): gen np.random.default_rng(shuffle_seed) n X_train.shape[0] for epoch in range(epochs): idx gen.permutation(n) X_train, y_train X_train[idx], y_train[idx] for i in range(0, n, batch_size): X_batch X_train[i:ibatch_size] y_batch y_train[i:ibatch_size] model.forward(X_batch) model.backward(X_batch, y_batch) val_loss, val_acc evaluate(model, X_val, y_val) print(fepoch {epoch1}, val_loss {val_loss:.4f}, val_acc {val_acc:.4f})main部分加载数据、归一化并启动训练if __name__ __main__: data_dir ./mnist X_train, y_train load_mnist(train, data_dir) X_test, y_test load_mnist(t10k, data_dir) # 归一化uint8 - float32并缩放到0-1 X_train X_train.astype(np.float32) / 255.0 X_test X_test.astype(np.float32) / 255.0 np.random.seed(42) # 让权重初始化可复现 model BPNetwork(hidden_size128, lr0.1) train(model, X_train, y_train, X_test, y_test, epochs10, batch_size32)np.random.seed(42)放在模型初始化之前保证两次运行得到的初始化权重一致。shuffle_seed控制训练数据打乱顺序用default_rng生成独立生成器不会污染全局随机状态。如果机器性能有限可以先用X_train[:10000]训练速度会快很多准确率也不会下降太多。4. 期末大作业的调参清单学习率、隐藏层尺寸、初始化和归一化跑通上面的源码后准确率通常可以到95%左右。但如果把参数乱改一通结果可能降到90%以下。下面三个参数组合是我调期末作业时一定会看的。4.1 学习率0.1、0.5还是0.01用验证损失判断学习率决定权重更新的步长。sigmoid网络对学习率相对敏感0.01太保守迭代10轮可能还没到最优0.5会导致损失震荡甚至无法下降0.1是比较稳妥的起点。如果换用ReLU学习率可以适当提高到0.3左右。学习率前5轮验证准确率典型问题0.0185%以下缓慢上升更新太小需要增加epoch0.190%~95%稳定收敛作业默认值0.5波动明显容易卡在局部极值或梯度爆炸判断该不该调学习率最好的方法是观察val_loss的走势。如果每一步都在下降但幅度小就增加学习率如果loss不断跳动甚至上升就减小学习率。写报告时把这个现象描述清楚比单纯给一张最终准确率图更有说服力。4.2 隐藏层节点数64、128还是256隐藏层大小不是越大越好。64个节点计算更快但拟合能力有限256个节点可能过拟合准确率不一定显著高于128。作业中常用128。另一种常见变体是两层隐藏层比如128-64理论上能学习更复杂边界但参数量增加训练时间也增加MNIST这种简单图像收益有限。隐藏节点数参数量(约)10轮准确率建议6450k93%~94%想快速跑通用128100k95%~96%首选默认值256200k95%左右过拟合风险上升参数量估算方式是7846464再加上641010。节点数增大时矩阵乘法的耗时也成比例上涨。如果老师追问为什么不用两层隐藏层可以答两个隐藏层的BP在MNIST上准确率提升有限但训练时间几乎翻倍属于性价比权衡。4.3 权重初始化和归一化结果不稳定多半是这里权重如果全部初始化为0所有隐藏节点会同步更新永远无法学到差异必须随机初始化。np.random.randn(...) * 0.01是常见做法标准差0.01让加权和保持在较小范围。如果改成标准正态分布*1多个输入累加后很容易让z1超过10sigmoid进入饱和区梯度接近0训练基本停滞。数据归一化同样关键。像素值0~255如果不处理加权和会非常大即使权重很小乘积也可能导致输出饱和。使用/255.0把数据缩放到0~1区间朴素且稳妥。归一化只改变输入尺度不改变图像内容却能让BP网络的误差景观变得更平缓损失下降更稳定。5. 期末答辩前的验证损失曲线、错误样本和可复现的实验记录写报告前最好把训练过程中的中间状态都留存下来。除了准确率老师更关心你能否证明模型是真正学会了识别数字而不只是背下了训练集。5.1 用matplotlib绘制损失曲线和准确率曲线在train函数里收集每个epoch的val_loss和val_acc然后绘图。最简单做法是创建两个列表在循环里append训练结束后plot。如果觉得曲线不够平滑可以对损失做滑动平均或者在报告中说明前几个epoch波动大的原因。loss_history, acc_history [], [] # 在train的epoch循环中 # loss_history.append(val_loss) # acc_history.append(val_acc) import matplotlib.pyplot as plt plt.plot(loss_history, markero, linewidth1) plt.xlabel(epoch) plt.ylabel(val loss) plt.title(Validation Loss Curve) plt.savefig(loss_curve.svg)图中曲线平滑下降并逐渐变平说明模型已收敛如果曲线剧烈抖动说明学习率需要降低。把这张图插进报告比粘贴十行终端输出更直观。5.2 找出错误样本说明边界情况从测试集里取模型预测错的样本把图片、真实标签和预测标签放在一起展示。手写数字的误判通常发生在4和9、7和2之间原因是笔画连笔或潦草。展示这些边界情况能证明分析过模型的局限性这是期末答辩中的加分项。遍历错误样本时可以同时打印softmax输出的top2概率。按“最大预测概率”降序排序优先展示那些置信度高但预测错的样本比如把“9”错认成“4”且置信度高达0.9。这类样本能引出对softmax置信度校准的讨论。5.3 交作业前检查随机种子、数据路径和batch维度最后检查三个看似琐碎但会在现场出丑的细节。第一main里设置np.random.seed(42)保证答辩时第二次运行结果与报告一致。第二load_mnist的data_dir应包含原始gz文件不要在代码里写死绝对路径。第三evaluate时确认X_test是二维数组形状为(N,784)而不是(N,28,28)。这些检查做好后这套“基于BP神经网络mnist手写数字识别Python实现源码”才能真正从一个课程作业变成可复现的工程演示。本文还有配套的精品资源点击获取
)
)
