简介这份PDF资料面向机器学习初学者与需要梳理深度学习理论脉络的读者系统讲解深度学习算法的基本原理与典型应用。内容从多层神经网络降维算法切入先介绍输入层、隐藏层、输出层的网络基础结构再展开前向传播与反向传播的训练过程并重点剖析受限玻尔兹曼机作为单层网络基本结构的原理最后以自动编码机在手写数字识别中的性能提升为例说明实际应用效果同时客观讨论训练缓慢、易收敛于局部最优等局限与未来方向。资源包共1个PDF文件约496KB篇幅精炼适合作为课程学习或论文写作的参考材料。目前已有94人学习下载可帮助读者快速建立深度学习从原理到应用的完整认知框架。1. 从一份 PDF 标题说起深度学习算法到底该按什么顺序学很多人第一次搜「深度学习算法的原理及应用.pdf」其实不是想找一份文档而是想找一条能走通的路。我见过太多人把 PDF 收藏了几十份环境还是没配好模型还是跑不起来。问题不在资料少而在于没人告诉你原理要按什么顺序啃代码要按什么顺序写哪些知识点是必须亲手推一遍的哪些只要会调库就行。这份标题里其实藏着两条线一条是「原理」对应神经网络算法、受限波尔兹曼机、自动编码机这些听起来就头大的名词另一条是「应用」对应图像分类、目标检测、预测建模这些能落地的任务。两条线不能分开走先啃三个月数学再碰代码大概率中途放弃反过来只会调库不懂原理遇到 loss 不降就只能玄学调参。我一般建议按「最小可跑通闭环 → 逐层补原理 → 换任务验证」的节奏推进下面就把这条路径拆开讲清楚。2. 原理先立住从感知机到 CNN 的最小知识骨架2.1 神经网络算法的最小闭环前向、损失、反向不管网络多深核心就三件事前向传播算输出损失函数量误差反向传播求梯度。很多人卡在反向传播的链式法则上其实用计算图理解会轻松很多。每个节点只关心两件事输入怎么变成输出以及输出端的梯度怎么传回输入端。以单个神经元为例前向是 $z wx b$经过激活函数 $a \sigma(z)$。反向时损失对 $w$ 的梯度等于损失对 $a$ 的梯度乘以 $a$ 对 $z$ 的梯度再乘以 $z$ 对 $w$ 的梯度。这个链式结构在代码里就是一层层.backward()的累加。import torch import torch.nn as nn # 最小前向反向闭环一个线性层加一个激活 model nn.Sequential( nn.Linear(10, 5), # 输入10维输出5维 nn.ReLU(), # 非线性激活没有它多层等价于一层 nn.Linear(5, 1) # 输出1维做回归 ) optimizer torch.optim.SGD(model.parameters(), lr0.01) criterion nn.MSELoss() x torch.randn(8, 10) # 8个样本每个10维 y torch.randn(8, 1) # 对应标签 for step in range(100): pred model(x) # 前向 loss criterion(pred, y) # 算损失 optimizer.zero_grad() # 清空上一轮梯度不清会累加 loss.backward() # 反向求梯度 optimizer.step() # 更新参数这段代码里zero_grad()是最容易被忽略的一步。PyTorch 默认梯度累加如果不清零第二次迭代的梯度会叠加第一次的loss 会直接飞掉。lr0.01是学习率太大会震荡太小收敛慢新手可以从 0.01 或 0.001 起步。MSELoss适合回归分类任务要换成CrossEntropyLoss。2.2 受限波尔兹曼机和自动编码机为什么现在还要了解它们热搜词里出现「受限波尔兹曼机」和「自动编码机」说明很多人还在翻早期深度学习的资料。这两个东西在 2006 年前后是深度网络预训练的主力现在直接用的场景少了但理解它们对搞懂「无监督特征提取」很有帮助。受限波尔兹曼机RBM是一个两层结构可见层和隐藏层层内无连接层间全连接。它的能量函数定义了联合概率训练目标是让模型对训练数据的概率最大。实际训练用对比散度CD-kk 通常取 1 就够。自动编码机Autoencoder更直观编码器把输入压成低维表示解码器再还原损失是重构误差。中间那个低维表示就是特征。import torch.nn as nn class Autoencoder(nn.Module): def __init__(self): super().__init__() self.encoder nn.Sequential( nn.Linear(784, 256), # 输入784维比如28x28图像展平 nn.ReLU(), nn.Linear(256, 64) # 压缩到64维瓶颈层 ) self.decoder nn.Sequential( nn.Linear(64, 256), nn.ReLU(), nn.Linear(256, 784), nn.Sigmoid() # 输出归一化到0-1配合BCELoss ) def forward(self, x): z self.encoder(x) # 编码得到低维特征 return self.decoder(z) # 解码还原输入瓶颈层维度 64 是超参太小会丢信息太大起不到压缩作用。损失用BCELoss时输入必须归一化到 0-1用MSELoss则不用。RBM 和自动编码机现在更多作为「理解无监督预训练」的跳板实际项目里特征提取基本被预训练 CNN 替代了但面试和论文里还会遇到。2.3 CNN 为什么能处理图像卷积、池化、权值共享卷积神经网络是绕不开的。全连接层处理 224x224x3 的图像第一层就要 15 万个权重参数量爆炸且容易过拟合。卷积层用一个小窗口比如 3x3在图上滑动同一个窗口的权重在整个图共享参数量直接降到几百个。池化层进一步降维同时带来一点平移不变性。import torch.nn as nn cnn nn.Sequential( nn.Conv2d(3, 16, kernel_size3, padding1), # 3通道输入16个卷积核3x3窗口 nn.ReLU(), nn.MaxPool2d(2), # 2x2最大池化尺寸减半 nn.Conv2d(16, 32, kernel_size3, padding1), nn.ReLU(), nn.MaxPool2d(2), nn.Flatten(), # 展平后接全连接 nn.Linear(32 * 56 * 56, 10) # 假设输入224x224经过两次池化变56x56 )padding1保证 3x3 卷积后尺寸不变不加的话每层缩 2。MaxPool2d(2)把长宽各减半。Flatten后的维度要自己算清楚算错就是经典的size mismatch报错。卷积核数量 16、32 是常见起步值深层可以加到 64、128。3. 动手跑通环境配置到第一个训练脚本3.1 深度学习环境配置Ubuntu 20.04 加 GPU 的稳妥路径热搜里「ubuntu20.04配置深度学习」和「深度学习环境配置gpu版」出现频率很高说明环境这一步卡住了大量人。我一般按「驱动 → CUDA → cuDNN → 框架」的顺序来版本对应关系是最大的坑。先确认显卡和驱动nvidia-smi输出里能看到驱动版本和最高支持的 CUDA 版本。比如显示CUDA Version: 11.8那装 CUDA 11.8 及以下都行。不要直接装最新版框架对 CUDA 版本有要求。# 以 CUDA 11.8 为例去官网找对应命令不要照抄来源不明的脚本 wget https://developer.download.nvidia.com/compute/cuda/11.8.0/local_installers/cuda_11.8.0_520.61.05_linux.run sudo sh cuda_11.8.0_520.61.05_linux.run安装时取消勾选驱动已经装过只装 CUDA Toolkit。装完在~/.bashrc里加export PATH/usr/local/cuda-11.8/bin:$PATH export LD_LIBRARY_PATH/usr/local/cuda-11.8/lib64:$LD_LIBRARY_PATH然后source ~/.bashrc用nvcc -V验证。cuDNN 下载后解压拷贝到 CUDA 目录即可。最后装 PyTorch去官网选对应 CUDA 版本的命令不要用pip install torch默认版那个可能不带 GPU 支持。提示conda 环境能隔离不同项目的 CUDA 版本但 conda 装的 cudatoolkit 和系统 CUDA 是两回事PyTorch 用的是 conda 里的运行时版本对不上照样报错。3.2 用 PyTorch 写一个完整训练循环数据、模型、验证环境好了之后跑通一个完整流程比看十篇原理都有用。下面以 MNIST 为例把数据加载、模型定义、训练、验证串起来。import torch import torch.nn as nn from torch.utils.data import DataLoader from torchvision import datasets, transforms # 数据准备转张量归一化 transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)) # MNIST均值和标准差 ]) train_set datasets.MNIST(./data, trainTrue, downloadTrue, transformtransform) test_set datasets.MNIST(./data, trainFalse, transformtransform) train_loader DataLoader(train_set, batch_size64, shuffleTrue) test_loader DataLoader(test_set, batch_size64, shuffleFalse) # 模型 model nn.Sequential( nn.Flatten(), nn.Linear(784, 128), nn.ReLU(), nn.Linear(128, 10) ) device torch.device(cuda if torch.cuda.is_available() else cpu) model model.to(device) optimizer torch.optim.Adam(model.parameters(), lr1e-3) criterion nn.CrossEntropyLoss() # 训练循环 for epoch in range(5): model.train() for x, y in train_loader: x, y x.to(device), y.to(device) pred model(x) loss criterion(pred, y) optimizer.zero_grad() loss.backward() optimizer.step() # 验证 model.eval() correct 0 with torch.no_grad(): for x, y in test_loader: x, y x.to(device), y.to(device) pred model(x) correct (pred.argmax(1) y).sum().item() print(fepoch {epoch}, acc {correct / len(test_set):.4f})batch_size64是显存和收敛速度的折中显存小就降到 32 或 16。Adam学习率 1e-3 是默认起步值比 SGD 省心。model.train()和model.eval()在只有全连接层时区别不大但有 Dropout 和 BatchNorm 时必须切换否则验证结果会飘。torch.no_grad()关掉梯度计算省显存也加速。3.3 从 MNIST 换到自己的数据集三个必须改的地方跑通 MNIST 只是开始换成自己的数据要改三处数据读取、输入维度、输出类别数。数据读取用Dataset和DataLoader自定义from torch.utils.data import Dataset from PIL import Image class MyDataset(Dataset): def __init__(self, file_list, labels, transformNone): self.file_list file_list # 图片路径列表 self.labels labels # 对应标签列表 self.transform transform def __len__(self): return len(self.file_list) def __getitem__(self, idx): img Image.open(self.file_list[idx]).convert(RGB) if self.transform: img self.transform(img) return img, self.labels[idx]输入维度改nn.Linear的第一个参数比如 224x224x3 经过几层卷积后的展平尺寸。输出类别数改最后一层的输出维度10 类就写 102 类可以写 2 配CrossEntropyLoss也可以写 1 配BCELoss。标签必须是 0 到 N-1 的整数从 1 开始会报IndexError。4. 避坑与排查训练不收敛时先看这五处4.1 loss 不降反升学习率和归一化先查现象是训练几个 epoch 后 loss 变成 nan 或者持续上升。原因通常是学习率太大或者输入没归一化。解决是把学习率降一个数量级比如从 0.01 降到 0.001同时检查数据是否减了均值除了标准差。图像数据用transforms.Normalize表格数据手动算均值和方差。4.2 验证集准确率远低于训练集过拟合还是数据泄漏现象是训练集 99%验证集 70%。先查数据有没有泄漏比如验证集图片混进了训练集。排除泄漏后就是过拟合加 Dropout、加权重衰减、做数据增强。nn.Dropout(0.5)放在全连接层之间weight_decay1e-4加在优化器里。4.3 GPU 显存不够batch size 和梯度累积现象是CUDA out of memory。先把 batch size 减半还不行就用梯度累积小 batch 跑几次再更新一次参数等效大 batch。accum_steps 4 for i, (x, y) in enumerate(train_loader): loss criterion(model(x), y) / accum_steps loss.backward() if (i 1) % accum_steps 0: optimizer.step() optimizer.zero_grad()4.4 训练速度慢数据加载和 pin_memory现象是 GPU 利用率低大部分时间在等数据。把DataLoader的num_workers调到 4 或 8pin_memoryTrue加速 CPU 到 GPU 的拷贝。但num_workers在 Windows 上容易出问题设 0 最稳。4.5 模型保存后加载结果不对state_dict 和结构要一致现象是保存的模型重新加载后预测全乱。原因是只保存了state_dict但加载时模型结构变了或者保存时用了torch.save(model)整个对象。推荐只存state_dicttorch.save(model.state_dict(), model.pth) # 加载时先实例化同样结构的模型 model MyModel() model.load_state_dict(torch.load(model.pth)) model.eval()5. 进阶技巧用预训练模型和迁移学习快速出结果自己从零训一个 CNN 在小数据集上很难出好结果迁移学习是性价比最高的做法。拿 ImageNet 上预训练的 ResNet把最后一层换成自己的类别数只训最后一层或者全部微调但用很小的学习率。import torchvision.models as models import torch.nn as nn model models.resnet18(pretrainedTrue) # 加载预训练权重 for param in model.parameters(): param.requires_grad False # 先冻结所有层 model.fc nn.Linear(512, 10) # 替换最后一层10类 # 只优化fc层 optimizer torch.optim.Adam(model.fc.parameters(), lr1e-3)冻结训练几轮后可以解冻后面几层做微调学习率降到 1e-4 或更低。数据增强用RandomResizedCrop、RandomHorizontalFlip、ColorJitter能明显提升泛化。验证时记得model.eval()并关掉增强。我自己的习惯是任何新任务先跑一个预训练模型加线性探测拿到 baseline 再决定要不要自己设计网络。这样一周内能知道任务可不可做而不是花一个月调一个可能方向就错的模型。希望帮到你。本文还有配套的精品资源点击获取
简介这份PDF资料面向机器学习初学者与需要梳理深度学习理论脉络的读者系统讲解深度学习算法的基本原理与典型应用。内容从多层神经网络降维算法切入先介绍输入层、隐藏层、输出层的网络基础结构再展开前向传播与反向传播的训练过程并重点剖析受限玻尔兹曼机作为单层网络基本结构的原理最后以自动编码机在手写数字识别中的性能提升为例说明实际应用效果同时客观讨论训练缓慢、易收敛于局部最优等局限与未来方向。资源包共1个PDF文件约496KB篇幅精炼适合作为课程学习或论文写作的参考材料。目前已有94人学习下载可帮助读者快速建立深度学习从原理到应用的完整认知框架。1. 从一份 PDF 标题说起深度学习算法到底该按什么顺序学很多人第一次搜「深度学习算法的原理及应用.pdf」其实不是想找一份文档而是想找一条能走通的路。我见过太多人把 PDF 收藏了几十份环境还是没配好模型还是跑不起来。问题不在资料少而在于没人告诉你原理要按什么顺序啃代码要按什么顺序写哪些知识点是必须亲手推一遍的哪些只要会调库就行。这份标题里其实藏着两条线一条是「原理」对应神经网络算法、受限波尔兹曼机、自动编码机这些听起来就头大的名词另一条是「应用」对应图像分类、目标检测、预测建模这些能落地的任务。两条线不能分开走先啃三个月数学再碰代码大概率中途放弃反过来只会调库不懂原理遇到 loss 不降就只能玄学调参。我一般建议按「最小可跑通闭环 → 逐层补原理 → 换任务验证」的节奏推进下面就把这条路径拆开讲清楚。2. 原理先立住从感知机到 CNN 的最小知识骨架2.1 神经网络算法的最小闭环前向、损失、反向不管网络多深核心就三件事前向传播算输出损失函数量误差反向传播求梯度。很多人卡在反向传播的链式法则上其实用计算图理解会轻松很多。每个节点只关心两件事输入怎么变成输出以及输出端的梯度怎么传回输入端。以单个神经元为例前向是 $z wx b$经过激活函数 $a \sigma(z)$。反向时损失对 $w$ 的梯度等于损失对 $a$ 的梯度乘以 $a$ 对 $z$ 的梯度再乘以 $z$ 对 $w$ 的梯度。这个链式结构在代码里就是一层层.backward()的累加。import torch import torch.nn as nn # 最小前向反向闭环一个线性层加一个激活 model nn.Sequential( nn.Linear(10, 5), # 输入10维输出5维 nn.ReLU(), # 非线性激活没有它多层等价于一层 nn.Linear(5, 1) # 输出1维做回归 ) optimizer torch.optim.SGD(model.parameters(), lr0.01) criterion nn.MSELoss() x torch.randn(8, 10) # 8个样本每个10维 y torch.randn(8, 1) # 对应标签 for step in range(100): pred model(x) # 前向 loss criterion(pred, y) # 算损失 optimizer.zero_grad() # 清空上一轮梯度不清会累加 loss.backward() # 反向求梯度 optimizer.step() # 更新参数这段代码里zero_grad()是最容易被忽略的一步。PyTorch 默认梯度累加如果不清零第二次迭代的梯度会叠加第一次的loss 会直接飞掉。lr0.01是学习率太大会震荡太小收敛慢新手可以从 0.01 或 0.001 起步。MSELoss适合回归分类任务要换成CrossEntropyLoss。2.2 受限波尔兹曼机和自动编码机为什么现在还要了解它们热搜词里出现「受限波尔兹曼机」和「自动编码机」说明很多人还在翻早期深度学习的资料。这两个东西在 2006 年前后是深度网络预训练的主力现在直接用的场景少了但理解它们对搞懂「无监督特征提取」很有帮助。受限波尔兹曼机RBM是一个两层结构可见层和隐藏层层内无连接层间全连接。它的能量函数定义了联合概率训练目标是让模型对训练数据的概率最大。实际训练用对比散度CD-kk 通常取 1 就够。自动编码机Autoencoder更直观编码器把输入压成低维表示解码器再还原损失是重构误差。中间那个低维表示就是特征。import torch.nn as nn class Autoencoder(nn.Module): def __init__(self): super().__init__() self.encoder nn.Sequential( nn.Linear(784, 256), # 输入784维比如28x28图像展平 nn.ReLU(), nn.Linear(256, 64) # 压缩到64维瓶颈层 ) self.decoder nn.Sequential( nn.Linear(64, 256), nn.ReLU(), nn.Linear(256, 784), nn.Sigmoid() # 输出归一化到0-1配合BCELoss ) def forward(self, x): z self.encoder(x) # 编码得到低维特征 return self.decoder(z) # 解码还原输入瓶颈层维度 64 是超参太小会丢信息太大起不到压缩作用。损失用BCELoss时输入必须归一化到 0-1用MSELoss则不用。RBM 和自动编码机现在更多作为「理解无监督预训练」的跳板实际项目里特征提取基本被预训练 CNN 替代了但面试和论文里还会遇到。2.3 CNN 为什么能处理图像卷积、池化、权值共享卷积神经网络是绕不开的。全连接层处理 224x224x3 的图像第一层就要 15 万个权重参数量爆炸且容易过拟合。卷积层用一个小窗口比如 3x3在图上滑动同一个窗口的权重在整个图共享参数量直接降到几百个。池化层进一步降维同时带来一点平移不变性。import torch.nn as nn cnn nn.Sequential( nn.Conv2d(3, 16, kernel_size3, padding1), # 3通道输入16个卷积核3x3窗口 nn.ReLU(), nn.MaxPool2d(2), # 2x2最大池化尺寸减半 nn.Conv2d(16, 32, kernel_size3, padding1), nn.ReLU(), nn.MaxPool2d(2), nn.Flatten(), # 展平后接全连接 nn.Linear(32 * 56 * 56, 10) # 假设输入224x224经过两次池化变56x56 )padding1保证 3x3 卷积后尺寸不变不加的话每层缩 2。MaxPool2d(2)把长宽各减半。Flatten后的维度要自己算清楚算错就是经典的size mismatch报错。卷积核数量 16、32 是常见起步值深层可以加到 64、128。3. 动手跑通环境配置到第一个训练脚本3.1 深度学习环境配置Ubuntu 20.04 加 GPU 的稳妥路径热搜里「ubuntu20.04配置深度学习」和「深度学习环境配置gpu版」出现频率很高说明环境这一步卡住了大量人。我一般按「驱动 → CUDA → cuDNN → 框架」的顺序来版本对应关系是最大的坑。先确认显卡和驱动nvidia-smi输出里能看到驱动版本和最高支持的 CUDA 版本。比如显示CUDA Version: 11.8那装 CUDA 11.8 及以下都行。不要直接装最新版框架对 CUDA 版本有要求。# 以 CUDA 11.8 为例去官网找对应命令不要照抄来源不明的脚本 wget https://developer.download.nvidia.com/compute/cuda/11.8.0/local_installers/cuda_11.8.0_520.61.05_linux.run sudo sh cuda_11.8.0_520.61.05_linux.run安装时取消勾选驱动已经装过只装 CUDA Toolkit。装完在~/.bashrc里加export PATH/usr/local/cuda-11.8/bin:$PATH export LD_LIBRARY_PATH/usr/local/cuda-11.8/lib64:$LD_LIBRARY_PATH然后source ~/.bashrc用nvcc -V验证。cuDNN 下载后解压拷贝到 CUDA 目录即可。最后装 PyTorch去官网选对应 CUDA 版本的命令不要用pip install torch默认版那个可能不带 GPU 支持。提示conda 环境能隔离不同项目的 CUDA 版本但 conda 装的 cudatoolkit 和系统 CUDA 是两回事PyTorch 用的是 conda 里的运行时版本对不上照样报错。3.2 用 PyTorch 写一个完整训练循环数据、模型、验证环境好了之后跑通一个完整流程比看十篇原理都有用。下面以 MNIST 为例把数据加载、模型定义、训练、验证串起来。import torch import torch.nn as nn from torch.utils.data import DataLoader from torchvision import datasets, transforms # 数据准备转张量归一化 transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)) # MNIST均值和标准差 ]) train_set datasets.MNIST(./data, trainTrue, downloadTrue, transformtransform) test_set datasets.MNIST(./data, trainFalse, transformtransform) train_loader DataLoader(train_set, batch_size64, shuffleTrue) test_loader DataLoader(test_set, batch_size64, shuffleFalse) # 模型 model nn.Sequential( nn.Flatten(), nn.Linear(784, 128), nn.ReLU(), nn.Linear(128, 10) ) device torch.device(cuda if torch.cuda.is_available() else cpu) model model.to(device) optimizer torch.optim.Adam(model.parameters(), lr1e-3) criterion nn.CrossEntropyLoss() # 训练循环 for epoch in range(5): model.train() for x, y in train_loader: x, y x.to(device), y.to(device) pred model(x) loss criterion(pred, y) optimizer.zero_grad() loss.backward() optimizer.step() # 验证 model.eval() correct 0 with torch.no_grad(): for x, y in test_loader: x, y x.to(device), y.to(device) pred model(x) correct (pred.argmax(1) y).sum().item() print(fepoch {epoch}, acc {correct / len(test_set):.4f})batch_size64是显存和收敛速度的折中显存小就降到 32 或 16。Adam学习率 1e-3 是默认起步值比 SGD 省心。model.train()和model.eval()在只有全连接层时区别不大但有 Dropout 和 BatchNorm 时必须切换否则验证结果会飘。torch.no_grad()关掉梯度计算省显存也加速。3.3 从 MNIST 换到自己的数据集三个必须改的地方跑通 MNIST 只是开始换成自己的数据要改三处数据读取、输入维度、输出类别数。数据读取用Dataset和DataLoader自定义from torch.utils.data import Dataset from PIL import Image class MyDataset(Dataset): def __init__(self, file_list, labels, transformNone): self.file_list file_list # 图片路径列表 self.labels labels # 对应标签列表 self.transform transform def __len__(self): return len(self.file_list) def __getitem__(self, idx): img Image.open(self.file_list[idx]).convert(RGB) if self.transform: img self.transform(img) return img, self.labels[idx]输入维度改nn.Linear的第一个参数比如 224x224x3 经过几层卷积后的展平尺寸。输出类别数改最后一层的输出维度10 类就写 102 类可以写 2 配CrossEntropyLoss也可以写 1 配BCELoss。标签必须是 0 到 N-1 的整数从 1 开始会报IndexError。4. 避坑与排查训练不收敛时先看这五处4.1 loss 不降反升学习率和归一化先查现象是训练几个 epoch 后 loss 变成 nan 或者持续上升。原因通常是学习率太大或者输入没归一化。解决是把学习率降一个数量级比如从 0.01 降到 0.001同时检查数据是否减了均值除了标准差。图像数据用transforms.Normalize表格数据手动算均值和方差。4.2 验证集准确率远低于训练集过拟合还是数据泄漏现象是训练集 99%验证集 70%。先查数据有没有泄漏比如验证集图片混进了训练集。排除泄漏后就是过拟合加 Dropout、加权重衰减、做数据增强。nn.Dropout(0.5)放在全连接层之间weight_decay1e-4加在优化器里。4.3 GPU 显存不够batch size 和梯度累积现象是CUDA out of memory。先把 batch size 减半还不行就用梯度累积小 batch 跑几次再更新一次参数等效大 batch。accum_steps 4 for i, (x, y) in enumerate(train_loader): loss criterion(model(x), y) / accum_steps loss.backward() if (i 1) % accum_steps 0: optimizer.step() optimizer.zero_grad()4.4 训练速度慢数据加载和 pin_memory现象是 GPU 利用率低大部分时间在等数据。把DataLoader的num_workers调到 4 或 8pin_memoryTrue加速 CPU 到 GPU 的拷贝。但num_workers在 Windows 上容易出问题设 0 最稳。4.5 模型保存后加载结果不对state_dict 和结构要一致现象是保存的模型重新加载后预测全乱。原因是只保存了state_dict但加载时模型结构变了或者保存时用了torch.save(model)整个对象。推荐只存state_dicttorch.save(model.state_dict(), model.pth) # 加载时先实例化同样结构的模型 model MyModel() model.load_state_dict(torch.load(model.pth)) model.eval()5. 进阶技巧用预训练模型和迁移学习快速出结果自己从零训一个 CNN 在小数据集上很难出好结果迁移学习是性价比最高的做法。拿 ImageNet 上预训练的 ResNet把最后一层换成自己的类别数只训最后一层或者全部微调但用很小的学习率。import torchvision.models as models import torch.nn as nn model models.resnet18(pretrainedTrue) # 加载预训练权重 for param in model.parameters(): param.requires_grad False # 先冻结所有层 model.fc nn.Linear(512, 10) # 替换最后一层10类 # 只优化fc层 optimizer torch.optim.Adam(model.fc.parameters(), lr1e-3)冻结训练几轮后可以解冻后面几层做微调学习率降到 1e-4 或更低。数据增强用RandomResizedCrop、RandomHorizontalFlip、ColorJitter能明显提升泛化。验证时记得model.eval()并关掉增强。我自己的习惯是任何新任务先跑一个预训练模型加线性探测拿到 baseline 再决定要不要自己设计网络。这样一周内能知道任务可不可做而不是花一个月调一个可能方向就错的模型。希望帮到你。本文还有配套的精品资源点击获取
