PyTorch 是深度学习入门时常被推荐也常被放弃的框架。很多人下载完 Anaconda、照着官网命令装完 PyTorch却在写第一个训练循环时卡住也有人在学完张量和自动求导后不知道这些知识和真实项目之间有什么关系。如果按三天时间线来规划目标不应该定成“三天吃透框架”而应该定成“三天内走完环境配置、核心概念、模型训练、问题排查的完整闭环”。只要这条链路能跑通之后学 CNN、Transformer、分布式训练都会顺畅很多。下面这套路线是从实际项目学习中整理出来的不依赖具体显卡型号也不依赖某个固定的 PyTorch 版本。它关注的是每个阶段最容易卡住的地方以及如何用最小成本确认自己真的学会了。1. 先梳理 PyTorch 的核心能力再安排三天的学习主线1.1 深度学习框架到底帮我们解决了什么问题学习 PyTorch 之前可以先问一个问题如果没有深度学习框架训练一个神经网络需要做什么第一件是定义计算图。神经网络在数学上就是一系列矩阵乘法和非线性函数叠加。你想让这些计算自动记录先后顺序以便反向传播时计算梯度。第二件是自动求导。手写链式法则很容易出错尤其是网络变深之后。第三件是把数据组织成批次在 GPU 上做并行计算。第四件是把网络结构、损失函数、优化器、训练循环串联起来形成可复用的工程代码。PyTorch 的核心价值就是把这些高频工作封装成稳定 API。它用 Tensor 表示数据和参数用 autograd 记录计算图并自动计算梯度用 torch.nn 提供网络层和损失函数用 torch.optim 提供优化器用 torch.utils.data 管理数据加载。所以学习 PyTorch本质上不是背 API而是理解这五块能力如何协同工作。1.2 真正需要掌握的五个能力点很多初学者在 Notebook 里抄了一遍线性回归就以为自己会了 PyTorch但实际上只学会了语法。真正进入项目时至少需要掌握以下五个能力点张量操作能创建、变形、切片、拼接、聚合数据理解 shape 和 dtype 对运算结果的影响。自动求导知道 requires_grad 的含义能解释 loss.backward() 之后参数梯度的去向。模型结构能用 nn.Module 定义自己的网络理解 forward 的作用。数据流水线能用 Dataset 和 DataLoader 组织训练数据处理 batch、shuffle、collate 等细节。训练与验证能独立写出训练循环包含损失计算、梯度清零、反向传播、参数更新、验证和模型保存。这五个点并不需要第一天全部学会。它们更像是一个完整的知识地图三天学习就是围绕这张地图按顺序走一遍。1.3 三天学习计划目标、内容、交付物下面这个计划适合每天投入三到五个小时的人。如果你每天只有一小时可以把周期拉长到一周到两周但路径不变。第一天目标把环境装好把张量和自动求导跑通。交付物是一个由自己写出来的线性回归训练脚本能看到 loss 随着迭代下降。第二天目标用 nn.Module、Dataset、DataLoader 重写训练流程。交付物是一个格式完整、可切换 CPU/GPU 的分类训练脚本并在保存模型后能重新加载。第三天目标接触视觉和序列任务理解 CNN、池化、Transformer 的基本位置。交付物是一个简单的 CNN 分类器和一个选型速查表能根据自己的数据形状选择合适结构。这条主线的难点不是某个概念太难而是很多人跳过了编排和验证步骤导致后面每个环节都在救火。所以下面从环境准备开始每一步都给出检查点。2. 环境准备不花最多时间但一定不能出错2.1 先确认显卡驱动和 CUDA 版本再决定怎么装PyTorch 安装失败绝大多数不是因为 PyTorch 本身复杂而是显卡驱动、CUDA、PyTorch 版本三者之间的对应关系没理顺。先要理解三个概念显卡驱动是操作系统与 GPU 之间的底层接口由 NVIDIA 提供。CUDA 是并行计算平台安装时会包含运行时库和开发工具。PyTorch 会针对某个 CUDA 版本发布对应的安装包例如pytorch-cuda12.1表示这个 PyTorch 版本支持 CUDA 12.1。如果你不打算用 GPU只装 CPU 版 PyTorch 也可以学习。但如果要训练真实神经网络GPU 几乎必不可少。所以在安装前先打开终端执行nvidia-smi正常输出会显示驱动版本和最高支持的 CUDA 版本。例如某个驱动显示CUDA Version: 12.4意味着驱动最高支持 CUDA 12.4 运行时。之后安装 PyTorch 时选择的 CUDA 版本不能高于这个数字否则可能出现运行时报错。这里有一个常见误区nvidia-smi显示的 CUDA Version 是驱动支持的版本不是当前系统已安装的 CUDA toolkit 版本。很多初学者看到这个数字就误以为 CUDA 装好了实际上 PyTorch 安装包通常会自带运行时库不一定需要单独安装完整 CUDA toolkit。也就是说学习阶段可以先只安装 NVIDIA 驱动加 PyTorch GPU 版如果安装过程报缺少 CUDA 相关组件再按错误提示补装。注意PyTorch 版本和 CUDA 版本都在持续更新。本文中的安装命令用于说明思路落地时一定要以 PyTorch 官网给出的命令为准不要直接复制旧教程里的组合。2.2 用 conda 创建隔离环境并安装 PyTorch 的完整命令学习 PyTorch 强烈建议使用 conda 创建独立环境不要直接装在 base 环境里。深度学习项目对 Python 版本、CUDA 版本、TensorFlow 或 PyTorch 版本都有要求隔离环境能避免项目之间互相污染。安装 Miniconda 或 Anaconda 后在终端执行conda create -n pytorch-learn python3.11 -y conda activate pytorch-learn然后在 PyTorch 官网选择系统、包管理器、CUDA 版本官网会生成对应的安装命令。以 Linux pip CUDA 12.1 为例常见命令格式是pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121使用 conda 时常见的命令格式是conda install pytorch torchvision torchaudio pytorch-cuda12.1 -c pytorch -c nvidia如果你没有 NVIDIA 显卡或者暂时不想用 GPU可以安装 CPU 版pip install torch torchvision torchaudio安装完成后不要急着写代码先确认包是否被正确解析。执行pip list | grep torch如果同时安装过多个来源的包这里的输出可能会看到多个 torch 相关条目这说明环境可能存在版本冲突。建议只保留一个 torch 和对应的 torchvision、torchaudio。2.3 验证安装import torch 和 GPU 可用性环境是否可用不能只看安装成功还要验证三件事包能导入、版本符合预期、GPU 能正常参与计算。写一个最小验证脚本import torch print(PyTorch version:, torch.__version__) print(CUDA available:, torch.cuda.is_available()) print(CUDA version:, torch.version.cuda) if torch.cuda.is_available(): print(GPU:, torch.cuda.get_device_name(0)) x torch.randn(2, 3, devicecuda) y (x x.T).sum() print(GPU computation result:, y.item())如果你安装的是 CPU 版后面两句会输出CUDA available: False这是正常的。但如果你的电脑有 NVIDIA GPU安装的也是 GPU 版却输出False就要按第 6 章的排查路径处理。关键检查点只要这一步能输出 PyTorch 版本和 GPU 设备名环境准备就算通过。后续所有代码都可以直接在这个基础上运行。2.4 安装阶段的高频问题与处理方式问题现象常见原因检查方式处理建议import torch报 No module named环境激活不正确或安装到了其他环境执行which python确认当前环境重新运行conda activate pytorch-learn后重试安装包体积下载很慢镜像源问题观察下载地址使用国内 pip 或 conda 镜像源但一定不要混用多个源运行时报 CUDA driver too old驱动版本低于 PyTorch 所需的 CUDA 最低版本执行nvidia-smi查看驱动支持的 CUDA升级驱动或安装与你驱动兼容的较低 CUDA 版 PyTorchAssertionError: Torch not compiled with CUDA enabled实际装成了 CPU 版执行torch.version.cuda重新按 GPU 版命令安装并确保环境里没有覆盖安装安装后torch.cuda.is_available()为 False显卡驱动缺失或 NVIDIA 容器环境没有透传 GPU执行nvidia-smi先修驱动再考虑是否使用 Docker 或远程环境安装阶段最怕的不是报错而是“看起来装好了但仍然无法使用”。因此每次换环境、换机器、换 PyTorch 大版本后都要重新跑一遍验证脚本。3. 从张量到自动求导理解 PyTorch 的最小心智模型3.1 张量是什么和 NumPy、list 有什么区别张量Tensor是 PyTorch 中最基本的数据结构你可以把它理解成多维数组。0 维张量是标量1 维张量是向量2 维张量是矩阵3 维以上通常表示批量样本、序列长度、特征维度或图片通道。Python 内置 list 也能存数字但做矩阵乘法时只能用嵌套循环慢且易错。NumPy 的 ndarray 解决了数值计算问题但不能自动求梯度也无法直接用.cuda()把数据搬到 GPU。PyTorch 的 Tensor 在 NumPy 相近的 API 之上增加了自动求导和设备管理能力。一个很容易误解的地方是Tensor 不只在神经网络里表示数据。模型的权重和偏置也是 Tensor优化器更新的是 Tensor 中的数据。数据和参数在底层都使用同一套张量数据结构只是部分参数开启了requires_grad需要跟踪梯度。3.2 张量的创建、shape、dtype、device 是四个必须掌握的概念创建张量不要求把所有 API 背下来但下面几种必须熟悉import torch # 从列表创建 a torch.tensor([[1.0, 2.0], [3.0, 4.0]]) # 全 0、全 1、随机初始化 zeros torch.zeros(2, 3) ones torch.ones(2, 3) rand torch.randn(2, 3) # 与 NumPy 转换 import numpy as np arr np.array([1, 2, 3]) t torch.from_numpy(arr) back_to_numpy t.numpy() # 设备与 dtype cpu_tensor torch.tensor([1, 2, 3], dtypetorch.float32) gpu_tensor cpu_tensor.cuda()创建之后第一件事就是看 shape 和 dtype。shape 决定运算是否合法dtype 决定数值范围和精度。默认情况下 Python 整数会变成torch.int64Python 浮点数会变成torch.float32。使用 GPU 时必须显式把浮点数变成torch.float32或torch.float16因为很多 GPU 算子不支持 64 位浮点。device决定数据在哪里计算。CPU 和设备之间的数据拷贝要避免高频发生。一个常见错误是每个 batch 都调用.cpu()把训练速度拖慢。更好的做法是数据准备好后一次性放到训练设备上。3.3 requires_grad 与反向传播梯度从哪来、去哪里requires_grad是 PyTorch 自动求导机制的核心开关。一个张量设置了requires_gradTrue后所有基于它进行的运算都会被记录到计算图里。调用loss.backward()时PyTorch 会从 loss 出发沿反向路径计算每个需要梯度节点的导数并写入对应张量的.grad属性。看一个最小例子import torch x torch.tensor(2.0, requires_gradTrue) y x ** 2 3 * x y.backward() print(x.grad)y x^2 3x在x2处的导数是2*x37所以输出是tensor(7.)。这个例子虽然简单但能说明一件重要的事backward()必须在标量loss上调用。如果y是一个向量PyTorch 会要求传入与y同形状的梯度权重初学者可以先避开这个细节尽量把 loss 设计成标量。计算之后需要清空梯度。默认情况下.grad会累加不清空的后果是下一次backward()会把新旧梯度叠在一起导致参数更新异常。所以训练循环里常见这样的写法optimizer.zero_grad() loss.backward() optimizer.step()如果你使用的是没有优化器的自定义更新方式就要手动清零参数梯度。3.4 最小线性回归例子第一次看见损失下降每天学的概念最终都要落到可运行代码上。线性回归虽然结构简单但已经包含了“定义参数、计算预测、计算损失、反向传播、更新参数、清空梯度”六个完整步骤。import torch torch.manual_seed(42) # 生成线性数据集 y 2x 1 噪声 x torch.linspace(0, 1, 100).reshape(-1, 1) true_w torch.tensor(2.0) true_b torch.tensor(1.0) y true_w * x true_b 0.05 * torch.randn_like(x) # 待学习的参数 w torch.randn(1, requires_gradTrue) b torch.zeros(1, requires_gradTrue) lr 0.1 for step in range(200): pred x * w b loss ((pred - y) ** 2).mean() loss.backward() with torch.no_grad(): w - lr * w.grad b - lr * b.grad w.grad.zero_() b.grad.zero_() if step % 20 0: print(step, loss.item()) print(w:, w.item(), b:, b.item())这里要理解with torch.no_grad()的含义。参数更新操作w - lr * w.grad本身不是训练图中的运算不需要被记录到计算图里。如果不加no_gradPyTorch 会把更新操作也当成需要计算梯度的节点导致计算图越滚越大内存持续增长。运行后loss 会从初始值逐步下降最终w和b会接近 2 和 1。看到这个结果说明第一天的目标已经达成张量、自动求导、梯度更新已经串成了一条完整链路。4. 第一个模型用 nn.Module、Dataset、DataLoader 建立工程化训练流程4.1 为什么学习代码不能长期停留在单脚本阶段线性回归演示是理解原理的好方式但它和真实项目之间距离还很远。真实训练场景通常需要处理更大数据、定义更复杂网络、分批加载、做验证、保存模型。如果所有代码都写在同一个脚本的 for 循环里修改网络结构时可能要调整很多处换数据集时更是重复劳动。PyTorch 给出的工程化方案是四层分工nn.Module负责网络结构Dataset负责定义数据读取规则DataLoader负责分批和打乱训练循环负责把损失函数、优化器和数据流组合起来。这四部分各司其职既容易调试也容易维护。4.2 用 nn.Module 定义网络结构nn.Module是所有网络结构的基类。定义网络时通常在__init__里声明子模块在forward里定义数据流向。一个最小多层感知机如下import torch.nn as nn class MLP(nn.Module): def __init__(self, in_features, hidden_features, num_classes): super().__init__() self.net nn.Sequential( nn.Flatten(), nn.Linear(in_features, hidden_features), nn.ReLU(), nn.Linear(hidden_features, num_classes) ) def forward(self, x): return self.net(x)这里nn.Sequential让代码更清晰但它不是必须的。你也可以手动写每一层并组合import torch.nn as nn import torch.nn.functional as F class MLP(nn.Module): def __init__(self, in_features, hidden_features, num_classes): super().__init__() self.fc1 nn.Linear(in_features, hidden_features) self.fc2 nn.Linear(hidden_features, num_classes) def forward(self, x): x F.relu(self.fc1(x)) return self.fc2(x)两种方式都可以。关键是把网络结构作为独立类这样模型参数量、前向计算和调试日志都能集中管理。写完后可以快速测试model MLP(in_features10, hidden_features32, num_classes2) print(model)输出能看到每一层的名称和输出 shape这是确认网络结构最简单的检查点。4.3 用 Dataset 和 DataLoader 管理训练数据数据管理是很多新手忽略的部分。Dataset负责回答两个问题数据集有多长以及给定一个索引返回什么数据。DataLoader负责迭代数据把单条样本聚合成 batch并根据设置进行打乱、并行加载和自定义拼接。下面用一个随机分类数据集演示from torch.utils.data import Dataset, DataLoader from torch.utils.data import random_split import torch class RandomDataset(Dataset): def __init__(self, num_samples2000, num_features10): self.data torch.randn(num_samples, num_features) self.labels torch.randint(0, 2, (num_samples,)) def __len__(self): return len(self.labels) def __getitem__(self, idx): return self.data[idx], self.labels[idx] dataset RandomDataset(2000, 10) train_set, val_set random_split(dataset, [1600, 400]) train_loader DataLoader(train_set, batch_size32, shuffleTrue) val_loader DataLoader(val_set, batch_size32, shuffleFalse)这里的三个参数需要重点关注batch_size每个 batch 的样本数。太小训练不稳定太大容易占满显存。shuffle训练集通常设为True防止模型学到样本顺序验证集设为False方便复现结果。num_workers数据加载进程数。学习阶段可以先不设生产环境再根据 IO 情况调节。如果数据不是数值类型而是图片路径或文本 ID__getitem__里可以完成读取、切分、增强、转 Tensor 等操作。DataLoader会逐个调用它因此不要在这里写太重的耗时逻辑。4.4 训练循环前向传播、损失计算、反向传播、参数更新有了模型和数据训练循环就可以统一成下面这个模式import torch.nn as nn import torch.optim as optim model MLP(in_features10, hidden_features32, num_classes2) criterion nn.CrossEntropyLoss() optimizer optim.Adam(model.parameters(), lr1e-3) for epoch in range(10): model.train() total_loss 0 for xb, yb in train_loader: optimizer.zero_grad() logits model(xb) loss criterion(logits, yb) loss.backward() optimizer.step() total_loss loss.item() * xb.size(0) avg_loss total_loss / len(train_set) print(fepoch {epoch} loss: {avg_loss:.4f})这里有几个容易出错的地方。第一model.train()和model.eval()。某些层在训练和推理时行为不同例如 BatchNorm 和 Dropout。训练循环前要调用train()验证或推理前要调用eval()。第二optimizer.zero_grad()必须每个 batch 都调用。忘记清零会导致梯度累加loss 可能不稳定甚至不收敛。第三loss.item()用于取出 Python 标量避免在计算图上记录统计信息。如果直接total_loss loss计算图会一直保留内存会持续增长。4.5 GPU 训练、模型保存与加载把数据搬到 GPU 只需要做两件事模型调用.to(device)数据在 batch 循环中调用.to(device)。为了避免在每个 batch 里重复写设备判断可以在训练前统一设置device torch.device(cuda if torch.cuda.is_available() else cpu) model MLP(in_features10, hidden_features32, num_classes2).to(device) for epoch in range(10): for xb, yb in train_loader: xb, yb xb.to(device), yb.to(device) # 后续逻辑相同模型保存和加载也有两种常用方式。只保存权重更推荐因为加载时只需构造相同结构再加载状态字典torch.save(model.state_dict(), mlp.pt) model MLP(in_features10, hidden_features32, num_classes2) model.load_state_dict(torch.load(mlp.pt, weights_onlyTrue)) model.eval()如果保存整个模型torch.save(model, mlp_full.pt)这种方式虽然方便但依赖模型类定义路径换环境后容易加载失败。生产环境通常不推荐。注意PyTorch 2.6 之后torch.load默认的weights_only参数发生了变化。现在建议在加载时显式指定weights_onlyTrue避免运行来自不可信文件的 Python 代码。5. 图像和序列任务怎么选结构从 CNN 到 Transformer 的入门路径5.1 卷积操作解决什么问题池化在 CNN 中的角色全连接网络对图像的处理效率不高。一张 28x28 的灰度图展开成 784 维向量相邻像素的二维结构信息会丢失如果把图片扩大到 224x224全连接层参数量会爆炸。卷积神经网络CNN用局部连接和权值共享解决了这个问题。nn.Conv2d通过一个小窗口在整张图上滑动每个窗口内的加权和非线性变换自动提取局部特征。窗口大小kernel_size、步长stride、填充padding决定了输出特征图大小。常见设置padding1且kernel_size3能保持输入输出尺寸不变方便堆叠层数。池化操作Pooling在 CNN 中扮演降采样角色。nn.MaxPool2d(2)会把每个 2x2 区域里的最大值取出来特征图宽高减半通道数不变。这样做一方面减少计算量另一方面让模型对轻微平移、缩放更不敏感。池化层没有可学习参数理解这一点能避免在命名时误以为它是带权重的层。5.2 用 PyTorch 实现一个最简单 CNN 分类器在 MNIST 这类单通道灰度图上一个最简单的 CNN 可以写成import torch.nn as nn class SimpleCNN(nn.Module): def __init__(self, num_classes10): super().__init__() self.features nn.Sequential( nn.Conv2d(1, 8, kernel_size3, padding1), nn.ReLU(), nn.MaxPool2d(2), nn.Conv2d(8, 16, kernel_size3, padding1), nn.ReLU(), nn.MaxPool2d(2), ) self.classifier nn.Sequential( nn.Flatten(), nn.Linear(16 * 7 * 7, 64), nn.ReLU(), nn.Linear(64, num_classes) ) def forward(self, x): return self.classifier(self.features(x))输入x的形状是(batch_size, 1, 28, 28)。经过第一次MaxPool2d(2)变成(batch_size, 8, 14, 14)第二次变成(batch_size, 16, 7, 7)。最后一个线性层输入维度需要手动算出16 * 7 * 7这一步经常出错。如果不确定可以用一行代码打印每层输出形状def test_model(): model SimpleCNN() x torch.randn(4, 1, 28, 28) print(model(x).shape)输出应为torch.Size([4, 10])对应 4 个样本的 10 类分数。这个测试能帮你提前发现维度不匹配问题而不是等到训练报错再排查。5.3 当任务转向文本和序列时Transformer 的位置图片任务常用 CNN但自然语言、时间序列和语音等序列任务中Transformer 已经成为主流结构。Transformer 的核心是注意力机制它让模型在处理某个位置时能够动态关注输入序列中其他位置的信息。PyTorch 提供了nn.Transformer、nn.TransformerEncoder等模块但直接使用这些高级模块容易让人迷失在参数和 mask 中。初学阶段建议先理解注意力公式Attention(Q, K, V) softmax(Q K^T / sqrt(d_k)) V其中 Q、K、V 分别是由输入变换得到的查询、键和值矩阵。这一公式的意义是计算“当前词应该关注哪些词、权重是多少”然后按权重加权所有值向量。如果你暂时用不到 Transformer可以先不深入代码只要明白它与 CNN 的差异在哪里。CNN 天然适合局部特征和固定尺寸输入Transformer 擅长长距离依赖和序列建模但训练成本更高对数据和参数量要求也更高。5.4 不同任务下模型选型速查任务类型数据形状常见基础结构为什么表格数据每行是特征向量MLP特征之间没有明显局部结构全连接足够图像分类多通道二维矩阵CNN局部纹理和空间结构重要卷积提特征效率高目标检测/分割图像加边界框或像素掩码CNN 检测头在 CNN 特征图上加区域或像素预测模块文本分类/生成词 ID 序列Transformer长距离依赖和上下文建模能力强时间序列预测等间隔数值序列RNN/TCN/Transformer需要按时间顺序建模但 RNN 不再是最优先选择实际项目不一定只用一种结构。很多生产系统会把 CNN、注意力模块、Transformer 编码器组合使用。学习阶段不要急于追新模型先把一种结构跑通再逐步替换模块。6. 三天学习中最容易遇到的错误、原因与排查路径6.1 安装和导入阶段的报错速查表报错信息可能原因处理建议ModuleNotFoundError: No module named torch当前 Python 环境没有 PyTorch检查which python激活正确环境后重装OSError: libcudnn.so.8: cannot open shared object filecuDNN 库缺失或版本不匹配根据 PyTorch 版本来安装对应 CUDA/cuDNN 运行时CUDA error: no kernel image is availableGPU 架构与 PyTorch 构建不匹配更新驱动或换用兼容当前显卡架构的 PyTorch 版本RuntimeError: mat1 and mat2 shapes cannot be multiplied线性层输入维度算错打印各层输出 shape按实际维度修改Linear输入RuntimeError: Expected all tensors to be on the same device数据和模型不在同一设备统一用model.to(device)和xb.to(device)RuntimeError: CUDA out of memorybatch_size 过大或显存泄漏减小 batch_size、清空前一次 loss或使用梯度累积这些报错看起来各不相同但排查顺序基本一致先确认版本、再确认设备、再确认形状。不要直接搜索错误文本后盲目加try except那样只会掩盖真正的配置问题。6.2 GPU 不生效如何一步步确认设备状态当torch.cuda.is_available()返回False时按下面这条链路排查不要跳到重装第一步确认硬件驱动是否正常nvidia-smi如果这条命令不存在或报错先安装 NVIDIA 驱动。第二步确认当前安装的是 GPU 版 PyTorchimport torch print(torch.version.cuda)如果输出为None说明当前是 CPU 版需要重新安装 GPU 版本。第三步确认 Python 解释器位于正确的 conda 环境which python第四步观察 PyTorch 编译时 CUDA 版本和驱动支持版本是否匹配。常见组合是 PyTorch 12.1 包搭配支持 CUDA 12.x 的驱动。排查时每一步都要有输出作为依据不要靠猜。把这些输出整理成日志即使自己解决不了也能给他人提供有效信息。6.3 训练不收敛、loss 不下降的排查顺序训练不收敛是比报错更麻烦的问题。因为程序没有崩溃但结果不符合预期。按下面顺序排查第一检查输入和标签是否正确。用一个小 batch 打印数据和 label确认类别索引从 0 开始、数据没有 NaN 或无穷值。第二检查 loss 计算是否合理。分类任务常用nn.CrossEntropyLoss这个损失函数要求输入是原始 logits标签是一维整数不需要手动做 softmax。回归任务可以用均方误差。第三检查学习率。学习率太大 loss 会震荡太小收敛极慢。初学阶段常用1e-3到1e-4当数据量小或任务简单时可以把学习率调低一点。第四尝试过拟合一个小样本集。比如只取 10 个样本训练如果 loss 能降到接近 0说明模型和数据链路没问题真正的问题在训练集规模或正则化设置。第五检查梯度是否正常。在backward()后打印model.fc1.weight.grad如果梯度为 0 或充满 NaN说明网络结构或输入数据有异常。这里的关键判断是不收敛不一定是模型结构太弱也可能是数据处理错误。把链路拆开验证比盲目加网络层数更有效。6.4 显存不足、程序被 Killed 的处理思路CUDA out of memory是最常见的硬件资源错误。处理顺序是先降低单个 batch 的显存占用观察是否缓解再检查计算图是否泄漏最后才考虑更换硬件。最简单的方法是减小batch_size例如从 32 改成 16 或 8。如果仍然不足检查训练循环里是否每个 batch 都保留了 loss 或 logits 的引用。正确做法是用loss.item()取出标量不要保留整个计算图。如果程序直接显示Killed通常发生在系统内存不足或 OOM Killer 介入时。这时要检查数据加载进程数量num_workers以及是否同时加载了超大文件到内存。可以先用小数据集跑通再逐步增加数据量。排查原则永远从最简单、最可复现的情况开始。先用 10 个样本、1 个 batch、CPU 模式验证逻辑再逐步加入 GPU、数据增强、完整数据集。7. 学习环境与生产环境要分开看值得长期保留的实践清单7.1 学习阶段可以省掉的配置生产阶段不能省学习阶段的目标是快速验证想法。所以可以在 Notebook 里直接初始化模型用随机数据集训练也不需要考虑日志、监控和回滚。但生产环境完全不同。模型训练和部署至少要补上以下几项配置外置化把学习率、batch_size、数据路径、模型保存路径写到配置文件或命令行参数不要硬编码在代码里。日志和监控每个 epoch 记录 loss、准确率、显存占用、数据加载耗时方便定位退化点。模型版本管理保存模型时同时记录训练代码版本、数据版本、随机种子和评估指标。异常处理数据缺失、GPU 显存不足、文件写入失败都要有明确错误提示。回滚方案训练中断后可以从最近 checkpoint 继续而不是从头训练。这些内容一开始不需要全部实现但从第二天开始就可以逐步把代码改造成“可配置、可记录、可恢复”的结构。7.2 可复现性固定随机种子、锁定依赖版本、记录实验参数深度学习实验的随机性很强同一个脚本跑两次loss 曲线可能完全不一样。为了排查和复用至少做到三件事。固定随机种子import random import numpy as np import torch def set_seed(seed): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) if torch.cuda.is_available(): torch.cuda.manual_seed_all(seed) set_seed(42)锁定依赖版本pip freeze requirements.txt记录实验参数把学习率、batch_size、epoch、数据路径、模型结构写入 JSON 文件和模型权重放在同一个目录。{ model: SimpleCNN, lr: 0.001, batch_size: 32, epochs: 10, seed: 42, dataset: mnist }这样每次实验都有据可查。否则两天后回看代码很难判断那一份权重是哪个参数组合训练出来的。7.3 三天后的扩展方向自定义损失函数、分布式训练、模型部署完成三天闭环后扩展方向可以按四条线推进。第一条是自定义损失函数和训练逻辑。学习阶段用的都是标准损失函数但实际任务可能需要组合多个 loss或者在反向传播前做梯度裁剪。这些可以通过继承nn.Module实现自定义forward。第二条是更复杂的数据处理。从图像增强、文本 tokenizer 到多模态数据对齐数据管道往往比模型本身更花时间。可以使用torchvision.transforms、Hugging Facedatasets等工具。第三条是分布式训练。当单卡跑不动或训练时间过长时需要了解DDP、梯度累积、混合精度训练torch.cuda.amp。但这些都是后续优化不要在入门阶段引入。第四条是模型部署。训练好的 PyTorch 模型可以通过 TorchScript、ONNX 导出后部署到服务端或移动端。这一步涉及模型量化和推理优化可以作为下一阶段主题。7.4 适合收藏的每日检查清单阶段检查内容通过标准第一天上午查看驱动、安装 PyTorchtorch.cuda.is_available()为 TrueGPU 版第一天下午完成张量操作和自动求导能写出线性回归loss 持续下降第二天上午完成 nn.Module 和 Dataset打印网络结构DataLoader 能输出正确 batch第二天下午完成训练、验证、保存加载训练脚本可切换 CPU/GPU保存的权重能重新加载第三天上午完成 Mini CNN 分类器输入(4,1,28,28)输出(4,10)第三天下午整理选型速查表和实验日志能说明自己选的模型结构及其原因这套清单不是为了机械打卡而是每次卡住时用来快速定位是环境问题、数据问题、模型问题还是训练逻辑问题。定位到具体层再去看文档和源码效率会比从头翻教程高很多。PyTorch 的学习门槛主要在概念链和生产习惯不在个别 API。只要把“环境 → 张量 → 自动求导 → 数据加载 → 模型训练 → 错误排查”这条链路完整走通后续学习新的网络结构都只是往里加模块。三天时间未必能让你吃透所有细节但足以建立一条稳定、可迭代的学习路径。下一步遇到新任务时先写最小验证脚本再逐步扩展这个习惯会比记住任何 API 都更值钱。
PyTorch 是深度学习入门时常被推荐也常被放弃的框架。很多人下载完 Anaconda、照着官网命令装完 PyTorch却在写第一个训练循环时卡住也有人在学完张量和自动求导后不知道这些知识和真实项目之间有什么关系。如果按三天时间线来规划目标不应该定成“三天吃透框架”而应该定成“三天内走完环境配置、核心概念、模型训练、问题排查的完整闭环”。只要这条链路能跑通之后学 CNN、Transformer、分布式训练都会顺畅很多。下面这套路线是从实际项目学习中整理出来的不依赖具体显卡型号也不依赖某个固定的 PyTorch 版本。它关注的是每个阶段最容易卡住的地方以及如何用最小成本确认自己真的学会了。1. 先梳理 PyTorch 的核心能力再安排三天的学习主线1.1 深度学习框架到底帮我们解决了什么问题学习 PyTorch 之前可以先问一个问题如果没有深度学习框架训练一个神经网络需要做什么第一件是定义计算图。神经网络在数学上就是一系列矩阵乘法和非线性函数叠加。你想让这些计算自动记录先后顺序以便反向传播时计算梯度。第二件是自动求导。手写链式法则很容易出错尤其是网络变深之后。第三件是把数据组织成批次在 GPU 上做并行计算。第四件是把网络结构、损失函数、优化器、训练循环串联起来形成可复用的工程代码。PyTorch 的核心价值就是把这些高频工作封装成稳定 API。它用 Tensor 表示数据和参数用 autograd 记录计算图并自动计算梯度用 torch.nn 提供网络层和损失函数用 torch.optim 提供优化器用 torch.utils.data 管理数据加载。所以学习 PyTorch本质上不是背 API而是理解这五块能力如何协同工作。1.2 真正需要掌握的五个能力点很多初学者在 Notebook 里抄了一遍线性回归就以为自己会了 PyTorch但实际上只学会了语法。真正进入项目时至少需要掌握以下五个能力点张量操作能创建、变形、切片、拼接、聚合数据理解 shape 和 dtype 对运算结果的影响。自动求导知道 requires_grad 的含义能解释 loss.backward() 之后参数梯度的去向。模型结构能用 nn.Module 定义自己的网络理解 forward 的作用。数据流水线能用 Dataset 和 DataLoader 组织训练数据处理 batch、shuffle、collate 等细节。训练与验证能独立写出训练循环包含损失计算、梯度清零、反向传播、参数更新、验证和模型保存。这五个点并不需要第一天全部学会。它们更像是一个完整的知识地图三天学习就是围绕这张地图按顺序走一遍。1.3 三天学习计划目标、内容、交付物下面这个计划适合每天投入三到五个小时的人。如果你每天只有一小时可以把周期拉长到一周到两周但路径不变。第一天目标把环境装好把张量和自动求导跑通。交付物是一个由自己写出来的线性回归训练脚本能看到 loss 随着迭代下降。第二天目标用 nn.Module、Dataset、DataLoader 重写训练流程。交付物是一个格式完整、可切换 CPU/GPU 的分类训练脚本并在保存模型后能重新加载。第三天目标接触视觉和序列任务理解 CNN、池化、Transformer 的基本位置。交付物是一个简单的 CNN 分类器和一个选型速查表能根据自己的数据形状选择合适结构。这条主线的难点不是某个概念太难而是很多人跳过了编排和验证步骤导致后面每个环节都在救火。所以下面从环境准备开始每一步都给出检查点。2. 环境准备不花最多时间但一定不能出错2.1 先确认显卡驱动和 CUDA 版本再决定怎么装PyTorch 安装失败绝大多数不是因为 PyTorch 本身复杂而是显卡驱动、CUDA、PyTorch 版本三者之间的对应关系没理顺。先要理解三个概念显卡驱动是操作系统与 GPU 之间的底层接口由 NVIDIA 提供。CUDA 是并行计算平台安装时会包含运行时库和开发工具。PyTorch 会针对某个 CUDA 版本发布对应的安装包例如pytorch-cuda12.1表示这个 PyTorch 版本支持 CUDA 12.1。如果你不打算用 GPU只装 CPU 版 PyTorch 也可以学习。但如果要训练真实神经网络GPU 几乎必不可少。所以在安装前先打开终端执行nvidia-smi正常输出会显示驱动版本和最高支持的 CUDA 版本。例如某个驱动显示CUDA Version: 12.4意味着驱动最高支持 CUDA 12.4 运行时。之后安装 PyTorch 时选择的 CUDA 版本不能高于这个数字否则可能出现运行时报错。这里有一个常见误区nvidia-smi显示的 CUDA Version 是驱动支持的版本不是当前系统已安装的 CUDA toolkit 版本。很多初学者看到这个数字就误以为 CUDA 装好了实际上 PyTorch 安装包通常会自带运行时库不一定需要单独安装完整 CUDA toolkit。也就是说学习阶段可以先只安装 NVIDIA 驱动加 PyTorch GPU 版如果安装过程报缺少 CUDA 相关组件再按错误提示补装。注意PyTorch 版本和 CUDA 版本都在持续更新。本文中的安装命令用于说明思路落地时一定要以 PyTorch 官网给出的命令为准不要直接复制旧教程里的组合。2.2 用 conda 创建隔离环境并安装 PyTorch 的完整命令学习 PyTorch 强烈建议使用 conda 创建独立环境不要直接装在 base 环境里。深度学习项目对 Python 版本、CUDA 版本、TensorFlow 或 PyTorch 版本都有要求隔离环境能避免项目之间互相污染。安装 Miniconda 或 Anaconda 后在终端执行conda create -n pytorch-learn python3.11 -y conda activate pytorch-learn然后在 PyTorch 官网选择系统、包管理器、CUDA 版本官网会生成对应的安装命令。以 Linux pip CUDA 12.1 为例常见命令格式是pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121使用 conda 时常见的命令格式是conda install pytorch torchvision torchaudio pytorch-cuda12.1 -c pytorch -c nvidia如果你没有 NVIDIA 显卡或者暂时不想用 GPU可以安装 CPU 版pip install torch torchvision torchaudio安装完成后不要急着写代码先确认包是否被正确解析。执行pip list | grep torch如果同时安装过多个来源的包这里的输出可能会看到多个 torch 相关条目这说明环境可能存在版本冲突。建议只保留一个 torch 和对应的 torchvision、torchaudio。2.3 验证安装import torch 和 GPU 可用性环境是否可用不能只看安装成功还要验证三件事包能导入、版本符合预期、GPU 能正常参与计算。写一个最小验证脚本import torch print(PyTorch version:, torch.__version__) print(CUDA available:, torch.cuda.is_available()) print(CUDA version:, torch.version.cuda) if torch.cuda.is_available(): print(GPU:, torch.cuda.get_device_name(0)) x torch.randn(2, 3, devicecuda) y (x x.T).sum() print(GPU computation result:, y.item())如果你安装的是 CPU 版后面两句会输出CUDA available: False这是正常的。但如果你的电脑有 NVIDIA GPU安装的也是 GPU 版却输出False就要按第 6 章的排查路径处理。关键检查点只要这一步能输出 PyTorch 版本和 GPU 设备名环境准备就算通过。后续所有代码都可以直接在这个基础上运行。2.4 安装阶段的高频问题与处理方式问题现象常见原因检查方式处理建议import torch报 No module named环境激活不正确或安装到了其他环境执行which python确认当前环境重新运行conda activate pytorch-learn后重试安装包体积下载很慢镜像源问题观察下载地址使用国内 pip 或 conda 镜像源但一定不要混用多个源运行时报 CUDA driver too old驱动版本低于 PyTorch 所需的 CUDA 最低版本执行nvidia-smi查看驱动支持的 CUDA升级驱动或安装与你驱动兼容的较低 CUDA 版 PyTorchAssertionError: Torch not compiled with CUDA enabled实际装成了 CPU 版执行torch.version.cuda重新按 GPU 版命令安装并确保环境里没有覆盖安装安装后torch.cuda.is_available()为 False显卡驱动缺失或 NVIDIA 容器环境没有透传 GPU执行nvidia-smi先修驱动再考虑是否使用 Docker 或远程环境安装阶段最怕的不是报错而是“看起来装好了但仍然无法使用”。因此每次换环境、换机器、换 PyTorch 大版本后都要重新跑一遍验证脚本。3. 从张量到自动求导理解 PyTorch 的最小心智模型3.1 张量是什么和 NumPy、list 有什么区别张量Tensor是 PyTorch 中最基本的数据结构你可以把它理解成多维数组。0 维张量是标量1 维张量是向量2 维张量是矩阵3 维以上通常表示批量样本、序列长度、特征维度或图片通道。Python 内置 list 也能存数字但做矩阵乘法时只能用嵌套循环慢且易错。NumPy 的 ndarray 解决了数值计算问题但不能自动求梯度也无法直接用.cuda()把数据搬到 GPU。PyTorch 的 Tensor 在 NumPy 相近的 API 之上增加了自动求导和设备管理能力。一个很容易误解的地方是Tensor 不只在神经网络里表示数据。模型的权重和偏置也是 Tensor优化器更新的是 Tensor 中的数据。数据和参数在底层都使用同一套张量数据结构只是部分参数开启了requires_grad需要跟踪梯度。3.2 张量的创建、shape、dtype、device 是四个必须掌握的概念创建张量不要求把所有 API 背下来但下面几种必须熟悉import torch # 从列表创建 a torch.tensor([[1.0, 2.0], [3.0, 4.0]]) # 全 0、全 1、随机初始化 zeros torch.zeros(2, 3) ones torch.ones(2, 3) rand torch.randn(2, 3) # 与 NumPy 转换 import numpy as np arr np.array([1, 2, 3]) t torch.from_numpy(arr) back_to_numpy t.numpy() # 设备与 dtype cpu_tensor torch.tensor([1, 2, 3], dtypetorch.float32) gpu_tensor cpu_tensor.cuda()创建之后第一件事就是看 shape 和 dtype。shape 决定运算是否合法dtype 决定数值范围和精度。默认情况下 Python 整数会变成torch.int64Python 浮点数会变成torch.float32。使用 GPU 时必须显式把浮点数变成torch.float32或torch.float16因为很多 GPU 算子不支持 64 位浮点。device决定数据在哪里计算。CPU 和设备之间的数据拷贝要避免高频发生。一个常见错误是每个 batch 都调用.cpu()把训练速度拖慢。更好的做法是数据准备好后一次性放到训练设备上。3.3 requires_grad 与反向传播梯度从哪来、去哪里requires_grad是 PyTorch 自动求导机制的核心开关。一个张量设置了requires_gradTrue后所有基于它进行的运算都会被记录到计算图里。调用loss.backward()时PyTorch 会从 loss 出发沿反向路径计算每个需要梯度节点的导数并写入对应张量的.grad属性。看一个最小例子import torch x torch.tensor(2.0, requires_gradTrue) y x ** 2 3 * x y.backward() print(x.grad)y x^2 3x在x2处的导数是2*x37所以输出是tensor(7.)。这个例子虽然简单但能说明一件重要的事backward()必须在标量loss上调用。如果y是一个向量PyTorch 会要求传入与y同形状的梯度权重初学者可以先避开这个细节尽量把 loss 设计成标量。计算之后需要清空梯度。默认情况下.grad会累加不清空的后果是下一次backward()会把新旧梯度叠在一起导致参数更新异常。所以训练循环里常见这样的写法optimizer.zero_grad() loss.backward() optimizer.step()如果你使用的是没有优化器的自定义更新方式就要手动清零参数梯度。3.4 最小线性回归例子第一次看见损失下降每天学的概念最终都要落到可运行代码上。线性回归虽然结构简单但已经包含了“定义参数、计算预测、计算损失、反向传播、更新参数、清空梯度”六个完整步骤。import torch torch.manual_seed(42) # 生成线性数据集 y 2x 1 噪声 x torch.linspace(0, 1, 100).reshape(-1, 1) true_w torch.tensor(2.0) true_b torch.tensor(1.0) y true_w * x true_b 0.05 * torch.randn_like(x) # 待学习的参数 w torch.randn(1, requires_gradTrue) b torch.zeros(1, requires_gradTrue) lr 0.1 for step in range(200): pred x * w b loss ((pred - y) ** 2).mean() loss.backward() with torch.no_grad(): w - lr * w.grad b - lr * b.grad w.grad.zero_() b.grad.zero_() if step % 20 0: print(step, loss.item()) print(w:, w.item(), b:, b.item())这里要理解with torch.no_grad()的含义。参数更新操作w - lr * w.grad本身不是训练图中的运算不需要被记录到计算图里。如果不加no_gradPyTorch 会把更新操作也当成需要计算梯度的节点导致计算图越滚越大内存持续增长。运行后loss 会从初始值逐步下降最终w和b会接近 2 和 1。看到这个结果说明第一天的目标已经达成张量、自动求导、梯度更新已经串成了一条完整链路。4. 第一个模型用 nn.Module、Dataset、DataLoader 建立工程化训练流程4.1 为什么学习代码不能长期停留在单脚本阶段线性回归演示是理解原理的好方式但它和真实项目之间距离还很远。真实训练场景通常需要处理更大数据、定义更复杂网络、分批加载、做验证、保存模型。如果所有代码都写在同一个脚本的 for 循环里修改网络结构时可能要调整很多处换数据集时更是重复劳动。PyTorch 给出的工程化方案是四层分工nn.Module负责网络结构Dataset负责定义数据读取规则DataLoader负责分批和打乱训练循环负责把损失函数、优化器和数据流组合起来。这四部分各司其职既容易调试也容易维护。4.2 用 nn.Module 定义网络结构nn.Module是所有网络结构的基类。定义网络时通常在__init__里声明子模块在forward里定义数据流向。一个最小多层感知机如下import torch.nn as nn class MLP(nn.Module): def __init__(self, in_features, hidden_features, num_classes): super().__init__() self.net nn.Sequential( nn.Flatten(), nn.Linear(in_features, hidden_features), nn.ReLU(), nn.Linear(hidden_features, num_classes) ) def forward(self, x): return self.net(x)这里nn.Sequential让代码更清晰但它不是必须的。你也可以手动写每一层并组合import torch.nn as nn import torch.nn.functional as F class MLP(nn.Module): def __init__(self, in_features, hidden_features, num_classes): super().__init__() self.fc1 nn.Linear(in_features, hidden_features) self.fc2 nn.Linear(hidden_features, num_classes) def forward(self, x): x F.relu(self.fc1(x)) return self.fc2(x)两种方式都可以。关键是把网络结构作为独立类这样模型参数量、前向计算和调试日志都能集中管理。写完后可以快速测试model MLP(in_features10, hidden_features32, num_classes2) print(model)输出能看到每一层的名称和输出 shape这是确认网络结构最简单的检查点。4.3 用 Dataset 和 DataLoader 管理训练数据数据管理是很多新手忽略的部分。Dataset负责回答两个问题数据集有多长以及给定一个索引返回什么数据。DataLoader负责迭代数据把单条样本聚合成 batch并根据设置进行打乱、并行加载和自定义拼接。下面用一个随机分类数据集演示from torch.utils.data import Dataset, DataLoader from torch.utils.data import random_split import torch class RandomDataset(Dataset): def __init__(self, num_samples2000, num_features10): self.data torch.randn(num_samples, num_features) self.labels torch.randint(0, 2, (num_samples,)) def __len__(self): return len(self.labels) def __getitem__(self, idx): return self.data[idx], self.labels[idx] dataset RandomDataset(2000, 10) train_set, val_set random_split(dataset, [1600, 400]) train_loader DataLoader(train_set, batch_size32, shuffleTrue) val_loader DataLoader(val_set, batch_size32, shuffleFalse)这里的三个参数需要重点关注batch_size每个 batch 的样本数。太小训练不稳定太大容易占满显存。shuffle训练集通常设为True防止模型学到样本顺序验证集设为False方便复现结果。num_workers数据加载进程数。学习阶段可以先不设生产环境再根据 IO 情况调节。如果数据不是数值类型而是图片路径或文本 ID__getitem__里可以完成读取、切分、增强、转 Tensor 等操作。DataLoader会逐个调用它因此不要在这里写太重的耗时逻辑。4.4 训练循环前向传播、损失计算、反向传播、参数更新有了模型和数据训练循环就可以统一成下面这个模式import torch.nn as nn import torch.optim as optim model MLP(in_features10, hidden_features32, num_classes2) criterion nn.CrossEntropyLoss() optimizer optim.Adam(model.parameters(), lr1e-3) for epoch in range(10): model.train() total_loss 0 for xb, yb in train_loader: optimizer.zero_grad() logits model(xb) loss criterion(logits, yb) loss.backward() optimizer.step() total_loss loss.item() * xb.size(0) avg_loss total_loss / len(train_set) print(fepoch {epoch} loss: {avg_loss:.4f})这里有几个容易出错的地方。第一model.train()和model.eval()。某些层在训练和推理时行为不同例如 BatchNorm 和 Dropout。训练循环前要调用train()验证或推理前要调用eval()。第二optimizer.zero_grad()必须每个 batch 都调用。忘记清零会导致梯度累加loss 可能不稳定甚至不收敛。第三loss.item()用于取出 Python 标量避免在计算图上记录统计信息。如果直接total_loss loss计算图会一直保留内存会持续增长。4.5 GPU 训练、模型保存与加载把数据搬到 GPU 只需要做两件事模型调用.to(device)数据在 batch 循环中调用.to(device)。为了避免在每个 batch 里重复写设备判断可以在训练前统一设置device torch.device(cuda if torch.cuda.is_available() else cpu) model MLP(in_features10, hidden_features32, num_classes2).to(device) for epoch in range(10): for xb, yb in train_loader: xb, yb xb.to(device), yb.to(device) # 后续逻辑相同模型保存和加载也有两种常用方式。只保存权重更推荐因为加载时只需构造相同结构再加载状态字典torch.save(model.state_dict(), mlp.pt) model MLP(in_features10, hidden_features32, num_classes2) model.load_state_dict(torch.load(mlp.pt, weights_onlyTrue)) model.eval()如果保存整个模型torch.save(model, mlp_full.pt)这种方式虽然方便但依赖模型类定义路径换环境后容易加载失败。生产环境通常不推荐。注意PyTorch 2.6 之后torch.load默认的weights_only参数发生了变化。现在建议在加载时显式指定weights_onlyTrue避免运行来自不可信文件的 Python 代码。5. 图像和序列任务怎么选结构从 CNN 到 Transformer 的入门路径5.1 卷积操作解决什么问题池化在 CNN 中的角色全连接网络对图像的处理效率不高。一张 28x28 的灰度图展开成 784 维向量相邻像素的二维结构信息会丢失如果把图片扩大到 224x224全连接层参数量会爆炸。卷积神经网络CNN用局部连接和权值共享解决了这个问题。nn.Conv2d通过一个小窗口在整张图上滑动每个窗口内的加权和非线性变换自动提取局部特征。窗口大小kernel_size、步长stride、填充padding决定了输出特征图大小。常见设置padding1且kernel_size3能保持输入输出尺寸不变方便堆叠层数。池化操作Pooling在 CNN 中扮演降采样角色。nn.MaxPool2d(2)会把每个 2x2 区域里的最大值取出来特征图宽高减半通道数不变。这样做一方面减少计算量另一方面让模型对轻微平移、缩放更不敏感。池化层没有可学习参数理解这一点能避免在命名时误以为它是带权重的层。5.2 用 PyTorch 实现一个最简单 CNN 分类器在 MNIST 这类单通道灰度图上一个最简单的 CNN 可以写成import torch.nn as nn class SimpleCNN(nn.Module): def __init__(self, num_classes10): super().__init__() self.features nn.Sequential( nn.Conv2d(1, 8, kernel_size3, padding1), nn.ReLU(), nn.MaxPool2d(2), nn.Conv2d(8, 16, kernel_size3, padding1), nn.ReLU(), nn.MaxPool2d(2), ) self.classifier nn.Sequential( nn.Flatten(), nn.Linear(16 * 7 * 7, 64), nn.ReLU(), nn.Linear(64, num_classes) ) def forward(self, x): return self.classifier(self.features(x))输入x的形状是(batch_size, 1, 28, 28)。经过第一次MaxPool2d(2)变成(batch_size, 8, 14, 14)第二次变成(batch_size, 16, 7, 7)。最后一个线性层输入维度需要手动算出16 * 7 * 7这一步经常出错。如果不确定可以用一行代码打印每层输出形状def test_model(): model SimpleCNN() x torch.randn(4, 1, 28, 28) print(model(x).shape)输出应为torch.Size([4, 10])对应 4 个样本的 10 类分数。这个测试能帮你提前发现维度不匹配问题而不是等到训练报错再排查。5.3 当任务转向文本和序列时Transformer 的位置图片任务常用 CNN但自然语言、时间序列和语音等序列任务中Transformer 已经成为主流结构。Transformer 的核心是注意力机制它让模型在处理某个位置时能够动态关注输入序列中其他位置的信息。PyTorch 提供了nn.Transformer、nn.TransformerEncoder等模块但直接使用这些高级模块容易让人迷失在参数和 mask 中。初学阶段建议先理解注意力公式Attention(Q, K, V) softmax(Q K^T / sqrt(d_k)) V其中 Q、K、V 分别是由输入变换得到的查询、键和值矩阵。这一公式的意义是计算“当前词应该关注哪些词、权重是多少”然后按权重加权所有值向量。如果你暂时用不到 Transformer可以先不深入代码只要明白它与 CNN 的差异在哪里。CNN 天然适合局部特征和固定尺寸输入Transformer 擅长长距离依赖和序列建模但训练成本更高对数据和参数量要求也更高。5.4 不同任务下模型选型速查任务类型数据形状常见基础结构为什么表格数据每行是特征向量MLP特征之间没有明显局部结构全连接足够图像分类多通道二维矩阵CNN局部纹理和空间结构重要卷积提特征效率高目标检测/分割图像加边界框或像素掩码CNN 检测头在 CNN 特征图上加区域或像素预测模块文本分类/生成词 ID 序列Transformer长距离依赖和上下文建模能力强时间序列预测等间隔数值序列RNN/TCN/Transformer需要按时间顺序建模但 RNN 不再是最优先选择实际项目不一定只用一种结构。很多生产系统会把 CNN、注意力模块、Transformer 编码器组合使用。学习阶段不要急于追新模型先把一种结构跑通再逐步替换模块。6. 三天学习中最容易遇到的错误、原因与排查路径6.1 安装和导入阶段的报错速查表报错信息可能原因处理建议ModuleNotFoundError: No module named torch当前 Python 环境没有 PyTorch检查which python激活正确环境后重装OSError: libcudnn.so.8: cannot open shared object filecuDNN 库缺失或版本不匹配根据 PyTorch 版本来安装对应 CUDA/cuDNN 运行时CUDA error: no kernel image is availableGPU 架构与 PyTorch 构建不匹配更新驱动或换用兼容当前显卡架构的 PyTorch 版本RuntimeError: mat1 and mat2 shapes cannot be multiplied线性层输入维度算错打印各层输出 shape按实际维度修改Linear输入RuntimeError: Expected all tensors to be on the same device数据和模型不在同一设备统一用model.to(device)和xb.to(device)RuntimeError: CUDA out of memorybatch_size 过大或显存泄漏减小 batch_size、清空前一次 loss或使用梯度累积这些报错看起来各不相同但排查顺序基本一致先确认版本、再确认设备、再确认形状。不要直接搜索错误文本后盲目加try except那样只会掩盖真正的配置问题。6.2 GPU 不生效如何一步步确认设备状态当torch.cuda.is_available()返回False时按下面这条链路排查不要跳到重装第一步确认硬件驱动是否正常nvidia-smi如果这条命令不存在或报错先安装 NVIDIA 驱动。第二步确认当前安装的是 GPU 版 PyTorchimport torch print(torch.version.cuda)如果输出为None说明当前是 CPU 版需要重新安装 GPU 版本。第三步确认 Python 解释器位于正确的 conda 环境which python第四步观察 PyTorch 编译时 CUDA 版本和驱动支持版本是否匹配。常见组合是 PyTorch 12.1 包搭配支持 CUDA 12.x 的驱动。排查时每一步都要有输出作为依据不要靠猜。把这些输出整理成日志即使自己解决不了也能给他人提供有效信息。6.3 训练不收敛、loss 不下降的排查顺序训练不收敛是比报错更麻烦的问题。因为程序没有崩溃但结果不符合预期。按下面顺序排查第一检查输入和标签是否正确。用一个小 batch 打印数据和 label确认类别索引从 0 开始、数据没有 NaN 或无穷值。第二检查 loss 计算是否合理。分类任务常用nn.CrossEntropyLoss这个损失函数要求输入是原始 logits标签是一维整数不需要手动做 softmax。回归任务可以用均方误差。第三检查学习率。学习率太大 loss 会震荡太小收敛极慢。初学阶段常用1e-3到1e-4当数据量小或任务简单时可以把学习率调低一点。第四尝试过拟合一个小样本集。比如只取 10 个样本训练如果 loss 能降到接近 0说明模型和数据链路没问题真正的问题在训练集规模或正则化设置。第五检查梯度是否正常。在backward()后打印model.fc1.weight.grad如果梯度为 0 或充满 NaN说明网络结构或输入数据有异常。这里的关键判断是不收敛不一定是模型结构太弱也可能是数据处理错误。把链路拆开验证比盲目加网络层数更有效。6.4 显存不足、程序被 Killed 的处理思路CUDA out of memory是最常见的硬件资源错误。处理顺序是先降低单个 batch 的显存占用观察是否缓解再检查计算图是否泄漏最后才考虑更换硬件。最简单的方法是减小batch_size例如从 32 改成 16 或 8。如果仍然不足检查训练循环里是否每个 batch 都保留了 loss 或 logits 的引用。正确做法是用loss.item()取出标量不要保留整个计算图。如果程序直接显示Killed通常发生在系统内存不足或 OOM Killer 介入时。这时要检查数据加载进程数量num_workers以及是否同时加载了超大文件到内存。可以先用小数据集跑通再逐步增加数据量。排查原则永远从最简单、最可复现的情况开始。先用 10 个样本、1 个 batch、CPU 模式验证逻辑再逐步加入 GPU、数据增强、完整数据集。7. 学习环境与生产环境要分开看值得长期保留的实践清单7.1 学习阶段可以省掉的配置生产阶段不能省学习阶段的目标是快速验证想法。所以可以在 Notebook 里直接初始化模型用随机数据集训练也不需要考虑日志、监控和回滚。但生产环境完全不同。模型训练和部署至少要补上以下几项配置外置化把学习率、batch_size、数据路径、模型保存路径写到配置文件或命令行参数不要硬编码在代码里。日志和监控每个 epoch 记录 loss、准确率、显存占用、数据加载耗时方便定位退化点。模型版本管理保存模型时同时记录训练代码版本、数据版本、随机种子和评估指标。异常处理数据缺失、GPU 显存不足、文件写入失败都要有明确错误提示。回滚方案训练中断后可以从最近 checkpoint 继续而不是从头训练。这些内容一开始不需要全部实现但从第二天开始就可以逐步把代码改造成“可配置、可记录、可恢复”的结构。7.2 可复现性固定随机种子、锁定依赖版本、记录实验参数深度学习实验的随机性很强同一个脚本跑两次loss 曲线可能完全不一样。为了排查和复用至少做到三件事。固定随机种子import random import numpy as np import torch def set_seed(seed): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) if torch.cuda.is_available(): torch.cuda.manual_seed_all(seed) set_seed(42)锁定依赖版本pip freeze requirements.txt记录实验参数把学习率、batch_size、epoch、数据路径、模型结构写入 JSON 文件和模型权重放在同一个目录。{ model: SimpleCNN, lr: 0.001, batch_size: 32, epochs: 10, seed: 42, dataset: mnist }这样每次实验都有据可查。否则两天后回看代码很难判断那一份权重是哪个参数组合训练出来的。7.3 三天后的扩展方向自定义损失函数、分布式训练、模型部署完成三天闭环后扩展方向可以按四条线推进。第一条是自定义损失函数和训练逻辑。学习阶段用的都是标准损失函数但实际任务可能需要组合多个 loss或者在反向传播前做梯度裁剪。这些可以通过继承nn.Module实现自定义forward。第二条是更复杂的数据处理。从图像增强、文本 tokenizer 到多模态数据对齐数据管道往往比模型本身更花时间。可以使用torchvision.transforms、Hugging Facedatasets等工具。第三条是分布式训练。当单卡跑不动或训练时间过长时需要了解DDP、梯度累积、混合精度训练torch.cuda.amp。但这些都是后续优化不要在入门阶段引入。第四条是模型部署。训练好的 PyTorch 模型可以通过 TorchScript、ONNX 导出后部署到服务端或移动端。这一步涉及模型量化和推理优化可以作为下一阶段主题。7.4 适合收藏的每日检查清单阶段检查内容通过标准第一天上午查看驱动、安装 PyTorchtorch.cuda.is_available()为 TrueGPU 版第一天下午完成张量操作和自动求导能写出线性回归loss 持续下降第二天上午完成 nn.Module 和 Dataset打印网络结构DataLoader 能输出正确 batch第二天下午完成训练、验证、保存加载训练脚本可切换 CPU/GPU保存的权重能重新加载第三天上午完成 Mini CNN 分类器输入(4,1,28,28)输出(4,10)第三天下午整理选型速查表和实验日志能说明自己选的模型结构及其原因这套清单不是为了机械打卡而是每次卡住时用来快速定位是环境问题、数据问题、模型问题还是训练逻辑问题。定位到具体层再去看文档和源码效率会比从头翻教程高很多。PyTorch 的学习门槛主要在概念链和生产习惯不在个别 API。只要把“环境 → 张量 → 自动求导 → 数据加载 → 模型训练 → 错误排查”这条链路完整走通后续学习新的网络结构都只是往里加模块。三天时间未必能让你吃透所有细节但足以建立一条稳定、可迭代的学习路径。下一步遇到新任务时先写最小验证脚本再逐步扩展这个习惯会比记住任何 API 都更值钱。
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
