刚接触深度学习代码的同学常被一堆Dataset、DataLoader、optimizer.zero_grad()、loss.backward()搞晕觉得每个项目的训练脚本都长得不一样。其实拆开来看绝大多数训练代码都是同一套骨架换的只是数据、模型和损失函数。把这套骨架理清楚你再看任何一份 PyTorch 训练代码都能快速定位“数据在哪读、模型在哪算、参数在哪更新”。下面按执行顺序讲清楚每一步在做什么、为什么这么写。一、开训之前先把四样东西准备好任何训练脚本正式循环之前都要备齐四个部件。数据用Dataset描述“怎么读一条样本和它的标签”再用DataLoader把样本打包成一个个 batch负责打乱和多进程加载。训练集要shuffleTrue验证集不用打乱。模型定义网络结构并搬到设备上model.to(device)有 GPU 就用 GPU。损失函数根据任务选分类常用交叉熵回归常用 MSE。它负责衡量“预测和真实差多少”。优化器如 SGD、Adam负责根据梯度更新参数需要传入模型参数和学习率。这四样对应一句话用什么数据、学什么模型、拿什么衡量好坏、按什么规则更新。缺一个训练循环就转不起来。二、训练循环外层管轮数内层管批次训练主体是一个双层循环。外层for epoch in range(epochs)控制整个数据集要过几遍内层for batch in dataloader每次取一个 batch 出来训练。开始内层循环前先写一句model.train()把模型切到训练模式。这一步会启用 Dropout、让 BatchNorm 使用当前 batch 的统计量和后面的验证模式区分开。然后把每个 batch 的数据也搬到设备上data, target data.to(device), target.to(device)。模型和数据必须在同一个设备上否则会报错。三、核心四步每个 batch 都在重复这套动作内层循环里最关键的是这四行几乎所有训练代码都有它们顺序也基本固定optimizer.zero_grad()# 1. 梯度清零outputmodel(data)# 2. 前向传播lossloss_fn(output,target)# 3. 计算损失loss.backward()# 4. 反向传播算梯度optimizer.step()# 5. 更新参数逐行说明为什么要这样梯度清零PyTorch 的梯度默认累加。上一个 batch 算完的梯度如果不清零会和这个 batch 的叠在一起导致更新方向错乱。所以每个 batch 开头先清零。前向传播把输入喂进模型得到预测输出。计算损失用预测和真实标签算出一个数值代表当前这批预测错得有多离谱。反向传播loss.backward()自动沿计算图求出每个参数的梯度也就是“往哪个方向调、调多少能让 loss 变小”。更新参数optimizer.step()按梯度和学习率把模型参数朝更好的方向挪一小步。初学者最常见的 bug就是忘了zero_grad()或者把这几行的顺序写乱。记住顺序先清零、再前向、算损失、反向、更新。四、验证与保存训练不是只看 loss 下降每个 epoch 训练完通常要在验证集上评估一次确认模型是真的在进步而不是只在死记训练集。验证阶段有两个关键写法model.eval()切到评估模式关闭 Dropout让 BatchNorm 用训练阶段积累的统计量。忘了这句验证结果会不稳定。with torch.no_grad():告诉 PyTorch 这段不需要算梯度能省显存、加快速度。验证只看结果不更新参数。评估时统计准确率、mAP 等指标和训练 loss 放一起看。如果训练 loss 一直降、验证指标却不再涨甚至回落多半是过拟合该考虑早停、加数据或加正则。训练过程中一般会保存验证指标最好的一版权重常见命名best.pt以及最后一版last.pt。真正拿去用的是验证表现最好的那个。结语深度学习训练代码看着零碎骨架其实很固定先准备数据、模型、损失和优化器再用双层循环遍历数据每个 batch 走“清零—前向—损失—反向—更新”五步每轮训练后在验证集上评估并保存最好的权重。把这套流程记牢再复杂的项目也只是往这个骨架里换零件。看懂了骨架你调 bug、改代码、读别人的仓库都会快很多。
刚接触深度学习代码的同学常被一堆Dataset、DataLoader、optimizer.zero_grad()、loss.backward()搞晕觉得每个项目的训练脚本都长得不一样。其实拆开来看绝大多数训练代码都是同一套骨架换的只是数据、模型和损失函数。把这套骨架理清楚你再看任何一份 PyTorch 训练代码都能快速定位“数据在哪读、模型在哪算、参数在哪更新”。下面按执行顺序讲清楚每一步在做什么、为什么这么写。一、开训之前先把四样东西准备好任何训练脚本正式循环之前都要备齐四个部件。数据用Dataset描述“怎么读一条样本和它的标签”再用DataLoader把样本打包成一个个 batch负责打乱和多进程加载。训练集要shuffleTrue验证集不用打乱。模型定义网络结构并搬到设备上model.to(device)有 GPU 就用 GPU。损失函数根据任务选分类常用交叉熵回归常用 MSE。它负责衡量“预测和真实差多少”。优化器如 SGD、Adam负责根据梯度更新参数需要传入模型参数和学习率。这四样对应一句话用什么数据、学什么模型、拿什么衡量好坏、按什么规则更新。缺一个训练循环就转不起来。二、训练循环外层管轮数内层管批次训练主体是一个双层循环。外层for epoch in range(epochs)控制整个数据集要过几遍内层for batch in dataloader每次取一个 batch 出来训练。开始内层循环前先写一句model.train()把模型切到训练模式。这一步会启用 Dropout、让 BatchNorm 使用当前 batch 的统计量和后面的验证模式区分开。然后把每个 batch 的数据也搬到设备上data, target data.to(device), target.to(device)。模型和数据必须在同一个设备上否则会报错。三、核心四步每个 batch 都在重复这套动作内层循环里最关键的是这四行几乎所有训练代码都有它们顺序也基本固定optimizer.zero_grad()# 1. 梯度清零outputmodel(data)# 2. 前向传播lossloss_fn(output,target)# 3. 计算损失loss.backward()# 4. 反向传播算梯度optimizer.step()# 5. 更新参数逐行说明为什么要这样梯度清零PyTorch 的梯度默认累加。上一个 batch 算完的梯度如果不清零会和这个 batch 的叠在一起导致更新方向错乱。所以每个 batch 开头先清零。前向传播把输入喂进模型得到预测输出。计算损失用预测和真实标签算出一个数值代表当前这批预测错得有多离谱。反向传播loss.backward()自动沿计算图求出每个参数的梯度也就是“往哪个方向调、调多少能让 loss 变小”。更新参数optimizer.step()按梯度和学习率把模型参数朝更好的方向挪一小步。初学者最常见的 bug就是忘了zero_grad()或者把这几行的顺序写乱。记住顺序先清零、再前向、算损失、反向、更新。四、验证与保存训练不是只看 loss 下降每个 epoch 训练完通常要在验证集上评估一次确认模型是真的在进步而不是只在死记训练集。验证阶段有两个关键写法model.eval()切到评估模式关闭 Dropout让 BatchNorm 用训练阶段积累的统计量。忘了这句验证结果会不稳定。with torch.no_grad():告诉 PyTorch 这段不需要算梯度能省显存、加快速度。验证只看结果不更新参数。评估时统计准确率、mAP 等指标和训练 loss 放一起看。如果训练 loss 一直降、验证指标却不再涨甚至回落多半是过拟合该考虑早停、加数据或加正则。训练过程中一般会保存验证指标最好的一版权重常见命名best.pt以及最后一版last.pt。真正拿去用的是验证表现最好的那个。结语深度学习训练代码看着零碎骨架其实很固定先准备数据、模型、损失和优化器再用双层循环遍历数据每个 batch 走“清零—前向—损失—反向—更新”五步每轮训练后在验证集上评估并保存最好的权重。把这套流程记牢再复杂的项目也只是往这个骨架里换零件。看懂了骨架你调 bug、改代码、读别人的仓库都会快很多。
