这一篇是 Python 神经网络编程指南系列的第十篇也是我打算聊得最贴近实战的一篇。前面几篇写了网络结构、前向传播、反向传播和损失函数但很多朋友真正训练模型时都会卡在同一个地方模型结构没问题数据也检查过一遍又一遍loss 却就是不降或者训练曲线抖得像心电图。这时候问题大概率不在网络本身而在优化器和学习率这两个环节。这篇我会从最基础的梯度下降逻辑讲起把常用优化器、学习率调度方式以及一套完整的训练循环实现从头到尾过一遍。适合刚把网络跑通但还不清楚怎么把模型调稳的读者。1. 训练神经网络的那只“方向盘”优化器到底在解决什么问题1.1 参数更新不是简单套公式要理解优化器先把最朴素的参数更新写出来。神经网络经过前向传播得到预测值损失函数算出预测和标签之间的误差反向传播得到每个权重对误差的梯度。更新就是往负梯度方向挪一步w w - lr * gradlr 是学习率控制步长。这个公式初看简单真正用起来却很少有人能只靠这一行把模型训练好。原因是它只用了当前位置的梯度信息没考虑历史方向、参数尺度差异和训练阶段的变化。这三样东西恰恰是训练不稳定的主要来源。用生活里的例子类比梯度下降就像下山只看脚下一步的坡度就往下跳容易错过山脚如果能结合之前走过的方向修正一下反而更稳。优化器的本质就是在“往哪走”和“走多远”之间做权衡。1.2 从 BGD 到 SGD 再到 Mini-Batch梯度下降有三种常见形态。BGD 指批量梯度下降每次用完整训练集算梯度方向最准但数据集一大单次更新代价高还容易陷在局部极小点里。SGD 随机梯度下降每次只看一个样本更新方向噪声大但这些噪声有时能帮模型跳出坑。Mini-Batch 是折中方案每次随机抽一小批样本用矩阵运算算平均梯度保留少量随机性换取平稳更新。现在大多数框架里的 optimizer.step() 实际都是 Mini-Batch 更新但大家习惯上仍然叫它 SGD。一个常见误区是认为 SGD 一定每次只看一个样本其实“随机”主要体现在数据打乱上每次算的是小批量的平均梯度方向比单样本更干净。选择哪种方式说到底是在更新方向质量和计算开销之间做权衡。如果你刚开始训练模型直接使用 Mini-Batch 就好不必纠结名字叫不叫 SGD。1.3 动量与 Nesterov更新怎样“记住”过去为了克服 SGD 在沟壑区域来回震荡的问题动量机制出现了。它的核心是引入一个速度变量让历史梯度像物理惯性一样延续下来。公式通常写作v momentum * v lr * grad w w - vmomentum 常取 0.9意思是保留前一步 90% 的运动趋势再叠加新梯度的 10%。加上这个变量后模型在狭长沟壑区域不容易左右横跳下降速度也更快。Nesterov 动量更进了一步先根据当前速度预估下一步位置再用预估位置附近的梯度做修正相当于跑步时先看前方路面再落脚。实际操作中Nesterov 比普通动量略稳但差距不会特别夸张属于锦上添花的改进。2. 从固定学习率到自适应优化器RMSProp 与 Adam 的原理2.1 为什么全局学习率总是不够用深度网络有一个反直觉的现象不同参数的梯度量级可以差很多。靠近输出层的参数反向传播时收到的梯度往往偏大靠近输入层的梯度经过多层连乘之后会变得特别小。给所有参数用同一个学习率部分参数训练过度另一部分原地踏步。除了参数之间的差异同一个参数在不同训练阶段也会遇到陡峭或平坦的区域。固定学习率要么照顾了平坦区域导致陡峭区域震荡要么反过来总归兼顾不好。自适应学习率算法要做的就是根据每个参数的历史梯度信息动态调整每步的更新幅度。2.2 RMSProp 与 Adam 的更新机制RMSProp 的思路是维护每个参数梯度平方的滑动平均用它的平方根缩放学习率。梯度大的参数滑动平均值大实际更新幅度被压低梯度小的参数更新幅度被放大。这个缩放让各类参数在不同区域都能保持合理步长。Adam 则相当于给 RMSProp 加了一阶动量同时维护一阶动量 m 和二阶动量 v分别对应梯度的指数平均与梯度平方的指数平均。核心公式如下m_t beta1 * m_{t-1} (1 - beta1) * g_t v_t beta2 * v_{t-1} (1 - beta2) * g_t^2 m_hat m_t / (1 - beta1^t) v_hat v_t / (1 - beta2^t) w_t w_{t-1} - lr * m_hat / (sqrt(v_hat) eps)公式里的 beta1、beta2 常取 0.9 和 0.999一个控制一阶动量衰减一个控制二阶动量衰减。因为滑动平均在训练刚开始时偏向 0所以 m_hat 和 v_hat 是偏差校正后的估计避免前期更新幅度异常。eps 是防止除零的极小常数默认常在 1e-8 附近。这些默认值大多是框架开发者从大量实验中总结出来的一般情况下不需要动。如果想深入调参可以留意 beta1 是否应该降低但大部分任务默认值已经够用。理解了这些也就明白了为什么 Adam 在绝大多数任务中前期收敛都很快。2.3 AdamW 与权重衰减的差别很多人在用 Adam 同时加 L2 正则化会感觉正则效果有些飘忽。原因是 Adam 的更新公式会通过一阶、二阶动量影响历史梯度L2 正则项混在里面会被重新缩放与真正的权重衰减不一致。AdamW 的解法是彻底分开不在损失函数里加入权重平方和而是在参数更新时直接把每个权重乘一个小于 1 的系数实现真正的权重衰减。在实际项目中我习惯把 weight_decay 从 1e-4 到 1e-2 之间扫一次跑一个小模型观察验证集曲线再选一个稳定值。对于长期训练任务AdamW 的稳定性明显好过原版 Adam。2.4 不同场景下的优化器选择优化器选择不能只看名头任务背景很关键。做 CV 类模型比如图像分类、目标检测经典做法是 SGD 配合动量再叠加一个 Step Decay 或者 Cosine 调度。这类任务数据量大、训练轮次多SGD 后期更稳容易收敛到更平缓的极小值。做 NLP 类模型比如文本分类、生成任务AdamW 几乎是事实标准配合 warmup 和线性衰减可以稳定训练。如果是快速验证想法拿 Adam 跑一两百个 epoch 比 SGD 省心得多。我的习惯是先用 Adam 配上固定学习率把模型结构和数据处理跑通确认没有 bug 后再换成期望的正式配置做长训练。这样可以避免在调优之前就把时间浪费在掩盖代码问题上。3. 学习率调度训练后期比前期更需要精细操作3.1 主流调度器怎么选学习率不一定要全程固定更常见的是在训练过程中逐步降低。Step Decay 每隔固定轮数把学习率乘一个系数比如每 30 轮乘 0.1简单直观但需要试出合适的下降点和下降幅度。Exponential Decay 每轮乘一个衰减因子比如 0.95曲线平滑但可能训练没结束学习率就已经趋近于 0。Cosine Annealing 按余弦曲线从初始值逐渐降到接近 0再在下个周期跳回初始值官方名字叫余弦退火重启。它的好处是不用手动指定下降点周期性的跳变让模型有机会跳出局部极小。我在图像分类任务上使用余弦退火比较多比手动调 Step Decay 省心效果也通常更好。3.2 Warmup 与大 batch 的关系Warmup 指正式训练前先用很小的学习率跑一段再逐渐升到初始学习率。刚初始化时参数离最优解很远梯度方向很乱如果一上来就用大学习率很可能把参数冲到梯度异常大的区域导致 loss 爆炸。Warmup 给参数一个缓启动过程让更新方向先稳定下来。这个技巧在大 batch 训练中尤其重要。标准经验是如果 batch size 放大 k 倍学习率也应相应放大但必须配合 warmup。比如 batch size 从 128 扩大到 512理论上学习率可以放大 4 倍但没有 warmup 很容易崩。我在实际项目中warmup 步数一般占总训练步数的 2% 到 5%最多不超过 10%。3.3 亲手写一个余弦退火调度器很多框架都有现成调度器但自己实现一遍能彻底理解机制。下面用纯 Python 标准库写一个简单的余弦退火调度器只依赖 math 模块import math class CosineAnnealingLR: def __init__(self, optimizer, T_max, eta_min0.0): self.optimizer optimizer self.T_max T_max self.eta_min eta_min self.base_lr optimizer.param_groups[0][lr] self.last_epoch 0 def step(self): self.last_epoch 1 ratio (1 math.cos(math.pi * self.last_epoch / self.T_max)) / 2 new_lr self.eta_min (self.base_lr - self.eta_min) * ratio for param_group in self.optimizer.param_groups: param_group[lr] new_lrT_max 是余弦退火一个周期的长度。如果数据集很大可以按更新步数而不是 epoch 来计算这样每个 batch 后学习率都在变化曲线更平滑。想要加 warmup可以在 step 里判断 last_epoch 小于 warmup_steps 时按线性插值从 0 升到 base_lr再进入余弦下降。调度器本身不复杂但它直接影响每次更新的步长实际效果非常明显值得花时间调一调。3.4 初始学习率应该定多少初始学习率是很多调参问题的起点。常用经验值是 1e-3 或 1e-4但具体要结合 batch size、模型深度和数据规模。batch 越大能承受的学习率越大模型越深、训练数据越复杂学习率往往要调小一些。一个很实用的方法是学习率探测器从一个极小的学习率开始比如 1e-5每个 batch 训练后线性增大学习率同时记录 loss 的变化。loss 下降最快的地方往往就是合理学习率的起步区间正式训练再退回约一半。我自己的习惯是先用固定学习率跑 5 个 epoch 左右观察 loss 曲线形态如果一直在降就可以继续如果徘徊不动就按数量级调整学习率。等曲线稳定后再引入调度器。4. 一个完整的 Mini-Batch 训练循环怎么搭4.1 数据切分与批次打乱训练循环的骨架是数据、模型、优化器、调度器四者的配合。先看数据准备常规做法是随机切分训练集和验证集再把训练集切分成固定大小的批次。切分后打乱顺序非常重要因为不打乱模型会学着按顺序记住样本而不是学到数据背后的规律。很多框架自带数据加载器通常叫 DataLoader 之类传入 shuffleTrue 即可。如果自己手写也可以用随机采样下标的方式生成批次例如从样本索引里不放回地随机抽取。这样每个 epoch 内样本都会被重新排列批次之间的边界也会变化相当于变相增加了随机性。4.2 反向传播的五个固定动作一个标准训练循环可以拆成五步前向传播、计算损失、反向传播、梯度清零、优化器更新。顺序不能乱梯度清零必须放在每个批次反向传播之前否则上一个批次的梯度会累加到当前批次里。用通用框架接口写出来for epoch in range(epochs): for batch_data, batch_label in data_loader: pred model(batch_data) loss loss_fn(pred, batch_label) optimizer.zero_grad() loss.backward() optimizer.step() scheduler.step()这套流程看着简单但新手最容易栽在梯度清零上。loss.backward() 默认是把梯度累加到参数的 grad 属性里而不是覆盖原有的值所以不清零的话梯度会像滚雪球一样越滚越大。还有一个常用进阶技巧叫梯度累积当物理显存不够batch size 设不大时可以改用小 batch 跑多个往返只在累计到一定步数后再调用 optimizer.step() 和 optimizer.zero_grad()实现上只需要在循环里维护一个计数器。4.3 三种策略在同一模型上的对比实验为了把上面的理论落到实际我用一个模拟二分类任务做了 100 轮训练对比。模型是一个三层全连接网络输入 20 维隐藏层 64 个节点输出两个类别。三种配置分别是 SGD 加动量加 StepDecay、Adam 固定学习率、AdamW 加余弦退火。配置loss 降到 0.5 所需 epoch最终验证 loss训练稳定度SGD momentum StepDecay380.23中等需要调衰减节点Adam 固定 lr0.001120.31前期快后期易震荡AdamW CosineAnnealing160.18稳定后期持续下降这个实验是在模拟数据上的相对表现不是万能结论但反映了不少任务中的共性Adam 前期飞快后期往往输给认真调过学习率的 SGD 或 AdamW。因此如果目标是最终验证精度别只盯着前 10 个 epoch 的 loss一定要跑完整流程再下判断。4.4 训练日志与断点保存跑一个实验动辄几小时如果不记录日志等于白跑。我通常在训练循环里每个 batch 打印一次 loss 和 lr每个 epoch 结束后记录验证集指标并且保存一份含模型参数、优化器状态、调度器状态和当前 epoch 数的检查点。恢复训练时只要把这三样东西都加载回来就能接着跑而不需要用可能已经变形的模型重新开始。记录梯度范数也很有用它能在内部观察模型是否出现梯度爆炸或消失比只看 loss 曲线直观得多。另外为了后续对比实验我会把每次实验的超参数、随机种子、最终指标写进一个文本文件。这样即使过了一个月再翻出来也能知道自己当时做了什么。如果注意力足够还可以记录每个 batch 的平均梯度方向变化这能帮助判断预热阶段是否结束但一开始没必要做得很复杂。5. 常见问题与排查技巧实录5.1 Loss 剧烈震荡的排查顺序训练曲线像锯齿一样上下乱跳最常见原因是学习率太大更新步长超过了最优区域宽度。我的第一反应是把学习率降一个数量级如果震荡明显减弱就说明当前 lr 偏高再从降低后的值附近细调。第二个常见原因是 batch size 太小梯度噪声太大可以尝试提高到 32 或 64。第三个原因是数据没有打乱模型反复看到同一种样本更新规律性过强同样会造成震荡。如果这些都解决不了再考虑梯度裁剪在参数更新前把梯度范数限制在一个范围对 RNN 和 transformer 结构尤其有用。通过这几步绝大多数震荡问题都能定位到根因。5.2 训练初期 Loss 完全不动要查什么loss 一开始就卡住第一件要查的是学习率是不是太小。一种实用的做法是做一个简单搜索从一个很小的学习率开始逐步增大找到让 loss 明显下降的最大学习率再退回一半用于正式训练。梯度消失也是常见原因尤其是网络层数加深之后可以先打印第一层参数的梯度范数如果接近零多半需要换激活函数、加残差或调整初始化方法。另一个容易被忽略的原因是输入数据没做归一化。特征数值范围差异太大时损失函数表面非常崎岖梯度方向不稳把每个特征缩放到均值为 0、方差为 1 后很多问题会直接消失。我坚持先做数据归一化再谈优化器和学习率这个顺序能省下不少排查时间。5.3 我总结的一套固定调参顺序每次训练新模型我都按固定顺序排查。先确认数据归一化和标签正确再用一个很小的数据子集做一次过拟合实验确认模型结构真的能学到内容然后从 1e-2 到 1e-5 粗扫学习率找到 loss 明显下降的范围接着选优化器和基础学习率先用 Adam 快速验证再迁移到 SGD 或 AdamW 正式训练等 loss 曲线平稳之后再加入学习率调度。这套顺序帮我解决过很多“模型不工作”的疑难杂症。最重要的原则是每次只改一个变量跑完一轮对比再动下一步。如果同时改学习率、优化器和正则化出了问题根本不知道是谁引起的。除了记录超参数我还会把每次实验的 loss 曲线截图保存。卡片多了以后你会慢慢形成直觉看到某条曲线就知道是学习率太低还是优化器不合适。这种直觉没法从文档里学到只能靠一次次对比积累起来。最后再分享一个个人体会。我踩过最多坑的阶段就是同时调一堆超参数今天换学习率明天换优化器后天又加正则化最后 loss 曲线稍微好看一点都不知道是哪一步起了作用。优化器和学习率看似只是训练细节但它们对结果的影响往往比在模型结构上折腾半天更直接。另外我建议每跑完一组实验就记录当时的配置和曲线图哪怕只是写一句话也能让你之后对比时少做很多重复工作。希望这篇指南能让你在神经网络训练这条路上少走几天弯路。
这一篇是 Python 神经网络编程指南系列的第十篇也是我打算聊得最贴近实战的一篇。前面几篇写了网络结构、前向传播、反向传播和损失函数但很多朋友真正训练模型时都会卡在同一个地方模型结构没问题数据也检查过一遍又一遍loss 却就是不降或者训练曲线抖得像心电图。这时候问题大概率不在网络本身而在优化器和学习率这两个环节。这篇我会从最基础的梯度下降逻辑讲起把常用优化器、学习率调度方式以及一套完整的训练循环实现从头到尾过一遍。适合刚把网络跑通但还不清楚怎么把模型调稳的读者。1. 训练神经网络的那只“方向盘”优化器到底在解决什么问题1.1 参数更新不是简单套公式要理解优化器先把最朴素的参数更新写出来。神经网络经过前向传播得到预测值损失函数算出预测和标签之间的误差反向传播得到每个权重对误差的梯度。更新就是往负梯度方向挪一步w w - lr * gradlr 是学习率控制步长。这个公式初看简单真正用起来却很少有人能只靠这一行把模型训练好。原因是它只用了当前位置的梯度信息没考虑历史方向、参数尺度差异和训练阶段的变化。这三样东西恰恰是训练不稳定的主要来源。用生活里的例子类比梯度下降就像下山只看脚下一步的坡度就往下跳容易错过山脚如果能结合之前走过的方向修正一下反而更稳。优化器的本质就是在“往哪走”和“走多远”之间做权衡。1.2 从 BGD 到 SGD 再到 Mini-Batch梯度下降有三种常见形态。BGD 指批量梯度下降每次用完整训练集算梯度方向最准但数据集一大单次更新代价高还容易陷在局部极小点里。SGD 随机梯度下降每次只看一个样本更新方向噪声大但这些噪声有时能帮模型跳出坑。Mini-Batch 是折中方案每次随机抽一小批样本用矩阵运算算平均梯度保留少量随机性换取平稳更新。现在大多数框架里的 optimizer.step() 实际都是 Mini-Batch 更新但大家习惯上仍然叫它 SGD。一个常见误区是认为 SGD 一定每次只看一个样本其实“随机”主要体现在数据打乱上每次算的是小批量的平均梯度方向比单样本更干净。选择哪种方式说到底是在更新方向质量和计算开销之间做权衡。如果你刚开始训练模型直接使用 Mini-Batch 就好不必纠结名字叫不叫 SGD。1.3 动量与 Nesterov更新怎样“记住”过去为了克服 SGD 在沟壑区域来回震荡的问题动量机制出现了。它的核心是引入一个速度变量让历史梯度像物理惯性一样延续下来。公式通常写作v momentum * v lr * grad w w - vmomentum 常取 0.9意思是保留前一步 90% 的运动趋势再叠加新梯度的 10%。加上这个变量后模型在狭长沟壑区域不容易左右横跳下降速度也更快。Nesterov 动量更进了一步先根据当前速度预估下一步位置再用预估位置附近的梯度做修正相当于跑步时先看前方路面再落脚。实际操作中Nesterov 比普通动量略稳但差距不会特别夸张属于锦上添花的改进。2. 从固定学习率到自适应优化器RMSProp 与 Adam 的原理2.1 为什么全局学习率总是不够用深度网络有一个反直觉的现象不同参数的梯度量级可以差很多。靠近输出层的参数反向传播时收到的梯度往往偏大靠近输入层的梯度经过多层连乘之后会变得特别小。给所有参数用同一个学习率部分参数训练过度另一部分原地踏步。除了参数之间的差异同一个参数在不同训练阶段也会遇到陡峭或平坦的区域。固定学习率要么照顾了平坦区域导致陡峭区域震荡要么反过来总归兼顾不好。自适应学习率算法要做的就是根据每个参数的历史梯度信息动态调整每步的更新幅度。2.2 RMSProp 与 Adam 的更新机制RMSProp 的思路是维护每个参数梯度平方的滑动平均用它的平方根缩放学习率。梯度大的参数滑动平均值大实际更新幅度被压低梯度小的参数更新幅度被放大。这个缩放让各类参数在不同区域都能保持合理步长。Adam 则相当于给 RMSProp 加了一阶动量同时维护一阶动量 m 和二阶动量 v分别对应梯度的指数平均与梯度平方的指数平均。核心公式如下m_t beta1 * m_{t-1} (1 - beta1) * g_t v_t beta2 * v_{t-1} (1 - beta2) * g_t^2 m_hat m_t / (1 - beta1^t) v_hat v_t / (1 - beta2^t) w_t w_{t-1} - lr * m_hat / (sqrt(v_hat) eps)公式里的 beta1、beta2 常取 0.9 和 0.999一个控制一阶动量衰减一个控制二阶动量衰减。因为滑动平均在训练刚开始时偏向 0所以 m_hat 和 v_hat 是偏差校正后的估计避免前期更新幅度异常。eps 是防止除零的极小常数默认常在 1e-8 附近。这些默认值大多是框架开发者从大量实验中总结出来的一般情况下不需要动。如果想深入调参可以留意 beta1 是否应该降低但大部分任务默认值已经够用。理解了这些也就明白了为什么 Adam 在绝大多数任务中前期收敛都很快。2.3 AdamW 与权重衰减的差别很多人在用 Adam 同时加 L2 正则化会感觉正则效果有些飘忽。原因是 Adam 的更新公式会通过一阶、二阶动量影响历史梯度L2 正则项混在里面会被重新缩放与真正的权重衰减不一致。AdamW 的解法是彻底分开不在损失函数里加入权重平方和而是在参数更新时直接把每个权重乘一个小于 1 的系数实现真正的权重衰减。在实际项目中我习惯把 weight_decay 从 1e-4 到 1e-2 之间扫一次跑一个小模型观察验证集曲线再选一个稳定值。对于长期训练任务AdamW 的稳定性明显好过原版 Adam。2.4 不同场景下的优化器选择优化器选择不能只看名头任务背景很关键。做 CV 类模型比如图像分类、目标检测经典做法是 SGD 配合动量再叠加一个 Step Decay 或者 Cosine 调度。这类任务数据量大、训练轮次多SGD 后期更稳容易收敛到更平缓的极小值。做 NLP 类模型比如文本分类、生成任务AdamW 几乎是事实标准配合 warmup 和线性衰减可以稳定训练。如果是快速验证想法拿 Adam 跑一两百个 epoch 比 SGD 省心得多。我的习惯是先用 Adam 配上固定学习率把模型结构和数据处理跑通确认没有 bug 后再换成期望的正式配置做长训练。这样可以避免在调优之前就把时间浪费在掩盖代码问题上。3. 学习率调度训练后期比前期更需要精细操作3.1 主流调度器怎么选学习率不一定要全程固定更常见的是在训练过程中逐步降低。Step Decay 每隔固定轮数把学习率乘一个系数比如每 30 轮乘 0.1简单直观但需要试出合适的下降点和下降幅度。Exponential Decay 每轮乘一个衰减因子比如 0.95曲线平滑但可能训练没结束学习率就已经趋近于 0。Cosine Annealing 按余弦曲线从初始值逐渐降到接近 0再在下个周期跳回初始值官方名字叫余弦退火重启。它的好处是不用手动指定下降点周期性的跳变让模型有机会跳出局部极小。我在图像分类任务上使用余弦退火比较多比手动调 Step Decay 省心效果也通常更好。3.2 Warmup 与大 batch 的关系Warmup 指正式训练前先用很小的学习率跑一段再逐渐升到初始学习率。刚初始化时参数离最优解很远梯度方向很乱如果一上来就用大学习率很可能把参数冲到梯度异常大的区域导致 loss 爆炸。Warmup 给参数一个缓启动过程让更新方向先稳定下来。这个技巧在大 batch 训练中尤其重要。标准经验是如果 batch size 放大 k 倍学习率也应相应放大但必须配合 warmup。比如 batch size 从 128 扩大到 512理论上学习率可以放大 4 倍但没有 warmup 很容易崩。我在实际项目中warmup 步数一般占总训练步数的 2% 到 5%最多不超过 10%。3.3 亲手写一个余弦退火调度器很多框架都有现成调度器但自己实现一遍能彻底理解机制。下面用纯 Python 标准库写一个简单的余弦退火调度器只依赖 math 模块import math class CosineAnnealingLR: def __init__(self, optimizer, T_max, eta_min0.0): self.optimizer optimizer self.T_max T_max self.eta_min eta_min self.base_lr optimizer.param_groups[0][lr] self.last_epoch 0 def step(self): self.last_epoch 1 ratio (1 math.cos(math.pi * self.last_epoch / self.T_max)) / 2 new_lr self.eta_min (self.base_lr - self.eta_min) * ratio for param_group in self.optimizer.param_groups: param_group[lr] new_lrT_max 是余弦退火一个周期的长度。如果数据集很大可以按更新步数而不是 epoch 来计算这样每个 batch 后学习率都在变化曲线更平滑。想要加 warmup可以在 step 里判断 last_epoch 小于 warmup_steps 时按线性插值从 0 升到 base_lr再进入余弦下降。调度器本身不复杂但它直接影响每次更新的步长实际效果非常明显值得花时间调一调。3.4 初始学习率应该定多少初始学习率是很多调参问题的起点。常用经验值是 1e-3 或 1e-4但具体要结合 batch size、模型深度和数据规模。batch 越大能承受的学习率越大模型越深、训练数据越复杂学习率往往要调小一些。一个很实用的方法是学习率探测器从一个极小的学习率开始比如 1e-5每个 batch 训练后线性增大学习率同时记录 loss 的变化。loss 下降最快的地方往往就是合理学习率的起步区间正式训练再退回约一半。我自己的习惯是先用固定学习率跑 5 个 epoch 左右观察 loss 曲线形态如果一直在降就可以继续如果徘徊不动就按数量级调整学习率。等曲线稳定后再引入调度器。4. 一个完整的 Mini-Batch 训练循环怎么搭4.1 数据切分与批次打乱训练循环的骨架是数据、模型、优化器、调度器四者的配合。先看数据准备常规做法是随机切分训练集和验证集再把训练集切分成固定大小的批次。切分后打乱顺序非常重要因为不打乱模型会学着按顺序记住样本而不是学到数据背后的规律。很多框架自带数据加载器通常叫 DataLoader 之类传入 shuffleTrue 即可。如果自己手写也可以用随机采样下标的方式生成批次例如从样本索引里不放回地随机抽取。这样每个 epoch 内样本都会被重新排列批次之间的边界也会变化相当于变相增加了随机性。4.2 反向传播的五个固定动作一个标准训练循环可以拆成五步前向传播、计算损失、反向传播、梯度清零、优化器更新。顺序不能乱梯度清零必须放在每个批次反向传播之前否则上一个批次的梯度会累加到当前批次里。用通用框架接口写出来for epoch in range(epochs): for batch_data, batch_label in data_loader: pred model(batch_data) loss loss_fn(pred, batch_label) optimizer.zero_grad() loss.backward() optimizer.step() scheduler.step()这套流程看着简单但新手最容易栽在梯度清零上。loss.backward() 默认是把梯度累加到参数的 grad 属性里而不是覆盖原有的值所以不清零的话梯度会像滚雪球一样越滚越大。还有一个常用进阶技巧叫梯度累积当物理显存不够batch size 设不大时可以改用小 batch 跑多个往返只在累计到一定步数后再调用 optimizer.step() 和 optimizer.zero_grad()实现上只需要在循环里维护一个计数器。4.3 三种策略在同一模型上的对比实验为了把上面的理论落到实际我用一个模拟二分类任务做了 100 轮训练对比。模型是一个三层全连接网络输入 20 维隐藏层 64 个节点输出两个类别。三种配置分别是 SGD 加动量加 StepDecay、Adam 固定学习率、AdamW 加余弦退火。配置loss 降到 0.5 所需 epoch最终验证 loss训练稳定度SGD momentum StepDecay380.23中等需要调衰减节点Adam 固定 lr0.001120.31前期快后期易震荡AdamW CosineAnnealing160.18稳定后期持续下降这个实验是在模拟数据上的相对表现不是万能结论但反映了不少任务中的共性Adam 前期飞快后期往往输给认真调过学习率的 SGD 或 AdamW。因此如果目标是最终验证精度别只盯着前 10 个 epoch 的 loss一定要跑完整流程再下判断。4.4 训练日志与断点保存跑一个实验动辄几小时如果不记录日志等于白跑。我通常在训练循环里每个 batch 打印一次 loss 和 lr每个 epoch 结束后记录验证集指标并且保存一份含模型参数、优化器状态、调度器状态和当前 epoch 数的检查点。恢复训练时只要把这三样东西都加载回来就能接着跑而不需要用可能已经变形的模型重新开始。记录梯度范数也很有用它能在内部观察模型是否出现梯度爆炸或消失比只看 loss 曲线直观得多。另外为了后续对比实验我会把每次实验的超参数、随机种子、最终指标写进一个文本文件。这样即使过了一个月再翻出来也能知道自己当时做了什么。如果注意力足够还可以记录每个 batch 的平均梯度方向变化这能帮助判断预热阶段是否结束但一开始没必要做得很复杂。5. 常见问题与排查技巧实录5.1 Loss 剧烈震荡的排查顺序训练曲线像锯齿一样上下乱跳最常见原因是学习率太大更新步长超过了最优区域宽度。我的第一反应是把学习率降一个数量级如果震荡明显减弱就说明当前 lr 偏高再从降低后的值附近细调。第二个常见原因是 batch size 太小梯度噪声太大可以尝试提高到 32 或 64。第三个原因是数据没有打乱模型反复看到同一种样本更新规律性过强同样会造成震荡。如果这些都解决不了再考虑梯度裁剪在参数更新前把梯度范数限制在一个范围对 RNN 和 transformer 结构尤其有用。通过这几步绝大多数震荡问题都能定位到根因。5.2 训练初期 Loss 完全不动要查什么loss 一开始就卡住第一件要查的是学习率是不是太小。一种实用的做法是做一个简单搜索从一个很小的学习率开始逐步增大找到让 loss 明显下降的最大学习率再退回一半用于正式训练。梯度消失也是常见原因尤其是网络层数加深之后可以先打印第一层参数的梯度范数如果接近零多半需要换激活函数、加残差或调整初始化方法。另一个容易被忽略的原因是输入数据没做归一化。特征数值范围差异太大时损失函数表面非常崎岖梯度方向不稳把每个特征缩放到均值为 0、方差为 1 后很多问题会直接消失。我坚持先做数据归一化再谈优化器和学习率这个顺序能省下不少排查时间。5.3 我总结的一套固定调参顺序每次训练新模型我都按固定顺序排查。先确认数据归一化和标签正确再用一个很小的数据子集做一次过拟合实验确认模型结构真的能学到内容然后从 1e-2 到 1e-5 粗扫学习率找到 loss 明显下降的范围接着选优化器和基础学习率先用 Adam 快速验证再迁移到 SGD 或 AdamW 正式训练等 loss 曲线平稳之后再加入学习率调度。这套顺序帮我解决过很多“模型不工作”的疑难杂症。最重要的原则是每次只改一个变量跑完一轮对比再动下一步。如果同时改学习率、优化器和正则化出了问题根本不知道是谁引起的。除了记录超参数我还会把每次实验的 loss 曲线截图保存。卡片多了以后你会慢慢形成直觉看到某条曲线就知道是学习率太低还是优化器不合适。这种直觉没法从文档里学到只能靠一次次对比积累起来。最后再分享一个个人体会。我踩过最多坑的阶段就是同时调一堆超参数今天换学习率明天换优化器后天又加正则化最后 loss 曲线稍微好看一点都不知道是哪一步起了作用。优化器和学习率看似只是训练细节但它们对结果的影响往往比在模型结构上折腾半天更直接。另外我建议每跑完一组实验就记录当时的配置和曲线图哪怕只是写一句话也能让你之后对比时少做很多重复工作。希望这篇指南能让你在神经网络训练这条路上少走几天弯路。
