1. 从全连接层到卷积为什么需要CNN如果你刚开始接触深度学习大概率是从全连接网络Fully Connected Network入门的。把一张图片的每个像素拉平成一个长向量然后堆几层线性层加激活函数理论上确实能跑起来。但实际用起来问题很快就暴露了。假设你处理一张224×224的RGB图片拉平之后输入维度是224×224×3也就是150528维。如果第一层隐藏层只放1000个神经元光这一层的参数量就是150528×1000超过1.5亿个参数。这还只是一层。参数量爆炸带来的直接后果是训练慢、显存吃紧、极易过拟合。更关键的是全连接层把每个像素都当成独立特征完全忽略了图像的空间结构——把一张猫的图片像素打乱顺序全连接网络照样能训练但卷积网络就不行了因为卷积天生依赖邻域关系。卷积神经网络CNN解决的核心问题就是这两点参数共享和局部连接。一个3×3的卷积核只有9个权重加上偏置10个它在整张图上滑动所有位置共用同一组权重。这意味着无论猫出现在图片左上角还是右下角同一个卷积核都能检测到相同的特征。这种“平移不变性”是CNN在图像任务上碾压全连接网络的根本原因。我刚开始学的时候有个误区觉得卷积核里的数值是人工设计的。实际上这些数值就是网络要学习的参数跟全连接层的权重没有本质区别只是共享方式不同。反向传播照样能更新它们只不过梯度需要把所有滑动位置的贡献累加起来。CNN适合谁来学如果你已经理解了全连接网络的前向传播和反向传播想进一步处理图像、视频、音频频谱图这类有空间或时间结构的数据那CNN就是绕不开的一站。即使现在Transformer在视觉领域很火CNN仍然是理解“局部特征提取”这一思想的最佳入口而且在实际部署中小模型场景下CNN的效率和精度依然很有竞争力。2. 卷积的核心机制拆解2.1 卷积核到底在做什么卷积操作的本质是用一个小窗口在输入特征图上滑动每个位置做逐元素乘法再求和。听起来抽象换个说法卷积核就是一个“特征探测器”。比如一个3×3的核数值是[[-1,-1,-1],[-1,8,-1],[-1,-1,-1]]它在图像上滑动时对平坦区域周围像素和中心像素差不多的输出接近0对边缘或角点中心像素和周围差异大的输出就很大。这就是经典的边缘检测算子。在CNN里我们不需要手动设计这些核而是让网络自己学。一层卷积通常有多个核比如64个每个核学一种不同的特征。浅层学到的往往是边缘、颜色块、纹理深层学到的则是眼睛、轮子、文字笔画这类语义更强的模式。这个“从低级到高级”的层次化特征提取是CNN最漂亮的设计之一。2.2 步长、填充与输出尺寸计算卷积的输出尺寸不是随便定的它由输入尺寸、核大小、步长stride、填充padding共同决定。公式很简单输出尺寸 (输入尺寸 2×填充 - 核大小) / 步长 1举个例子输入32×32核5×5步长1填充0输出就是(320-5)/1128。如果填充2输出就是(324-5)/1133。这里有个细节当(输入2×填充-核大小)不能被步长整除时不同框架的处理方式可能不同有的向下取整有的报错。我踩过的坑是在设计网络时用公式算好了尺寸结果换了个框架跑发现某一层输出对不上排查半天才发现是取整策略差异。所以建议在设计阶段就把每层尺寸算清楚写个注释贴在代码旁边。填充的作用是控制输出尺寸和保留边界信息。不加填充的话每经过一层卷积特征图就缩小一圈几层之后边缘信息就丢得差不多了。常用的“same padding”就是让输出尺寸等于输入尺寸具体填充多少由核大小决定对于奇数核填充(核大小-1)/2。2.3 池化层的角色与争议池化层Pooling曾经是CNN的标配最常用的是2×2最大池化步长2把特征图长宽各缩小一半。它的作用有两个一是降低计算量二是提供一定程度的平移不变性——即使特征稍微移动几个像素池化后的输出可能不变。但近几年池化层的地位在下降。原因在于最大池化会丢失位置信息这在分类任务里无所谓但在目标检测、语义分割这类需要精确定位的任务里就是硬伤。替代方案是用步长为2的卷积代替池化让网络自己学下采样方式。我实测下来在分类任务上两者差距不大但在分割任务上用步长卷积确实比最大池化效果好一截。如果你刚开始学建议还是先掌握最大池化理解它的设计意图再逐步过渡到更现代的方案。2.4 激活函数的选择ReLU及其变体卷积之后通常接一个非线性激活函数。早期用Sigmoid和Tanh但这两个函数在深层网络里会导致梯度消失——反向传播时梯度一层层乘下去很快就趋近于0浅层参数几乎不更新。ReLURectified Linear Unit的出现改变了局面f(x)max(0,x)。它的导数在正区间恒为1梯度不会衰减计算也极快就是一次比较。但ReLU有个问题叫“神经元死亡”如果某个神经元的输入长期为负输出恒为0梯度也是0这个神经元就再也活不过来了。实践中常用的改进版是LeakyReLU负区间给一个小斜率比如0.01和ELU。我的经验是大部分情况下ReLU够用如果发现训练后期loss不降、大量神经元输出为0可以试试LeakyReLU。另外Batch Normalization通常放在卷积和激活之间能显著加速收敛这个后面细说。3. 经典CNN架构的演进与设计思路3.1 LeNet-5CNN的起点LeNet-5是上世纪90年代提出的手写数字识别网络结构很简单两层卷积两层池化三层全连接。输入是32×32的灰度图输出是10个类别。它的参数量只有约6万放在今天微不足道但基本奠定了CNN的模板卷积→池化→卷积→池化→全连接。学LeNet的价值不在于用它解决实际问题而在于理解每一层的尺寸变化和参数计算。我建议每个初学者都手动推导一遍LeNet每层的输出尺寸和参数量推导完你对CNN的理解会扎实很多。3.2 AlexNet深度学习的引爆点AlexNet在2012年的图像分类竞赛中大幅领先第二名直接把深度学习推上了风口。它的关键改进包括使用ReLU加速训练、用Dropout抑制过拟合、用数据增强扩充训练集、以及首次在CNN中大规模使用GPU训练。从结构上看AlexNet就是加深加宽版的LeNet5层卷积3层全连接参数量约6000万。值得注意的是由于当时显存有限AlexNet把网络拆成两部分分别放在两块GPU上训练只在特定层做通信。这种“模型并行”的思路在今天的大模型训练中依然常见。3.3 VGG用重复模块简化设计VGG的核心思想极其简洁全部用3×3卷积步长1填充1池化全用2×2最大池化。通过堆叠多个3×3卷积来替代大核卷积比如两个3×3卷积的感受野等于一个5×5既减少了参数又增加了非线性。VGG-16的结构可以概括为每经过2到3个卷积层就做一次池化特征图尺寸减半、通道数翻倍最后接三层全连接。它的参数量约1.38亿大部分集中在全连接层。VGG证明了“深度”本身就是一个重要维度但它的全连接层太重后来被全局平均池化取代。3.4 ResNet残差连接解决退化问题理论上网络越深表达能力越强但实践中发现当网络超过一定深度后训练误差反而上升——这不是过拟合而是优化困难称为“退化问题”。ResNet的解决方案是引入残差连接让某一层的输出等于F(x)x其中x是输入。这样网络只需要学习残差F(x)而不是完整映射。残差连接的好处是梯度可以直接通过恒等路径回传不会因为层数多而衰减。ResNet-50、ResNet-101成为后续很多任务的标准骨干网络。我个人的体会是如果你在做一个新任务不知道选什么骨干ResNet-50基本不会出错预训练权重好找社区支持也最完善。3.5 轻量化趋势MobileNet与深度可分离卷积在移动端或嵌入式设备上部署CNN算力和内存都有限。MobileNet提出的深度可分离卷积把标准卷积拆成两步先对每个通道单独做卷积深度卷积再用1×1卷积做通道融合逐点卷积。这样参数量和计算量都大幅下降精度损失却很小。我做过一个对比实验在同一个分类任务上标准卷积的参数量是深度可分离卷积的8到9倍推理时间也是后者的3倍左右而精度只差1到2个百分点。所以如果目标是端侧部署MobileNet系列是非常务实的起点。4. 训练一个CNN的完整实操流程4.1 数据准备与增强策略数据是CNN训练的地基。以图像分类为例你需要把数据组织成“每类一个文件夹”的结构或者用CSV标注文件路径和标签。数据量少的时候数据增强是必须的随机裁剪、水平翻转、颜色抖动、旋转小角度这些操作能显著提升泛化能力。但增强不是越多越好。我踩过的坑是在一个医学图像任务里加了随机旋转和翻转结果精度反而下降。后来才想明白医学图像有固定的方向语义翻转后病灶位置关系就乱了。所以增强策略要结合任务特点自然图像翻转没问题文字图像翻转就废了颜色抖动对光照变化大的场景有用但对颜色本身就是判别特征的任务比如交通灯识别就是灾难。4.2 权重初始化与Batch Normalization权重初始化不能全填0否则所有神经元输出相同梯度也相同网络永远学不到东西。常用的初始化方法有Xavier适合Sigmoid/Tanh和He初始化适合ReLU。框架通常有默认值但如果你自己写层记得显式指定。Batch NormalizationBN是我强烈建议加的。它在每个mini-batch内对特征做归一化让分布稳定允许更大的学习率还能起到轻微的正则化作用。BN通常放在卷积之后、激活之前。注意训练时BN用当前batch的均值和方差推理时用训练阶段累积的滑动平均值这个切换框架会自动处理但你要知道有这个机制否则导出模型时可能出问题。4.3 损失函数与优化器选择分类任务最常用交叉熵损失。如果类别不平衡可以用带权重的交叉熵或者Focal Loss对难样本加权。优化器方面SGD动量是经典组合泛化性能好但收敛慢Adam收敛快、对学习率不敏感但在某些任务上泛化不如SGD。我的习惯是先用Adam快速跑通流程确认模型能收敛、数据没问题然后再换SGD动量精调通常能涨0.5到1个百分点。学习率调度也很关键Cosine退火或StepLR都是常用策略。一个实用技巧是先用一个较大的学习率跑几个epoch观察loss曲线如果震荡剧烈就调小如果下降太慢就调大。4.4 训练循环与监控指标一个标准的训练循环包括前向传播、计算损失、反向传播、更新参数。每个epoch结束后在验证集上评估记录loss和准确率。监控指标不能只看准确率还要看混淆矩阵和每类的precision/recall否则可能被多数类掩盖问题。我习惯在训练时把训练loss和验证loss画在同一张图上。如果训练loss持续下降但验证loss开始上升就是过拟合的信号该加正则化或早停了。如果两者都下不去可能是欠拟合或学习率太小。如果验证loss剧烈震荡多半是batch size太小或学习率太大。4.5 迁移学习站在预训练模型肩上实际项目中从零训练一个CNN的情况很少大多数时候是用预训练模型做迁移学习。做法很简单加载在大型数据集上训练好的权重把最后的分类层换成自己任务的类别数然后微调。微调有两种策略一是冻结前面的卷积层只训练最后的分类层适合数据量很小的情况二是全部解冻用较小的学习率微调所有层适合数据量中等以上的情况。我通常先冻结训练几轮等分类层稳定后再解冻精调这样比一上来就全解冻更稳。5. 常见问题与排查技巧实录5.1 损失不下降或变为NaN这是新手最常遇到的问题。排查顺序如下现象可能原因排查方法loss从一开始就不降学习率太小或太大试几个数量级的学习率loss突然变NaN学习率太大、梯度爆炸加梯度裁剪、调小学习率loss震荡剧烈batch size太小增大batch size或调小学习率训练loss降但验证不降过拟合加数据增强、Dropout、权重衰减梯度裁剪是个很实用的技巧设置一个阈值如果梯度范数超过它就按比例缩放。PyTorch里一行代码就能加能有效防止NaN。5.2 过拟合的识别与应对过拟合的典型表现是训练准确率远高于验证准确率。应对手段按优先级排序增加数据最有效、数据增强、Dropout、权重衰减、早停、减小模型容量。Dropout在卷积层里的用法和全连接层略有不同全连接层通常设0.5卷积层设0.1到0.3就够了因为卷积层参数量少本身正则化效果就强。另外BN也有正则化作用所以用了BN之后Dropout可以适当减少甚至去掉。5.3 显存不足的优化手段显存不够是训练CNN时的常见瓶颈。几个立竿见影的办法减小batch size最直接、用混合精度训练AMP能省约一半显存、用梯度累积模拟大batch、把部分层换成轻量结构。混合精度训练是我最推荐的只需在训练循环里加几行代码显存降一半速度还能提升。注意用AMP时loss scaling要开否则小梯度会下溢。5.4 推理速度慢的优化方向如果模型要上线推理速度就是硬指标。优化方向包括用更轻的骨干MobileNet、ShuffleNet、剪枝去掉不重要的通道、量化把float32转成int8速度提升2到4倍、用推理引擎优化计算图。量化是我用得最多的训练后量化几乎不掉精度速度提升明显而且主流框架都支持。但要注意量化后的模型在某些算子上的支持可能不完善部署前一定要在目标设备上实测。6. 几个容易被忽略的实操心得第一个心得卷积核的可视化能帮你debug。把第一层卷积核的权重画出来如果看起来像随机噪声说明训练可能没收敛如果能看到边缘、颜色块说明浅层学得不错。这个方法在排查“模型为什么不work”时特别有用。第二个心得不要迷信默认参数。框架给的默认学习率、权重衰减都是针对通用场景的你的任务可能需要不同的值。我习惯在正式训练前跑一个小的学习率扫描用几个epoch看看哪个量级最合适花不了多少时间但收益很大。第三个心得保存最佳模型而不是最后一个。训练结束时最后一个epoch的模型不一定是最好的可能已经过拟合了。在每个epoch验证后如果指标提升就保存一份最后用最佳模型做推理。第四个心得数据质量比模型结构重要。我见过太多人花大量时间调网络结构却忽略了标注错误、类别不平衡、数据泄漏这些问题。一个干净的数据集配上标准ResNet往往比脏数据配精心设计的网络效果好得多。第五个心得从简单做起。不要一上来就搭一个几十层的复杂网络。先用一个小网络跑通全流程确认数据加载、训练循环、评估指标都没问题再逐步加深加宽。这样出问题时容易定位也不会浪费大量时间在调试复杂结构上。
1. 从全连接层到卷积为什么需要CNN如果你刚开始接触深度学习大概率是从全连接网络Fully Connected Network入门的。把一张图片的每个像素拉平成一个长向量然后堆几层线性层加激活函数理论上确实能跑起来。但实际用起来问题很快就暴露了。假设你处理一张224×224的RGB图片拉平之后输入维度是224×224×3也就是150528维。如果第一层隐藏层只放1000个神经元光这一层的参数量就是150528×1000超过1.5亿个参数。这还只是一层。参数量爆炸带来的直接后果是训练慢、显存吃紧、极易过拟合。更关键的是全连接层把每个像素都当成独立特征完全忽略了图像的空间结构——把一张猫的图片像素打乱顺序全连接网络照样能训练但卷积网络就不行了因为卷积天生依赖邻域关系。卷积神经网络CNN解决的核心问题就是这两点参数共享和局部连接。一个3×3的卷积核只有9个权重加上偏置10个它在整张图上滑动所有位置共用同一组权重。这意味着无论猫出现在图片左上角还是右下角同一个卷积核都能检测到相同的特征。这种“平移不变性”是CNN在图像任务上碾压全连接网络的根本原因。我刚开始学的时候有个误区觉得卷积核里的数值是人工设计的。实际上这些数值就是网络要学习的参数跟全连接层的权重没有本质区别只是共享方式不同。反向传播照样能更新它们只不过梯度需要把所有滑动位置的贡献累加起来。CNN适合谁来学如果你已经理解了全连接网络的前向传播和反向传播想进一步处理图像、视频、音频频谱图这类有空间或时间结构的数据那CNN就是绕不开的一站。即使现在Transformer在视觉领域很火CNN仍然是理解“局部特征提取”这一思想的最佳入口而且在实际部署中小模型场景下CNN的效率和精度依然很有竞争力。2. 卷积的核心机制拆解2.1 卷积核到底在做什么卷积操作的本质是用一个小窗口在输入特征图上滑动每个位置做逐元素乘法再求和。听起来抽象换个说法卷积核就是一个“特征探测器”。比如一个3×3的核数值是[[-1,-1,-1],[-1,8,-1],[-1,-1,-1]]它在图像上滑动时对平坦区域周围像素和中心像素差不多的输出接近0对边缘或角点中心像素和周围差异大的输出就很大。这就是经典的边缘检测算子。在CNN里我们不需要手动设计这些核而是让网络自己学。一层卷积通常有多个核比如64个每个核学一种不同的特征。浅层学到的往往是边缘、颜色块、纹理深层学到的则是眼睛、轮子、文字笔画这类语义更强的模式。这个“从低级到高级”的层次化特征提取是CNN最漂亮的设计之一。2.2 步长、填充与输出尺寸计算卷积的输出尺寸不是随便定的它由输入尺寸、核大小、步长stride、填充padding共同决定。公式很简单输出尺寸 (输入尺寸 2×填充 - 核大小) / 步长 1举个例子输入32×32核5×5步长1填充0输出就是(320-5)/1128。如果填充2输出就是(324-5)/1133。这里有个细节当(输入2×填充-核大小)不能被步长整除时不同框架的处理方式可能不同有的向下取整有的报错。我踩过的坑是在设计网络时用公式算好了尺寸结果换了个框架跑发现某一层输出对不上排查半天才发现是取整策略差异。所以建议在设计阶段就把每层尺寸算清楚写个注释贴在代码旁边。填充的作用是控制输出尺寸和保留边界信息。不加填充的话每经过一层卷积特征图就缩小一圈几层之后边缘信息就丢得差不多了。常用的“same padding”就是让输出尺寸等于输入尺寸具体填充多少由核大小决定对于奇数核填充(核大小-1)/2。2.3 池化层的角色与争议池化层Pooling曾经是CNN的标配最常用的是2×2最大池化步长2把特征图长宽各缩小一半。它的作用有两个一是降低计算量二是提供一定程度的平移不变性——即使特征稍微移动几个像素池化后的输出可能不变。但近几年池化层的地位在下降。原因在于最大池化会丢失位置信息这在分类任务里无所谓但在目标检测、语义分割这类需要精确定位的任务里就是硬伤。替代方案是用步长为2的卷积代替池化让网络自己学下采样方式。我实测下来在分类任务上两者差距不大但在分割任务上用步长卷积确实比最大池化效果好一截。如果你刚开始学建议还是先掌握最大池化理解它的设计意图再逐步过渡到更现代的方案。2.4 激活函数的选择ReLU及其变体卷积之后通常接一个非线性激活函数。早期用Sigmoid和Tanh但这两个函数在深层网络里会导致梯度消失——反向传播时梯度一层层乘下去很快就趋近于0浅层参数几乎不更新。ReLURectified Linear Unit的出现改变了局面f(x)max(0,x)。它的导数在正区间恒为1梯度不会衰减计算也极快就是一次比较。但ReLU有个问题叫“神经元死亡”如果某个神经元的输入长期为负输出恒为0梯度也是0这个神经元就再也活不过来了。实践中常用的改进版是LeakyReLU负区间给一个小斜率比如0.01和ELU。我的经验是大部分情况下ReLU够用如果发现训练后期loss不降、大量神经元输出为0可以试试LeakyReLU。另外Batch Normalization通常放在卷积和激活之间能显著加速收敛这个后面细说。3. 经典CNN架构的演进与设计思路3.1 LeNet-5CNN的起点LeNet-5是上世纪90年代提出的手写数字识别网络结构很简单两层卷积两层池化三层全连接。输入是32×32的灰度图输出是10个类别。它的参数量只有约6万放在今天微不足道但基本奠定了CNN的模板卷积→池化→卷积→池化→全连接。学LeNet的价值不在于用它解决实际问题而在于理解每一层的尺寸变化和参数计算。我建议每个初学者都手动推导一遍LeNet每层的输出尺寸和参数量推导完你对CNN的理解会扎实很多。3.2 AlexNet深度学习的引爆点AlexNet在2012年的图像分类竞赛中大幅领先第二名直接把深度学习推上了风口。它的关键改进包括使用ReLU加速训练、用Dropout抑制过拟合、用数据增强扩充训练集、以及首次在CNN中大规模使用GPU训练。从结构上看AlexNet就是加深加宽版的LeNet5层卷积3层全连接参数量约6000万。值得注意的是由于当时显存有限AlexNet把网络拆成两部分分别放在两块GPU上训练只在特定层做通信。这种“模型并行”的思路在今天的大模型训练中依然常见。3.3 VGG用重复模块简化设计VGG的核心思想极其简洁全部用3×3卷积步长1填充1池化全用2×2最大池化。通过堆叠多个3×3卷积来替代大核卷积比如两个3×3卷积的感受野等于一个5×5既减少了参数又增加了非线性。VGG-16的结构可以概括为每经过2到3个卷积层就做一次池化特征图尺寸减半、通道数翻倍最后接三层全连接。它的参数量约1.38亿大部分集中在全连接层。VGG证明了“深度”本身就是一个重要维度但它的全连接层太重后来被全局平均池化取代。3.4 ResNet残差连接解决退化问题理论上网络越深表达能力越强但实践中发现当网络超过一定深度后训练误差反而上升——这不是过拟合而是优化困难称为“退化问题”。ResNet的解决方案是引入残差连接让某一层的输出等于F(x)x其中x是输入。这样网络只需要学习残差F(x)而不是完整映射。残差连接的好处是梯度可以直接通过恒等路径回传不会因为层数多而衰减。ResNet-50、ResNet-101成为后续很多任务的标准骨干网络。我个人的体会是如果你在做一个新任务不知道选什么骨干ResNet-50基本不会出错预训练权重好找社区支持也最完善。3.5 轻量化趋势MobileNet与深度可分离卷积在移动端或嵌入式设备上部署CNN算力和内存都有限。MobileNet提出的深度可分离卷积把标准卷积拆成两步先对每个通道单独做卷积深度卷积再用1×1卷积做通道融合逐点卷积。这样参数量和计算量都大幅下降精度损失却很小。我做过一个对比实验在同一个分类任务上标准卷积的参数量是深度可分离卷积的8到9倍推理时间也是后者的3倍左右而精度只差1到2个百分点。所以如果目标是端侧部署MobileNet系列是非常务实的起点。4. 训练一个CNN的完整实操流程4.1 数据准备与增强策略数据是CNN训练的地基。以图像分类为例你需要把数据组织成“每类一个文件夹”的结构或者用CSV标注文件路径和标签。数据量少的时候数据增强是必须的随机裁剪、水平翻转、颜色抖动、旋转小角度这些操作能显著提升泛化能力。但增强不是越多越好。我踩过的坑是在一个医学图像任务里加了随机旋转和翻转结果精度反而下降。后来才想明白医学图像有固定的方向语义翻转后病灶位置关系就乱了。所以增强策略要结合任务特点自然图像翻转没问题文字图像翻转就废了颜色抖动对光照变化大的场景有用但对颜色本身就是判别特征的任务比如交通灯识别就是灾难。4.2 权重初始化与Batch Normalization权重初始化不能全填0否则所有神经元输出相同梯度也相同网络永远学不到东西。常用的初始化方法有Xavier适合Sigmoid/Tanh和He初始化适合ReLU。框架通常有默认值但如果你自己写层记得显式指定。Batch NormalizationBN是我强烈建议加的。它在每个mini-batch内对特征做归一化让分布稳定允许更大的学习率还能起到轻微的正则化作用。BN通常放在卷积之后、激活之前。注意训练时BN用当前batch的均值和方差推理时用训练阶段累积的滑动平均值这个切换框架会自动处理但你要知道有这个机制否则导出模型时可能出问题。4.3 损失函数与优化器选择分类任务最常用交叉熵损失。如果类别不平衡可以用带权重的交叉熵或者Focal Loss对难样本加权。优化器方面SGD动量是经典组合泛化性能好但收敛慢Adam收敛快、对学习率不敏感但在某些任务上泛化不如SGD。我的习惯是先用Adam快速跑通流程确认模型能收敛、数据没问题然后再换SGD动量精调通常能涨0.5到1个百分点。学习率调度也很关键Cosine退火或StepLR都是常用策略。一个实用技巧是先用一个较大的学习率跑几个epoch观察loss曲线如果震荡剧烈就调小如果下降太慢就调大。4.4 训练循环与监控指标一个标准的训练循环包括前向传播、计算损失、反向传播、更新参数。每个epoch结束后在验证集上评估记录loss和准确率。监控指标不能只看准确率还要看混淆矩阵和每类的precision/recall否则可能被多数类掩盖问题。我习惯在训练时把训练loss和验证loss画在同一张图上。如果训练loss持续下降但验证loss开始上升就是过拟合的信号该加正则化或早停了。如果两者都下不去可能是欠拟合或学习率太小。如果验证loss剧烈震荡多半是batch size太小或学习率太大。4.5 迁移学习站在预训练模型肩上实际项目中从零训练一个CNN的情况很少大多数时候是用预训练模型做迁移学习。做法很简单加载在大型数据集上训练好的权重把最后的分类层换成自己任务的类别数然后微调。微调有两种策略一是冻结前面的卷积层只训练最后的分类层适合数据量很小的情况二是全部解冻用较小的学习率微调所有层适合数据量中等以上的情况。我通常先冻结训练几轮等分类层稳定后再解冻精调这样比一上来就全解冻更稳。5. 常见问题与排查技巧实录5.1 损失不下降或变为NaN这是新手最常遇到的问题。排查顺序如下现象可能原因排查方法loss从一开始就不降学习率太小或太大试几个数量级的学习率loss突然变NaN学习率太大、梯度爆炸加梯度裁剪、调小学习率loss震荡剧烈batch size太小增大batch size或调小学习率训练loss降但验证不降过拟合加数据增强、Dropout、权重衰减梯度裁剪是个很实用的技巧设置一个阈值如果梯度范数超过它就按比例缩放。PyTorch里一行代码就能加能有效防止NaN。5.2 过拟合的识别与应对过拟合的典型表现是训练准确率远高于验证准确率。应对手段按优先级排序增加数据最有效、数据增强、Dropout、权重衰减、早停、减小模型容量。Dropout在卷积层里的用法和全连接层略有不同全连接层通常设0.5卷积层设0.1到0.3就够了因为卷积层参数量少本身正则化效果就强。另外BN也有正则化作用所以用了BN之后Dropout可以适当减少甚至去掉。5.3 显存不足的优化手段显存不够是训练CNN时的常见瓶颈。几个立竿见影的办法减小batch size最直接、用混合精度训练AMP能省约一半显存、用梯度累积模拟大batch、把部分层换成轻量结构。混合精度训练是我最推荐的只需在训练循环里加几行代码显存降一半速度还能提升。注意用AMP时loss scaling要开否则小梯度会下溢。5.4 推理速度慢的优化方向如果模型要上线推理速度就是硬指标。优化方向包括用更轻的骨干MobileNet、ShuffleNet、剪枝去掉不重要的通道、量化把float32转成int8速度提升2到4倍、用推理引擎优化计算图。量化是我用得最多的训练后量化几乎不掉精度速度提升明显而且主流框架都支持。但要注意量化后的模型在某些算子上的支持可能不完善部署前一定要在目标设备上实测。6. 几个容易被忽略的实操心得第一个心得卷积核的可视化能帮你debug。把第一层卷积核的权重画出来如果看起来像随机噪声说明训练可能没收敛如果能看到边缘、颜色块说明浅层学得不错。这个方法在排查“模型为什么不work”时特别有用。第二个心得不要迷信默认参数。框架给的默认学习率、权重衰减都是针对通用场景的你的任务可能需要不同的值。我习惯在正式训练前跑一个小的学习率扫描用几个epoch看看哪个量级最合适花不了多少时间但收益很大。第三个心得保存最佳模型而不是最后一个。训练结束时最后一个epoch的模型不一定是最好的可能已经过拟合了。在每个epoch验证后如果指标提升就保存一份最后用最佳模型做推理。第四个心得数据质量比模型结构重要。我见过太多人花大量时间调网络结构却忽略了标注错误、类别不平衡、数据泄漏这些问题。一个干净的数据集配上标准ResNet往往比脏数据配精心设计的网络效果好得多。第五个心得从简单做起。不要一上来就搭一个几十层的复杂网络。先用一个小网络跑通全流程确认数据加载、训练循环、评估指标都没问题再逐步加深加宽。这样出问题时容易定位也不会浪费大量时间在调试复杂结构上。
