简介ResNet18 是深度残差网络中结构精简且常用的 18 层 CNN 模型由何恺明等人提出适合希望在图像分类、特征提取等视觉任务中快速上手的初学者以及需要在嵌入式或移动端部署轻量级网络的开发者。资源包仅 3 个文件压缩包约 318KB包含两张网络结构示意图和一份基于 PyTorch 的 Python 实现代码结构图覆盖输入层、卷积层、池化层、残差块与全连接层的排布代码侧则清楚写出模型初始化与前向传播逻辑可直接实例化用于训练、验证或测试。残差块通过跳跃连接将输入与卷积输出相加配合批量归一化和 ReLU 激活能够有效缓解深层网络的梯度消失与爆炸问题这也是理解 ResNet 的核心所在。已有 2655 人学习下载作为轻量级入门材料无论用于课程设计、算法复现还是工程部署都可以从中快速获得可运行的参考实现并迁移到自己的视觉项目里。1. ResNet18 网络少的是能训练出来的深度不是层数ResNet18 这个名字容易让人误以为它只有 18 层卷积实际上它是 17 个卷积层加 1 个全连接层共 18 个带权重层参数量约 11.7M11,689,512单张 224×224 输入的浮点计算量约 1.8 GFLOPs。它在深度学习里扮演的角色很有意思它是研究残差连接的最小可用单元是目标检测骨干网络里性价比最高的选项也是你把 ResNet50 跑不动、ResNet34 又嫌不够的时候最自然的降级方案。对于小数据集图像分类、嵌入式部署、蒸馏实验的 teacher 网络ResNet18 网络几乎是默认起点。这篇博文就围绕 ResNet18 网络的结构拆解、PyTorch 配置、训练参数和隐蔽坑展开让新手能按步骤跑通让有经验的工程师能查到边界条件。2. 拆解 ResNet18 网络的四段结构与残差块 forward 路径2.1 残差映射 h(x)F(x)x 解决的不只是梯度消失ResNet 的核心思想是让网络去学习残差映射 F(x) H(x) - x然后通过捷径连接shortcut把输入 x 直接加到 F(x) 的输出上。这里的加法操作在反向传播时会产生两条梯度路径一条经过 F 的卷积层另一条直接绕过卷积层把梯度原样传回。后一条路径保证了即使前面的层学习得不好梯度也不会被连乘效应衰减到零。这就是为什么 50 层以上的网络在 ImageNet 上能稳定收敛而 VGG 到 19 层就接近极限。ResNet18 网络里使用的是 BasicBlock结构是两个 3×3 卷积每个卷积后接 BatchNorm 和 ReLU最后通过加法把 shortcut 的输入合进来。设计上的关键细节是第一个 3×3 卷积步长为 2 时特征图尺寸减半此时 shortcut 不能直接加必须用 1×1 卷积把通道数和尺寸对齐。这个对齐逻辑贯穿整个 ResNet 家族ResNet18 网络也不例外。2.2 逐层跟踪一个 224×224×3 输入在 ResNet18 网络里的尺寸和通道变化下面这张表把 ResNet18 网络的完整前向路径列出输入统一假设为 224×224×3 的 RGB 图像。阶段具体操作输出尺寸通道数带权重层数说明stem7×7 conv, stride 2BNReLU3×3 maxpool, stride 256×56641分辨率一次降 1/4layer12 个 BasicBlock步长均为 156×56644shortcut 为恒等映射layer2第 1 个 BasicBlock 步长 2第 2 个步长 128×281284第一个块用 1×1 卷积对齐layer3同 layer2 模式14×142564通道翻倍尺寸减半layer4同 layer2 模式7×75124输出特征图 7×7head全局平均池化全连接层1×110001输出类别数合计卷积 17 层全连接 1 层。注意到一个容易忽略的点layer2 到 layer4 的每个阶段第一个 BasicBlock 的 3×3 卷积步长为 2这意味着 shortcut 侧的 1×1 卷积也必须步长为 2否则尺寸对不上。PyTorch 官方实现里通过 downsample 参数统一处理了这两个分支。2.3 从 torchvision 里导出结构并核对 shortcut 对齐方式最常见的做法是直接用 torchvision 加载官方实现然后打印结构确认。下面这段代码可以在 Jupyter 里直接运行统计参数量并检查每个 BasicBlock 的 shortcut 类型。import torch import torchvision.models as models model models.resnet18(weightsNone) total sum(p.numel() for p in model.parameters()) print(f总参数量: {total:,}) # 输出: 总参数量: 11,689,512 # 检查每个 BasicBlock 是否有 downsample for name, module in model.named_modules(): if isinstance(module, models.resnet.BasicBlock): has_downsample module.downsample is not None print(f{name:30s} shortcut 类型: f{1x1 conv if has_downsample else identity})这段代码先统计全部参数然后遍历模型里的所有 BasicBlock打印其 downsample 属性。运行后会看到 layer2.0、layer3.0、layer4.0 三个位置的 shortcut 是 1×1 卷积其余位置都是恒等映射。理解这个结构对后续做自定义修改很有用比如把 shortcut 去掉就退化成普通卷积网络性能会明显下降这正是验证残差作用的实验。3. 用 PyTorch 配置 ResNet18 网络的最小训练流程3.1 数据侧ResNet18 网络对输入尺寸不敏感但归一化参数必须正确ResNet18 网络本身并不强制要求输入是 224×224只要能被 32 整除即可。但 torchvision 预训练权重是按照 ImageNet 的归一化统计训练的所以数据预处理必须使用均值 [0.485, 0.456, 0.406]、方差 [0.229, 0.224, 0.225]否则加载预训练权重后第一轮 loss 会异常偏高甚至出现 NaN。以下是 CIFAR-10 上的标准数据增强组合兼顾了复现简单和效果稳定from torchvision import transforms train_transform transforms.Compose([ transforms.RandomCrop(32, padding4), # 先 padding 再裁剪等价于随机平移 transforms.RandomHorizontalFlip(), # 以 0.5 概率水平翻转 transforms.ToTensor(), transforms.Normalize( mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225] ), ]) val_transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize( mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225] ), ])RandomCrop 加 padding 是 CIFAR 这类小图任务最划算的数据增强几乎不增加训练时间。归一化里的均值和方差必须和预训练一致跟数据集无关如果你在自己的数据域上从头训练可以用整个训练集的统计代替这里的 ImageNet 值但要注意 batch size 较小时统计误差大不如直接用 ImageNet 值省事。3.2 训练循环里模型冻结与解冻的三种选择迁移学习场景下ResNet18 网络通常有三种用法。第一种是只训练最后一层全连接适合数据量很小几百到一千张的情况速度快且不容易过拟合。第二种是全量微调适合数据量在万级以上的情况效果最好但需要更大的显存和更长的时间。第三种是解冻所有卷积层但冻结 BatchNorm 的统计参数适合风格迁移或数据分布与 ImageNet 差距较大的任务。import torch.nn as nn model models.resnet18(weightsmodels.ResNet18_Weights.IMAGENET1K_V1) # 替换分类头num_classes 是自己数据集的类别数 num_classes 10 model.fc nn.Linear(model.fc.in_features, num_classes) # 策略一冻结全部卷积层只训分类头 for param in model.parameters(): param.requires_grad False for param in model.fc.parameters(): param.requires_grad True # 策略三冻结 BN 的 running stats但让卷积权重可学习 for module in model.modules(): if isinstance(module, nn.BatchNorm2d): module.track_running_stats False策略二全量微调不需要额外代码直接把整个模型传入优化器即可。策略三里把 track_running_stats 设为 False 后BatchNorm 层不再更新 running_mean 和 running_var只把 batch 内的统计量用于归一化相当于把 BN 变成了 InstanceNorm 的近似。这个细节在把 ResNet18 网络迁移到医学影像或卫星影像等分布差异大的任务时经常用到。3.3 单卡训练显存与耗时的经验范围batch size输入分辨率显存占用RTX 3080 级别适用场景64224×2245.5 GB 左右有 8GB 以上显存32224×2243.0 GB 左右标准配置16224×2241.8 GB 左右显存受限或调试阶段12832×32CIFAR1.5 GB 左右小图实验训练一个 epoch 的耗时受数据读取影响很大常见做法是用 DataLoader 的 num_workers 设为 4 或 8、pin_memory 设为 True否则 GPU 会大量时间在等数据。ResNet18 网络本身的计算量只有 ResNet50 的四分之一左右单张卡训练 CIFAR-10 二十个 epoch 在十分钟到半小时这个量级瓶颈通常在数据加载而不是算力。4. ResNet18 网络训练中的四个隐蔽坑BN 统计、loss 基线、shortcut 与参数分组4.1 第一个 epoch 的 loss 没落在 6.9 附近先怀疑数据管道分类任务初始化时最后一层 fc 的 bias 默认为 0所以模型输出 logits 基本在 0 附近softmax 后每个类别的预测概率接近均匀分布。对于 CIFAR-10初始 loss 应该接近 ln(10) ≈ 2.30对于 ImageNet损失接近 ln(1000) ≈ 6.91。如果你从随机初始化开始训练第一个 batch 的 loss 远高于这个值说明特征提取部分出了问题比如输入没有归一化、学习率过大导致数值溢出或者数据标签和图像错位。从预训练权重开始微调时分类头被随机重新初始化所以 loss 会从接近随机初始化的值开始并迅速下降这属于正常现象。如果第一个 epoch 的 loss 非常低比如低于 0.5反而要警惕可能是训练集和测试集存在数据泄露或者归一化参数写错导致模型直接输出了过高的置信度。4.2 修改输入分辨率后 BN 的 running_mean 和 avgpool 尺寸都会变ResNet18 网络在 ImageNet 上预训练时BN 层的 running_mean 和 running_var 是在 224×224 分辨率下累计的。如果你把输入改成 128×128 或 256×256 继续微调理论上特征图尺寸会变化但 BN 的统计量依然基于旧的分布。常见做法是在微调初期用较小的学习率让 BN 重新适应新分辨率或者直接冻结 BN 层只训练卷积层。全局平均池化avgpool的位置在 layer4 之后、fc 之前它接收 7×7 的特征图。输入分辨率不是 224 时这个 7×7 会相应变化比如 128×128 输入对应 4×4 的特征图但池化操作本身不需要修改。真正需要注意的只有 BN 层的统计量。4.3 shortcut 对齐检查自定义残差结构时的隐藏错误如果你不用 torchvision 而是手写 ResNet18最常见的错误是 shortcut 的 1×1 卷积分支忘了设置 stride导致跳连后尺寸不匹配。PyTorch 会在前向传播时报错但报错信息往往指向 add 操作让人一时看不出问题根源。# 自定义 BasicBlock 时 shortcut 的常见错误 class BasicBlock(nn.Module): expansion 1 def __init__(self, in_channels, out_channels, stride1): super().__init__() self.conv1 nn.Conv2d(in_channels, out_channels, 3, stridestride, padding1, biasFalse) self.conv2 nn.Conv2d(out_channels, out_channels, 3, stride1, padding1, biasFalse) self.shortcut nn.Sequential() if stride ! 1 or in_channels ! out_channels: # 错误写法1x1 卷积没有设置步长 self.shortcut nn.Conv2d( in_channels, out_channels, kernel_size1, stride1)正确写法是 stride1 误解时按 stride 原样传入即nn.Conv2d(in_channels, out_channels, kernel_size1, stridestride)。这类错误在训练初期不一定立刻暴露因为某些输入尺寸下 stride1 的 1×1 卷积结果加不进目标张量但报错位置在 add 处容易误判为数据问题。4.4 优化器参数分组不对 BN 的 weight 和 bias 做 weight decayResNet18 网络里有 16 个 BatchNorm 层占了模型层数的大部分。BN 层里有两个可学习参数 weightγ和 biasβ它们的作用是对归一化后的分布做仿射变换。对这两个参数施加 L2 weight decay 会破坏这种仿射变换的性质让训练后期验证集 loss 出现抖动。import torch.optim as optim decay_params [] no_decay_params [] for name, param in model.named_parameters(): if param.requires_grad: if bn in name or bias in name: no_decay_params.append(param) else: decay_params.append(param) optimizer optim.SGD([ {params: decay_params, weight_decay: 5e-4}, {params: no_decay_params, weight_decay: 0.0}, ], lr0.1, momentum0.9, nesterovTrue)这段代码按参数名把 BN 相关参数单独分组不施加 weight decay。为什么是 5e-4 而不是 L2 正则常见的 1e-4ResNet 系列在 ImageNet 上的标准配置就是 1e-4 到 5e-4 区间配合小幅数据增强这个范围内的差异在训练初期不明显但在最后几百个 epoch 的验证集准确率上会有 0.2%-0.5% 的差距。对于 ResNet18 网络这种轻量模型5e-4 属于偏大的取值数据量小时建议降到 1e-4。5. 不用 TensorBoard手工验证 ResNet18 网络学到了什么训练结束后除了看验证集准确率我一般会做两个快速验证。第一个是检查最后一个卷积层输出的特征图是否对输入图像的不同区域产生了区分性响应第二个是统计模型在验证集上的 logits 输出分布是否合理。import torch import torch.nn as nn from torchvision import transforms from PIL import Image def grad_plus_activation(model, img_tensor, target_class): 基于最后特征图加权响应的类激活近似无外部依赖 model.eval() features {} def hook_fn(module, input, output): features[feat] output # 注册 hook 到 layer4 的最后一个 BasicBlock 输出 handle model.layer4[-1].register_forward_hook(hook_fn) img_tensor img_tensor.unsqueeze(0).requires_grad_(True) logits model(img_tensor) heatmap torch.zeros(features[feat].shape[2:]) fc_weight model.fc.weight[target_class] # [512] feat features[feat][0] # [512, 7, 7] # 用 fc 层权重的绝对值做加权求和避免依赖 ReLU 梯度 for c in range(feat.shape[0]): heatmap fc_weight[c].abs() * feat[c] heatmap heatmap.detach().numpy() handle.remove() return heatmap这里没有用真正的 Grad-CAM而是用全连接层权重的绝对值和最后一层特征图的加权求和近似类别响应。torchvision 标准 ResNet18 的 layer4 输出是 512×7×7与 fc 层的输入维度正好对齐所以可以直接做矩阵乘法近似。观察 heatmap 时关注点不是数值大小而是高响应区域是否集中在图像里的目标物体上。如果热力图散落在背景区域说明模型学到的判别性特征不在目标上这时候优先检查数据标注质量而不是调参。logits 分布验证更容易操作对验证集跑一遍前向统计 logits 的标准差。训练良好的分类器 logits 标准差通常在 5 以上如果大部分 logits 集中在 0 附近标准差小于 2说明模型输出过于保守常见原因是温度参数过高或者最后一层线性层的学习率设置过小此时可以尝试降低基础学习率并延长训练轮数。本文还有配套的精品资源点击获取
简介ResNet18 是深度残差网络中结构精简且常用的 18 层 CNN 模型由何恺明等人提出适合希望在图像分类、特征提取等视觉任务中快速上手的初学者以及需要在嵌入式或移动端部署轻量级网络的开发者。资源包仅 3 个文件压缩包约 318KB包含两张网络结构示意图和一份基于 PyTorch 的 Python 实现代码结构图覆盖输入层、卷积层、池化层、残差块与全连接层的排布代码侧则清楚写出模型初始化与前向传播逻辑可直接实例化用于训练、验证或测试。残差块通过跳跃连接将输入与卷积输出相加配合批量归一化和 ReLU 激活能够有效缓解深层网络的梯度消失与爆炸问题这也是理解 ResNet 的核心所在。已有 2655 人学习下载作为轻量级入门材料无论用于课程设计、算法复现还是工程部署都可以从中快速获得可运行的参考实现并迁移到自己的视觉项目里。1. ResNet18 网络少的是能训练出来的深度不是层数ResNet18 这个名字容易让人误以为它只有 18 层卷积实际上它是 17 个卷积层加 1 个全连接层共 18 个带权重层参数量约 11.7M11,689,512单张 224×224 输入的浮点计算量约 1.8 GFLOPs。它在深度学习里扮演的角色很有意思它是研究残差连接的最小可用单元是目标检测骨干网络里性价比最高的选项也是你把 ResNet50 跑不动、ResNet34 又嫌不够的时候最自然的降级方案。对于小数据集图像分类、嵌入式部署、蒸馏实验的 teacher 网络ResNet18 网络几乎是默认起点。这篇博文就围绕 ResNet18 网络的结构拆解、PyTorch 配置、训练参数和隐蔽坑展开让新手能按步骤跑通让有经验的工程师能查到边界条件。2. 拆解 ResNet18 网络的四段结构与残差块 forward 路径2.1 残差映射 h(x)F(x)x 解决的不只是梯度消失ResNet 的核心思想是让网络去学习残差映射 F(x) H(x) - x然后通过捷径连接shortcut把输入 x 直接加到 F(x) 的输出上。这里的加法操作在反向传播时会产生两条梯度路径一条经过 F 的卷积层另一条直接绕过卷积层把梯度原样传回。后一条路径保证了即使前面的层学习得不好梯度也不会被连乘效应衰减到零。这就是为什么 50 层以上的网络在 ImageNet 上能稳定收敛而 VGG 到 19 层就接近极限。ResNet18 网络里使用的是 BasicBlock结构是两个 3×3 卷积每个卷积后接 BatchNorm 和 ReLU最后通过加法把 shortcut 的输入合进来。设计上的关键细节是第一个 3×3 卷积步长为 2 时特征图尺寸减半此时 shortcut 不能直接加必须用 1×1 卷积把通道数和尺寸对齐。这个对齐逻辑贯穿整个 ResNet 家族ResNet18 网络也不例外。2.2 逐层跟踪一个 224×224×3 输入在 ResNet18 网络里的尺寸和通道变化下面这张表把 ResNet18 网络的完整前向路径列出输入统一假设为 224×224×3 的 RGB 图像。阶段具体操作输出尺寸通道数带权重层数说明stem7×7 conv, stride 2BNReLU3×3 maxpool, stride 256×56641分辨率一次降 1/4layer12 个 BasicBlock步长均为 156×56644shortcut 为恒等映射layer2第 1 个 BasicBlock 步长 2第 2 个步长 128×281284第一个块用 1×1 卷积对齐layer3同 layer2 模式14×142564通道翻倍尺寸减半layer4同 layer2 模式7×75124输出特征图 7×7head全局平均池化全连接层1×110001输出类别数合计卷积 17 层全连接 1 层。注意到一个容易忽略的点layer2 到 layer4 的每个阶段第一个 BasicBlock 的 3×3 卷积步长为 2这意味着 shortcut 侧的 1×1 卷积也必须步长为 2否则尺寸对不上。PyTorch 官方实现里通过 downsample 参数统一处理了这两个分支。2.3 从 torchvision 里导出结构并核对 shortcut 对齐方式最常见的做法是直接用 torchvision 加载官方实现然后打印结构确认。下面这段代码可以在 Jupyter 里直接运行统计参数量并检查每个 BasicBlock 的 shortcut 类型。import torch import torchvision.models as models model models.resnet18(weightsNone) total sum(p.numel() for p in model.parameters()) print(f总参数量: {total:,}) # 输出: 总参数量: 11,689,512 # 检查每个 BasicBlock 是否有 downsample for name, module in model.named_modules(): if isinstance(module, models.resnet.BasicBlock): has_downsample module.downsample is not None print(f{name:30s} shortcut 类型: f{1x1 conv if has_downsample else identity})这段代码先统计全部参数然后遍历模型里的所有 BasicBlock打印其 downsample 属性。运行后会看到 layer2.0、layer3.0、layer4.0 三个位置的 shortcut 是 1×1 卷积其余位置都是恒等映射。理解这个结构对后续做自定义修改很有用比如把 shortcut 去掉就退化成普通卷积网络性能会明显下降这正是验证残差作用的实验。3. 用 PyTorch 配置 ResNet18 网络的最小训练流程3.1 数据侧ResNet18 网络对输入尺寸不敏感但归一化参数必须正确ResNet18 网络本身并不强制要求输入是 224×224只要能被 32 整除即可。但 torchvision 预训练权重是按照 ImageNet 的归一化统计训练的所以数据预处理必须使用均值 [0.485, 0.456, 0.406]、方差 [0.229, 0.224, 0.225]否则加载预训练权重后第一轮 loss 会异常偏高甚至出现 NaN。以下是 CIFAR-10 上的标准数据增强组合兼顾了复现简单和效果稳定from torchvision import transforms train_transform transforms.Compose([ transforms.RandomCrop(32, padding4), # 先 padding 再裁剪等价于随机平移 transforms.RandomHorizontalFlip(), # 以 0.5 概率水平翻转 transforms.ToTensor(), transforms.Normalize( mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225] ), ]) val_transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize( mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225] ), ])RandomCrop 加 padding 是 CIFAR 这类小图任务最划算的数据增强几乎不增加训练时间。归一化里的均值和方差必须和预训练一致跟数据集无关如果你在自己的数据域上从头训练可以用整个训练集的统计代替这里的 ImageNet 值但要注意 batch size 较小时统计误差大不如直接用 ImageNet 值省事。3.2 训练循环里模型冻结与解冻的三种选择迁移学习场景下ResNet18 网络通常有三种用法。第一种是只训练最后一层全连接适合数据量很小几百到一千张的情况速度快且不容易过拟合。第二种是全量微调适合数据量在万级以上的情况效果最好但需要更大的显存和更长的时间。第三种是解冻所有卷积层但冻结 BatchNorm 的统计参数适合风格迁移或数据分布与 ImageNet 差距较大的任务。import torch.nn as nn model models.resnet18(weightsmodels.ResNet18_Weights.IMAGENET1K_V1) # 替换分类头num_classes 是自己数据集的类别数 num_classes 10 model.fc nn.Linear(model.fc.in_features, num_classes) # 策略一冻结全部卷积层只训分类头 for param in model.parameters(): param.requires_grad False for param in model.fc.parameters(): param.requires_grad True # 策略三冻结 BN 的 running stats但让卷积权重可学习 for module in model.modules(): if isinstance(module, nn.BatchNorm2d): module.track_running_stats False策略二全量微调不需要额外代码直接把整个模型传入优化器即可。策略三里把 track_running_stats 设为 False 后BatchNorm 层不再更新 running_mean 和 running_var只把 batch 内的统计量用于归一化相当于把 BN 变成了 InstanceNorm 的近似。这个细节在把 ResNet18 网络迁移到医学影像或卫星影像等分布差异大的任务时经常用到。3.3 单卡训练显存与耗时的经验范围batch size输入分辨率显存占用RTX 3080 级别适用场景64224×2245.5 GB 左右有 8GB 以上显存32224×2243.0 GB 左右标准配置16224×2241.8 GB 左右显存受限或调试阶段12832×32CIFAR1.5 GB 左右小图实验训练一个 epoch 的耗时受数据读取影响很大常见做法是用 DataLoader 的 num_workers 设为 4 或 8、pin_memory 设为 True否则 GPU 会大量时间在等数据。ResNet18 网络本身的计算量只有 ResNet50 的四分之一左右单张卡训练 CIFAR-10 二十个 epoch 在十分钟到半小时这个量级瓶颈通常在数据加载而不是算力。4. ResNet18 网络训练中的四个隐蔽坑BN 统计、loss 基线、shortcut 与参数分组4.1 第一个 epoch 的 loss 没落在 6.9 附近先怀疑数据管道分类任务初始化时最后一层 fc 的 bias 默认为 0所以模型输出 logits 基本在 0 附近softmax 后每个类别的预测概率接近均匀分布。对于 CIFAR-10初始 loss 应该接近 ln(10) ≈ 2.30对于 ImageNet损失接近 ln(1000) ≈ 6.91。如果你从随机初始化开始训练第一个 batch 的 loss 远高于这个值说明特征提取部分出了问题比如输入没有归一化、学习率过大导致数值溢出或者数据标签和图像错位。从预训练权重开始微调时分类头被随机重新初始化所以 loss 会从接近随机初始化的值开始并迅速下降这属于正常现象。如果第一个 epoch 的 loss 非常低比如低于 0.5反而要警惕可能是训练集和测试集存在数据泄露或者归一化参数写错导致模型直接输出了过高的置信度。4.2 修改输入分辨率后 BN 的 running_mean 和 avgpool 尺寸都会变ResNet18 网络在 ImageNet 上预训练时BN 层的 running_mean 和 running_var 是在 224×224 分辨率下累计的。如果你把输入改成 128×128 或 256×256 继续微调理论上特征图尺寸会变化但 BN 的统计量依然基于旧的分布。常见做法是在微调初期用较小的学习率让 BN 重新适应新分辨率或者直接冻结 BN 层只训练卷积层。全局平均池化avgpool的位置在 layer4 之后、fc 之前它接收 7×7 的特征图。输入分辨率不是 224 时这个 7×7 会相应变化比如 128×128 输入对应 4×4 的特征图但池化操作本身不需要修改。真正需要注意的只有 BN 层的统计量。4.3 shortcut 对齐检查自定义残差结构时的隐藏错误如果你不用 torchvision 而是手写 ResNet18最常见的错误是 shortcut 的 1×1 卷积分支忘了设置 stride导致跳连后尺寸不匹配。PyTorch 会在前向传播时报错但报错信息往往指向 add 操作让人一时看不出问题根源。# 自定义 BasicBlock 时 shortcut 的常见错误 class BasicBlock(nn.Module): expansion 1 def __init__(self, in_channels, out_channels, stride1): super().__init__() self.conv1 nn.Conv2d(in_channels, out_channels, 3, stridestride, padding1, biasFalse) self.conv2 nn.Conv2d(out_channels, out_channels, 3, stride1, padding1, biasFalse) self.shortcut nn.Sequential() if stride ! 1 or in_channels ! out_channels: # 错误写法1x1 卷积没有设置步长 self.shortcut nn.Conv2d( in_channels, out_channels, kernel_size1, stride1)正确写法是 stride1 误解时按 stride 原样传入即nn.Conv2d(in_channels, out_channels, kernel_size1, stridestride)。这类错误在训练初期不一定立刻暴露因为某些输入尺寸下 stride1 的 1×1 卷积结果加不进目标张量但报错位置在 add 处容易误判为数据问题。4.4 优化器参数分组不对 BN 的 weight 和 bias 做 weight decayResNet18 网络里有 16 个 BatchNorm 层占了模型层数的大部分。BN 层里有两个可学习参数 weightγ和 biasβ它们的作用是对归一化后的分布做仿射变换。对这两个参数施加 L2 weight decay 会破坏这种仿射变换的性质让训练后期验证集 loss 出现抖动。import torch.optim as optim decay_params [] no_decay_params [] for name, param in model.named_parameters(): if param.requires_grad: if bn in name or bias in name: no_decay_params.append(param) else: decay_params.append(param) optimizer optim.SGD([ {params: decay_params, weight_decay: 5e-4}, {params: no_decay_params, weight_decay: 0.0}, ], lr0.1, momentum0.9, nesterovTrue)这段代码按参数名把 BN 相关参数单独分组不施加 weight decay。为什么是 5e-4 而不是 L2 正则常见的 1e-4ResNet 系列在 ImageNet 上的标准配置就是 1e-4 到 5e-4 区间配合小幅数据增强这个范围内的差异在训练初期不明显但在最后几百个 epoch 的验证集准确率上会有 0.2%-0.5% 的差距。对于 ResNet18 网络这种轻量模型5e-4 属于偏大的取值数据量小时建议降到 1e-4。5. 不用 TensorBoard手工验证 ResNet18 网络学到了什么训练结束后除了看验证集准确率我一般会做两个快速验证。第一个是检查最后一个卷积层输出的特征图是否对输入图像的不同区域产生了区分性响应第二个是统计模型在验证集上的 logits 输出分布是否合理。import torch import torch.nn as nn from torchvision import transforms from PIL import Image def grad_plus_activation(model, img_tensor, target_class): 基于最后特征图加权响应的类激活近似无外部依赖 model.eval() features {} def hook_fn(module, input, output): features[feat] output # 注册 hook 到 layer4 的最后一个 BasicBlock 输出 handle model.layer4[-1].register_forward_hook(hook_fn) img_tensor img_tensor.unsqueeze(0).requires_grad_(True) logits model(img_tensor) heatmap torch.zeros(features[feat].shape[2:]) fc_weight model.fc.weight[target_class] # [512] feat features[feat][0] # [512, 7, 7] # 用 fc 层权重的绝对值做加权求和避免依赖 ReLU 梯度 for c in range(feat.shape[0]): heatmap fc_weight[c].abs() * feat[c] heatmap heatmap.detach().numpy() handle.remove() return heatmap这里没有用真正的 Grad-CAM而是用全连接层权重的绝对值和最后一层特征图的加权求和近似类别响应。torchvision 标准 ResNet18 的 layer4 输出是 512×7×7与 fc 层的输入维度正好对齐所以可以直接做矩阵乘法近似。观察 heatmap 时关注点不是数值大小而是高响应区域是否集中在图像里的目标物体上。如果热力图散落在背景区域说明模型学到的判别性特征不在目标上这时候优先检查数据标注质量而不是调参。logits 分布验证更容易操作对验证集跑一遍前向统计 logits 的标准差。训练良好的分类器 logits 标准差通常在 5 以上如果大部分 logits 集中在 0 附近标准差小于 2说明模型输出过于保守常见原因是温度参数过高或者最后一层线性层的学习率设置过小此时可以尝试降低基础学习率并延长训练轮数。本文还有配套的精品资源点击获取
)
)
