1. 为什么还要自己写一遍ResNet如果你正在看这篇文章大概率是两种情况要么刚入门深度学习想找一个结构清晰、代码量适中的经典网络练手要么已经用过现成的预训练模型但心里总觉得“这玩意儿到底怎么搭起来的”没搞明白。不管是哪种自己动手实现一遍ResNet都是性价比极高的选择。ResNet残差网络在2015年提出之后几乎成了深度视觉领域的默认骨架。它的核心贡献说起来就一句话让网络可以变得非常深同时还能训得动。在它之前网络层数堆到二三十层就开始出现退化问题——不是过拟合而是训练误差反而比浅层网络更高。残差连接通过把输入直接加到输出上给梯度提供了一条“高速公路”让深层网络的优化变得可行。这篇文章我会从零开始用PyTorch把ResNet完整实现一遍包括BasicBlock和Bottleneck两种残差块、ResNet-18/34/50/101/152的组装逻辑、权重初始化、以及训练时的一些关键细节。代码可以直接跑也会解释每一处设计背后的原因。适合有PyTorch基础、了解卷积和BatchNorm基本概念、想深入理解ResNet结构的读者。如果你连卷积都没写过建议先把nn.Conv2d和nn.BatchNorm2d的用法过一遍再回来。整篇内容基于我自己的实现经验参考了原始论文的设计思路和PyTorch官方实现的若干细节但代码组织和注释风格是我自己习惯的方式。不会照搬任何一份现成代码但会保证结构正确、可直接复现。2. 残差块的设计逻辑与两种实现2.1 残差连接到底解决了什么问题先说清楚“退化问题”是什么。假设你有一个20层的网络训练收敛后错误率是10%。现在你把网络加深到56层理论上就算多出来的36层什么都不学只做恒等映射效果也不应该比20层差。但实际训练下来56层的错误率反而更高。这不是过拟合因为训练误差本身就变大了。原因在于让多层非线性层去拟合一个恒等映射并不容易。权重初始化后每一层都会对信号做一定的变换层数越多信号被“扭曲”得越厉害梯度在反向传播时也容易消失或爆炸。残差连接的做法是不让网络直接学目标映射H(x)而是学残差F(x) H(x) - x然后输出变成F(x) x。如果最优的映射就是恒等映射那网络只需要把F(x)的权重压到接近零就行这比从头学一个恒等映射简单得多。用生活化的类比你要从家走到公司直接记一条完整路线很难。但如果有人告诉你“先走到路口A然后在你现在的位置基础上往东走200米”这个“增量”就好记多了。残差连接就是让每一层只学“增量”。2.2 BasicBlock适合浅层ResNet的轻量结构BasicBlock是ResNet-18和ResNet-34使用的基本单元结构比较简单两个3x3卷积每个卷积后面跟BatchNorm和ReLU最后把输入加到输出上再过ReLU。import torch import torch.nn as nn class BasicBlock(nn.Module): expansion 1 def __init__(self, in_channels, out_channels, stride1, downsampleNone): super(BasicBlock, self).__init__() self.conv1 nn.Conv2d(in_channels, out_channels, kernel_size3, stridestride, padding1, biasFalse) self.bn1 nn.BatchNorm2d(out_channels) self.relu nn.ReLU(inplaceTrue) self.conv2 nn.Conv2d(out_channels, out_channels, kernel_size3, stride1, padding1, biasFalse) self.bn2 nn.BatchNorm2d(out_channels) self.downsample downsample def forward(self, x): identity x out self.conv1(x) out self.bn1(out) out self.relu(out) out self.conv2(out) out self.bn2(out) if self.downsample is not None: identity self.downsample(x) out identity out self.relu(out) return out几个关键点需要解释。第一biasFalse。因为卷积后面紧跟着BatchNormBN会减去均值卷积层的偏置项会被抵消掉加上去纯属浪费参数。这是PyTorch实现里的标准做法。第二downsample参数。当输入输出通道数不一致或者特征图尺寸需要减半时stride2恒等映射的维度对不上不能直接相加。这时候需要用1x1卷积加BN把identity分支的维度调整到和主分支一致。这个操作只在每个stage的第一个block里出现。第三ReLU的位置。原始论文里ReLU是在加法之后也就是relu(F(x) x)。有些后续研究提出pre-activation结构BN-ReLU-Conv的顺序但标准ResNet用的是post-activation我们这里保持一致。2.3 Bottleneck深层ResNet的通道压缩策略ResNet-50及以上使用Bottleneck结构。它的设计思路是先用1x1卷积把通道数压缩再用3x3卷积处理最后用1x1卷积恢复通道数。这样做的好处是在保持表达能力的同时大幅减少计算量。class Bottleneck(nn.Module): expansion 4 def __init__(self, in_channels, out_channels, stride1, downsampleNone): super(Bottleneck, self).__init__() self.conv1 nn.Conv2d(in_channels, out_channels, kernel_size1, biasFalse) self.bn1 nn.BatchNorm2d(out_channels) self.conv2 nn.Conv2d(out_channels, out_channels, kernel_size3, stridestride, padding1, biasFalse) self.bn2 nn.BatchNorm2d(out_channels) self.conv3 nn.Conv2d(out_channels, out_channels * self.expansion, kernel_size1, biasFalse) self.bn3 nn.BatchNorm2d(out_channels * self.expansion) self.relu nn.ReLU(inplaceTrue) self.downsample downsample def forward(self, x): identity x out self.conv1(x) out self.bn1(out) out self.relu(out) out self.conv2(out) out self.bn2(out) out self.relu(out) out self.conv3(out) out self.bn3(out) if self.downsample is not None: identity self.downsample(x) out identity out self.relu(out) return outexpansion 4是Bottleneck的核心参数。中间层的通道数是输出通道数的四分之一。比如输出是256通道中间就是64通道。第一个1x1卷积把输入从256压到643x3卷积在64通道上做空间卷积第三个1x1再恢复到256。这样3x3卷积的计算量只有直接在256通道上做的十六分之一。注意Bottleneck里第一个1x1卷积的输出通道是out_channels不是out_channels * expansion。这个容易搞混。out_channels在Bottleneck里指的是中间层的通道数最终输出要乘以expansion。2.4 两种block的选型依据什么时候用BasicBlock什么时候用Bottleneck简单说ResNet-18/34用BasicBlockResNet-50/101/152用Bottleneck。这不是随意规定的而是和网络深度、计算预算有关。BasicBlock参数量少结构简单适合层数较少的网络。当层数增加到50层以上时如果还用BasicBlock参数量和计算量会增长得很快。Bottleneck通过通道压缩让每个block的3x3卷积都在较低维度上进行整体计算效率更高。从实际效果看ResNet-50的精度明显优于ResNet-34但计算量并没有增加太多这就是Bottleneck的功劳。如果你自己在设计网络层数超过40层就可以考虑用Bottleneck了。3. 从Block到完整ResNet的组装过程3.1 网络整体架构拆解ResNet的整体结构可以分成五个阶段Stage 0stem层一个7x7卷积stride2输出64通道后面跟BN、ReLU、3x3最大池化stride2。这一层把输入图像从224x224快速降到56x56。Stage 1由若干残差块组成输出通道64特征图保持56x56。Stage 2第一个block的stride2特征图降到28x28输出通道128。Stage 3第一个block的stride2特征图降到14x14输出通道256。Stage 4第一个block的stride2特征图降到7x7输出通道512。分类头全局平均池化 全连接层。每个stage的第一个block需要处理下采样所以需要传入downsample。其余block的输入输出维度一致直接恒等映射即可。3.2 各层配置与参数计算不同深度的ResNet区别在于每个stage里block的数量网络Stage1Stage2Stage3Stage4Block类型ResNet-182222BasicBlockResNet-343463BasicBlockResNet-503463BottleneckResNet-10134233BottleneckResNet-15238363Bottleneck以ResNet-50为例总层数怎么算每个Bottleneck有3个卷积层4个stage总共(3463)16个block每个block 3层就是48层。加上stem的1个卷积和最后的全连接总共50层。注意ReLU和BN不算在层数里这是惯例。参数量方面ResNet-50大约25.6M参数ResNet-18大约11.7M。Bottleneck虽然层数多但通道压缩让参数量增长可控。3.3 完整网络代码实现class ResNet(nn.Module): def __init__(self, block, layers, num_classes1000): super(ResNet, self).__init__() self.in_channels 64 self.conv1 nn.Conv2d(3, 64, kernel_size7, stride2, padding3, biasFalse) self.bn1 nn.BatchNorm2d(64) self.relu nn.ReLU(inplaceTrue) self.maxpool nn.MaxPool2d(kernel_size3, stride2, padding1) self.layer1 self._make_layer(block, 64, layers[0], stride1) self.layer2 self._make_layer(block, 128, layers[1], stride2) self.layer3 self._make_layer(block, 256, layers[2], stride2) self.layer4 self._make_layer(block, 512, layers[3], stride2) self.avgpool nn.AdaptiveAvgPool2d((1, 1)) self.fc nn.Linear(512 * block.expansion, num_classes) self._initialize_weights() def _make_layer(self, block, out_channels, num_blocks, stride): downsample None if stride ! 1 or self.in_channels ! out_channels * block.expansion: downsample nn.Sequential( nn.Conv2d(self.in_channels, out_channels * block.expansion, kernel_size1, stridestride, biasFalse), nn.BatchNorm2d(out_channels * block.expansion), ) layers [] layers.append(block(self.in_channels, out_channels, stride, downsample)) self.in_channels out_channels * block.expansion for _ in range(1, num_blocks): layers.append(block(self.in_channels, out_channels)) return nn.Sequential(*layers) def _initialize_weights(self): for m in self.modules(): if isinstance(m, nn.Conv2d): nn.init.kaiming_normal_(m.weight, modefan_out, nonlinearityrelu) elif isinstance(m, nn.BatchNorm2d): nn.init.constant_(m.weight, 1) nn.init.constant_(m.bias, 0) def forward(self, x): x self.conv1(x) x self.bn1(x) x self.relu(x) x self.maxpool(x) x self.layer1(x) x self.layer2(x) x self.layer3(x) x self.layer4(x) x self.avgpool(x) x torch.flatten(x, 1) x self.fc(x) return x_make_layer里有一个容易出错的细节self.in_channels的更新时机。第一个block执行完后self.in_channels要更新为out_channels * block.expansion后续block才能正确接收输入。对于BasicBlockexpansion1所以in_channels就是out_channels对于Bottleneckexpansion4in_channels变成out_channels的四倍。downsample的触发条件有两个stride不等于1或者输入通道数和输出通道数不匹配。这两个条件满足任意一个就需要调整identity分支。实际上在每个stage的第一个blockstride2且通道数变化两个条件同时满足在stage 1的第一个blockstride1但in_channels64out_channels*expansion64通道数一致所以不需要downsample。3.4 快速构建不同深度的ResNetdef resnet18(num_classes1000): return ResNet(BasicBlock, [2, 2, 2, 2], num_classes) def resnet34(num_classes1000): return ResNet(BasicBlock, [3, 4, 6, 3], num_classes) def resnet50(num_classes1000): return ResNet(Bottleneck, [3, 4, 6, 3], num_classes) def resnet101(num_classes1000): return ResNet(Bottleneck, [3, 4, 23, 3], num_classes) def resnet152(num_classes1000): return ResNet(Bottleneck, [3, 8, 36, 3], num_classes)写到这里你可以用几行代码验证一下模型结构model resnet50(num_classes10) x torch.randn(2, 3, 224, 224) y model(x) print(y.shape) # torch.Size([2, 10])如果输出形状正确说明网络组装没问题。建议再用torchsummary或者手动计算一下参数量和已知数据对比。ResNet-50在num_classes1000时约25.6M参数num_classes10时略少一点。4. 训练配置与关键细节处理4.1 权重初始化为什么用KaimingPyTorch默认的卷积初始化是Kaiming均匀初始化但_initialize_weights里我显式写了kaiming_normal_。原因是ResNet很深如果初始化不当前向传播时信号会逐层衰减或放大反向传播时梯度也会不稳定。Kaiming初始化的核心思想是让每一层输出的方差保持一致。对于ReLU激活函数fan_out模式会根据输出通道数来缩放权重。具体来说权重服从均值为0、标准差为sqrt(2 / fan_out)的正态分布。这里的fan_out是卷积核的数量乘以感受野面积。BatchNorm的初始化更直接weight设为1bias设为0。这样BN在训练初期相当于做标准化但不缩放和平移随着训练进行再学习合适的参数。实操心得如果你在ResNet上做迁移学习加载预训练权重后不要重新初始化。只有从头训练时才需要手动初始化。另外如果修改了网络结构比如改了stem层的卷积核大小对应层的预训练权重就失效了需要重新初始化那一层。4.2 BatchNorm的momentum和eps设置PyTorch的nn.BatchNorm2d默认momentum0.1eps1e-5。这两个参数在ResNet里通常不需要改。momentum控制的是运行均值和方差的更新速度0.1意味着每次更新保留90%的旧值、加入10%的新值。eps是为了防止除以零1e-5足够小不会影响数值精度。但有一个坑需要注意BatchNorm在训练和推理时的行为不同。训练时用当前batch的均值和方差做标准化同时更新运行统计量推理时用运行统计量。如果你在训练时batch size太小比如小于8BN的统计量会很不稳定导致训练震荡。这种情况可以考虑用GroupNorm替代或者增大batch size。4.3 学习率策略与优化器选择ResNet原始论文用的是SGD with momentummomentum0.9weight decay1e-4。学习率初始0.1每30个epoch降10倍。这个配置在ImageNet上训练是标准做法。如果你在自己的数据集上训练学习率需要调整。一个经验公式是lr 0.1 * (batch_size / 256)。比如batch size是64初始学习率就设0.025。如果用了预训练权重做微调学习率还要再降一个数量级比如0.001或0.0001。优化器方面SGD虽然收敛慢但泛化性能通常比Adam好。如果训练轮数有限可以用Adam初始学习率设1e-3但要注意Adam的weight decay实现和SGD不同PyTorch里需要用AdamW才能正确解耦权重衰减。optimizer torch.optim.SGD(model.parameters(), lr0.025, momentum0.9, weight_decay1e-4) scheduler torch.optim.lr_scheduler.StepLR(optimizer, step_size30, gamma0.1)4.4 数据增强与正则化ResNet训练时常用的数据增强包括随机裁剪RandomResizedCrop、随机水平翻转RandomHorizontalFlip、颜色抖动ColorJitter。如果数据集小还可以加RandAugment或MixUp。正则化方面除了weight decayDropout在ResNet里用得不多。原始论文在最后全连接层前加了Dropout但后续实践发现BN本身就有正则化效果再加Dropout反而可能欠拟合。我的建议是先不加Dropout如果过拟合明显再考虑在fc层前加一个p0.5的Dropout。标签平滑Label Smoothing是另一个有用的技巧把硬标签变成软标签比如[0, 1, 0]变成[0.05, 0.9, 0.05]。在PyTorch里可以用nn.CrossEntropyLoss(label_smoothing0.1)实现。这个技巧在ResNet训练里能提升约0.2%的精度而且几乎不增加计算成本。5. 常见问题与排查技巧实录5.1 维度不匹配报错怎么排查最常见的报错是RuntimeError: The size of tensor a must match the size of tensor b出现在残差相加的那一行。原因通常是downsample没有正确配置。排查步骤打印主分支输出和identity分支的形状。在out identity之前加一行print(out.shape, identity.shape)。检查_make_layer里downsample的触发条件。如果self.in_channels ! out_channels * block.expansion必须创建downsample。检查self.in_channels的更新。第一个block执行完后要更新否则后续block的downsample判断会出错。另一个容易忽略的点BasicBlock的expansion1Bottleneck的expansion4。如果你把Bottleneck的expansion写成了1通道数会差4倍直接报错。5.2 训练loss不下降的几种原因Loss不下降可能的原因很多按概率从高到低排列学习率太大loss震荡或者变成nan。先把学习率降10倍试试。数据标签有问题检查标签是否和输入对应有没有打乱后忘记同步。BN层在推理模式如果忘了调用model.train()BN会用运行统计量训练初期统计量不准loss很难降。梯度消失虽然ResNet设计上缓解了这个问题但如果初始化不对或者网络太深仍然可能出现。检查每层的梯度范数。权重初始化错误如果用了全零初始化或者标准差太大的初始化网络很难学。避坑技巧训练前先在一个小batch上过拟合。取10张图关掉数据增强训练100个epoch看loss能不能降到接近零。如果连这个小数据都过拟合不了说明网络结构或训练配置有根本性问题。5.3 显存不够用的优化手段ResNet-50在batch size32、输入224x224时大约需要8GB显存。如果显存不够可以尝试减小batch size最直接但BN的统计量会变差。小于8时建议改用GroupNorm。混合精度训练用torch.cuda.amp显存占用可以减少约40%训练速度也能提升。梯度累积小batch多次前向后再统一更新模拟大batch的效果。检查点机制用torch.utils.checkpoint牺牲计算时间换显存。from torch.cuda.amp import autocast, GradScaler scaler GradScaler() for inputs, labels in dataloader: optimizer.zero_grad() with autocast(): outputs model(inputs) loss criterion(outputs, labels) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update()5.4 常见问题速查表问题现象可能原因解决方法相加时维度不匹配downsample未配置或in_channels未更新检查_make_layer逻辑loss变成nan学习率太大或初始化不当降低学习率检查初始化训练精度高但验证精度低过拟合增加数据增强加weight decay训练和验证精度都低欠拟合或配置错误检查数据标签增大模型容量BN层报错batch size1BN需要多于1个样本增大batch size或用GroupNorm显存溢出batch size太大减小batch size或用混合精度6. 几个值得注意的实现细节6.1 stem层的7x7卷积能否替换原始ResNet的stem层是7x7卷积stride2padding3。这个设计在224x224输入下工作良好。但如果你的输入尺寸更小比如32x32的CIFAR图像7x7卷积加maxpool会把特征图降得太快导致后续stage没有足够空间维度。对于小输入常见的改法是把stem层换成3x3卷积stride1去掉maxpool。这样CIFAR-10上的ResNet-18能正常工作。如果你要做CIFAR实验记得调整stem层否则第一个stage的输出就只有8x8了。6.2 全连接层的输入维度计算self.fc nn.Linear(512 * block.expansion, num_classes)这一行里512是Stage 4的输出通道数乘以expansion得到实际通道数。BasicBlock是512Bottleneck是2048。这个数字是固定的因为ResNet的四个stage输出通道分别是64、128、256、512。如果你修改了stage的输出通道记得同步修改fc层的输入维度。一个更稳妥的做法是用nn.AdaptiveAvgPool2d((1, 1))这样无论输入图像多大池化后都是1x1fc层的输入维度只和通道数有关。6.3 预训练权重加载的注意事项PyTorch的torchvision.models里有现成的ResNet实现但它的结构和我们写的略有不同。比如torchvision的ResNet在downsample里用了nn.BatchNorm2d我们也是但它的_make_layer里对stride的处理方式稍有差异。如果你要加载torchvision的预训练权重到自己的实现里需要确保state_dict的key能对上。常见的不匹配包括conv1.weight的形状、fc.weight的形状、以及downsample里BN的命名。建议先用model.state_dict().keys()和预训练权重的keys对比找出差异后再决定是改代码还是改权重。实操心得我一般会直接继承torchvision.models.ResNet然后只重写需要改的部分。这样既能用预训练权重又能自定义结构。从头写一遍是为了理解原理实际项目里没必要重复造轮子。6.4 模型保存与恢复的最佳实践保存模型时推荐保存state_dict而不是整个模型对象。state_dict只包含参数文件小加载时也不依赖代码定义。torch.save(model.state_dict(), resnet50.pth) model resnet50(num_classes10) model.load_state_dict(torch.load(resnet50.pth)) model.eval()如果要恢复训练还需要保存优化器的状态和当前epochcheckpoint { epoch: epoch, model_state_dict: model.state_dict(), optimizer_state_dict: optimizer.state_dict(), loss: loss, } torch.save(checkpoint, checkpoint.pth)加载时先创建模型和优化器再load_state_dict。注意map_location参数如果保存时在GPU上训练、加载时只有CPU需要指定map_locationcpu。6.5 从零训练还是用预训练这个问题没有标准答案取决于你的数据集大小和任务相似度。如果数据集和ImageNet相似自然图像、1000类左右用预训练权重微调几乎总是更好的选择。如果数据集很小几千张图预训练能带来巨大提升。如果数据集很大百万级以上且和ImageNet差异大比如医学图像、卫星图像从零训练可能更好。我的经验是先用预训练权重跑一个baseline再尝试从零训练。如果从零训练的效果明显差就老老实实用预训练。如果差不多说明你的数据集足够大从零训练可以避免预训练带来的归纳偏置。代码写到这里ResNet的核心实现和训练要点基本覆盖了。你可以把上面的代码拼起来直接跑也可以根据自己的需求调整block数量、通道数、stem层结构。关键是要理解每一处设计的原因而不是照抄代码。遇到报错时先检查维度匹配和初始化这两个地方出问题的概率最高。
1. 为什么还要自己写一遍ResNet如果你正在看这篇文章大概率是两种情况要么刚入门深度学习想找一个结构清晰、代码量适中的经典网络练手要么已经用过现成的预训练模型但心里总觉得“这玩意儿到底怎么搭起来的”没搞明白。不管是哪种自己动手实现一遍ResNet都是性价比极高的选择。ResNet残差网络在2015年提出之后几乎成了深度视觉领域的默认骨架。它的核心贡献说起来就一句话让网络可以变得非常深同时还能训得动。在它之前网络层数堆到二三十层就开始出现退化问题——不是过拟合而是训练误差反而比浅层网络更高。残差连接通过把输入直接加到输出上给梯度提供了一条“高速公路”让深层网络的优化变得可行。这篇文章我会从零开始用PyTorch把ResNet完整实现一遍包括BasicBlock和Bottleneck两种残差块、ResNet-18/34/50/101/152的组装逻辑、权重初始化、以及训练时的一些关键细节。代码可以直接跑也会解释每一处设计背后的原因。适合有PyTorch基础、了解卷积和BatchNorm基本概念、想深入理解ResNet结构的读者。如果你连卷积都没写过建议先把nn.Conv2d和nn.BatchNorm2d的用法过一遍再回来。整篇内容基于我自己的实现经验参考了原始论文的设计思路和PyTorch官方实现的若干细节但代码组织和注释风格是我自己习惯的方式。不会照搬任何一份现成代码但会保证结构正确、可直接复现。2. 残差块的设计逻辑与两种实现2.1 残差连接到底解决了什么问题先说清楚“退化问题”是什么。假设你有一个20层的网络训练收敛后错误率是10%。现在你把网络加深到56层理论上就算多出来的36层什么都不学只做恒等映射效果也不应该比20层差。但实际训练下来56层的错误率反而更高。这不是过拟合因为训练误差本身就变大了。原因在于让多层非线性层去拟合一个恒等映射并不容易。权重初始化后每一层都会对信号做一定的变换层数越多信号被“扭曲”得越厉害梯度在反向传播时也容易消失或爆炸。残差连接的做法是不让网络直接学目标映射H(x)而是学残差F(x) H(x) - x然后输出变成F(x) x。如果最优的映射就是恒等映射那网络只需要把F(x)的权重压到接近零就行这比从头学一个恒等映射简单得多。用生活化的类比你要从家走到公司直接记一条完整路线很难。但如果有人告诉你“先走到路口A然后在你现在的位置基础上往东走200米”这个“增量”就好记多了。残差连接就是让每一层只学“增量”。2.2 BasicBlock适合浅层ResNet的轻量结构BasicBlock是ResNet-18和ResNet-34使用的基本单元结构比较简单两个3x3卷积每个卷积后面跟BatchNorm和ReLU最后把输入加到输出上再过ReLU。import torch import torch.nn as nn class BasicBlock(nn.Module): expansion 1 def __init__(self, in_channels, out_channels, stride1, downsampleNone): super(BasicBlock, self).__init__() self.conv1 nn.Conv2d(in_channels, out_channels, kernel_size3, stridestride, padding1, biasFalse) self.bn1 nn.BatchNorm2d(out_channels) self.relu nn.ReLU(inplaceTrue) self.conv2 nn.Conv2d(out_channels, out_channels, kernel_size3, stride1, padding1, biasFalse) self.bn2 nn.BatchNorm2d(out_channels) self.downsample downsample def forward(self, x): identity x out self.conv1(x) out self.bn1(out) out self.relu(out) out self.conv2(out) out self.bn2(out) if self.downsample is not None: identity self.downsample(x) out identity out self.relu(out) return out几个关键点需要解释。第一biasFalse。因为卷积后面紧跟着BatchNormBN会减去均值卷积层的偏置项会被抵消掉加上去纯属浪费参数。这是PyTorch实现里的标准做法。第二downsample参数。当输入输出通道数不一致或者特征图尺寸需要减半时stride2恒等映射的维度对不上不能直接相加。这时候需要用1x1卷积加BN把identity分支的维度调整到和主分支一致。这个操作只在每个stage的第一个block里出现。第三ReLU的位置。原始论文里ReLU是在加法之后也就是relu(F(x) x)。有些后续研究提出pre-activation结构BN-ReLU-Conv的顺序但标准ResNet用的是post-activation我们这里保持一致。2.3 Bottleneck深层ResNet的通道压缩策略ResNet-50及以上使用Bottleneck结构。它的设计思路是先用1x1卷积把通道数压缩再用3x3卷积处理最后用1x1卷积恢复通道数。这样做的好处是在保持表达能力的同时大幅减少计算量。class Bottleneck(nn.Module): expansion 4 def __init__(self, in_channels, out_channels, stride1, downsampleNone): super(Bottleneck, self).__init__() self.conv1 nn.Conv2d(in_channels, out_channels, kernel_size1, biasFalse) self.bn1 nn.BatchNorm2d(out_channels) self.conv2 nn.Conv2d(out_channels, out_channels, kernel_size3, stridestride, padding1, biasFalse) self.bn2 nn.BatchNorm2d(out_channels) self.conv3 nn.Conv2d(out_channels, out_channels * self.expansion, kernel_size1, biasFalse) self.bn3 nn.BatchNorm2d(out_channels * self.expansion) self.relu nn.ReLU(inplaceTrue) self.downsample downsample def forward(self, x): identity x out self.conv1(x) out self.bn1(out) out self.relu(out) out self.conv2(out) out self.bn2(out) out self.relu(out) out self.conv3(out) out self.bn3(out) if self.downsample is not None: identity self.downsample(x) out identity out self.relu(out) return outexpansion 4是Bottleneck的核心参数。中间层的通道数是输出通道数的四分之一。比如输出是256通道中间就是64通道。第一个1x1卷积把输入从256压到643x3卷积在64通道上做空间卷积第三个1x1再恢复到256。这样3x3卷积的计算量只有直接在256通道上做的十六分之一。注意Bottleneck里第一个1x1卷积的输出通道是out_channels不是out_channels * expansion。这个容易搞混。out_channels在Bottleneck里指的是中间层的通道数最终输出要乘以expansion。2.4 两种block的选型依据什么时候用BasicBlock什么时候用Bottleneck简单说ResNet-18/34用BasicBlockResNet-50/101/152用Bottleneck。这不是随意规定的而是和网络深度、计算预算有关。BasicBlock参数量少结构简单适合层数较少的网络。当层数增加到50层以上时如果还用BasicBlock参数量和计算量会增长得很快。Bottleneck通过通道压缩让每个block的3x3卷积都在较低维度上进行整体计算效率更高。从实际效果看ResNet-50的精度明显优于ResNet-34但计算量并没有增加太多这就是Bottleneck的功劳。如果你自己在设计网络层数超过40层就可以考虑用Bottleneck了。3. 从Block到完整ResNet的组装过程3.1 网络整体架构拆解ResNet的整体结构可以分成五个阶段Stage 0stem层一个7x7卷积stride2输出64通道后面跟BN、ReLU、3x3最大池化stride2。这一层把输入图像从224x224快速降到56x56。Stage 1由若干残差块组成输出通道64特征图保持56x56。Stage 2第一个block的stride2特征图降到28x28输出通道128。Stage 3第一个block的stride2特征图降到14x14输出通道256。Stage 4第一个block的stride2特征图降到7x7输出通道512。分类头全局平均池化 全连接层。每个stage的第一个block需要处理下采样所以需要传入downsample。其余block的输入输出维度一致直接恒等映射即可。3.2 各层配置与参数计算不同深度的ResNet区别在于每个stage里block的数量网络Stage1Stage2Stage3Stage4Block类型ResNet-182222BasicBlockResNet-343463BasicBlockResNet-503463BottleneckResNet-10134233BottleneckResNet-15238363Bottleneck以ResNet-50为例总层数怎么算每个Bottleneck有3个卷积层4个stage总共(3463)16个block每个block 3层就是48层。加上stem的1个卷积和最后的全连接总共50层。注意ReLU和BN不算在层数里这是惯例。参数量方面ResNet-50大约25.6M参数ResNet-18大约11.7M。Bottleneck虽然层数多但通道压缩让参数量增长可控。3.3 完整网络代码实现class ResNet(nn.Module): def __init__(self, block, layers, num_classes1000): super(ResNet, self).__init__() self.in_channels 64 self.conv1 nn.Conv2d(3, 64, kernel_size7, stride2, padding3, biasFalse) self.bn1 nn.BatchNorm2d(64) self.relu nn.ReLU(inplaceTrue) self.maxpool nn.MaxPool2d(kernel_size3, stride2, padding1) self.layer1 self._make_layer(block, 64, layers[0], stride1) self.layer2 self._make_layer(block, 128, layers[1], stride2) self.layer3 self._make_layer(block, 256, layers[2], stride2) self.layer4 self._make_layer(block, 512, layers[3], stride2) self.avgpool nn.AdaptiveAvgPool2d((1, 1)) self.fc nn.Linear(512 * block.expansion, num_classes) self._initialize_weights() def _make_layer(self, block, out_channels, num_blocks, stride): downsample None if stride ! 1 or self.in_channels ! out_channels * block.expansion: downsample nn.Sequential( nn.Conv2d(self.in_channels, out_channels * block.expansion, kernel_size1, stridestride, biasFalse), nn.BatchNorm2d(out_channels * block.expansion), ) layers [] layers.append(block(self.in_channels, out_channels, stride, downsample)) self.in_channels out_channels * block.expansion for _ in range(1, num_blocks): layers.append(block(self.in_channels, out_channels)) return nn.Sequential(*layers) def _initialize_weights(self): for m in self.modules(): if isinstance(m, nn.Conv2d): nn.init.kaiming_normal_(m.weight, modefan_out, nonlinearityrelu) elif isinstance(m, nn.BatchNorm2d): nn.init.constant_(m.weight, 1) nn.init.constant_(m.bias, 0) def forward(self, x): x self.conv1(x) x self.bn1(x) x self.relu(x) x self.maxpool(x) x self.layer1(x) x self.layer2(x) x self.layer3(x) x self.layer4(x) x self.avgpool(x) x torch.flatten(x, 1) x self.fc(x) return x_make_layer里有一个容易出错的细节self.in_channels的更新时机。第一个block执行完后self.in_channels要更新为out_channels * block.expansion后续block才能正确接收输入。对于BasicBlockexpansion1所以in_channels就是out_channels对于Bottleneckexpansion4in_channels变成out_channels的四倍。downsample的触发条件有两个stride不等于1或者输入通道数和输出通道数不匹配。这两个条件满足任意一个就需要调整identity分支。实际上在每个stage的第一个blockstride2且通道数变化两个条件同时满足在stage 1的第一个blockstride1但in_channels64out_channels*expansion64通道数一致所以不需要downsample。3.4 快速构建不同深度的ResNetdef resnet18(num_classes1000): return ResNet(BasicBlock, [2, 2, 2, 2], num_classes) def resnet34(num_classes1000): return ResNet(BasicBlock, [3, 4, 6, 3], num_classes) def resnet50(num_classes1000): return ResNet(Bottleneck, [3, 4, 6, 3], num_classes) def resnet101(num_classes1000): return ResNet(Bottleneck, [3, 4, 23, 3], num_classes) def resnet152(num_classes1000): return ResNet(Bottleneck, [3, 8, 36, 3], num_classes)写到这里你可以用几行代码验证一下模型结构model resnet50(num_classes10) x torch.randn(2, 3, 224, 224) y model(x) print(y.shape) # torch.Size([2, 10])如果输出形状正确说明网络组装没问题。建议再用torchsummary或者手动计算一下参数量和已知数据对比。ResNet-50在num_classes1000时约25.6M参数num_classes10时略少一点。4. 训练配置与关键细节处理4.1 权重初始化为什么用KaimingPyTorch默认的卷积初始化是Kaiming均匀初始化但_initialize_weights里我显式写了kaiming_normal_。原因是ResNet很深如果初始化不当前向传播时信号会逐层衰减或放大反向传播时梯度也会不稳定。Kaiming初始化的核心思想是让每一层输出的方差保持一致。对于ReLU激活函数fan_out模式会根据输出通道数来缩放权重。具体来说权重服从均值为0、标准差为sqrt(2 / fan_out)的正态分布。这里的fan_out是卷积核的数量乘以感受野面积。BatchNorm的初始化更直接weight设为1bias设为0。这样BN在训练初期相当于做标准化但不缩放和平移随着训练进行再学习合适的参数。实操心得如果你在ResNet上做迁移学习加载预训练权重后不要重新初始化。只有从头训练时才需要手动初始化。另外如果修改了网络结构比如改了stem层的卷积核大小对应层的预训练权重就失效了需要重新初始化那一层。4.2 BatchNorm的momentum和eps设置PyTorch的nn.BatchNorm2d默认momentum0.1eps1e-5。这两个参数在ResNet里通常不需要改。momentum控制的是运行均值和方差的更新速度0.1意味着每次更新保留90%的旧值、加入10%的新值。eps是为了防止除以零1e-5足够小不会影响数值精度。但有一个坑需要注意BatchNorm在训练和推理时的行为不同。训练时用当前batch的均值和方差做标准化同时更新运行统计量推理时用运行统计量。如果你在训练时batch size太小比如小于8BN的统计量会很不稳定导致训练震荡。这种情况可以考虑用GroupNorm替代或者增大batch size。4.3 学习率策略与优化器选择ResNet原始论文用的是SGD with momentummomentum0.9weight decay1e-4。学习率初始0.1每30个epoch降10倍。这个配置在ImageNet上训练是标准做法。如果你在自己的数据集上训练学习率需要调整。一个经验公式是lr 0.1 * (batch_size / 256)。比如batch size是64初始学习率就设0.025。如果用了预训练权重做微调学习率还要再降一个数量级比如0.001或0.0001。优化器方面SGD虽然收敛慢但泛化性能通常比Adam好。如果训练轮数有限可以用Adam初始学习率设1e-3但要注意Adam的weight decay实现和SGD不同PyTorch里需要用AdamW才能正确解耦权重衰减。optimizer torch.optim.SGD(model.parameters(), lr0.025, momentum0.9, weight_decay1e-4) scheduler torch.optim.lr_scheduler.StepLR(optimizer, step_size30, gamma0.1)4.4 数据增强与正则化ResNet训练时常用的数据增强包括随机裁剪RandomResizedCrop、随机水平翻转RandomHorizontalFlip、颜色抖动ColorJitter。如果数据集小还可以加RandAugment或MixUp。正则化方面除了weight decayDropout在ResNet里用得不多。原始论文在最后全连接层前加了Dropout但后续实践发现BN本身就有正则化效果再加Dropout反而可能欠拟合。我的建议是先不加Dropout如果过拟合明显再考虑在fc层前加一个p0.5的Dropout。标签平滑Label Smoothing是另一个有用的技巧把硬标签变成软标签比如[0, 1, 0]变成[0.05, 0.9, 0.05]。在PyTorch里可以用nn.CrossEntropyLoss(label_smoothing0.1)实现。这个技巧在ResNet训练里能提升约0.2%的精度而且几乎不增加计算成本。5. 常见问题与排查技巧实录5.1 维度不匹配报错怎么排查最常见的报错是RuntimeError: The size of tensor a must match the size of tensor b出现在残差相加的那一行。原因通常是downsample没有正确配置。排查步骤打印主分支输出和identity分支的形状。在out identity之前加一行print(out.shape, identity.shape)。检查_make_layer里downsample的触发条件。如果self.in_channels ! out_channels * block.expansion必须创建downsample。检查self.in_channels的更新。第一个block执行完后要更新否则后续block的downsample判断会出错。另一个容易忽略的点BasicBlock的expansion1Bottleneck的expansion4。如果你把Bottleneck的expansion写成了1通道数会差4倍直接报错。5.2 训练loss不下降的几种原因Loss不下降可能的原因很多按概率从高到低排列学习率太大loss震荡或者变成nan。先把学习率降10倍试试。数据标签有问题检查标签是否和输入对应有没有打乱后忘记同步。BN层在推理模式如果忘了调用model.train()BN会用运行统计量训练初期统计量不准loss很难降。梯度消失虽然ResNet设计上缓解了这个问题但如果初始化不对或者网络太深仍然可能出现。检查每层的梯度范数。权重初始化错误如果用了全零初始化或者标准差太大的初始化网络很难学。避坑技巧训练前先在一个小batch上过拟合。取10张图关掉数据增强训练100个epoch看loss能不能降到接近零。如果连这个小数据都过拟合不了说明网络结构或训练配置有根本性问题。5.3 显存不够用的优化手段ResNet-50在batch size32、输入224x224时大约需要8GB显存。如果显存不够可以尝试减小batch size最直接但BN的统计量会变差。小于8时建议改用GroupNorm。混合精度训练用torch.cuda.amp显存占用可以减少约40%训练速度也能提升。梯度累积小batch多次前向后再统一更新模拟大batch的效果。检查点机制用torch.utils.checkpoint牺牲计算时间换显存。from torch.cuda.amp import autocast, GradScaler scaler GradScaler() for inputs, labels in dataloader: optimizer.zero_grad() with autocast(): outputs model(inputs) loss criterion(outputs, labels) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update()5.4 常见问题速查表问题现象可能原因解决方法相加时维度不匹配downsample未配置或in_channels未更新检查_make_layer逻辑loss变成nan学习率太大或初始化不当降低学习率检查初始化训练精度高但验证精度低过拟合增加数据增强加weight decay训练和验证精度都低欠拟合或配置错误检查数据标签增大模型容量BN层报错batch size1BN需要多于1个样本增大batch size或用GroupNorm显存溢出batch size太大减小batch size或用混合精度6. 几个值得注意的实现细节6.1 stem层的7x7卷积能否替换原始ResNet的stem层是7x7卷积stride2padding3。这个设计在224x224输入下工作良好。但如果你的输入尺寸更小比如32x32的CIFAR图像7x7卷积加maxpool会把特征图降得太快导致后续stage没有足够空间维度。对于小输入常见的改法是把stem层换成3x3卷积stride1去掉maxpool。这样CIFAR-10上的ResNet-18能正常工作。如果你要做CIFAR实验记得调整stem层否则第一个stage的输出就只有8x8了。6.2 全连接层的输入维度计算self.fc nn.Linear(512 * block.expansion, num_classes)这一行里512是Stage 4的输出通道数乘以expansion得到实际通道数。BasicBlock是512Bottleneck是2048。这个数字是固定的因为ResNet的四个stage输出通道分别是64、128、256、512。如果你修改了stage的输出通道记得同步修改fc层的输入维度。一个更稳妥的做法是用nn.AdaptiveAvgPool2d((1, 1))这样无论输入图像多大池化后都是1x1fc层的输入维度只和通道数有关。6.3 预训练权重加载的注意事项PyTorch的torchvision.models里有现成的ResNet实现但它的结构和我们写的略有不同。比如torchvision的ResNet在downsample里用了nn.BatchNorm2d我们也是但它的_make_layer里对stride的处理方式稍有差异。如果你要加载torchvision的预训练权重到自己的实现里需要确保state_dict的key能对上。常见的不匹配包括conv1.weight的形状、fc.weight的形状、以及downsample里BN的命名。建议先用model.state_dict().keys()和预训练权重的keys对比找出差异后再决定是改代码还是改权重。实操心得我一般会直接继承torchvision.models.ResNet然后只重写需要改的部分。这样既能用预训练权重又能自定义结构。从头写一遍是为了理解原理实际项目里没必要重复造轮子。6.4 模型保存与恢复的最佳实践保存模型时推荐保存state_dict而不是整个模型对象。state_dict只包含参数文件小加载时也不依赖代码定义。torch.save(model.state_dict(), resnet50.pth) model resnet50(num_classes10) model.load_state_dict(torch.load(resnet50.pth)) model.eval()如果要恢复训练还需要保存优化器的状态和当前epochcheckpoint { epoch: epoch, model_state_dict: model.state_dict(), optimizer_state_dict: optimizer.state_dict(), loss: loss, } torch.save(checkpoint, checkpoint.pth)加载时先创建模型和优化器再load_state_dict。注意map_location参数如果保存时在GPU上训练、加载时只有CPU需要指定map_locationcpu。6.5 从零训练还是用预训练这个问题没有标准答案取决于你的数据集大小和任务相似度。如果数据集和ImageNet相似自然图像、1000类左右用预训练权重微调几乎总是更好的选择。如果数据集很小几千张图预训练能带来巨大提升。如果数据集很大百万级以上且和ImageNet差异大比如医学图像、卫星图像从零训练可能更好。我的经验是先用预训练权重跑一个baseline再尝试从零训练。如果从零训练的效果明显差就老老实实用预训练。如果差不多说明你的数据集足够大从零训练可以避免预训练带来的归纳偏置。代码写到这里ResNet的核心实现和训练要点基本覆盖了。你可以把上面的代码拼起来直接跑也可以根据自己的需求调整block数量、通道数、stem层结构。关键是要理解每一处设计的原因而不是照抄代码。遇到报错时先检查维度匹配和初始化这两个地方出问题的概率最高。
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
