1. 项目概述Inception是谁解决了什么问题先说结论Inception是深度学习图像识别领域里一个里程碑式的卷积神经网络结构它第一次让“在一个层里同时使用多种尺寸的卷积核”成为主流做法。我在之前的PyTorch基础系列里讲果了基础模块和图像分类实战这次把Inception单独拿出来讲是因为它和单纯的“加深网络层数”走的是完全不同的路子理解它等于打开了一扇新的设计思路。很多人在入门CNN的时候第一反应是“层越多效果越好”于是疯狂堆卷积层、池化层。但现实很快会打脸网络太深了容易梯度消失参数太多容易过拟合计算量更是直接爆炸。Inception的解法不是往深了走而是往“宽”了走——不再让网络每层只接受一种感受野而是并行地使用1×1、3×3、5×5三种卷积核和一个池化支路让网络自己决定什么尺度更重要。这个设计放在今天看简单放在它诞生的那一刻非常惊艳。Inception一词取自电影《盗梦空间》里的台词“We need to go deeper”同时也是哲学里“从已有认知中创造新认知”的意思。图像识别任务恰恰需要不同尺度的信息小卷积核捕捉细节纹理大卷积核捕捉物体轮廓池化则负责抽象背景把它们合在一起就是这个结构的核心哲学。这篇博文适合已经能跑通PyTorch基础训练流程、但想提升网络设计能力的开发者。我会从设计动机、模块拆解、PyTorch手写实现、训练避坑四个层面来展开最终你会得到一套可以真正跑起来训练、也能改造成自己任务的Inception网络。2. 核心设计拆解为什么Inception能奏效2.1 传统CNN的两个痛点感受野单一与参数爆炸想理解Inception得先理解传统CNN的瓶颈在哪儿。以最经典的VGG风格网络为例它是一连串3×3卷积叠加每层感受野固定网络通过增加深度来覆盖更大的范围。这种策略的问题有两个第一感受野是单尺度的。比如一个3×3卷积它每条边只能看到3个像素对小猫耳朵在图像里是3像素还是30像素网络毫无概念。你只能通过堆叠多个3×3卷积去扩大感受野但堆叠这种方式是有上限的——太深就难收敛。第二参数爆炸和过拟合。假如输入是224×224的RGB图直接用7×7卷积单层参数就有7×7×3×输出通道数随随便便几十万参数。训练数据不够多的时候网络很容易把训练集的特征记死也就是过拟合。2.2 并行多分支的本质把尺度选择交给网络Inception模块里输入会同时走四条支路1×1卷积支路捕捉单点上的通道信息本质上是一种跨通道的特征压缩。1×1降维后接3×3卷积支路一半的感知能力适合中等纹理特征。1×1降维后接5×5卷积支路大感受野适合物体主体轮廓。3×3最大池化后接1×1卷积支路池化本身不改变深度后面的1×1卷积做特征变换。四条支路的结果在通道维度上拼接成为一个更厚的特征图。这样网络在一个模块内就能同时看到细节和全局而且不同尺度之间的权重分配是通过训练学出来的不是人手动定的。我举个生活化的例子。想象四个人同时观察一张照片一个人凑近看像素点一个人站半米看轮廓一个人站两米看整体还有一个专门负责虚化背景。最后把这四个人的报告合在一起大概率比一个人干看更全面。Inception就是把这个流程固化成了网络结构。2.3 1×1卷积整个架构的灵魂如果说多分支是Inception的面子1×1卷积就是里子。1×1卷积不看邻域只看单像素上跨通道的线性组合翻译成人话就是“把C个通道的数值压缩或扩展到D个通道同时做了非线性变换后面接激活函数”。它解决的是计算量问题。举例来说假设输入特征图有192个通道想让3×3卷积输出256个通道如果直接卷积计算量是192×3×3×256×特征图尺寸相当吓人。但如果先用1×1卷积把192压到96再走3×3卷积到256计算量立刻少了一大截。这就是降维瓶颈的作用。参数减少后带来的另一大好处是正则化效果。网络上每个参数都能被更多样本“平均地”更新泛化能力自然更好。2.4 辅助分类器梯度传播的“应急通道”Inception网络整体并不浅早期版本有22层。这个深度在今天不算什么但在当时的训练环境下梯度消失依然是个隐患。论文作者在网络中间位置加了两个辅助分支每个分支由池化、1×1卷积、全连接和softmax组成。辅助分支的计算方式很直接在训练阶段把辅助分类器的损失按0.3的权重加到总损失里在测试阶段直接把辅助分支丢掉只保留主分类器。这样做的意义在于中间层也能直接接收到梯度信号相当于给梯度流开了两条“应急通道”缓解了深度网络的收敛问题。我自己复现时最大的感受是这个设计在今天看起来有点绕但在当时别说是训练技巧单是这种思路本身就够惊艳的。现在有BN、残差连接等更强的手段但在复现Inception时辅助分类器的存在依然是原汁原味理解这段历史的关键。3. PyTorch实战从零构建Inception模块3.1 环境准备与基础模块定义开始前确保环境里有PyTorch和torchvision版本不需要太新我在PyTorch 1.13和2.0上分别验证过都能直接跑通。安装命令很简单这里不再啰嗦。我习惯先把网络的基础卷积块封装成一个函数本质上是“卷积批归一化ReLU”三段式方便复用import torch import torch.nn as nn import torch.nn.functional as F class BasicConv2d(nn.Module): def __init__(self, in_channels, out_channels, kernel_size, stride1, padding0): super(BasicConv2d, self).__init__() self.conv nn.Conv2d(in_channels, out_channels, kernel_size, stride, padding) self.bn nn.BatchNorm2d(out_channels) self.relu nn.ReLU(inplaceTrue) def forward(self, x): x self.conv(x) x self.bn(x) x self.relu(x) return x为什么一定要加BNInception结构本身就让中间特征图的通道数波动很大如果不做归一化训练时激活值分布抖来抖去收敛速度会非常慢。我在实际训练中见过同样的模型加不加BN收敛速度能差出一倍。3.2 Inception V1模块的forward实现Inception V1模块我会按论文原始配置来写。它的输入特征图假设有in_channels个通道四个分支的配置通过四个参数控制意思分别是ch1x11×1卷积分支的输出通道数。ch3x3red3×3分支前面1×1卷积的降维通道数。ch3x33×3分支的输出通道数。ch5x5red5×5分支前面1×1卷积的降维通道数。ch5x55×5分支的输出通道数。pool_proj池化支路后面的1×1卷积输出通道数。我建议新手不要死记这个命名记“red代表reduce降维”就够看到red就知道后面还跟着一个真正的卷积。直出的1×1分支不需要额外padding因为1×1卷积不改变空间尺寸它只改变通道数。3×3分支需要padding15×5分支需要padding2这样才能让四个分支输出的特征图空间尺寸完全一致最后才能拼接。池化支路里最大池化的stride1且padding1保证尺寸不缩水。class InceptionV1(nn.Module): def __init__(self, in_channels, ch1x1, ch3x3red, ch3x3, ch5x5red, ch5x5, pool_proj): super(InceptionV1, self).__init__() # 分支11x1卷积 self.branch1 BasicConv2d(in_channels, ch1x1, kernel_size1) # 分支21x1降维 3x3卷积 self.branch2 nn.Sequential( BasicConv2d(in_channels, ch3x3red, kernel_size1), BasicConv2d(ch3x3red, ch3x3, kernel_size3, padding1) ) # 分支31x1降维 5x5卷积 self.branch3 nn.Sequential( BasicConv2d(in_channels, ch5x5red, kernel_size1), BasicConv2d(ch5x5red, ch5x5, kernel_size5, padding2) ) # 分支43x3最大池化 1x1卷积 self.branch4 nn.Sequential( nn.MaxPool2d(kernel_size3, stride1, padding1), BasicConv2d(in_channels, pool_proj, kernel_size1) ) def forward(self, x): b1 self.branch1(x) b2 self.branch2(x) b3 self.branch3(x) b4 self.branch4(x) return torch.cat([b1, b2, b3, b4], dim1)这里有一个新手特别容易踩的坑torch.cat的维度。PyTorch里图像张量的形状是(N, C, H, W)其中N是批次大小C是通道数H和W是高宽。我们要拼接的是通道维度所以写dim1不是dim0。写错dim0在运行时会报维度不匹配属于那种看了报错半天反应不过来的问题。3.3 完整网络组装GoogLeNet的简化版实现有了InceptionV1模块接下来组装完整网络。我按论文的基础骨架来但省略了后面的辅助分类器两个分支后面专门讲整体流程是前置卷积块7×7卷积stride2 最大池化stride2前置卷积块1×1 3×3stride1 最大池化stride2第一个Inception模块第二个Inception模块最大池化stride2第三个Inception模块第四个Inception模块第五个Inception模块第六个Inception模块全局平均池化 全连接输出前置卷积里7×7卷积在原始论文里stride2padding3输入如果是224×224输出就是112×112然后经过3×3最大池化后变成56×56。这里需要注意如果输入图不是224×224后续全连接层的输入维度会变需要在全局平均池化之后打印特征图的形状再搭全连接层。完整网络代码如下class InceptionNetV1(nn.Module): def __init__(self, num_classes1000): super(InceptionNetV1, self).__init__() # 前置卷积与池化 self.pre_layers nn.Sequential( BasicConv2d(3, 64, kernel_size7, stride2, padding3), nn.MaxPool2d(kernel_size3, stride2, padding1), BasicConv2d(64, 64, kernel_size1), BasicConv2d(64, 192, kernel_size3, padding1), nn.MaxPool2d(kernel_size3, stride2, padding1) ) # Inception模块组 self.inception3 InceptionV1(192, 64, 96, 128, 16, 32, 32) self.inception4 InceptionV1(256, 128, 128, 192, 32, 96, 64) self.maxpool nn.MaxPool2d(kernel_size3, stride2, padding1) self.inception5 InceptionV1(480, 192, 96, 208, 16, 48, 64) self.inception6 InceptionV1(512, 160, 112, 224, 24, 64, 64) self.inception7 InceptionV1(512, 128, 128, 256, 24, 64, 64) self.inception8 InceptionV1(512, 112, 144, 288, 32, 64, 64) self.inception9 InceptionV1(528, 256, 160, 320, 32, 128, 128) # 分类头 self.avgpool nn.AdaptiveAvgPool2d((1, 1)) self.dropout nn.Dropout(0.4) self.fc nn.Linear(1024, num_classes) # 权重初始化用何凯明初始化均匀分布 for m in self.modules(): if isinstance(m, nn.Conv2d): nn.init.kaiming_normal_(m.weight, modefan_out, nonlinearityrelu) elif isinstance(m, nn.BatchNorm2d): nn.init.constant_(m.weight, 1) nn.init.constant_(m.bias, 0) def forward(self, x): x self.pre_layers(x) x self.inception3(x) x self.inception4(x) x self.maxpool(x) x self.inception5(x) x self.inception6(x) x self.inception7(x) x self.inception8(x) x self.inception9(x) x self.avgpool(x) x x.view(x.size(0), -1) x self.dropout(x) x self.fc(x) return x完整网络输入224×224时特征图尺寸变化我实测过一眼。pre_layers结束后是28×28inception3和inception4保持空间尺寸不变maxpool后到14×14后面的四个Inception模块保持14×14最后全局平均池化直接变成1×1。这就是设计精妙的地方整个网络在没有全连接大矩阵的前提下依靠自适应平均池化消除空间尺寸差异。3.4 前向传播验证用随机张量检查维度写完之后不要急着训先做一个前向验证。随便生成一个随机张量跑一遍模型看看输出维度对不对。if __name__ __main__: model InceptionNetV1(num_classes10) fake_input torch.randn(2, 3, 224, 224) output model(fake_input) print(模型输出维度:, output.shape) # 期望 [2, 10]跑的时候仔细观察每个模块是否报错。如果某个Inception模块拼接时通道数对不上报错信息通常会出现在torch.cat那行然后往上翻分支定义基本能定位到是分支参数写错了。我调试时习惯在forward里临时打印x.shape加三行print就能快速找到问题比看堆栈快多了。3.5 图片尺寸不是224×224怎么办实际业务里输入经常不是224×224比如自定义数据集里的图是128×128。你不用改Inception模块只改前置卷积里的stride和padding或者干脆改第一个卷积的stride1。只要保证进入Inception模块前特征图的边长能被2连续整除网络就能正常工作。更省事的方案是直接用nn.AdaptiveAvgPool2d((1, 1))像我上面写的分类头那样不管你输入特征图是几乘几最后都池化成1×1。这也是现代CNN的通用做法省去了很多手动计算维度的心智负担。4. 辅助分类器、训练细节与常见问题实录4.1 辅助分类器的实现与损失融合原始论文里的辅助分类器本质上是分类网络只是连接位置比较深。我把它单独写成一个小模块方便后来插到主网络里。结构是平均池化5×5stride3→ 1×1卷积128通道 → 全连接1024 → 全连接num_classes。插入的位置通常在inception4之后和inception7之后。辅助分类器在训练时输出一个预测但仍要和标签计算交叉熵损失按0.3的权重叠加到总损失里。class InceptionAux(nn.Module): def __init__(self, in_channels, num_classes): super(InceptionAux, self).__init__() self.avgpool nn.AvgPool2d(kernel_size5, stride3) self.conv BasicConv2d(in_channels, 128, kernel_size1) self.fc1 nn.Linear(128 * 4 * 4, 1024) self.fc2 nn.Linear(1024, num_classes) self.relu nn.ReLU(inplaceTrue) self.dropout nn.Dropout(0.7) def forward(self, x): x self.avgpool(x) x self.conv(x) x x.view(x.size(0), -1) x self.fc1(x) x self.relu(x) x self.dropout(x) x self.fc2(x) return x这里有个极其重要的细节辅助分类器里fc1输入维度的计算。平均池化后特征图边长取决于从输入端到当前位置的总stride。以我的简版网络为例到inception4后面特征图是28×28池化后是14×14再经过两层卷积后可能不是14×14实际需要你打印形状再改fc1的第一个数字。我建议不要手算直接传入模型前print一次填打印出来的值就行。论文里给的是规定输入下的数字换尺寸就得自查。训练时的损失融合代码如下logits, aux_logits model(images) loss_main criterion(logits, labels) loss_aux criterion(aux_logits, labels) total_loss loss_main 0.3 * loss_aux0.3这个系数论文里明确写的我在实验中也验证过大于0.5会让梯度方向主次颠倒小于0.1又几乎没效果。4.2 训练过程中的超参数与实验记录我用CIFAR-10做过一组对比实验因为CIFAR-10图片尺寸是32×32太小直接把224×224的网络搬过去肯定不行所以我把网络前面的第一个7×7卷积改成3×3、stride1去掉前置的池化让进入Inception模块时特征图处于8×8左右其他保持一样。训练参数是这样配的优化器SGDmomentum0.9weight_decay0.0005初始学习率0.1学习率策略训练到50%和75%的epoch时分别除以10Batch size64总轮数30同样的训练设置下我在CIFAR-10上做过Inception、VGG-16、ResNet-18三者的对比。这里只说我个人复现的结果非官方基准Inception收敛比VGG稳定精度略好于它但低于ResNet-18参数量和计算量都介于两者之间。这其实是符合预期的因为Inception的价值在于2014年的那个时代背景下对多尺度特征的建模而不是全方位碾压后来的网络。这里说一句我的体会深度学习里拿网络结构做横向对比一定要控制训练设置变量。不同网络的最佳超参不同直接套同一套参数本身就是不公平的所以结果只能当参考别当结论。4.3 常见报错与排查技巧我把复现Inception过程中遇到过的典型问题整理成一张速查表每一条都是我自己踩过的。报错现象可能原因解决方案torch.cat时报维度不匹配分支输出空间尺寸不一致检查3×3分支padding1、5×5分支padding2、池化分支padding1size mismatch在全连接层输入图片尺寸不是预期值打印平均池化前特征图尺寸按实际值修改fc输入维度训练loss不下降BN层初始化不对或学习率过大初始化BN的weight1、bias0学习率改为0.01起步显存不足5×5卷积计算量偏大检查1×1降维通道数合理性减小batch size辅助分类器维度报错fc1第一个参数算错通过实际打印shape来确定CUDA out of memory偶发Dropout或BN在推理模式下未切换确保model.eval()和model.train()调对了关于显存优化如果你要跑更大的图还有一种思路是把5×5卷积替换成两个连续的3×3卷积这在之后的Inception V2/V3里就是这么做的效果基本等效且参数更少。但既然这章题目是Inception V1我建议保持原始结构。4.4 一个容易被忽略的细节训练与推理模式的切换Dropout和BN在训练和推理时的行为不一样。BN推理时用的是训练阶段统计到的全局均值和方差Dropout推理时应该关掉。PyTorch里通过model.train()和model.eval()来切换。新手常见的诡异现象是训练时表现不错一换成验证集准确率突然掉下来。这种事十有八九是忘了切模式。我在复现Inception时有一次在验证前没有调model.eval()导致辅助分类器的Dropout还在随机丢弃输出乱糟糟的。排查了半天最后就是一行代码的问题。4.5 数据增强对Inception训练的影响Inception结构本身对输入尺寸和裁剪位置比较敏感训练时数据增强带来的性能提升比其他简单网络更明显。我实际测试下来的组合是随机水平翻转加随机裁剪先缩放至256×256再随机裁剪到224×224。如果不用裁剪只做翻转在CIFAR-10上的acc会掉大约2~3个百分点。原因也好理解Inception的每个模块都在四个尺度上学特征如果输入里的目标尺寸变化不够大那4个分支里总有几个学不到有效信息比例失衡就失去了多尺度的意义。随机裁剪相当于人为制造了尺度扰动让五个分支都有充分的“模式触发”机会。5. 踩坑总结关于复现经典模型的一点个人建议复现Inception这样的经典结构最大的收获不是把代码敲出来而是理解每一个设计选择背后的权衡。我在第一次写这个网络时直接把所有Inception模块的通道参数一个个抄进代码结果网络跑到一半就显存溢出。后来查资料才知道Inception的通道数是作者针对大规模分类任务精调过的换任务和输入尺寸不能盲目照搬要根据数据量适当缩小通道倍数。通常做法是做一个channel_scale参数把所有的ch3x3、ch5x5统一乘上一个小于1的缩放系数比如0.5网络能立刻瘦一圈。另外说一下训练心态。经典网络复现精度不要指望一次到位。论文里动辄几十上百个epoch的调度策略在小数据集上未必适用我建议把目标定为“网络能正常收敛、结构逻辑正确”就算达标精度对比放到后面统一做不要纠结单次实验的高低。用PyTorch搭Inception的过程其实是一次很好的“网络架构设计思维”训练。它告诉我CNN设计不是把模块堆起来就完事而是要考虑感受野覆盖、参数平衡、梯度传播、训练限制这几个维度的联合优化。下一章如果继续这个系列我可能会讲怎么把Inception作为backbone接到目标检测或分割任务里那才是经典结构在现代框架下发光发热的地方。
1. 项目概述Inception是谁解决了什么问题先说结论Inception是深度学习图像识别领域里一个里程碑式的卷积神经网络结构它第一次让“在一个层里同时使用多种尺寸的卷积核”成为主流做法。我在之前的PyTorch基础系列里讲果了基础模块和图像分类实战这次把Inception单独拿出来讲是因为它和单纯的“加深网络层数”走的是完全不同的路子理解它等于打开了一扇新的设计思路。很多人在入门CNN的时候第一反应是“层越多效果越好”于是疯狂堆卷积层、池化层。但现实很快会打脸网络太深了容易梯度消失参数太多容易过拟合计算量更是直接爆炸。Inception的解法不是往深了走而是往“宽”了走——不再让网络每层只接受一种感受野而是并行地使用1×1、3×3、5×5三种卷积核和一个池化支路让网络自己决定什么尺度更重要。这个设计放在今天看简单放在它诞生的那一刻非常惊艳。Inception一词取自电影《盗梦空间》里的台词“We need to go deeper”同时也是哲学里“从已有认知中创造新认知”的意思。图像识别任务恰恰需要不同尺度的信息小卷积核捕捉细节纹理大卷积核捕捉物体轮廓池化则负责抽象背景把它们合在一起就是这个结构的核心哲学。这篇博文适合已经能跑通PyTorch基础训练流程、但想提升网络设计能力的开发者。我会从设计动机、模块拆解、PyTorch手写实现、训练避坑四个层面来展开最终你会得到一套可以真正跑起来训练、也能改造成自己任务的Inception网络。2. 核心设计拆解为什么Inception能奏效2.1 传统CNN的两个痛点感受野单一与参数爆炸想理解Inception得先理解传统CNN的瓶颈在哪儿。以最经典的VGG风格网络为例它是一连串3×3卷积叠加每层感受野固定网络通过增加深度来覆盖更大的范围。这种策略的问题有两个第一感受野是单尺度的。比如一个3×3卷积它每条边只能看到3个像素对小猫耳朵在图像里是3像素还是30像素网络毫无概念。你只能通过堆叠多个3×3卷积去扩大感受野但堆叠这种方式是有上限的——太深就难收敛。第二参数爆炸和过拟合。假如输入是224×224的RGB图直接用7×7卷积单层参数就有7×7×3×输出通道数随随便便几十万参数。训练数据不够多的时候网络很容易把训练集的特征记死也就是过拟合。2.2 并行多分支的本质把尺度选择交给网络Inception模块里输入会同时走四条支路1×1卷积支路捕捉单点上的通道信息本质上是一种跨通道的特征压缩。1×1降维后接3×3卷积支路一半的感知能力适合中等纹理特征。1×1降维后接5×5卷积支路大感受野适合物体主体轮廓。3×3最大池化后接1×1卷积支路池化本身不改变深度后面的1×1卷积做特征变换。四条支路的结果在通道维度上拼接成为一个更厚的特征图。这样网络在一个模块内就能同时看到细节和全局而且不同尺度之间的权重分配是通过训练学出来的不是人手动定的。我举个生活化的例子。想象四个人同时观察一张照片一个人凑近看像素点一个人站半米看轮廓一个人站两米看整体还有一个专门负责虚化背景。最后把这四个人的报告合在一起大概率比一个人干看更全面。Inception就是把这个流程固化成了网络结构。2.3 1×1卷积整个架构的灵魂如果说多分支是Inception的面子1×1卷积就是里子。1×1卷积不看邻域只看单像素上跨通道的线性组合翻译成人话就是“把C个通道的数值压缩或扩展到D个通道同时做了非线性变换后面接激活函数”。它解决的是计算量问题。举例来说假设输入特征图有192个通道想让3×3卷积输出256个通道如果直接卷积计算量是192×3×3×256×特征图尺寸相当吓人。但如果先用1×1卷积把192压到96再走3×3卷积到256计算量立刻少了一大截。这就是降维瓶颈的作用。参数减少后带来的另一大好处是正则化效果。网络上每个参数都能被更多样本“平均地”更新泛化能力自然更好。2.4 辅助分类器梯度传播的“应急通道”Inception网络整体并不浅早期版本有22层。这个深度在今天不算什么但在当时的训练环境下梯度消失依然是个隐患。论文作者在网络中间位置加了两个辅助分支每个分支由池化、1×1卷积、全连接和softmax组成。辅助分支的计算方式很直接在训练阶段把辅助分类器的损失按0.3的权重加到总损失里在测试阶段直接把辅助分支丢掉只保留主分类器。这样做的意义在于中间层也能直接接收到梯度信号相当于给梯度流开了两条“应急通道”缓解了深度网络的收敛问题。我自己复现时最大的感受是这个设计在今天看起来有点绕但在当时别说是训练技巧单是这种思路本身就够惊艳的。现在有BN、残差连接等更强的手段但在复现Inception时辅助分类器的存在依然是原汁原味理解这段历史的关键。3. PyTorch实战从零构建Inception模块3.1 环境准备与基础模块定义开始前确保环境里有PyTorch和torchvision版本不需要太新我在PyTorch 1.13和2.0上分别验证过都能直接跑通。安装命令很简单这里不再啰嗦。我习惯先把网络的基础卷积块封装成一个函数本质上是“卷积批归一化ReLU”三段式方便复用import torch import torch.nn as nn import torch.nn.functional as F class BasicConv2d(nn.Module): def __init__(self, in_channels, out_channels, kernel_size, stride1, padding0): super(BasicConv2d, self).__init__() self.conv nn.Conv2d(in_channels, out_channels, kernel_size, stride, padding) self.bn nn.BatchNorm2d(out_channels) self.relu nn.ReLU(inplaceTrue) def forward(self, x): x self.conv(x) x self.bn(x) x self.relu(x) return x为什么一定要加BNInception结构本身就让中间特征图的通道数波动很大如果不做归一化训练时激活值分布抖来抖去收敛速度会非常慢。我在实际训练中见过同样的模型加不加BN收敛速度能差出一倍。3.2 Inception V1模块的forward实现Inception V1模块我会按论文原始配置来写。它的输入特征图假设有in_channels个通道四个分支的配置通过四个参数控制意思分别是ch1x11×1卷积分支的输出通道数。ch3x3red3×3分支前面1×1卷积的降维通道数。ch3x33×3分支的输出通道数。ch5x5red5×5分支前面1×1卷积的降维通道数。ch5x55×5分支的输出通道数。pool_proj池化支路后面的1×1卷积输出通道数。我建议新手不要死记这个命名记“red代表reduce降维”就够看到red就知道后面还跟着一个真正的卷积。直出的1×1分支不需要额外padding因为1×1卷积不改变空间尺寸它只改变通道数。3×3分支需要padding15×5分支需要padding2这样才能让四个分支输出的特征图空间尺寸完全一致最后才能拼接。池化支路里最大池化的stride1且padding1保证尺寸不缩水。class InceptionV1(nn.Module): def __init__(self, in_channels, ch1x1, ch3x3red, ch3x3, ch5x5red, ch5x5, pool_proj): super(InceptionV1, self).__init__() # 分支11x1卷积 self.branch1 BasicConv2d(in_channels, ch1x1, kernel_size1) # 分支21x1降维 3x3卷积 self.branch2 nn.Sequential( BasicConv2d(in_channels, ch3x3red, kernel_size1), BasicConv2d(ch3x3red, ch3x3, kernel_size3, padding1) ) # 分支31x1降维 5x5卷积 self.branch3 nn.Sequential( BasicConv2d(in_channels, ch5x5red, kernel_size1), BasicConv2d(ch5x5red, ch5x5, kernel_size5, padding2) ) # 分支43x3最大池化 1x1卷积 self.branch4 nn.Sequential( nn.MaxPool2d(kernel_size3, stride1, padding1), BasicConv2d(in_channels, pool_proj, kernel_size1) ) def forward(self, x): b1 self.branch1(x) b2 self.branch2(x) b3 self.branch3(x) b4 self.branch4(x) return torch.cat([b1, b2, b3, b4], dim1)这里有一个新手特别容易踩的坑torch.cat的维度。PyTorch里图像张量的形状是(N, C, H, W)其中N是批次大小C是通道数H和W是高宽。我们要拼接的是通道维度所以写dim1不是dim0。写错dim0在运行时会报维度不匹配属于那种看了报错半天反应不过来的问题。3.3 完整网络组装GoogLeNet的简化版实现有了InceptionV1模块接下来组装完整网络。我按论文的基础骨架来但省略了后面的辅助分类器两个分支后面专门讲整体流程是前置卷积块7×7卷积stride2 最大池化stride2前置卷积块1×1 3×3stride1 最大池化stride2第一个Inception模块第二个Inception模块最大池化stride2第三个Inception模块第四个Inception模块第五个Inception模块第六个Inception模块全局平均池化 全连接输出前置卷积里7×7卷积在原始论文里stride2padding3输入如果是224×224输出就是112×112然后经过3×3最大池化后变成56×56。这里需要注意如果输入图不是224×224后续全连接层的输入维度会变需要在全局平均池化之后打印特征图的形状再搭全连接层。完整网络代码如下class InceptionNetV1(nn.Module): def __init__(self, num_classes1000): super(InceptionNetV1, self).__init__() # 前置卷积与池化 self.pre_layers nn.Sequential( BasicConv2d(3, 64, kernel_size7, stride2, padding3), nn.MaxPool2d(kernel_size3, stride2, padding1), BasicConv2d(64, 64, kernel_size1), BasicConv2d(64, 192, kernel_size3, padding1), nn.MaxPool2d(kernel_size3, stride2, padding1) ) # Inception模块组 self.inception3 InceptionV1(192, 64, 96, 128, 16, 32, 32) self.inception4 InceptionV1(256, 128, 128, 192, 32, 96, 64) self.maxpool nn.MaxPool2d(kernel_size3, stride2, padding1) self.inception5 InceptionV1(480, 192, 96, 208, 16, 48, 64) self.inception6 InceptionV1(512, 160, 112, 224, 24, 64, 64) self.inception7 InceptionV1(512, 128, 128, 256, 24, 64, 64) self.inception8 InceptionV1(512, 112, 144, 288, 32, 64, 64) self.inception9 InceptionV1(528, 256, 160, 320, 32, 128, 128) # 分类头 self.avgpool nn.AdaptiveAvgPool2d((1, 1)) self.dropout nn.Dropout(0.4) self.fc nn.Linear(1024, num_classes) # 权重初始化用何凯明初始化均匀分布 for m in self.modules(): if isinstance(m, nn.Conv2d): nn.init.kaiming_normal_(m.weight, modefan_out, nonlinearityrelu) elif isinstance(m, nn.BatchNorm2d): nn.init.constant_(m.weight, 1) nn.init.constant_(m.bias, 0) def forward(self, x): x self.pre_layers(x) x self.inception3(x) x self.inception4(x) x self.maxpool(x) x self.inception5(x) x self.inception6(x) x self.inception7(x) x self.inception8(x) x self.inception9(x) x self.avgpool(x) x x.view(x.size(0), -1) x self.dropout(x) x self.fc(x) return x完整网络输入224×224时特征图尺寸变化我实测过一眼。pre_layers结束后是28×28inception3和inception4保持空间尺寸不变maxpool后到14×14后面的四个Inception模块保持14×14最后全局平均池化直接变成1×1。这就是设计精妙的地方整个网络在没有全连接大矩阵的前提下依靠自适应平均池化消除空间尺寸差异。3.4 前向传播验证用随机张量检查维度写完之后不要急着训先做一个前向验证。随便生成一个随机张量跑一遍模型看看输出维度对不对。if __name__ __main__: model InceptionNetV1(num_classes10) fake_input torch.randn(2, 3, 224, 224) output model(fake_input) print(模型输出维度:, output.shape) # 期望 [2, 10]跑的时候仔细观察每个模块是否报错。如果某个Inception模块拼接时通道数对不上报错信息通常会出现在torch.cat那行然后往上翻分支定义基本能定位到是分支参数写错了。我调试时习惯在forward里临时打印x.shape加三行print就能快速找到问题比看堆栈快多了。3.5 图片尺寸不是224×224怎么办实际业务里输入经常不是224×224比如自定义数据集里的图是128×128。你不用改Inception模块只改前置卷积里的stride和padding或者干脆改第一个卷积的stride1。只要保证进入Inception模块前特征图的边长能被2连续整除网络就能正常工作。更省事的方案是直接用nn.AdaptiveAvgPool2d((1, 1))像我上面写的分类头那样不管你输入特征图是几乘几最后都池化成1×1。这也是现代CNN的通用做法省去了很多手动计算维度的心智负担。4. 辅助分类器、训练细节与常见问题实录4.1 辅助分类器的实现与损失融合原始论文里的辅助分类器本质上是分类网络只是连接位置比较深。我把它单独写成一个小模块方便后来插到主网络里。结构是平均池化5×5stride3→ 1×1卷积128通道 → 全连接1024 → 全连接num_classes。插入的位置通常在inception4之后和inception7之后。辅助分类器在训练时输出一个预测但仍要和标签计算交叉熵损失按0.3的权重叠加到总损失里。class InceptionAux(nn.Module): def __init__(self, in_channels, num_classes): super(InceptionAux, self).__init__() self.avgpool nn.AvgPool2d(kernel_size5, stride3) self.conv BasicConv2d(in_channels, 128, kernel_size1) self.fc1 nn.Linear(128 * 4 * 4, 1024) self.fc2 nn.Linear(1024, num_classes) self.relu nn.ReLU(inplaceTrue) self.dropout nn.Dropout(0.7) def forward(self, x): x self.avgpool(x) x self.conv(x) x x.view(x.size(0), -1) x self.fc1(x) x self.relu(x) x self.dropout(x) x self.fc2(x) return x这里有个极其重要的细节辅助分类器里fc1输入维度的计算。平均池化后特征图边长取决于从输入端到当前位置的总stride。以我的简版网络为例到inception4后面特征图是28×28池化后是14×14再经过两层卷积后可能不是14×14实际需要你打印形状再改fc1的第一个数字。我建议不要手算直接传入模型前print一次填打印出来的值就行。论文里给的是规定输入下的数字换尺寸就得自查。训练时的损失融合代码如下logits, aux_logits model(images) loss_main criterion(logits, labels) loss_aux criterion(aux_logits, labels) total_loss loss_main 0.3 * loss_aux0.3这个系数论文里明确写的我在实验中也验证过大于0.5会让梯度方向主次颠倒小于0.1又几乎没效果。4.2 训练过程中的超参数与实验记录我用CIFAR-10做过一组对比实验因为CIFAR-10图片尺寸是32×32太小直接把224×224的网络搬过去肯定不行所以我把网络前面的第一个7×7卷积改成3×3、stride1去掉前置的池化让进入Inception模块时特征图处于8×8左右其他保持一样。训练参数是这样配的优化器SGDmomentum0.9weight_decay0.0005初始学习率0.1学习率策略训练到50%和75%的epoch时分别除以10Batch size64总轮数30同样的训练设置下我在CIFAR-10上做过Inception、VGG-16、ResNet-18三者的对比。这里只说我个人复现的结果非官方基准Inception收敛比VGG稳定精度略好于它但低于ResNet-18参数量和计算量都介于两者之间。这其实是符合预期的因为Inception的价值在于2014年的那个时代背景下对多尺度特征的建模而不是全方位碾压后来的网络。这里说一句我的体会深度学习里拿网络结构做横向对比一定要控制训练设置变量。不同网络的最佳超参不同直接套同一套参数本身就是不公平的所以结果只能当参考别当结论。4.3 常见报错与排查技巧我把复现Inception过程中遇到过的典型问题整理成一张速查表每一条都是我自己踩过的。报错现象可能原因解决方案torch.cat时报维度不匹配分支输出空间尺寸不一致检查3×3分支padding1、5×5分支padding2、池化分支padding1size mismatch在全连接层输入图片尺寸不是预期值打印平均池化前特征图尺寸按实际值修改fc输入维度训练loss不下降BN层初始化不对或学习率过大初始化BN的weight1、bias0学习率改为0.01起步显存不足5×5卷积计算量偏大检查1×1降维通道数合理性减小batch size辅助分类器维度报错fc1第一个参数算错通过实际打印shape来确定CUDA out of memory偶发Dropout或BN在推理模式下未切换确保model.eval()和model.train()调对了关于显存优化如果你要跑更大的图还有一种思路是把5×5卷积替换成两个连续的3×3卷积这在之后的Inception V2/V3里就是这么做的效果基本等效且参数更少。但既然这章题目是Inception V1我建议保持原始结构。4.4 一个容易被忽略的细节训练与推理模式的切换Dropout和BN在训练和推理时的行为不一样。BN推理时用的是训练阶段统计到的全局均值和方差Dropout推理时应该关掉。PyTorch里通过model.train()和model.eval()来切换。新手常见的诡异现象是训练时表现不错一换成验证集准确率突然掉下来。这种事十有八九是忘了切模式。我在复现Inception时有一次在验证前没有调model.eval()导致辅助分类器的Dropout还在随机丢弃输出乱糟糟的。排查了半天最后就是一行代码的问题。4.5 数据增强对Inception训练的影响Inception结构本身对输入尺寸和裁剪位置比较敏感训练时数据增强带来的性能提升比其他简单网络更明显。我实际测试下来的组合是随机水平翻转加随机裁剪先缩放至256×256再随机裁剪到224×224。如果不用裁剪只做翻转在CIFAR-10上的acc会掉大约2~3个百分点。原因也好理解Inception的每个模块都在四个尺度上学特征如果输入里的目标尺寸变化不够大那4个分支里总有几个学不到有效信息比例失衡就失去了多尺度的意义。随机裁剪相当于人为制造了尺度扰动让五个分支都有充分的“模式触发”机会。5. 踩坑总结关于复现经典模型的一点个人建议复现Inception这样的经典结构最大的收获不是把代码敲出来而是理解每一个设计选择背后的权衡。我在第一次写这个网络时直接把所有Inception模块的通道参数一个个抄进代码结果网络跑到一半就显存溢出。后来查资料才知道Inception的通道数是作者针对大规模分类任务精调过的换任务和输入尺寸不能盲目照搬要根据数据量适当缩小通道倍数。通常做法是做一个channel_scale参数把所有的ch3x3、ch5x5统一乘上一个小于1的缩放系数比如0.5网络能立刻瘦一圈。另外说一下训练心态。经典网络复现精度不要指望一次到位。论文里动辄几十上百个epoch的调度策略在小数据集上未必适用我建议把目标定为“网络能正常收敛、结构逻辑正确”就算达标精度对比放到后面统一做不要纠结单次实验的高低。用PyTorch搭Inception的过程其实是一次很好的“网络架构设计思维”训练。它告诉我CNN设计不是把模块堆起来就完事而是要考虑感受野覆盖、参数平衡、梯度传播、训练限制这几个维度的联合优化。下一章如果继续这个系列我可能会讲怎么把Inception作为backbone接到目标检测或分割任务里那才是经典结构在现代框架下发光发热的地方。
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
