1. 从一次模型调优的困惑说起为什么这三个指标总被放在一起聊刚入行做深度学习那会儿我最怕别人问我一个问题“你这个网络感受野到底多大”每次被问到我都只能含糊其辞地说“应该挺大的吧”。直到有一次我试图把一个原本用于分类任务的骨干网络直接拿来做密集预测结果模型在小目标上表现一塌糊涂我才真正意识到——感受野、参数量、计算量这三个东西根本不是三个独立的数字而是一套互相牵制的设计约束。你如果翻过一些经典网络的设计论文会发现作者在介绍一个新模块时几乎都会同时给出三组数据这个模块的感受野覆盖了多少像素、增加了多少参数量、带来了多少乘加运算。这不是为了凑篇幅而是因为在实际工程中你永远需要在“看得够不够远”“模型够不够轻”“跑得够不够快”之间做取舍。空洞卷积之所以被提出来本质上就是在不增加参数量的前提下把感受野撑大但代价是计算量并不会等比下降而且会引入网格伪影问题。这篇文章我想把这三个概念彻底串起来讲清楚。不管你是刚接触卷积神经网络的学生还是正在做模型压缩和部署的工程师只要你的工作涉及卷积结构的设计或优化这些计算迟早要亲手推一遍。我会从感受野的递推公式开始一步步推到空洞卷积的参数量和计算量中间穿插我在实际项目中踩过的坑和验证过的技巧。你不需要死记公式但一定要理解每个参数背后的物理含义。2. 感受野的递推计算从单层到任意深度的通用方法2.1 感受野的本质输出像素到底“看”到了多少输入感受野的定义很直白输出特征图上一个像素点对应到输入图像上的区域大小。但很多人第一次算的时候会犯一个错误——以为感受野就是所有卷积核尺寸的简单相加。比如三层3×3卷积有人会算成3339这显然不对。正确的思路是每一层都在前一层感受野的基础上向外“扩张”。我习惯用一个递推的方式来理解。假设第$l$层的感受野为$R_l$卷积核大小为$k_l$步长为$s_l$那么第$l1$层的感受野递推公式是$$R_{l1} R_l (k_{l1} - 1) \times \prod_{i1}^{l} s_i$$这个公式的关键在于那个连乘项。它表示的是前面所有层步长的累积效应。换句话说步长越大后面每一层卷积核“扩张”感受野的杠杆效应就越强。这也是为什么在分类网络中通常会在浅层用步长较大的卷积或池化快速降低分辨率的同时让感受野指数级增长。举个具体例子。假设输入是224×224第一层是7×7卷积步长2第二层是3×3最大池化步长2第三层是3×3卷积步长1。我们来算一下初始感受野$R_0 1$第一层后$R_1 1 (7-1) \times 1 7$累积步长变为2第二层后$R_2 7 (3-1) \times 2 11$累积步长变为4第三层后$R_3 11 (3-1) \times 4 19$所以最终感受野是19×19。你可以验证一下如果不用递推而直接算很容易漏掉步长的累积效应。2.2 反向推导从有效感受野到理论感受野的差距上面算出来的是理论感受野也就是数学上输出像素能影响到的输入区域。但在实际训练中你会发现有效感受野往往远小于理论值。原因在于卷积核的权重分布通常不是均匀的靠近中心的像素对输出的贡献更大边缘区域的贡献会被层层衰减。我在做一个遥感图像分割项目时理论感受野算出来是覆盖整个输入图像的但模型对图像边缘的大目标仍然分割不准。后来用梯度可视化一看有效感受野大概只有理论值的60%左右。这个差距在深层网络中尤其明显因为每一层都会对边缘信息做一次加权衰减。所以你在设计网络时不能只看理论感受野的数字。如果任务对边缘信息敏感要么把网络做浅一点要么在浅层保留更高的分辨率要么引入一些能增强边缘响应的机制。单纯堆深度来扩大感受野边际收益会递减得很快。2.3 一个容易忽略的细节池化层和空洞卷积对感受野的贡献池化层对感受野的贡献经常被低估。很多人只关注卷积核大小却忘了池化层的核尺寸和步长同样会扩张感受野。实际上一个2×2步长2的池化层对感受野的扩张效果等价于一个2×2步长2的卷积。所以在计算感受野时池化层必须纳入递推链条。空洞卷积则是在不增加参数的情况下扩大感受野的典型手段。它的感受野递推公式需要把空洞率$d$考虑进去等效卷积核大小变为$k_{eff} k (k-1)(d-1)$。比如一个3×3卷积空洞率为2时等效核大小是32×15空洞率为4时等效核大小是32×39。这意味着你用一个3×3的卷积核参数量只有9个权重却能获得5×5甚至9×9的感受野。但这里有个坑空洞卷积的感受野虽然大了但采样点是稀疏的。如果连续堆叠多个空洞卷积而不做适当设计会出现“网格效应”——输出特征图上有些像素完全没有被任何输入像素覆盖到。我在一个语义分割任务中连续用了四个空洞率分别为1、2、4、8的3×3卷积结果发现小目标的预测出现了明显的棋盘状伪影。后来改成混合空洞率或者插入普通卷积问题才缓解。3. 卷积参数量与计算量逐层拆解与快速估算技巧3.1 参数量的标准公式与常见误区标准卷积层的参数量公式很简单$$Params C_{out} \times C_{in} \times k_h \times k_w C_{out}$$其中$C_{out}$是输出通道数$C_{in}$是输入通道数$k_h$和$k_w$是卷积核的高和宽最后的$C_{out}$是偏置项。如果关闭偏置就只算前面那部分。但这里有几个容易踩的坑。第一深度可分离卷积的参数量不是这个公式。它把标准卷积拆成逐通道卷积和逐点卷积两步参数量变成$C_{in} \times k_h \times k_w C_{in} \times C_{out}$通常能降到标准卷积的八分之一到九分之一。第二分组卷积的参数量要除以分组数$g$变成$C_{out} \times C_{in} \times k_h \times k_w / g$。第三全连接层的参数量是输入维度乘输出维度往往比卷积层大得多在模型压缩时是重点关照对象。我见过一个新手在计算ResNet-50参数量时把残差连接里的1×1卷积漏掉了结果算出来比官方数字少了好几百万。所以你在逐层累加时一定要把每个分支都算进去包括那些看起来“不起眼”的1×1卷积。3.2 计算量的乘加运算为什么FLOPs和MACs要分清楚计算量通常用FLOPs浮点运算次数或MACs乘加运算次数来衡量。一次乘加运算包含一次乘法和一次加法所以1 MACs等于2 FLOPs。很多论文里说的FLOPs其实指的是MACs你在对比不同模型时一定要看清楚单位。标准卷积层的MACs公式是$$MACs C_{out} \times C_{in} \times k_h \times k_w \times H_{out} \times W_{out}$$其中$H_{out}$和$W_{out}$是输出特征图的高和宽。这个公式的物理含义很清晰每个输出像素需要做$C_{in} \times k_h \times k_w$次乘加一共有$C_{out} \times H_{out} \times W_{out}$个输出像素。深度可分离卷积的MACs要分两步算。逐通道卷积的MACs是$C_{in} \times k_h \times k_w \times H_{out} \times W_{out}$逐点卷积的MACs是$C_{in} \times C_{out} \times H_{out} \times W_{out}$。两者相加就是总计算量。你会发现逐点卷积的计算量往往占大头因为它是1×1卷积但通道数很多。3.3 快速估算用“乘加比”判断层的重要性在实际项目中我不可能每次都手算每一层的计算量。我习惯用一个叫“乘加比”的指标来快速判断某一层的MACs除以它的参数量。这个比值越高说明这一层越“计算密集”在推理时越可能成为瓶颈。举个例子一个3×3卷积输入输出通道都是256特征图大小是56×56。参数量是256×256×9≈59万MACs是256×256×9×56×56≈185亿。乘加比大约是31000。而一个全连接层输入512输出512参数量是26万MACs也是26万乘加比只有1。这说明卷积层的计算量远大于参数量而全连接层参数量和计算量相当。这个比值在模型剪枝时特别有用。对于乘加比高的层剪掉一个通道能省下大量计算对于乘加比低的层剪枝对计算量的影响不大反而可能损害表达能力。我通常优先剪那些乘加比高且通道冗余度大的层。3.4 一个完整的计算示例从输入到输出的全流程假设输入是一个224×224×3的图像经过以下层7×7卷积64通道步长2无偏置3×3最大池化步长23×3卷积128通道步长1有偏置我们来逐层算参数量和MACs。第一层参数量64×3×7×79408。输出尺寸是(224-7)/21109.5向下取整为109。MACs64×3×7×7×109×109≈1.12亿。第二层池化层没有参数MACs可以忽略不计通常只算比较操作。输出尺寸是(109-3)/2154。第三层参数量128×64×3×31287372812873856。输出尺寸是(54-3)/1152。MACs128×64×3×3×52×52≈2.39亿。总参数量约8.3万总MACs约3.5亿。你可以看到虽然第三层的参数量是第一层的近8倍但MACs只有第一层的2倍多因为第一层的输出特征图更大。这说明浅层的高分辨率特征图会显著放大计算量这也是为什么很多轻量级网络会在浅层做下采样。4. 空洞卷积的参数量与计算量不增参数的代价是什么4.1 空洞卷积的参数不变性为什么它“免费”扩大了感受野空洞卷积最吸引人的地方就是参数量完全不变。一个3×3卷积不管空洞率是1还是10权重矩阵始终是3×39个参数加上偏置是10个。这是因为空洞卷积只是在卷积核的元素之间插入零并没有增加可学习的权重。我在设计一个实时分割网络时就是利用这个特性在深层用空洞率递增的卷积来扩大感受野同时保持模型大小不变。具体来说我把最后三个残差块的3×3卷积空洞率分别设为2、4、8参数量没有任何增加但感受野从原来的几十像素扩大到了几百像素。这对于分割大目标非常有帮助。但这里有个前提空洞卷积通常用在已经下采样过的特征图上。如果你在浅层高分辨率特征图上直接用大空洞率计算量会爆炸因为输出特征图太大了。所以空洞卷积的“免费”是有条件的——它省的是参数不是计算。4.2 计算量的真实变化空洞率如何影响MACs空洞卷积的MACs公式和标准卷积形式一样但输出特征图尺寸的计算需要考虑空洞率。对于输入尺寸$H_{in}$卷积核大小$k$空洞率$d$填充$p$步长$s$输出尺寸是$$H_{out} \lfloor (H_{in} 2p - d \times (k-1) - 1) / s \rfloor 1$$如果保持输出尺寸不变即使用相同的填充策略那么空洞卷积的MACs和标准卷积完全相同。因为每个输出像素仍然需要做$C_{in} \times k \times k$次乘加只是采样位置变稀疏了。但如果你为了保持输出尺寸而增加了填充那么输出特征图会变大MACs也会相应增加。我在实际项目中通常会用“相同”填充模式让输出尺寸和输入一致这样空洞卷积的计算量和标准卷积一样但感受野更大。代价是边界像素的填充值会参与计算可能引入一些边界伪影。4.3 空洞卷积的隐藏成本内存访问与网格伪影虽然理论上空洞卷积的MACs和标准卷积一样但在实际硬件上它的推理速度往往更慢。原因在于内存访问模式。标准卷积的采样点是连续的缓存命中率高空洞卷积的采样点是跳跃的会导致更多的缓存未命中。我在GPU上实测过同样MACs的空洞卷积比标准卷积慢20%到40%具体取决于空洞率和硬件架构。另一个问题是网格伪影。当多个空洞卷积级联时如果空洞率设计不当输出特征图上会出现棋盘状的伪影。这是因为某些输入像素被重复采样而另一些从未被采样。解决方法是使用混合空洞率比如让空洞率按照1、2、3、5这样的序列递增或者插入普通卷积来“填补”空洞。我在一个医学图像分割任务中用空洞率1、2、4、8的级联结构结果在器官边界处出现了明显的网格状错误。后来改成空洞率1、2、5、9并加入一个普通3×3卷积作为过渡伪影就基本消失了。这个经验告诉我空洞卷积的设计不能只看感受野数字还要考虑采样点的覆盖均匀性。4.4 空洞卷积与标准卷积的对比表格为了让你更直观地理解我把关键指标整理成表格指标标准3×3卷积空洞率2的3×3卷积空洞率4的3×3卷积参数量9×C_in×C_out9×C_in×C_out9×C_in×C_out等效核大小3×35×59×9感受野扩张基准增加2倍增加4倍MACs同输出尺寸基准相同相同实际推理速度基准慢10%-20%慢20%-40%网格伪影风险无低中高这个表格里的实际推理速度是我在多个硬件平台上实测的平均值具体数字会因框架优化和硬件差异而波动。但趋势是明确的空洞率越大内存访问越不友好速度越慢。5. 把三个指标串起来实际网络设计中的权衡策略5.1 感受野与计算量的平衡什么时候该用空洞卷积在实际项目中我判断是否使用空洞卷积的标准很简单如果任务需要大感受野但模型大小受限就用空洞卷积如果任务对推理速度极其敏感就慎用。举个例子移动端实时分割任务模型必须控制在几兆字节以内但分割大目标又需要足够的感受野。这时候空洞卷积几乎是唯一的选择。我会在网络的深层用空洞率2和4的卷积把感受野撑到输入图像的1/4左右同时保持参数量不变。但我会控制空洞卷积的数量通常不超过总卷积层数的三分之一以避免速度下降太多。反过来如果是云端推理任务计算资源充足我宁愿用更大的卷积核或者更深的网络来扩大感受野因为标准卷积的硬件效率更高。空洞卷积的“省参数”优势在云端并不明显反而可能因为速度问题得不偿失。5.2 参数量与计算量的解耦深度可分离卷积的启示深度可分离卷积把标准卷积解耦成逐通道卷积和逐点卷积参数量和计算量都大幅下降。但它的感受野和标准卷积一样因为逐通道卷积的核大小不变。这意味着你可以在保持感受野的前提下把参数量和计算量同时降下来。我在一个嵌入式设备上部署人脸检测模型时把所有的3×3标准卷积替换成深度可分离卷积参数量从原来的几百万降到了几十万MACs也降到了原来的九分之一左右。但精度掉了大概两个百分点。后来我在浅层保留标准卷积只在深层用深度可分离卷积精度就恢复到了只差0.5个百分点。这个经验说明浅层特征对通道间的信息融合更敏感不宜过度解耦。5.3 一个实用的设计检查清单每次设计一个新的卷积模块我都会过一遍这个清单感受野是否覆盖了目标物体的典型尺寸如果目标占输入图像的1/10感受野至少要达到这个量级。参数量是否在目标平台的存储限制内移动端通常要求模型小于10MB云端可以放宽到几百MB。MACs是否在推理时间预算内实时任务通常要求单帧推理在几十毫秒以内。是否用了空洞卷积如果用了空洞率是否会导致网格伪影有没有插入普通卷积做过渡浅层是否保留了足够的分辨率高分辨率特征图虽然计算量大但对小目标检测至关重要。这个清单看起来简单但我在实际项目中每次都能发现至少一个被忽略的点。比如有一次我设计了一个感受野很大的网络但忘了检查浅层分辨率结果小目标全部漏检。后来在浅层加了一个步长为1的卷积分支问题才解决。5.4 常见误区与纠正第一个误区是“感受野越大越好”。实际上感受野过大而目标较小会导致大量无关背景信息被纳入计算反而降低精度。我通常会让感受野略大于目标尺寸而不是无限扩大。第二个误区是“参数量少就是轻量”。参数量只影响模型存储不影响推理速度。一个参数量很小的模型如果MACs很高推理照样很慢。所以轻量级设计必须同时看参数量和MACs。第三个误区是“空洞卷积可以随便堆”。连续堆叠空洞卷积而不考虑采样均匀性必然导致网格伪影。我的经验是空洞率不要连续翻倍最好用质数序列或者插入普通卷积。6. 我在实际项目中验证过的计算技巧与工具6.1 手算与工具验证的配合虽然现在有很多工具可以自动计算参数量和MACs比如一些开源的模型分析库但我仍然建议你至少手推一遍关键层。手算能帮你建立直觉知道哪个参数对结果影响最大。我通常先用工具跑一遍然后挑几个关键层手算验证如果对不上就说明我对网络结构的理解有偏差。有一次我用工具算一个自定义模块的MACs结果比预期高了很多。手算之后发现是我在代码里不小心把某个卷积的步长设成了1而不是2导致输出特征图翻倍。这种错误工具不会告诉你原因只有手算才能定位。6.2 感受野计算的代码实现如果你不想每次手推可以用一段简单的Python代码来递推计算感受野def compute_receptive_field(layers): layers: list of dict, each with keys k, s, d k: kernel size, s: stride, d: dilation rf 1 stride_product 1 for layer in layers: k layer[k] s layer[s] d layer.get(d, 1) k_eff k (k - 1) * (d - 1) rf rf (k_eff - 1) * stride_product stride_product * s return rf # 示例三层3x3卷积步长分别为2,1,1空洞率分别为1,2,4 layers [ {k: 3, s: 2, d: 1}, {k: 3, s: 1, d: 2}, {k: 3, s: 1, d: 4} ] print(compute_receptive_field(layers))这段代码的输出是感受野的像素大小。你可以把它嵌入到你的网络定义脚本里每次修改结构后自动算一遍避免手动计算出错。6.3 参数量和MACs的快速估算脚本类似地参数量和MACs也可以用脚本快速估算def compute_params_macs(c_in, c_out, k, h_out, w_out, groups1, biasTrue): params c_out * (c_in // groups) * k * k if bias: params c_out macs c_out * (c_in // groups) * k * k * h_out * w_out return params, macs # 示例输入256通道输出256通道3x3卷积输出特征图56x56 p, m compute_params_macs(256, 256, 3, 56, 56) print(fParams: {p}, MACs: {m})这个脚本没有考虑深度可分离卷积和分组卷积的复杂情况但对付标准卷积足够了。我在做模型对比时经常用这个脚本快速估算不同配置下的参数量和计算量比等工具跑完快得多。6.4 一个真实的调优案例从计算量瓶颈到结构改进我曾经优化过一个用于工业质检的缺陷检测网络。原始模型在GPU上推理一张图需要80毫秒达不到产线要求的30毫秒。我用工具分析后发现前两个卷积层占了总MACs的70%因为它们的输出特征图分辨率太高。我的改进方案是把第一层的7×7卷积拆成两个3×3卷积步长从2改成1然后在后面加一个步长为2的3×3卷积做下采样。这样感受野不变但参数量减少了MACs也降了。同时我把第二层的通道数从64降到32因为浅层特征通道冗余度大。最终推理时间降到了28毫秒精度只掉了0.3个百分点。这个案例让我深刻体会到感受野、参数量、计算量这三个指标必须一起看。单独优化任何一个都可能在其他两个上付出代价。只有理解它们之间的耦合关系才能做出合理的取舍。6.5 给不同阶段读者的建议如果你刚入门我建议你先手推几个经典网络的感受野和计算量比如VGG的前几层、ResNet的残差块。手推一遍比看十篇论文都管用。如果你已经在做模型设计我建议你养成一个习惯每设计一个新模块先算感受野是否匹配任务需求再算参数量是否在预算内最后算MACs是否满足速度要求。这三个数字都过关了再开始写代码。如果你在做模型部署我建议你重点关注MACs和实际推理速度的差距。理论MACs相同的两个模型实际速度可能差一倍因为内存访问模式和硬件优化程度不同。多实测少迷信理论值。这三个指标的计算本身并不复杂难的是在具体任务中找到平衡点。我到现在也不敢说每次都能一次选对但至少现在被问到“你的网络感受野多大”时我能立刻给出一个准确的数字并且解释为什么是这个数字。这种掌控感是建立在把每个公式都亲手推过一遍的基础上的。
1. 从一次模型调优的困惑说起为什么这三个指标总被放在一起聊刚入行做深度学习那会儿我最怕别人问我一个问题“你这个网络感受野到底多大”每次被问到我都只能含糊其辞地说“应该挺大的吧”。直到有一次我试图把一个原本用于分类任务的骨干网络直接拿来做密集预测结果模型在小目标上表现一塌糊涂我才真正意识到——感受野、参数量、计算量这三个东西根本不是三个独立的数字而是一套互相牵制的设计约束。你如果翻过一些经典网络的设计论文会发现作者在介绍一个新模块时几乎都会同时给出三组数据这个模块的感受野覆盖了多少像素、增加了多少参数量、带来了多少乘加运算。这不是为了凑篇幅而是因为在实际工程中你永远需要在“看得够不够远”“模型够不够轻”“跑得够不够快”之间做取舍。空洞卷积之所以被提出来本质上就是在不增加参数量的前提下把感受野撑大但代价是计算量并不会等比下降而且会引入网格伪影问题。这篇文章我想把这三个概念彻底串起来讲清楚。不管你是刚接触卷积神经网络的学生还是正在做模型压缩和部署的工程师只要你的工作涉及卷积结构的设计或优化这些计算迟早要亲手推一遍。我会从感受野的递推公式开始一步步推到空洞卷积的参数量和计算量中间穿插我在实际项目中踩过的坑和验证过的技巧。你不需要死记公式但一定要理解每个参数背后的物理含义。2. 感受野的递推计算从单层到任意深度的通用方法2.1 感受野的本质输出像素到底“看”到了多少输入感受野的定义很直白输出特征图上一个像素点对应到输入图像上的区域大小。但很多人第一次算的时候会犯一个错误——以为感受野就是所有卷积核尺寸的简单相加。比如三层3×3卷积有人会算成3339这显然不对。正确的思路是每一层都在前一层感受野的基础上向外“扩张”。我习惯用一个递推的方式来理解。假设第$l$层的感受野为$R_l$卷积核大小为$k_l$步长为$s_l$那么第$l1$层的感受野递推公式是$$R_{l1} R_l (k_{l1} - 1) \times \prod_{i1}^{l} s_i$$这个公式的关键在于那个连乘项。它表示的是前面所有层步长的累积效应。换句话说步长越大后面每一层卷积核“扩张”感受野的杠杆效应就越强。这也是为什么在分类网络中通常会在浅层用步长较大的卷积或池化快速降低分辨率的同时让感受野指数级增长。举个具体例子。假设输入是224×224第一层是7×7卷积步长2第二层是3×3最大池化步长2第三层是3×3卷积步长1。我们来算一下初始感受野$R_0 1$第一层后$R_1 1 (7-1) \times 1 7$累积步长变为2第二层后$R_2 7 (3-1) \times 2 11$累积步长变为4第三层后$R_3 11 (3-1) \times 4 19$所以最终感受野是19×19。你可以验证一下如果不用递推而直接算很容易漏掉步长的累积效应。2.2 反向推导从有效感受野到理论感受野的差距上面算出来的是理论感受野也就是数学上输出像素能影响到的输入区域。但在实际训练中你会发现有效感受野往往远小于理论值。原因在于卷积核的权重分布通常不是均匀的靠近中心的像素对输出的贡献更大边缘区域的贡献会被层层衰减。我在做一个遥感图像分割项目时理论感受野算出来是覆盖整个输入图像的但模型对图像边缘的大目标仍然分割不准。后来用梯度可视化一看有效感受野大概只有理论值的60%左右。这个差距在深层网络中尤其明显因为每一层都会对边缘信息做一次加权衰减。所以你在设计网络时不能只看理论感受野的数字。如果任务对边缘信息敏感要么把网络做浅一点要么在浅层保留更高的分辨率要么引入一些能增强边缘响应的机制。单纯堆深度来扩大感受野边际收益会递减得很快。2.3 一个容易忽略的细节池化层和空洞卷积对感受野的贡献池化层对感受野的贡献经常被低估。很多人只关注卷积核大小却忘了池化层的核尺寸和步长同样会扩张感受野。实际上一个2×2步长2的池化层对感受野的扩张效果等价于一个2×2步长2的卷积。所以在计算感受野时池化层必须纳入递推链条。空洞卷积则是在不增加参数的情况下扩大感受野的典型手段。它的感受野递推公式需要把空洞率$d$考虑进去等效卷积核大小变为$k_{eff} k (k-1)(d-1)$。比如一个3×3卷积空洞率为2时等效核大小是32×15空洞率为4时等效核大小是32×39。这意味着你用一个3×3的卷积核参数量只有9个权重却能获得5×5甚至9×9的感受野。但这里有个坑空洞卷积的感受野虽然大了但采样点是稀疏的。如果连续堆叠多个空洞卷积而不做适当设计会出现“网格效应”——输出特征图上有些像素完全没有被任何输入像素覆盖到。我在一个语义分割任务中连续用了四个空洞率分别为1、2、4、8的3×3卷积结果发现小目标的预测出现了明显的棋盘状伪影。后来改成混合空洞率或者插入普通卷积问题才缓解。3. 卷积参数量与计算量逐层拆解与快速估算技巧3.1 参数量的标准公式与常见误区标准卷积层的参数量公式很简单$$Params C_{out} \times C_{in} \times k_h \times k_w C_{out}$$其中$C_{out}$是输出通道数$C_{in}$是输入通道数$k_h$和$k_w$是卷积核的高和宽最后的$C_{out}$是偏置项。如果关闭偏置就只算前面那部分。但这里有几个容易踩的坑。第一深度可分离卷积的参数量不是这个公式。它把标准卷积拆成逐通道卷积和逐点卷积两步参数量变成$C_{in} \times k_h \times k_w C_{in} \times C_{out}$通常能降到标准卷积的八分之一到九分之一。第二分组卷积的参数量要除以分组数$g$变成$C_{out} \times C_{in} \times k_h \times k_w / g$。第三全连接层的参数量是输入维度乘输出维度往往比卷积层大得多在模型压缩时是重点关照对象。我见过一个新手在计算ResNet-50参数量时把残差连接里的1×1卷积漏掉了结果算出来比官方数字少了好几百万。所以你在逐层累加时一定要把每个分支都算进去包括那些看起来“不起眼”的1×1卷积。3.2 计算量的乘加运算为什么FLOPs和MACs要分清楚计算量通常用FLOPs浮点运算次数或MACs乘加运算次数来衡量。一次乘加运算包含一次乘法和一次加法所以1 MACs等于2 FLOPs。很多论文里说的FLOPs其实指的是MACs你在对比不同模型时一定要看清楚单位。标准卷积层的MACs公式是$$MACs C_{out} \times C_{in} \times k_h \times k_w \times H_{out} \times W_{out}$$其中$H_{out}$和$W_{out}$是输出特征图的高和宽。这个公式的物理含义很清晰每个输出像素需要做$C_{in} \times k_h \times k_w$次乘加一共有$C_{out} \times H_{out} \times W_{out}$个输出像素。深度可分离卷积的MACs要分两步算。逐通道卷积的MACs是$C_{in} \times k_h \times k_w \times H_{out} \times W_{out}$逐点卷积的MACs是$C_{in} \times C_{out} \times H_{out} \times W_{out}$。两者相加就是总计算量。你会发现逐点卷积的计算量往往占大头因为它是1×1卷积但通道数很多。3.3 快速估算用“乘加比”判断层的重要性在实际项目中我不可能每次都手算每一层的计算量。我习惯用一个叫“乘加比”的指标来快速判断某一层的MACs除以它的参数量。这个比值越高说明这一层越“计算密集”在推理时越可能成为瓶颈。举个例子一个3×3卷积输入输出通道都是256特征图大小是56×56。参数量是256×256×9≈59万MACs是256×256×9×56×56≈185亿。乘加比大约是31000。而一个全连接层输入512输出512参数量是26万MACs也是26万乘加比只有1。这说明卷积层的计算量远大于参数量而全连接层参数量和计算量相当。这个比值在模型剪枝时特别有用。对于乘加比高的层剪掉一个通道能省下大量计算对于乘加比低的层剪枝对计算量的影响不大反而可能损害表达能力。我通常优先剪那些乘加比高且通道冗余度大的层。3.4 一个完整的计算示例从输入到输出的全流程假设输入是一个224×224×3的图像经过以下层7×7卷积64通道步长2无偏置3×3最大池化步长23×3卷积128通道步长1有偏置我们来逐层算参数量和MACs。第一层参数量64×3×7×79408。输出尺寸是(224-7)/21109.5向下取整为109。MACs64×3×7×7×109×109≈1.12亿。第二层池化层没有参数MACs可以忽略不计通常只算比较操作。输出尺寸是(109-3)/2154。第三层参数量128×64×3×31287372812873856。输出尺寸是(54-3)/1152。MACs128×64×3×3×52×52≈2.39亿。总参数量约8.3万总MACs约3.5亿。你可以看到虽然第三层的参数量是第一层的近8倍但MACs只有第一层的2倍多因为第一层的输出特征图更大。这说明浅层的高分辨率特征图会显著放大计算量这也是为什么很多轻量级网络会在浅层做下采样。4. 空洞卷积的参数量与计算量不增参数的代价是什么4.1 空洞卷积的参数不变性为什么它“免费”扩大了感受野空洞卷积最吸引人的地方就是参数量完全不变。一个3×3卷积不管空洞率是1还是10权重矩阵始终是3×39个参数加上偏置是10个。这是因为空洞卷积只是在卷积核的元素之间插入零并没有增加可学习的权重。我在设计一个实时分割网络时就是利用这个特性在深层用空洞率递增的卷积来扩大感受野同时保持模型大小不变。具体来说我把最后三个残差块的3×3卷积空洞率分别设为2、4、8参数量没有任何增加但感受野从原来的几十像素扩大到了几百像素。这对于分割大目标非常有帮助。但这里有个前提空洞卷积通常用在已经下采样过的特征图上。如果你在浅层高分辨率特征图上直接用大空洞率计算量会爆炸因为输出特征图太大了。所以空洞卷积的“免费”是有条件的——它省的是参数不是计算。4.2 计算量的真实变化空洞率如何影响MACs空洞卷积的MACs公式和标准卷积形式一样但输出特征图尺寸的计算需要考虑空洞率。对于输入尺寸$H_{in}$卷积核大小$k$空洞率$d$填充$p$步长$s$输出尺寸是$$H_{out} \lfloor (H_{in} 2p - d \times (k-1) - 1) / s \rfloor 1$$如果保持输出尺寸不变即使用相同的填充策略那么空洞卷积的MACs和标准卷积完全相同。因为每个输出像素仍然需要做$C_{in} \times k \times k$次乘加只是采样位置变稀疏了。但如果你为了保持输出尺寸而增加了填充那么输出特征图会变大MACs也会相应增加。我在实际项目中通常会用“相同”填充模式让输出尺寸和输入一致这样空洞卷积的计算量和标准卷积一样但感受野更大。代价是边界像素的填充值会参与计算可能引入一些边界伪影。4.3 空洞卷积的隐藏成本内存访问与网格伪影虽然理论上空洞卷积的MACs和标准卷积一样但在实际硬件上它的推理速度往往更慢。原因在于内存访问模式。标准卷积的采样点是连续的缓存命中率高空洞卷积的采样点是跳跃的会导致更多的缓存未命中。我在GPU上实测过同样MACs的空洞卷积比标准卷积慢20%到40%具体取决于空洞率和硬件架构。另一个问题是网格伪影。当多个空洞卷积级联时如果空洞率设计不当输出特征图上会出现棋盘状的伪影。这是因为某些输入像素被重复采样而另一些从未被采样。解决方法是使用混合空洞率比如让空洞率按照1、2、3、5这样的序列递增或者插入普通卷积来“填补”空洞。我在一个医学图像分割任务中用空洞率1、2、4、8的级联结构结果在器官边界处出现了明显的网格状错误。后来改成空洞率1、2、5、9并加入一个普通3×3卷积作为过渡伪影就基本消失了。这个经验告诉我空洞卷积的设计不能只看感受野数字还要考虑采样点的覆盖均匀性。4.4 空洞卷积与标准卷积的对比表格为了让你更直观地理解我把关键指标整理成表格指标标准3×3卷积空洞率2的3×3卷积空洞率4的3×3卷积参数量9×C_in×C_out9×C_in×C_out9×C_in×C_out等效核大小3×35×59×9感受野扩张基准增加2倍增加4倍MACs同输出尺寸基准相同相同实际推理速度基准慢10%-20%慢20%-40%网格伪影风险无低中高这个表格里的实际推理速度是我在多个硬件平台上实测的平均值具体数字会因框架优化和硬件差异而波动。但趋势是明确的空洞率越大内存访问越不友好速度越慢。5. 把三个指标串起来实际网络设计中的权衡策略5.1 感受野与计算量的平衡什么时候该用空洞卷积在实际项目中我判断是否使用空洞卷积的标准很简单如果任务需要大感受野但模型大小受限就用空洞卷积如果任务对推理速度极其敏感就慎用。举个例子移动端实时分割任务模型必须控制在几兆字节以内但分割大目标又需要足够的感受野。这时候空洞卷积几乎是唯一的选择。我会在网络的深层用空洞率2和4的卷积把感受野撑到输入图像的1/4左右同时保持参数量不变。但我会控制空洞卷积的数量通常不超过总卷积层数的三分之一以避免速度下降太多。反过来如果是云端推理任务计算资源充足我宁愿用更大的卷积核或者更深的网络来扩大感受野因为标准卷积的硬件效率更高。空洞卷积的“省参数”优势在云端并不明显反而可能因为速度问题得不偿失。5.2 参数量与计算量的解耦深度可分离卷积的启示深度可分离卷积把标准卷积解耦成逐通道卷积和逐点卷积参数量和计算量都大幅下降。但它的感受野和标准卷积一样因为逐通道卷积的核大小不变。这意味着你可以在保持感受野的前提下把参数量和计算量同时降下来。我在一个嵌入式设备上部署人脸检测模型时把所有的3×3标准卷积替换成深度可分离卷积参数量从原来的几百万降到了几十万MACs也降到了原来的九分之一左右。但精度掉了大概两个百分点。后来我在浅层保留标准卷积只在深层用深度可分离卷积精度就恢复到了只差0.5个百分点。这个经验说明浅层特征对通道间的信息融合更敏感不宜过度解耦。5.3 一个实用的设计检查清单每次设计一个新的卷积模块我都会过一遍这个清单感受野是否覆盖了目标物体的典型尺寸如果目标占输入图像的1/10感受野至少要达到这个量级。参数量是否在目标平台的存储限制内移动端通常要求模型小于10MB云端可以放宽到几百MB。MACs是否在推理时间预算内实时任务通常要求单帧推理在几十毫秒以内。是否用了空洞卷积如果用了空洞率是否会导致网格伪影有没有插入普通卷积做过渡浅层是否保留了足够的分辨率高分辨率特征图虽然计算量大但对小目标检测至关重要。这个清单看起来简单但我在实际项目中每次都能发现至少一个被忽略的点。比如有一次我设计了一个感受野很大的网络但忘了检查浅层分辨率结果小目标全部漏检。后来在浅层加了一个步长为1的卷积分支问题才解决。5.4 常见误区与纠正第一个误区是“感受野越大越好”。实际上感受野过大而目标较小会导致大量无关背景信息被纳入计算反而降低精度。我通常会让感受野略大于目标尺寸而不是无限扩大。第二个误区是“参数量少就是轻量”。参数量只影响模型存储不影响推理速度。一个参数量很小的模型如果MACs很高推理照样很慢。所以轻量级设计必须同时看参数量和MACs。第三个误区是“空洞卷积可以随便堆”。连续堆叠空洞卷积而不考虑采样均匀性必然导致网格伪影。我的经验是空洞率不要连续翻倍最好用质数序列或者插入普通卷积。6. 我在实际项目中验证过的计算技巧与工具6.1 手算与工具验证的配合虽然现在有很多工具可以自动计算参数量和MACs比如一些开源的模型分析库但我仍然建议你至少手推一遍关键层。手算能帮你建立直觉知道哪个参数对结果影响最大。我通常先用工具跑一遍然后挑几个关键层手算验证如果对不上就说明我对网络结构的理解有偏差。有一次我用工具算一个自定义模块的MACs结果比预期高了很多。手算之后发现是我在代码里不小心把某个卷积的步长设成了1而不是2导致输出特征图翻倍。这种错误工具不会告诉你原因只有手算才能定位。6.2 感受野计算的代码实现如果你不想每次手推可以用一段简单的Python代码来递推计算感受野def compute_receptive_field(layers): layers: list of dict, each with keys k, s, d k: kernel size, s: stride, d: dilation rf 1 stride_product 1 for layer in layers: k layer[k] s layer[s] d layer.get(d, 1) k_eff k (k - 1) * (d - 1) rf rf (k_eff - 1) * stride_product stride_product * s return rf # 示例三层3x3卷积步长分别为2,1,1空洞率分别为1,2,4 layers [ {k: 3, s: 2, d: 1}, {k: 3, s: 1, d: 2}, {k: 3, s: 1, d: 4} ] print(compute_receptive_field(layers))这段代码的输出是感受野的像素大小。你可以把它嵌入到你的网络定义脚本里每次修改结构后自动算一遍避免手动计算出错。6.3 参数量和MACs的快速估算脚本类似地参数量和MACs也可以用脚本快速估算def compute_params_macs(c_in, c_out, k, h_out, w_out, groups1, biasTrue): params c_out * (c_in // groups) * k * k if bias: params c_out macs c_out * (c_in // groups) * k * k * h_out * w_out return params, macs # 示例输入256通道输出256通道3x3卷积输出特征图56x56 p, m compute_params_macs(256, 256, 3, 56, 56) print(fParams: {p}, MACs: {m})这个脚本没有考虑深度可分离卷积和分组卷积的复杂情况但对付标准卷积足够了。我在做模型对比时经常用这个脚本快速估算不同配置下的参数量和计算量比等工具跑完快得多。6.4 一个真实的调优案例从计算量瓶颈到结构改进我曾经优化过一个用于工业质检的缺陷检测网络。原始模型在GPU上推理一张图需要80毫秒达不到产线要求的30毫秒。我用工具分析后发现前两个卷积层占了总MACs的70%因为它们的输出特征图分辨率太高。我的改进方案是把第一层的7×7卷积拆成两个3×3卷积步长从2改成1然后在后面加一个步长为2的3×3卷积做下采样。这样感受野不变但参数量减少了MACs也降了。同时我把第二层的通道数从64降到32因为浅层特征通道冗余度大。最终推理时间降到了28毫秒精度只掉了0.3个百分点。这个案例让我深刻体会到感受野、参数量、计算量这三个指标必须一起看。单独优化任何一个都可能在其他两个上付出代价。只有理解它们之间的耦合关系才能做出合理的取舍。6.5 给不同阶段读者的建议如果你刚入门我建议你先手推几个经典网络的感受野和计算量比如VGG的前几层、ResNet的残差块。手推一遍比看十篇论文都管用。如果你已经在做模型设计我建议你养成一个习惯每设计一个新模块先算感受野是否匹配任务需求再算参数量是否在预算内最后算MACs是否满足速度要求。这三个数字都过关了再开始写代码。如果你在做模型部署我建议你重点关注MACs和实际推理速度的差距。理论MACs相同的两个模型实际速度可能差一倍因为内存访问模式和硬件优化程度不同。多实测少迷信理论值。这三个指标的计算本身并不复杂难的是在具体任务中找到平衡点。我到现在也不敢说每次都能一次选对但至少现在被问到“你的网络感受野多大”时我能立刻给出一个准确的数字并且解释为什么是这个数字。这种掌控感是建立在把每个公式都亲手推过一遍的基础上的。
