一、时代痛点传统CNN缩放方式的固有缺陷在EfficientNet诞生之前研究者提升模型精度一般采用三种独立策略各自存在明显瓶颈单纯加深网络深度。更深网络可以捕捉更复杂语义但深度过大容易出现梯度消失且深层特征传播路径变长训练难度上升继续增加层数后精度提升会迅速饱和。单纯加宽通道宽度。更宽通道可以提取更多特征但通道过宽后高维特征冗余变多模型容易过拟合同时大量通道带来显存开销激增算力利用率下降。单纯提升输入分辨率。更大图像能保留更多细节但分辨率线性提升会带来FLOPs二次方增长算力成本暴涨边际收益很低。大量实验证明深度、宽度、分辨率三者存在强耦合关系。只放大其中一个维度其余维度跟不上模型无法充分利用新增算力。EfficientNet的核心思想就是协同缩放三个维度让网络各维度能力匹配最大化算力投入带来的精度收益。二、核心创新一复合缩放 Compound Scaling复合缩放公式定义三个缩放因子深度dαϕd\alpha^\phidαϕ宽度wβϕw\beta^\phiwβϕ分辨率rγϕr\gamma^\phirγϕ约束条件α⋅β2⋅γ2≈2\alpha \cdot \beta^2 \cdot \gamma^2 \approx 2α⋅β2⋅γ2≈2保证总FLOPs大约随ϕ\phiϕ指数增长。其中ϕ\phiϕ是全局缩放系数用来控制整体模型大小。α,β,γ\alpha,\beta,\gammaα,β,γ是通过网格搜索在B0上找到的固定常数分别取α1.2,β1.1,γ1.15\alpha1.2,\beta1.1,\gamma1.15α1.2,β1.1,γ1.15。简单理解以B0作为基准小模型当增大ϕ\phiϕ深度、宽度、分辨率按照固定比例一起放大。深度按1.2倍增长通道宽度按1.1倍增长输入分辨率按1.15倍增长。传统做法调大ϕ\phiϕ时只增加深度或者只加宽通道。复合缩放保证三者同步增长每一份额外算力都能转化为有效的特征表达能力。三、核心创新二MBConv 基础模块EfficientNet的基础模块MBConv源自MobileNetV2的倒残差瓶颈结构并加入SE通道注意力是整个网络的基本单元。MBConv完整流程1×1卷积升维扩张通道扩张系数EfficientNet默认扩张比为43×3或5×5深度卷积在高维空间做空间特征提取SE通道注意力模块对每个通道做全局池化学习通道权重对重要特征增强、抑制无用通道1×1卷积降维恢复通道维度末端使用线性激活残差短路连接只有当输入输出通道相同且步长为1时才使用shortcut相加。MBConv对比MobileNetV2倒残差增加SE注意力部分模块使用5×5深度卷积扩大感受野特征提取能力更强保留深度可分离卷积维持低FLOPs特性。四、EfficientNet B0 ~ B7 版本谱系B0是基准模型由神经架构搜索NAS得到输入尺寸224×224。B1~B7通过增大全局缩放系数ϕ\phiϕ复合缩放得到模型从小到大精度逐步提升算力和参数量同步上升。EfficientNet-B0基准模型输入224×224参数量约5.3MFLOPs 0.39B轻量高效适合移动端、嵌入式分类任务。EfficientNet-B1输入240×240在B0基础上小幅放大精度高于B0推理开销适中。EfficientNet-B2输入260×260进一步放大适合中端服务器/边缘GPU。EfficientNet-B3输入300×300算力明显提升精度提升显著。EfficientNet-B4输入380×380中大型模型常用于检测、分割骨干网络。EfficientNet-B5输入456×456大模型训练推理开销较高。EfficientNet-B6输入528×528更大分辨率适合高精度竞赛任务。EfficientNet-B7输入600×600该系列最大版本ImageNet精度最高参数量约66MFLOPs约37B依赖高端GPU训练推理。缩放规律总结B0到B7输入分辨率持续变大网络层数增加通道数加宽。模型精度持续上涨但推理延迟、显存占用同步增加。五、EfficientNet 整体网络结构EfficientNet整体骨架由一个首层标准卷积 多组堆叠MBConv模块 全局平均池化 全连接分类头构成。首层3×3标准卷积步长2对原始图像做初步下采样主体阶段共7个stage每个stage由若干MBConv堆叠而成部分stage步长为2负责特征图下采样不同stage使用3×3/5×5深度卷积尾部1×1卷积升维全局平均池化Dropout最后全连接层输出分类概率。B0的7个stage MBConv堆叠数量固定B1-B7通过复合缩放同步放大每个stage的层数、通道、输入分辨率。六、EfficientNet 核心优势第一复合缩放带来极高算力利用率。相比于传统单独放大深度/宽度/分辨率EfficientNet用更少参数量、更少FLOPs达到更高分类精度算力性价比极高。第二MBConv模块融合倒残差SE注意力。继承MobileNet轻量化卷积优势借助SE注意力自适应强化特征通道在轻量模块内获得很强特征表达能力。第三模型谱系完整选型灵活。B0至B7形成连续模型梯度从端侧小模型到服务器高精度大模型全覆盖可根据硬件算力、精度需求直接选型。第四迁移学习效果优异。EfficientNet作为骨干网络在分类、检测、分割任务上迁移性能很好广泛替代ResNet作为下游任务backbone。七、EfficientNet 局限性第一大分辨率版本推理延迟偏高。B5~B7输入分辨率巨大虽然FLOPs指标看起来尚可但高分辨率带来大量内存读写实际推理速度偏低。第二深度卷积在部分硬件上并行效率一般。大量深度卷积、SE模块的碎片化操作在部分老旧硬件、部分推理框架下并行度不如ResNet规整3×3卷积实测速度会低于理论FLOPs预期。第三对数据增强、训练策略敏感。EfficientNet的优异性能依赖强数据增强AutoAugment、正则化等训练技巧训练策略不到位时精度会明显下降。第四复合缩放系数是在B0上搜索得到的固定值在和ImageNet差异很大的数据集上不一定是最优缩放比例。八、EfficientNet 和前面CNN模型横向对比ResNet依靠残差相加解决深度退化结构简单硬件友好但是提升精度只能单纯加深加宽算力利用率低。DenseNet稠密拼接复用特征参数少但显存占用大推理速度差。MobileNetV2/V3专注极致轻量化深度可分离卷积适合移动端但高精度上限不足。ShuffleNetV2面向硬件MAC优化追求极低延迟更偏向IoT超低算力场景精度上限低于EfficientNet。EfficientNet一套统一缩放范式轻量模块注意力兼顾精度与算力效率B0对标MobileNetB4/B7对标重型ResNet是经典CNN的集大成者。九、全套CNN进化谱系更新AlexNet破冰开局开启深度学习时代VGGNet规整统一确立标准卷积堆叠范式GoogLeNet/Inception稀疏多分支开创多尺度卷积ResNet家族残差连接突破深度网络退化瓶颈DenseNet稠密连接实现极致特征复用MobileNet系列深度可分离卷积移动端轻量化落地ShuffleNet系列通道混洗面向内存开销的硬件级轻量化EfficientNet(B0~B7)复合缩放CNN时代精度与算力效率的集大成之作。十、总结经典CNN时代的集大成网络EfficientNet最大贡献不在于发明了全新卷积算子而是提出复合缩放这一套系统的网络缩放方法论。它告诉我们深度、宽度、分辨率不是独立变量三者协同优化才能最大化算力价值。MBConv模块整合倒残差、深度卷积、SE注意力把轻量化模块的特征表达能力推到新高度。EfficientNet B0~B7形成完整模型家族向下可以替代MobileNet做端侧任务向上可以替代ResNet作为高精度任务骨干。在Transformer大规模兴起之前EfficientNet是传统CNN的巅峰之作至今仍是计算机视觉任务中非常经典的骨干网络选择。读懂EfficientNet标志着完整掌握了从早期CNN到现代高效CNN的全部核心设计思想。
一、时代痛点传统CNN缩放方式的固有缺陷在EfficientNet诞生之前研究者提升模型精度一般采用三种独立策略各自存在明显瓶颈单纯加深网络深度。更深网络可以捕捉更复杂语义但深度过大容易出现梯度消失且深层特征传播路径变长训练难度上升继续增加层数后精度提升会迅速饱和。单纯加宽通道宽度。更宽通道可以提取更多特征但通道过宽后高维特征冗余变多模型容易过拟合同时大量通道带来显存开销激增算力利用率下降。单纯提升输入分辨率。更大图像能保留更多细节但分辨率线性提升会带来FLOPs二次方增长算力成本暴涨边际收益很低。大量实验证明深度、宽度、分辨率三者存在强耦合关系。只放大其中一个维度其余维度跟不上模型无法充分利用新增算力。EfficientNet的核心思想就是协同缩放三个维度让网络各维度能力匹配最大化算力投入带来的精度收益。二、核心创新一复合缩放 Compound Scaling复合缩放公式定义三个缩放因子深度dαϕd\alpha^\phidαϕ宽度wβϕw\beta^\phiwβϕ分辨率rγϕr\gamma^\phirγϕ约束条件α⋅β2⋅γ2≈2\alpha \cdot \beta^2 \cdot \gamma^2 \approx 2α⋅β2⋅γ2≈2保证总FLOPs大约随ϕ\phiϕ指数增长。其中ϕ\phiϕ是全局缩放系数用来控制整体模型大小。α,β,γ\alpha,\beta,\gammaα,β,γ是通过网格搜索在B0上找到的固定常数分别取α1.2,β1.1,γ1.15\alpha1.2,\beta1.1,\gamma1.15α1.2,β1.1,γ1.15。简单理解以B0作为基准小模型当增大ϕ\phiϕ深度、宽度、分辨率按照固定比例一起放大。深度按1.2倍增长通道宽度按1.1倍增长输入分辨率按1.15倍增长。传统做法调大ϕ\phiϕ时只增加深度或者只加宽通道。复合缩放保证三者同步增长每一份额外算力都能转化为有效的特征表达能力。三、核心创新二MBConv 基础模块EfficientNet的基础模块MBConv源自MobileNetV2的倒残差瓶颈结构并加入SE通道注意力是整个网络的基本单元。MBConv完整流程1×1卷积升维扩张通道扩张系数EfficientNet默认扩张比为43×3或5×5深度卷积在高维空间做空间特征提取SE通道注意力模块对每个通道做全局池化学习通道权重对重要特征增强、抑制无用通道1×1卷积降维恢复通道维度末端使用线性激活残差短路连接只有当输入输出通道相同且步长为1时才使用shortcut相加。MBConv对比MobileNetV2倒残差增加SE注意力部分模块使用5×5深度卷积扩大感受野特征提取能力更强保留深度可分离卷积维持低FLOPs特性。四、EfficientNet B0 ~ B7 版本谱系B0是基准模型由神经架构搜索NAS得到输入尺寸224×224。B1~B7通过增大全局缩放系数ϕ\phiϕ复合缩放得到模型从小到大精度逐步提升算力和参数量同步上升。EfficientNet-B0基准模型输入224×224参数量约5.3MFLOPs 0.39B轻量高效适合移动端、嵌入式分类任务。EfficientNet-B1输入240×240在B0基础上小幅放大精度高于B0推理开销适中。EfficientNet-B2输入260×260进一步放大适合中端服务器/边缘GPU。EfficientNet-B3输入300×300算力明显提升精度提升显著。EfficientNet-B4输入380×380中大型模型常用于检测、分割骨干网络。EfficientNet-B5输入456×456大模型训练推理开销较高。EfficientNet-B6输入528×528更大分辨率适合高精度竞赛任务。EfficientNet-B7输入600×600该系列最大版本ImageNet精度最高参数量约66MFLOPs约37B依赖高端GPU训练推理。缩放规律总结B0到B7输入分辨率持续变大网络层数增加通道数加宽。模型精度持续上涨但推理延迟、显存占用同步增加。五、EfficientNet 整体网络结构EfficientNet整体骨架由一个首层标准卷积 多组堆叠MBConv模块 全局平均池化 全连接分类头构成。首层3×3标准卷积步长2对原始图像做初步下采样主体阶段共7个stage每个stage由若干MBConv堆叠而成部分stage步长为2负责特征图下采样不同stage使用3×3/5×5深度卷积尾部1×1卷积升维全局平均池化Dropout最后全连接层输出分类概率。B0的7个stage MBConv堆叠数量固定B1-B7通过复合缩放同步放大每个stage的层数、通道、输入分辨率。六、EfficientNet 核心优势第一复合缩放带来极高算力利用率。相比于传统单独放大深度/宽度/分辨率EfficientNet用更少参数量、更少FLOPs达到更高分类精度算力性价比极高。第二MBConv模块融合倒残差SE注意力。继承MobileNet轻量化卷积优势借助SE注意力自适应强化特征通道在轻量模块内获得很强特征表达能力。第三模型谱系完整选型灵活。B0至B7形成连续模型梯度从端侧小模型到服务器高精度大模型全覆盖可根据硬件算力、精度需求直接选型。第四迁移学习效果优异。EfficientNet作为骨干网络在分类、检测、分割任务上迁移性能很好广泛替代ResNet作为下游任务backbone。七、EfficientNet 局限性第一大分辨率版本推理延迟偏高。B5~B7输入分辨率巨大虽然FLOPs指标看起来尚可但高分辨率带来大量内存读写实际推理速度偏低。第二深度卷积在部分硬件上并行效率一般。大量深度卷积、SE模块的碎片化操作在部分老旧硬件、部分推理框架下并行度不如ResNet规整3×3卷积实测速度会低于理论FLOPs预期。第三对数据增强、训练策略敏感。EfficientNet的优异性能依赖强数据增强AutoAugment、正则化等训练技巧训练策略不到位时精度会明显下降。第四复合缩放系数是在B0上搜索得到的固定值在和ImageNet差异很大的数据集上不一定是最优缩放比例。八、EfficientNet 和前面CNN模型横向对比ResNet依靠残差相加解决深度退化结构简单硬件友好但是提升精度只能单纯加深加宽算力利用率低。DenseNet稠密拼接复用特征参数少但显存占用大推理速度差。MobileNetV2/V3专注极致轻量化深度可分离卷积适合移动端但高精度上限不足。ShuffleNetV2面向硬件MAC优化追求极低延迟更偏向IoT超低算力场景精度上限低于EfficientNet。EfficientNet一套统一缩放范式轻量模块注意力兼顾精度与算力效率B0对标MobileNetB4/B7对标重型ResNet是经典CNN的集大成者。九、全套CNN进化谱系更新AlexNet破冰开局开启深度学习时代VGGNet规整统一确立标准卷积堆叠范式GoogLeNet/Inception稀疏多分支开创多尺度卷积ResNet家族残差连接突破深度网络退化瓶颈DenseNet稠密连接实现极致特征复用MobileNet系列深度可分离卷积移动端轻量化落地ShuffleNet系列通道混洗面向内存开销的硬件级轻量化EfficientNet(B0~B7)复合缩放CNN时代精度与算力效率的集大成之作。十、总结经典CNN时代的集大成网络EfficientNet最大贡献不在于发明了全新卷积算子而是提出复合缩放这一套系统的网络缩放方法论。它告诉我们深度、宽度、分辨率不是独立变量三者协同优化才能最大化算力价值。MBConv模块整合倒残差、深度卷积、SE注意力把轻量化模块的特征表达能力推到新高度。EfficientNet B0~B7形成完整模型家族向下可以替代MobileNet做端侧任务向上可以替代ResNet作为高精度任务骨干。在Transformer大规模兴起之前EfficientNet是传统CNN的巅峰之作至今仍是计算机视觉任务中非常经典的骨干网络选择。读懂EfficientNet标志着完整掌握了从早期CNN到现代高效CNN的全部核心设计思想。
