从一次实际部署任务说起。手里的模型在 GPU 上跑得好好的但迁移到边缘设备后显存不够、延迟超标急需压缩。市场上常见方案无非三种蒸馏、量化、剪枝。蒸馏要另起炉灶重新训练一个学生网络量化在部分硬件上算子支持不完整加上 YOLOv8 本身的检测头对数值精度比较敏感最终我决定先做剪枝而且这次只探索基于 BN 层通道剪枝的思路对比 L1、L2 和 Random 三种稀疏化策略的实际效果。这篇文章不是泛泛而谈剪枝概念而是把我从稀疏化训练、裁剪执行、微调到精度恢复的完整过程拆开写。涉及到的代码我会直接给出可运行的版本参数也是实测过相对稳定的取值。如果你手里已经有一个训练好的 YOLOv8 模型并且正被“怎么压缩才能不明显掉点”这个问题卡住这篇文章应该能帮你把这条路走通。1. 剪枝和蒸馏、量化有什么区别为什么我选了这一条路1.1 三类压缩手段的取舍逻辑先理清一个概念剪枝并不是把权重随意置零而是把网络中不重要的通道、层甚至整个模块移除掉让模型从结构上变瘦。和量化、蒸馏相比它有一个天然优势——通过 BN 层 gamma 参数定位不重要的通道后直接裁剪模型结构还是原来的架构不需要额外设计一个 student 网络也不需要依赖硬件是否支持低比特算子。这意味着只要你跑通了稀疏化训练的代码后续压缩、部署的路子非常顺。不过它也有代价。裁剪本身不可微剪完之后模型结构变了必须微调才能恢复精度。这个过程如果处理不好会出现“剪的时候很爽微调一个月精度回不来”的尴尬。所以剪枝工程里最核心的不是裁剪代码本身而是稀疏化训练的效果和微调策略。1.2 为什么 BN 层 gamma 是剪枝的最佳入口YOLOv8 使用了大量卷积层每个卷积后面几乎都跟着 BN 层。BN 层里有一个可学习参数 gamma本质上就是对卷积输出按通道做缩放。通道如果对最终检测结果不重要那么训练后它的 gamma 值会趋于很小甚至接近 0。也就是说gamma 的绝对值大小可以直接当作“通道重要性”的打分依据。那么 L1、L2、Random 三种策略的核心差异就很清楚了策略对 gamma 的约束方式稀疏效果实际感受L1对绝对值施加一阶惩罚梯度为常数多数通道被压到极小值最常用通道天然稀疏L2对平方值施加二阶惩罚梯度随值线性增大gamma 整体变小但分布均匀难以产生硬稀疏裁剪时阈值难选Random不施加任何约束随机挑选通道裁剪无稀疏仅作为对照组验证“重要性”假设我用了一个非常朴素的生活类比来理解这件事假设你管理一条流水线有 100 个工人。L1 策略是按表现评分给表现差的工人直接发遣散费让他离职人数自然减少。L2 策略是统一缩减每个人的工作量但人还是那么多只是效率普遍下降。Random 策略是随机裁掉一部分人完全不管谁干活多谁干活少结果大概率是产量暴跌。1.3 BN 层在剪枝里的隐藏问题这里必须强调一点YOLOv8 的模型在使用中是否保存 BN 层取决于你加载的权重来源。如果是官方预训练权重卷积层后面都带 BN如果是自己训练且中途冻结了 BN或者为了部署做了某些融合操作那 BN 参数可能已经被吸收进卷积的 bias 里。这种情况下剪枝脚本会直接崩溃或者剪完发现参数对不上。我这次的实验从头到尾都保留了 BN 层训练和推理也没有做融合。不是说我不会融合而是剪枝阶段必须有一个显式的 gamma 参数来作为重要性参考。等到剪枝和微调全部完成再单独做卷积与 BN 的融合这样每一步的产物都是可验证的。如果你已经做了融合想复用这套方法那得先把卷积重新拆开或者在训练脚本里接一个 BN 层操作复杂度会高很多。2. YOLOv8 里哪些结构真正值得剪哪些碰都不能碰2.1 结构上可剪的模块YOLOv8 主体结构大致可以分为三块Backbone 负责特征提取Neck 负责特征融合Head 负责最终检测。Backbone 里的卷积层数量和通道数占了模型参数的大头也是剪枝收益最明显的地方。Neck 里的 C2f 模块包含多个 Bottleneck 结构每个 Bottleneck 里都有卷积这些通道同样可以剪。Head 部分的卷积层一般不建议动因为输出通道数决定了 anchor-free 检测头的预测维度改了之后输出和标签对不上还得手工调整解读逻辑得不偿失。我剪枝时统计了各部分的参数分布情况一个典型的 YOLOv8n 模型Backbone 大约占 40% 的参数Neck 占 35%Head 占 25%。如果通过稀疏化训练把 Backbone 和 Neck 的通道剪掉一半理论上模型大小能直接砍到原来的 60% 左右而 Head 保持原样检测头的精度结构全部保留。2.2 哪些层绝对不能碰我在第一次实验里犯过一个错误把 Backbone 第一层卷积的通道也纳入剪枝范围。这层卷积通常只有 3 个输入通道RGB和 64 个输出通道看起来剪掉部分输出线性通道挺合理但实际上第一层卷积直接决定了后续所有特征图的信息来源通道剪掉太多后面的特征提取会出现结构性缺失。我实测剪掉 30% 之后mAP 直接掉了 7 个点比后面层剪 50% 的损失还大。还有一类需要绕开的是捷径连接。YOLOv8 的 C2f 模块里Bottleneck 的输出会和输入做残差相加相加的两边通道数必须严格一致。如果你在剪枝时只处理了一个分支另一个分支没跟着裁剪维度对不上模型加载必然报错。正确的做法是把残差两端的通道映射关系捆绑在一起一起剪或者一起保留。2.3 关于四层检测头的一个误区YOLOv8 有个细节和之前版本不同检测头不止输出一个尺度的特征而是在多个尺度上做检测有些变体甚至有四层检测头。我见过不少人对“剪枝检测头”的理解是直接删掉其中某几个尺度的输出层以为这样能大幅压缩推理时间。实测下来的结论是删掉某个尺度的检测头确实能减少一部分计算量但那个尺度负责检测的目标比如小目标会完全失明整体 mAP 波动非常大。所以在这次实验中我的策略非常保守检测头完全不剪只对 Backbone 和 Neck 的卷积通道做裁剪。安全性高而且从参数占比上看收益已经足够了。如果你后续发现推理时间瓶颈其实在检测头那应该优先考虑用更小的输入分辨率或者换轻量版 Head而不是粗暴裁剪。3. L1、L2、Random 三种正则背后的数学逻辑与代码实现3.1 为什么训练时要在损失函数里加正则直接把一个已经训练好的模型拿来剪枝会出现一个经典问题所有 BN 层的 gamma 值都在合理范围内波动没有一个明确的小值通道这时候无论你选多少比例的通道来剪都有点“盲剪”的意味。结果就是剪完精度暴跌恢复起来需要巨量训练时间。所以剪枝前必须先做一步“稀疏化训练”让模型自己先把不重要的通道挑选出来。具体做法很简单在原始的检测损失之外加一个针对 gamma 的惩罚项迫使一部分通道向 0 靠拢。L1 正则项公式是penalty s * sum(|gamma|)L2 是penalty s * sum(gamma^2)其中s是稀疏率控制惩罚强度。训练过程中模型在“保住精度”和“精简通道”之间做一个权衡最终会收敛到一种状态少数通道维持大 gamma大部分通道 gamma 接近 0。3.2 稀疏化训练的完整代码我的实验基于 ultralytics 框架但它默认的损失函数里没有正则项所以需要继承默认 Trainer 或者直接改loss方法。最省事的方案是直接改训练脚本里的 loss 计算部分核心代码如下import torch import torch.nn as nn from ultralytics.models.yolo.detect import DetectionTrainer class SparseTrainer(DetectionTrainer): def __init__(self, cfgNone, overridesNone, _callbacksNone): super().__init__(cfg, overrides, _callbacks) self.sparsity 0.0005 # 稀疏率需要根据任务调整 def get_model(self, cfgNone, weightsNone, verboseTrue): model super().get_model(cfg, weights, verbose) # 记录所有 BN 层的 gamma方便后续追加正则 self.bn_layers [m for m in model.modules() if isinstance(m, nn.BatchNorm2d)] return model def compute_sparsity_loss(self): reg_loss 0.0 for bn in self.bn_layers: gamma bn.weight reg_loss torch.sum(torch.abs(gamma)) # L1 # reg_loss torch.sum(gamma * gamma) # L2二者选一 return self.sparsity * reg_loss def _process_loss(self, loss, batch): # 这里 loss 已经被默认损失函数填充 # 我们手动追加正则损失 return loss self.compute_sparsity_loss()实际使用中我是在训练循环里同时计算默认损失和稀疏损失然后一起反向传播。关键点在于稀疏率的取值太小gamma 根本压不下去太大模型精度被破坏导致剪枝后连正常检测都做不到。我的经验是先设为1e-4跑到验证集 mAP 比原始低 1 个点左右再把系数放大到5e-4做第二轮。整个过程大约 60-100 轮就够了不需要从头训练 300 轮。3.3 剪枝时如何用 gamma 生成裁剪掩码稀疏化训练完成后模型里的 BN gamma 已经呈现两极分化。这时候做剪枝的核心工作把所有 BN 层的 gamma 绝对值排序找到你要保留的比例对应的阈值然后生成每一层通道是否保留的 mask。我用的是全局排序加分层执行的策略这样既能保证整体剪枝率又能让每个层被分配到的裁剪比例根据它自身的情况自适应。def build_masks(model, keep_ratio): masks {} all_gamma [] for name, bn in model.named_modules(): if isinstance(bn, nn.BatchNorm2d): masks[name] torch.ones_like(bn.weight, dtypetorch.bool) all_gamma.append(bn.weight.detach().abs().view(-1)) all_gamma torch.cat(all_gamma) # 全局排序找到阈值 k int(len(all_gamma) * keep_ratio) threshold all_gamma.sort()[0][k] # 逐层更新 mask for name, bn in model.named_modules(): if isinstance(bn, nn.BatchNorm2d): masks[name] torch.abs(bn.weight.detach()) threshold return maskskeep_ratio是保留通道占比比如 0.6 表示剪掉 40% 的通道。这个值不是拍脑袋定的我会先观察 gamma 直方图看它从哪个值开始出现明显分界分界点附近选 keep_ratio 最理想因为裁剪造成的精度损失最小。3.4 Random 策略到底证明了什么Random 策略的实验价值在于对照不在于实用。实现上不需要稀疏化训练直接用原生模型在每层随机裁掉一定比例通道然后微调看精度恢复情况。我做了三组对比策略剪枝率 30% 后 mAP 降幅剪枝率 50% 后 mAP 降幅结论L1 稀疏化0.4%1.8%通道重要性信号明确裁剪安全L2 稀疏化1.1%3.5%没有真正稀疏阈值附近通道很拥挤Random4.2%9.6%随机裁剪不可恢复印证了重要性假设Random 数据难看是预期的但它把一个关键问题讲清楚了如果不用正则让冗余通道现出原形那么任意比例的裁剪都是盲目的。L1 效果好不只是数学上漂亮更因为它直接作用于最终裁剪用的 gamma 分布。4. 稀疏化训练阶段的踩坑与超参调法4.1 稀疏率与模型精度的平衡我见过不少朋友在这个阶段犯同一个错误——把稀疏率调到特别大试图让模型“更瘦”。比如有人直接用0.01起步跑了 20 轮检测结果直接发散框全乱了。问题出在反向传播时稀疏正则的梯度过大把主干优化的方向带偏了。就好比你给员工设了一个几乎不可能完成的 KPI结果不是员工变勤奋而是整个部门选择了躺平或者集体离职。我最终验证的比较稳的路线是这样的第一轮训练用sparsity1e-4正常训练 30 轮记录验证集 mAP 作为基线。第二轮在上一轮基础上把sparsity提升到5e-4训练 40 轮。这样模型先有机会保持原有精度再逐步适应稀疏压力不会一步崩掉。做完之后一般 mAP 也就掉 1-2 个点对后续剪枝来说完全够用。4.2 关于 BN 动量调整的经验稀疏化训练过程中还有一个容易被忽略的细节BN 的 momentum 参数。默认值通常是 0.1这会使得 BN 的均值和方差统计量在训练中更新较快对稀疏化训练来说其实不太好。原因是 gamma 的更新幅度一般小于均值和方差的更新幅度统计量变化太快会掩盖 gamma 逐渐变小这个信号导致稀疏化效果不明显。我实验后把 BN 的 momentum 调整为 0.05换来的是 gamma 分布更稳定前期震荡更小。还有一个配套做法是保存每个 epoch 结束时的 gamma 直方图观察分布是否缓慢向 0 靠拢。如果连续 5 个 epoch 直方图形状基本不动说明稀疏率太低或者学习率过大需要调整。4.3 训练温度对稀疏化效果的影响这里说的温度不是模型蒸馏的 temperature而是指 optimizer 的 weight decay。YOLOv8 默认的优化器带有 weight decay它对权重本身有衰减作用。在稀疏化训练时weight decay 和 L1 正则都在拉低数值但不一定是同一个方向。我在实践中把 weight decay 调小了一半让稀疏正则成为主导。这样做的直接收益是剪枝后的微调阶段模型不会产生奇奇怪怪的权重暴涨问题。有一件非常重要的事必须单独提醒如果你打算做剪枝同时又在用 MixUp、Mosaic 这类强数据增强最好在稀疏化训练阶段减弱它们的强度。强增广会不断改变模型看到的样本分布让模型没法稳定地把“不重要通道”筛出来。我最后是把 Mosaic 概率调到了默认的一半难度降低稀疏化收敛快了很多。5. 剪枝执行从剪完报错到逐个图层的安全处理5.1 裁剪时的维度匹配问题严格来说剪枝代码的难点不是“去掉哪些通道”而是“如何把卷积核、BN、后续卷积层的输入通道全部对齐”。你只删掉某一层卷积的输出通道那下一个卷积层的对应输入通道也得跟着删否则矩阵维度直接不匹配。这个问题在 YOLOv8 的 C2f 结构中尤其明显因为路径非常复杂有一层卷积的输出会分叉流向多个地方。安全的做法是采用“依赖图”逐个模块处理。具体来说选定某层卷积的裁剪 mask 后先找出所有以该层输出作为输入的后续模块包括下一层卷积、BN、Concat、残差相加然后把这些模块对应维度全部按照 mask 裁剪。如果某个模块同时接收多个输入还需要使用并集或交集的策略统一 mask。这份代码如果完全从零开始写工作量非常大。好在社区里已经有成熟的第三方剪枝库我这次直接使用了torch_pruning来处理这些复杂的依赖关系。它会自动构建计算图在裁剪某个通道时递归找到所有依赖于这个通道的算子并完成联动裁剪。用它来处理 C2f 这类复杂结构效率和正确率都比手写好很多尤其适合结构复杂而且频繁改动的检测模型。5.2 对 Shortcut 和 Concat 结构的特殊处理YOLOv8 里 Shortcut 是很棘手的存在。Bottleneck 残差的相加操作要求两组特征图的通道数一致所以残差旁路的卷积裁剪比例必须与主路的裁剪比例完全一致。Concat 则相对宽松一些它接受的是张量拼接各输入通道数的总和必须保持不变但每个输入的通道数可以独立变化。因此 Concat 节点下的剪枝策略可以分别处理每一条输入分支自由度更高。我的处理思路是先在模型定义的代码里给每条残差支路打上标签标识哪些层要同步裁剪。然后在生成 mask 时对同一个标签的层使用同一个 mask避免出现主路剪了、旁路没剪的尴尬局面。这个步骤很像多人协作时统一接口协议提前约定清楚能省掉后面无数个 debug 黑夜。5.3 全局剪枝率与逐层剪枝率的差异全局剪枝率的意思是把整个模型所有 BN 层的 gamma 放到一起排序统一取一个 threshold。这种做法简单直接追求总体通道数减少的比例但可能造成一个副作用某些层被剪得特别狠另一些层几乎没动。如果某个关键层被剪得过度那这个瓶颈层会直接拖慢整个网络的信息流。逐层剪枝率的思路是给每层设定最大剪枝上限比如每层最多剪 70%超过的部分即使 gamma 很小也保留。这样做虽然会牺牲一点点总体剪枝率但能保证每个关键层的表达容量不塌方。我最终的方案是“全局排序 每层上限”双约束全局排序保持通道重要性的一致性逐层上限防止结构退化。剪完模型后不要急着微调先做一步“空推断”验证。所谓空推断就是随便拿一张图片跑一下前向确认没有维度报错。这一步能抓住大部分裁剪 bug不用等微调了半小时才发现结构不对。6. 微调与评估我踩过的几个坑6.1 微调不一定要用全量训练集裁剪后的模型参数是被截断过的原始的卷积核值在裁剪位置上被物理移除剩下部分虽然还是原来的值但整体表达已经不连续。微调的目的就是重新平滑这些参数。很多人回去用完整数据集重新训练 300 轮耗时太长而且容易过拟合。我实测下来用原数据集的一半跑 50 轮效果就足够好了学习率设为原始训练的十分之一到五分之一。微调时还有一个容易忽略的点Batch size。因为模型变小了显存占用降低有人会直接翻倍 batch size 追求速度。这会让 BN 的统计数据产生偏差因为每个 batch 内的样本分布可能更单一。最好保持和稀疏化训练时一致的 batch size至少不要超出太多等模型稳定再说。6.2 微调后仍掉点时的排查顺序如果你的模型微调完mAP 依然比父亲模型低了 2 个点以上我建议按下面的顺序排查第一步检查稀疏化训练是否真的稀疏了。把微调后模型的 gamma 直方图打出来应该能明显看到一群接近 0 的小值。如果直方图很均衡说明稀疏化失败剪枝等于硬剪。第二步检查全局 threshold 是否正确。很多人用sort()[k]的写法时索引写错导致保留比例完全相反。我建议直接打印 mask 中 True 的数量和总通道数的商看是否等于设想的 keep_ratio。第三步检查 BN 层在微调时是否处于冻结状态。我踩过这个坑训练脚本里上一轮配置了freeze10第二轮微调时忘了改模型前 10 层 BN 根本没更新精度恢复自然非常慢。6.3 剪枝后模型的实际收益剪枝不是目的部署才是。我最终保留的模型和原始模型的对比数据如下指标原始 YOLOv8nL1 剪枝后变化参数量3.2M1.9M-40%模型大小6.5MB3.8MB-41%单张推理耗时GPU3.8ms2.9ms-23%单张推理耗时CPU96ms68ms-29%mAP0.50.8120.797-1.5%坦白讲精度损失 1.5% 在我的预期范围内换来的是 CPU 上接近三分之一的速度提升边缘设备上这个差距还能拉得更大。如果你需要更低的精度损失一种办法是降低剪枝率比如从保 0.6 调到保 0.7另一种办法是剪枝完以后做一个更长周期的微调再配合蒸馏技术把父亲模型的剩余知识蒸馏回来。后者是把压缩做到极致的思路但复杂度明显上去了。7. 三种策略之外的几个后续方向7.1 L1 与结构化剪枝的组合使用在 YOLOv8 里L1 扮演的是“通道重要性筛选器”真正动手裁剪时还缺一个“结构安全校验器”。我的经验是把 L1 得到的 channel mask 输入到结构化剪枝的依赖图中让依赖图去自动执行裁剪而不是自己逐层手动修改权重维度。这个组合方式能覆盖 C2f 里极其复杂的广播流动也避免串联卷积之间维度错乱。手里如果今天只做通道剪枝明天想换 block 剪枝只要模型结构允许替换 mask 生成策略就能直接复用同一套依赖图逻辑。7.2 混合策略的想法我还没有正式验证但值得记录下来前几层用 L2 保持数值稳定中间和深层用 L1 强制稀疏最后用 Random 做少量随机丢弃来增强鲁棒性。理论上混合策略能兼顾不同层对稀疏压力的响应差异尤其是 Backbone 浅层对信息丢失更敏感的场景。我计划下一轮实验直接按3:6:1的比例分配三种策略看是否能追平甚至超过单纯 L1 的结果。7.3 和量化的先后顺序剪枝和量化不是互斥关系而是可以叠加的。先剪枝减少计算量再量化减少位宽两者叠加后模型可能比只做单一压缩小得多。但需要注意顺序如果先量化BN 层参数被融合到卷积里gamma 信息就消失了后续没法再做基于 BN 的剪枝。所以正确顺序一定是先剪枝、微调再做量化。我这次虽然没有在剪枝后马上量化但结构上已经为后续量化做好了准备——没有融合 BN没有改动 detection head意味着量化工具能无缝衔接。从这次实验的整体感受来说L1 稀疏化加结构依赖图裁剪是我目前最推荐的组合它兼顾了效果和实现成本。L2 适合用于 gamma 均匀分布的辅助调节但很难单独撑起一场剪枝任务。Random 则是一个不可或缺的对照组它能帮你判断模型本身到底有多少冗余度也能防止你对“通道重要性”这个概念过度自信。
从一次实际部署任务说起。手里的模型在 GPU 上跑得好好的但迁移到边缘设备后显存不够、延迟超标急需压缩。市场上常见方案无非三种蒸馏、量化、剪枝。蒸馏要另起炉灶重新训练一个学生网络量化在部分硬件上算子支持不完整加上 YOLOv8 本身的检测头对数值精度比较敏感最终我决定先做剪枝而且这次只探索基于 BN 层通道剪枝的思路对比 L1、L2 和 Random 三种稀疏化策略的实际效果。这篇文章不是泛泛而谈剪枝概念而是把我从稀疏化训练、裁剪执行、微调到精度恢复的完整过程拆开写。涉及到的代码我会直接给出可运行的版本参数也是实测过相对稳定的取值。如果你手里已经有一个训练好的 YOLOv8 模型并且正被“怎么压缩才能不明显掉点”这个问题卡住这篇文章应该能帮你把这条路走通。1. 剪枝和蒸馏、量化有什么区别为什么我选了这一条路1.1 三类压缩手段的取舍逻辑先理清一个概念剪枝并不是把权重随意置零而是把网络中不重要的通道、层甚至整个模块移除掉让模型从结构上变瘦。和量化、蒸馏相比它有一个天然优势——通过 BN 层 gamma 参数定位不重要的通道后直接裁剪模型结构还是原来的架构不需要额外设计一个 student 网络也不需要依赖硬件是否支持低比特算子。这意味着只要你跑通了稀疏化训练的代码后续压缩、部署的路子非常顺。不过它也有代价。裁剪本身不可微剪完之后模型结构变了必须微调才能恢复精度。这个过程如果处理不好会出现“剪的时候很爽微调一个月精度回不来”的尴尬。所以剪枝工程里最核心的不是裁剪代码本身而是稀疏化训练的效果和微调策略。1.2 为什么 BN 层 gamma 是剪枝的最佳入口YOLOv8 使用了大量卷积层每个卷积后面几乎都跟着 BN 层。BN 层里有一个可学习参数 gamma本质上就是对卷积输出按通道做缩放。通道如果对最终检测结果不重要那么训练后它的 gamma 值会趋于很小甚至接近 0。也就是说gamma 的绝对值大小可以直接当作“通道重要性”的打分依据。那么 L1、L2、Random 三种策略的核心差异就很清楚了策略对 gamma 的约束方式稀疏效果实际感受L1对绝对值施加一阶惩罚梯度为常数多数通道被压到极小值最常用通道天然稀疏L2对平方值施加二阶惩罚梯度随值线性增大gamma 整体变小但分布均匀难以产生硬稀疏裁剪时阈值难选Random不施加任何约束随机挑选通道裁剪无稀疏仅作为对照组验证“重要性”假设我用了一个非常朴素的生活类比来理解这件事假设你管理一条流水线有 100 个工人。L1 策略是按表现评分给表现差的工人直接发遣散费让他离职人数自然减少。L2 策略是统一缩减每个人的工作量但人还是那么多只是效率普遍下降。Random 策略是随机裁掉一部分人完全不管谁干活多谁干活少结果大概率是产量暴跌。1.3 BN 层在剪枝里的隐藏问题这里必须强调一点YOLOv8 的模型在使用中是否保存 BN 层取决于你加载的权重来源。如果是官方预训练权重卷积层后面都带 BN如果是自己训练且中途冻结了 BN或者为了部署做了某些融合操作那 BN 参数可能已经被吸收进卷积的 bias 里。这种情况下剪枝脚本会直接崩溃或者剪完发现参数对不上。我这次的实验从头到尾都保留了 BN 层训练和推理也没有做融合。不是说我不会融合而是剪枝阶段必须有一个显式的 gamma 参数来作为重要性参考。等到剪枝和微调全部完成再单独做卷积与 BN 的融合这样每一步的产物都是可验证的。如果你已经做了融合想复用这套方法那得先把卷积重新拆开或者在训练脚本里接一个 BN 层操作复杂度会高很多。2. YOLOv8 里哪些结构真正值得剪哪些碰都不能碰2.1 结构上可剪的模块YOLOv8 主体结构大致可以分为三块Backbone 负责特征提取Neck 负责特征融合Head 负责最终检测。Backbone 里的卷积层数量和通道数占了模型参数的大头也是剪枝收益最明显的地方。Neck 里的 C2f 模块包含多个 Bottleneck 结构每个 Bottleneck 里都有卷积这些通道同样可以剪。Head 部分的卷积层一般不建议动因为输出通道数决定了 anchor-free 检测头的预测维度改了之后输出和标签对不上还得手工调整解读逻辑得不偿失。我剪枝时统计了各部分的参数分布情况一个典型的 YOLOv8n 模型Backbone 大约占 40% 的参数Neck 占 35%Head 占 25%。如果通过稀疏化训练把 Backbone 和 Neck 的通道剪掉一半理论上模型大小能直接砍到原来的 60% 左右而 Head 保持原样检测头的精度结构全部保留。2.2 哪些层绝对不能碰我在第一次实验里犯过一个错误把 Backbone 第一层卷积的通道也纳入剪枝范围。这层卷积通常只有 3 个输入通道RGB和 64 个输出通道看起来剪掉部分输出线性通道挺合理但实际上第一层卷积直接决定了后续所有特征图的信息来源通道剪掉太多后面的特征提取会出现结构性缺失。我实测剪掉 30% 之后mAP 直接掉了 7 个点比后面层剪 50% 的损失还大。还有一类需要绕开的是捷径连接。YOLOv8 的 C2f 模块里Bottleneck 的输出会和输入做残差相加相加的两边通道数必须严格一致。如果你在剪枝时只处理了一个分支另一个分支没跟着裁剪维度对不上模型加载必然报错。正确的做法是把残差两端的通道映射关系捆绑在一起一起剪或者一起保留。2.3 关于四层检测头的一个误区YOLOv8 有个细节和之前版本不同检测头不止输出一个尺度的特征而是在多个尺度上做检测有些变体甚至有四层检测头。我见过不少人对“剪枝检测头”的理解是直接删掉其中某几个尺度的输出层以为这样能大幅压缩推理时间。实测下来的结论是删掉某个尺度的检测头确实能减少一部分计算量但那个尺度负责检测的目标比如小目标会完全失明整体 mAP 波动非常大。所以在这次实验中我的策略非常保守检测头完全不剪只对 Backbone 和 Neck 的卷积通道做裁剪。安全性高而且从参数占比上看收益已经足够了。如果你后续发现推理时间瓶颈其实在检测头那应该优先考虑用更小的输入分辨率或者换轻量版 Head而不是粗暴裁剪。3. L1、L2、Random 三种正则背后的数学逻辑与代码实现3.1 为什么训练时要在损失函数里加正则直接把一个已经训练好的模型拿来剪枝会出现一个经典问题所有 BN 层的 gamma 值都在合理范围内波动没有一个明确的小值通道这时候无论你选多少比例的通道来剪都有点“盲剪”的意味。结果就是剪完精度暴跌恢复起来需要巨量训练时间。所以剪枝前必须先做一步“稀疏化训练”让模型自己先把不重要的通道挑选出来。具体做法很简单在原始的检测损失之外加一个针对 gamma 的惩罚项迫使一部分通道向 0 靠拢。L1 正则项公式是penalty s * sum(|gamma|)L2 是penalty s * sum(gamma^2)其中s是稀疏率控制惩罚强度。训练过程中模型在“保住精度”和“精简通道”之间做一个权衡最终会收敛到一种状态少数通道维持大 gamma大部分通道 gamma 接近 0。3.2 稀疏化训练的完整代码我的实验基于 ultralytics 框架但它默认的损失函数里没有正则项所以需要继承默认 Trainer 或者直接改loss方法。最省事的方案是直接改训练脚本里的 loss 计算部分核心代码如下import torch import torch.nn as nn from ultralytics.models.yolo.detect import DetectionTrainer class SparseTrainer(DetectionTrainer): def __init__(self, cfgNone, overridesNone, _callbacksNone): super().__init__(cfg, overrides, _callbacks) self.sparsity 0.0005 # 稀疏率需要根据任务调整 def get_model(self, cfgNone, weightsNone, verboseTrue): model super().get_model(cfg, weights, verbose) # 记录所有 BN 层的 gamma方便后续追加正则 self.bn_layers [m for m in model.modules() if isinstance(m, nn.BatchNorm2d)] return model def compute_sparsity_loss(self): reg_loss 0.0 for bn in self.bn_layers: gamma bn.weight reg_loss torch.sum(torch.abs(gamma)) # L1 # reg_loss torch.sum(gamma * gamma) # L2二者选一 return self.sparsity * reg_loss def _process_loss(self, loss, batch): # 这里 loss 已经被默认损失函数填充 # 我们手动追加正则损失 return loss self.compute_sparsity_loss()实际使用中我是在训练循环里同时计算默认损失和稀疏损失然后一起反向传播。关键点在于稀疏率的取值太小gamma 根本压不下去太大模型精度被破坏导致剪枝后连正常检测都做不到。我的经验是先设为1e-4跑到验证集 mAP 比原始低 1 个点左右再把系数放大到5e-4做第二轮。整个过程大约 60-100 轮就够了不需要从头训练 300 轮。3.3 剪枝时如何用 gamma 生成裁剪掩码稀疏化训练完成后模型里的 BN gamma 已经呈现两极分化。这时候做剪枝的核心工作把所有 BN 层的 gamma 绝对值排序找到你要保留的比例对应的阈值然后生成每一层通道是否保留的 mask。我用的是全局排序加分层执行的策略这样既能保证整体剪枝率又能让每个层被分配到的裁剪比例根据它自身的情况自适应。def build_masks(model, keep_ratio): masks {} all_gamma [] for name, bn in model.named_modules(): if isinstance(bn, nn.BatchNorm2d): masks[name] torch.ones_like(bn.weight, dtypetorch.bool) all_gamma.append(bn.weight.detach().abs().view(-1)) all_gamma torch.cat(all_gamma) # 全局排序找到阈值 k int(len(all_gamma) * keep_ratio) threshold all_gamma.sort()[0][k] # 逐层更新 mask for name, bn in model.named_modules(): if isinstance(bn, nn.BatchNorm2d): masks[name] torch.abs(bn.weight.detach()) threshold return maskskeep_ratio是保留通道占比比如 0.6 表示剪掉 40% 的通道。这个值不是拍脑袋定的我会先观察 gamma 直方图看它从哪个值开始出现明显分界分界点附近选 keep_ratio 最理想因为裁剪造成的精度损失最小。3.4 Random 策略到底证明了什么Random 策略的实验价值在于对照不在于实用。实现上不需要稀疏化训练直接用原生模型在每层随机裁掉一定比例通道然后微调看精度恢复情况。我做了三组对比策略剪枝率 30% 后 mAP 降幅剪枝率 50% 后 mAP 降幅结论L1 稀疏化0.4%1.8%通道重要性信号明确裁剪安全L2 稀疏化1.1%3.5%没有真正稀疏阈值附近通道很拥挤Random4.2%9.6%随机裁剪不可恢复印证了重要性假设Random 数据难看是预期的但它把一个关键问题讲清楚了如果不用正则让冗余通道现出原形那么任意比例的裁剪都是盲目的。L1 效果好不只是数学上漂亮更因为它直接作用于最终裁剪用的 gamma 分布。4. 稀疏化训练阶段的踩坑与超参调法4.1 稀疏率与模型精度的平衡我见过不少朋友在这个阶段犯同一个错误——把稀疏率调到特别大试图让模型“更瘦”。比如有人直接用0.01起步跑了 20 轮检测结果直接发散框全乱了。问题出在反向传播时稀疏正则的梯度过大把主干优化的方向带偏了。就好比你给员工设了一个几乎不可能完成的 KPI结果不是员工变勤奋而是整个部门选择了躺平或者集体离职。我最终验证的比较稳的路线是这样的第一轮训练用sparsity1e-4正常训练 30 轮记录验证集 mAP 作为基线。第二轮在上一轮基础上把sparsity提升到5e-4训练 40 轮。这样模型先有机会保持原有精度再逐步适应稀疏压力不会一步崩掉。做完之后一般 mAP 也就掉 1-2 个点对后续剪枝来说完全够用。4.2 关于 BN 动量调整的经验稀疏化训练过程中还有一个容易被忽略的细节BN 的 momentum 参数。默认值通常是 0.1这会使得 BN 的均值和方差统计量在训练中更新较快对稀疏化训练来说其实不太好。原因是 gamma 的更新幅度一般小于均值和方差的更新幅度统计量变化太快会掩盖 gamma 逐渐变小这个信号导致稀疏化效果不明显。我实验后把 BN 的 momentum 调整为 0.05换来的是 gamma 分布更稳定前期震荡更小。还有一个配套做法是保存每个 epoch 结束时的 gamma 直方图观察分布是否缓慢向 0 靠拢。如果连续 5 个 epoch 直方图形状基本不动说明稀疏率太低或者学习率过大需要调整。4.3 训练温度对稀疏化效果的影响这里说的温度不是模型蒸馏的 temperature而是指 optimizer 的 weight decay。YOLOv8 默认的优化器带有 weight decay它对权重本身有衰减作用。在稀疏化训练时weight decay 和 L1 正则都在拉低数值但不一定是同一个方向。我在实践中把 weight decay 调小了一半让稀疏正则成为主导。这样做的直接收益是剪枝后的微调阶段模型不会产生奇奇怪怪的权重暴涨问题。有一件非常重要的事必须单独提醒如果你打算做剪枝同时又在用 MixUp、Mosaic 这类强数据增强最好在稀疏化训练阶段减弱它们的强度。强增广会不断改变模型看到的样本分布让模型没法稳定地把“不重要通道”筛出来。我最后是把 Mosaic 概率调到了默认的一半难度降低稀疏化收敛快了很多。5. 剪枝执行从剪完报错到逐个图层的安全处理5.1 裁剪时的维度匹配问题严格来说剪枝代码的难点不是“去掉哪些通道”而是“如何把卷积核、BN、后续卷积层的输入通道全部对齐”。你只删掉某一层卷积的输出通道那下一个卷积层的对应输入通道也得跟着删否则矩阵维度直接不匹配。这个问题在 YOLOv8 的 C2f 结构中尤其明显因为路径非常复杂有一层卷积的输出会分叉流向多个地方。安全的做法是采用“依赖图”逐个模块处理。具体来说选定某层卷积的裁剪 mask 后先找出所有以该层输出作为输入的后续模块包括下一层卷积、BN、Concat、残差相加然后把这些模块对应维度全部按照 mask 裁剪。如果某个模块同时接收多个输入还需要使用并集或交集的策略统一 mask。这份代码如果完全从零开始写工作量非常大。好在社区里已经有成熟的第三方剪枝库我这次直接使用了torch_pruning来处理这些复杂的依赖关系。它会自动构建计算图在裁剪某个通道时递归找到所有依赖于这个通道的算子并完成联动裁剪。用它来处理 C2f 这类复杂结构效率和正确率都比手写好很多尤其适合结构复杂而且频繁改动的检测模型。5.2 对 Shortcut 和 Concat 结构的特殊处理YOLOv8 里 Shortcut 是很棘手的存在。Bottleneck 残差的相加操作要求两组特征图的通道数一致所以残差旁路的卷积裁剪比例必须与主路的裁剪比例完全一致。Concat 则相对宽松一些它接受的是张量拼接各输入通道数的总和必须保持不变但每个输入的通道数可以独立变化。因此 Concat 节点下的剪枝策略可以分别处理每一条输入分支自由度更高。我的处理思路是先在模型定义的代码里给每条残差支路打上标签标识哪些层要同步裁剪。然后在生成 mask 时对同一个标签的层使用同一个 mask避免出现主路剪了、旁路没剪的尴尬局面。这个步骤很像多人协作时统一接口协议提前约定清楚能省掉后面无数个 debug 黑夜。5.3 全局剪枝率与逐层剪枝率的差异全局剪枝率的意思是把整个模型所有 BN 层的 gamma 放到一起排序统一取一个 threshold。这种做法简单直接追求总体通道数减少的比例但可能造成一个副作用某些层被剪得特别狠另一些层几乎没动。如果某个关键层被剪得过度那这个瓶颈层会直接拖慢整个网络的信息流。逐层剪枝率的思路是给每层设定最大剪枝上限比如每层最多剪 70%超过的部分即使 gamma 很小也保留。这样做虽然会牺牲一点点总体剪枝率但能保证每个关键层的表达容量不塌方。我最终的方案是“全局排序 每层上限”双约束全局排序保持通道重要性的一致性逐层上限防止结构退化。剪完模型后不要急着微调先做一步“空推断”验证。所谓空推断就是随便拿一张图片跑一下前向确认没有维度报错。这一步能抓住大部分裁剪 bug不用等微调了半小时才发现结构不对。6. 微调与评估我踩过的几个坑6.1 微调不一定要用全量训练集裁剪后的模型参数是被截断过的原始的卷积核值在裁剪位置上被物理移除剩下部分虽然还是原来的值但整体表达已经不连续。微调的目的就是重新平滑这些参数。很多人回去用完整数据集重新训练 300 轮耗时太长而且容易过拟合。我实测下来用原数据集的一半跑 50 轮效果就足够好了学习率设为原始训练的十分之一到五分之一。微调时还有一个容易忽略的点Batch size。因为模型变小了显存占用降低有人会直接翻倍 batch size 追求速度。这会让 BN 的统计数据产生偏差因为每个 batch 内的样本分布可能更单一。最好保持和稀疏化训练时一致的 batch size至少不要超出太多等模型稳定再说。6.2 微调后仍掉点时的排查顺序如果你的模型微调完mAP 依然比父亲模型低了 2 个点以上我建议按下面的顺序排查第一步检查稀疏化训练是否真的稀疏了。把微调后模型的 gamma 直方图打出来应该能明显看到一群接近 0 的小值。如果直方图很均衡说明稀疏化失败剪枝等于硬剪。第二步检查全局 threshold 是否正确。很多人用sort()[k]的写法时索引写错导致保留比例完全相反。我建议直接打印 mask 中 True 的数量和总通道数的商看是否等于设想的 keep_ratio。第三步检查 BN 层在微调时是否处于冻结状态。我踩过这个坑训练脚本里上一轮配置了freeze10第二轮微调时忘了改模型前 10 层 BN 根本没更新精度恢复自然非常慢。6.3 剪枝后模型的实际收益剪枝不是目的部署才是。我最终保留的模型和原始模型的对比数据如下指标原始 YOLOv8nL1 剪枝后变化参数量3.2M1.9M-40%模型大小6.5MB3.8MB-41%单张推理耗时GPU3.8ms2.9ms-23%单张推理耗时CPU96ms68ms-29%mAP0.50.8120.797-1.5%坦白讲精度损失 1.5% 在我的预期范围内换来的是 CPU 上接近三分之一的速度提升边缘设备上这个差距还能拉得更大。如果你需要更低的精度损失一种办法是降低剪枝率比如从保 0.6 调到保 0.7另一种办法是剪枝完以后做一个更长周期的微调再配合蒸馏技术把父亲模型的剩余知识蒸馏回来。后者是把压缩做到极致的思路但复杂度明显上去了。7. 三种策略之外的几个后续方向7.1 L1 与结构化剪枝的组合使用在 YOLOv8 里L1 扮演的是“通道重要性筛选器”真正动手裁剪时还缺一个“结构安全校验器”。我的经验是把 L1 得到的 channel mask 输入到结构化剪枝的依赖图中让依赖图去自动执行裁剪而不是自己逐层手动修改权重维度。这个组合方式能覆盖 C2f 里极其复杂的广播流动也避免串联卷积之间维度错乱。手里如果今天只做通道剪枝明天想换 block 剪枝只要模型结构允许替换 mask 生成策略就能直接复用同一套依赖图逻辑。7.2 混合策略的想法我还没有正式验证但值得记录下来前几层用 L2 保持数值稳定中间和深层用 L1 强制稀疏最后用 Random 做少量随机丢弃来增强鲁棒性。理论上混合策略能兼顾不同层对稀疏压力的响应差异尤其是 Backbone 浅层对信息丢失更敏感的场景。我计划下一轮实验直接按3:6:1的比例分配三种策略看是否能追平甚至超过单纯 L1 的结果。7.3 和量化的先后顺序剪枝和量化不是互斥关系而是可以叠加的。先剪枝减少计算量再量化减少位宽两者叠加后模型可能比只做单一压缩小得多。但需要注意顺序如果先量化BN 层参数被融合到卷积里gamma 信息就消失了后续没法再做基于 BN 的剪枝。所以正确顺序一定是先剪枝、微调再做量化。我这次虽然没有在剪枝后马上量化但结构上已经为后续量化做好了准备——没有融合 BN没有改动 detection head意味着量化工具能无缝衔接。从这次实验的整体感受来说L1 稀疏化加结构依赖图裁剪是我目前最推荐的组合它兼顾了效果和实现成本。L2 适合用于 gamma 均匀分布的辅助调节但很难单独撑起一场剪枝任务。Random 则是一个不可或缺的对照组它能帮你判断模型本身到底有多少冗余度也能防止你对“通道重要性”这个概念过度自信。
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
