1. 为什么单个模型很难赢先说清楚集成的统计学根源做深度学习这几年我越来越觉得有个现象很值得琢磨明明花了大量时间调参、换结构、加数据把单个模型的性能磨到了瓶颈结果随便把几个模型的预测结果平均一下指标反而又涨了一截。第一次观察到这个现象时我还以为是自己实验哪里出了问题——毕竟单个模型费了那么大劲才提升零点几个点一个简单的平均操作居然能轻松超过它这多少让人有点怀疑。但后来翻了翻偏差-方差分解的理论才彻底明白过来这不是什么玄学而是统计学习里一个非常基础的结论在起作用。理解了这个底层原因你才能明白后面所有集成技巧的设计动机也才知道什么时候集成真正有用、什么时候只是在浪费时间。1.1 偏差-方差分解一切集成的出发点假设我们有一个真实的目标函数 f(x)希望用模型 g(x) 去逼近它。在平方误差损失下模型的泛化误差可以分解成三部分偏差Bias模型预测的期望值与真实值的差异代表模型的拟合能力方差Variance模型预测在不同训练集上的波动程度代表模型对训练数据的敏感度噪声Noise数据本身自带的不可约误差。简单来说泛化误差 偏差² 方差 噪声单个模型做久了你八成有过这种体会模型在训练集上表现很好一上验证集就拉胯——这是方差过大的典型信号反过来训练集和验证集都表现平平怎么加容量也上不去——这是偏差过高的信号。模型集成的作用点几乎全部集中在方差这一项上。多个模型的预测做平均之后期望值基本不变偏差不改变但预测值的波动会被显著压低。方差降低了整体误差自然就下来了。打个比方一个人做判断可能有偏差也可能因为状态起伏而忽高忽低。但如果找一群水平相近的人各自独立判断再取个平均值判断的稳定性和可靠性通常会明显提升——每个人个性化的波动被抵消了系统的整体一致性变强了。这正是集成学习最核心的统计学动机。深度学习模型恰好是方差偏大的学习者同样的数据、同样的结构换一个随机种子训练最终模型的预测边界可能差别很大。这种高方差属性为集成提供了巨大的收益空间。1.2 误差去相关为什么平均有效是有条件的不过这里有个关键的前提很多人容易忽略集成带来的方差削减取决于各个子模型的误差之间是否足够独立。假设我们有 M 个模型每个模型的预测误差是 e₁, e₂, ..., eₘ误差的方差都是 σ²两两之间的相关系数为 ρ。对预测结果取平均后平均误差的方差为Var(mean) σ²/M (1 - 1/M) · ρ · σ²当 M 足够大时第一项趋近于 0但第二项里的 ρ 决定了方差的下限。如果模型之间完全独立ρ0方差可以降到原来的 1/M但如果模型之间完全正相关ρ1方差几乎不降集成等于白做。现实中的深度学习模型显然不可能完全独立——它们共享了同一份训练数据学习到的特征表征天然存在相似性。但这不代表集成无意义。随机初始化、不同的数据采样顺序、不同的超参数都会引入一定程度的去相关性。集成效果的好坏很大程度上取决于你是否真正把这些差异做出来了。这就是为什么我一直强调做集成重点不是简单地多训几个模型而是思考怎样让不同模型之间的相关性尽可能降低、同时单模型性能不要下降太多。单模型精度高但高度相关跟单模型精度稍低但彼此差异大后者往往能带来更好的集成效果。1.3 什么时候集成策略性价比最高根据我自己的经验模型集成收益最大化的场景一般有这么几类第一单模型的方差大但偏差可接受时。比如模型在训练集上已经能拟合得很好验证集上却波动明显这时候集成能吃掉大部分方差收益会很可观。第二数据量有限时。数据不足导致模型对训练集的抽样方式极其敏感多个模型之间的差异天然就大集成的去相关效果更明显。第三任务指标对稳定性敏感时。比如医疗影像、风控、推荐系统里的排序任务线上评估时不仅看平均分还要看方差、看长尾表现。集成后预测更稳定往往能带来比平均分提升更重要的实际收益。反过来如果模型偏差过大——比如网络容量严重不足或者数据分布和任务目标本身就不匹配——这时候你做集成也没用。一群同样偏的模型取平均结果还是偏的。所以第一步永远是先把单模型做到足够好而不是指望集成来兜底。2. 经典集成方法在深度学习里的演变Bagging、Boosting与Stacking传统机器学习里的三大集成范式——Bagging、Boosting、Stacking——在深度学习时代都找到了各自的变体。但直接照搬经典做法往往效果不佳需要针对深度学习的训练特性重新设计。这一节我挨个拆一遍。2.1 Bagging随机森林的思路在深度模型里怎么落地Bagging的核心是并行训练多个基学习器然后平均。随机森林之所以效果好是因为每一棵树都在不同的数据子集和特征子集上训练树与树之间的相关性被刻意压低了。深度模型能不能照做理论上可以——用不同的数据子集训练多个深度网络再平均预测。但实际你会很快碰到两个问题一是深度模型是饥饿的数据消费者。本来就缺数据你还给每个模型分一小块子集单模型性能会明显下降集成整体反而得不偿失。二是计算成本高昂。每份子集训一个完整网络训练成本成倍增加。所以深度学习时代的做法通常是改良版不减少训练样本而是通过不同的初始化参数、不同的数据采样顺序、不同的增强策略来制造差异。全量数据都参与训练但每个模型看到的数据经历不同。这样既保持了单模型的精度又在一定程度上实现了去相关。为了进一步压低相关性我还会刻意给不同模型分配不同的超参数组合一个模型用大的学习率加激进的数据增强另一个用小的学习率加保守增强。这种多样性优先的思路比机械地跑 N 个同配置模型要有效得多。2.2 Boosting从样本权重到残差拟合Boosting的思路是串行训练每个新模型重点关照前面模型犯错的样本最后把所有模型加权组合起来。在树模型时代这个思路被 XGBoost、LightGBM 发挥到了极致。但在深度学习里直接做经典 Adaboost 式样本加权效果并不理想。原因不难理解深度网络在大规模数据集上训练时训练的随机性本身就很大——同一份样本权重换个随机种子可能结果就不一样样本权重带来的针对性很容易被随机性淹没。我在实践中见过更靠谱的深度 Boosting 变体是沿着残差的思路走先训练一个模型然后针对它预测错误较严重的子集通常是那些处于决策边界的样本加大下个模型的训练权重或者干脆用伪标签策略去教第二个模型关注难点。这条路线要小心一个陷阱Boosting 会天然倾向于降低偏差而深度学习模型本身拟合能力极强再强行压偏差只会把模型推向过拟合。所以深度 Boosting 我一般只用在单模型明显欠拟合的场景比如数据量很大但模型容量不足时利用多个网络的逐步细化来逼近复杂目标函数。2.3 Stacking元学习器的设计与八卦问题Stacking堆叠的核心不是直接做简单平均而是训练一个元学习器Meta-Learner来自动学习怎么组合多个基模型的输出。原理很简单第一阶段用 K 个基模型对训练集做交叉验证预测得到每个样本在每个基模型下的输出概率向量或特征表示第二阶段把这些输出作为输入特征训练一个线性模型或浅层网络来拟合真实标签。我在做 Stacking 时有两点经验特别想分享第一元学习器一定要简单。用逻辑回归或单层网络做 meta-model通常比用复杂的树模型或深网效果好得多。原因在于第一阶段的模型输出之间已经包含了高度非线性、高度冗余的信息第二层要做的其实只是学习一组权重去平衡不同基模型的可信度。一个复杂的 meta-model 很容易在第一阶段输出的噪声里过拟合。第二必须在交叉验证框架下生成第二阶段特征。如果直接拿每个基模型在训练集上的预测结果来训练 meta-model那这些输出是在基模型见过的数据上生成的等于把过拟合信息递给了第二层。用 K 折交叉验证生成 out-of-fold 预测才能让第二层的输入反映模型的真实泛化倾向。Stacking 最容易踩的坑是我常说的八卦效应多个基模型来自同一个家族比如都是 ResNet 变体它们犯错的模式高度相似Stacking 学到的那组权重往往只对当前这批模型的组合方式有效换个任务或者稍改一下数据分布权重立刻失衡。所以 Stacking 别一上来就堆很多模型先确认基模型之间的多样性确实存在再设计第二层。3. 深度模型集成的几种实操形态从快照到权重平均传统集成方法在深度学习里改造之后接下来聊聊深度学习生态里最有特色的几种集成实操形态。这些方法不是因为理论基础更强而是因为贴合深度网络训练的独特规律用很低的额外成本获得了接近传统集成的收益。3.1 快照集成Snapshot Ensemble一次训练省下 N 倍时间常规做法是训练多个模型来集成代价是训练时间乘以 N。快照集成的思路很巧妙在一次训练过程中利用余弦退火学习率让模型反复收敛到不同的局部最优每个收敛点保存一份权重快照最终用这些快照做集成。实际执行时典型的配置是训练 200 个 epoch学习率按余弦曲线从峰值退火到接近 0一共循环 4 轮每 50 个 epoch 一个周期。在每个周期末尾模型都会在一个较小的学习率下收敛到一个局部最优保存这个时刻的权重即可。为什么这能work我理解的关键在于神经网络的损失曲面极其复杂存在大量性质相近但参数不同的局部最优解。高学习率阶段负责探索新区域低学习率末尾负责收敛精修。每个循环末端的快照实际上是从不同起点出发、经历不同路径收敛出的模型它们之间的误差相关性比随机初始化得到的模型要低集成效果自然好。我实测过快照集成对比单独的最终模型在图像分类任务上一般能带来 1-3 个百分点的提升而训练成本几乎就是一次正常训练的成本。是性价比极高的一种集成方式。但快照集成有一个讲究周期数不能太多。每个周期末保存的快照之间有一定的相似性周期太长、太密后几个快照很容易跟前几个高度雷同边际收益递减。我一般控制在 3-5 个快照再增加收益就很微弱了。3.2 SWA 与 EMA权重平均不是预测平均的低配版有时间接经验与其集成多个模型的预测结果不如直接把多个模型的权重做平均得到一个更平滑、更接近集成效果的单模型。这个方法叫 Stochastic Weight AveragingSWA以及它的近亲——深度学习中训练时常用的指数移动平均EMA。EMA 已经被大量应用在生成模型和自监督训练里原理是在训练过程中维护一组权重的指数滑动平均训练结束时使用这组滑动平均权重做推理。它的优势是不需要额外训练几乎零成本地获得了比单个候选权重更稳健的预测。SWA 的做法则是在训练后期收集若干轮的权重快照做简单平均。有意思的是把权重平均后的模型其损失曲面的平坦程度会比单一模型好很多这种平坦的极小值往往拥有更好的泛化能力。这里说个大实话权重平均的适用场景比很多人想象的还要广。尤其当你的模型在训练后期出现明显震荡时EMA 能直接抹平震荡带来的预测波动效果立竿见影。而且这类方法的收益上限虽然不如多模型集成但成本优势是压倒性的——推理时只有一个模型线上延迟不受影响。我能给的建议是先跑一个 EMA 模型当基线如果你的任务上线成本敏感EMA 几乎是最优解。如果预算宽裕再考虑加多个模型的预测平均。3.3 共享骨干的多头集成工程上最优雅的折衷有一种集成方案很多做工程的人爱用但研究论文里不太起眼叫共享骨干多头输出一个较大的骨干网络比如 ResNet 的主干部分后面接多个并行的分类头或者多个预测头训练时所有头共享同一个特征提取器推理时可以取多个头的平均作为最终输出。这个做法能算是集成吗严格说不算完全独立的模型集成因为各个头共享了底层特征误差相关性不低。但它在很多场景下依然带来了可用收益原因是不同初始化、不同丢包路径的头在高层语义的解读上会存在差异平均之后相当于做了一次特征级别的平滑对预测稳定性有正向作用。从工程角度看它的诱惑力实在太大训练时几乎不增加额外计算只有几个头多出来骨干是共享的显存占用只增加很小的一部分推理时可灵活决定接一个头还是多个头平均多个头天然适应多任务场景。我见过不少上线项目为了控制风险最后选的就是这条路线骨干训练到位之后挂上多个头推理时取均值在不明显增加成本的前提下把单模型的震荡给磨平了。但也要明确边界共享骨干集成和真正的多模型集成在精度提升上限上有明显差距。如果你的任务指标卡在临界点上必须靠更高的精度突破那就别再指望多头了老老实实去训练真正的多模型集成。4. 实战配置数据划分、训练策略与推理聚合的完整清单理论聊得再多不落地在实验配置上都是纸上谈兵。这一节我把做深度模型集成的完整实操套路捋一遍包括一些容易被忽视的细节。4.1 随机种子与数据划分被严重低估的两个变量做集成最忌讳的一件事就是用同一份数据划分去训练所有子模型然后还期待它们差异很大。虽然随机种子不同会引入一些随机性但验证集和测试集在开发过程中被反复使用会导致集体过拟合评测集——所有子模型都在无意中向同一组固定样本靠拢。我的建议是为每个子模型使用不同的数据划分种子让训练集和验证集的边界略有差异或者用 K 折交叉验证的方式每个子模型在不同折上训练保留一个从未参与任何调参决策的盲测集用于最终评估集成效果。随机种子本身的选取也很关键。你当然可以为每个子模型用不同种子但更稳妥的做法是让子模型之间在数据顺序、增强策略、初始化方式上拉开差距而不是只换一个种子。只换种子的差异随着训练步数增加会被快速抹平最终模型之间的相关性依然很高。我在实际项目里的配置大概是这样N 个子模型每个用不同的训练集/验证集划分交叉验证得到不同的数据增强强度不同的基础学习率有时候还刻意让不同模型用不同类型的优化器SGD 和 Adam 混合。这样配置出来的模型差异感很强集成收益比单纯换种子高出一截。4.2 推理时的三种聚合方式平均不只是取均值模型都训练好了推理时怎么聚合预测结果这里有三个层次不同任务适配不同做法概率平均Soft Voting把多个模型输出的概率向量逐元素求平均然后取平均概率中最大的类别作为预测。这是我在分类任务里最常用的方式。它保留了每个模型的置信度信息比硬投票Hard Voting更平滑、更稳健。硬投票Hard Voting每个模型先各自输出预测类别然后按少数服从多数定最终结果。这个方式有个好处是对概率校准不敏感但当模型数量少且某几个模型明显更强时硬投票反而会拖累强模型的表现。加权平均给不同模型分配不同权重权重可以用验证集上的表现来估计。但这需要格外小心——在验证集上拟合权重很容易过拟合验证集。除非你的验证集足够大、分布足够稳定否则我不建议做复杂的加权策略。简单平均往往比各种花式加权更稳。回归类任务直接对预测值取平均即可检测、分割这类结构化输出任务一般会先做输出级别的后处理融合比如检测里的 NMS 合并这已经是另一个话题了。4.3 评估收益时的三个常见误区我在帮不少团队评审实验时反复看到下面三个误区严重的时候能让人对集成效果产生完全错误的判断误区一拿集成的指标去和单个模型的指标比却没有统一训练预算。理想情况下对比基准应该是把集成花费的总训练时间也投入到单个模型训练里所能达到的指标。如果单个模型多训练几轮也能达到同样效果那这不算集成收益。误区二只报告平均分忽视方差。集成最大的价值之一是降低预测方差。如果你只在平均分上看到微小提升就否定集成可能忽略了它在方差、长尾性能、最差类别表现上的显著改善。建议同时报告标准差、P90/P99指标。误区三在测试集上调集成方法。当你反复尝试不同的聚合方式、不同的子模型组合并依据测试集上的指标做决策时测试集已经被污染了。集成方法应该在留出的验证集上确定测试集只碰一次。5. 我能告诉你的成本账训练开销、推理延迟与蒸馏压缩集成不是免费的午餐代价主要在两端训练时的算力成本和上线后的推理延迟成本。这一节把成本账掰开算清楚再说说怎么用蒸馏把集成压缩回单模型。5.1 训练成本和推理延迟从 N 倍训练到永远在线训练成本很直接N 个模型并行训练理想情况下算力需求差不多是单模型训练成本乘 N。做实验研发阶段还能接受但如果你打算让集成方案上线推理延迟和显存占用就成了硬约束。线上服务的瓶颈通常不是单次推理的浮点运算而是显存容量。一个像样的深度模型动辄几百 MB 到几个 GB装 5 个模型的显存开销会直接卡掉绝大多数低配推理服务器。如果接了多个模型还得关心请求并发、batch size 大小、GPU 占用率这些上下游指标发布排期时都得提前沟通。在实际项目中我见过不少集成方案在离线评测里大幅领先结果一到线上评审就被延迟和显存卡住最后只能砍掉。这也解释了为什么知识蒸馏在集成领域这么重要——它可以把集成的能力压缩回一个小型单模型里让推理成本和单模型持平。5.2 蒸馏如何把集成塞进一个模型知识蒸馏的思路是用集成模型的平均输出软标签作为监督信号去训练一个单模型。分类任务里软标签比硬标签提供了更多信息——它不仅告诉学生样本属于哪一类还在不同类别之间传递了相似性信息比如一张狗的照片模型在哈士奇和狼上的概率都较高这种相似性结构就是知识。实操层面你已经训练好一组集成模型那么收集它们在训练集或额外的无标注数据集上的输出概率做软标签然后让一个小型学生模型同时拟合真实标签和软标签loss 配比一般按 0.5 : 0.5 起步温度 T 设在 3-5 之间。温度控制的是软标签的平滑程度温度越高类间分布越均匀传递的相似性信息越多但太高会把噪声也放大。蒸馏后的学生模型通常达不到集成模型的完整水平但往往能逼近单个最优模型之上。这个上界缩减换来的推理成本骤减账非常划算。其实蒸馏和集成的关系还可以反过来用有些人先用大模型蒸馏出学生模型再拿多个学生模型做集成得到的效果经常比直接用多个大模型集成更好——因为不同的学生模型从同一个教师那里学到了略有差异的知识误差相关性更低。5.3 我踩过的一些坑提前帮你绕开最后分享几个我在实操中踩过的坑不一定写在教科书里但都很真实。坑一集成了但没做模型差异性检查。有一回我把同一个模型的 checkpoints 在不同 epoch 保存了几份来做集成自认为模型不一样结果评估指标几乎没有变化。后来计算了模型之间的预测相关性相关系数接近 0.98等于把同一个模型重复预测了多次。从那以后我每次做集成实验都会顺手算一下子模型预测的相关系数矩阵如果平均相关性大于 0.9就说明集成空间已经很小了该回去做多样性。坑二把增强策略复制粘贴到所有子模型。很多人的集成实验其实就是同一个训练脚本换种子跑 N 次。这种做法省事但收益有限。多样性是一个需要刻意设计的东西不同模型使用不同的增强策略、不同的裁剪尺寸、不同的归一化方式甚至不同的 loss 权重带来的收益比单纯换种子明显得多。坑三在集成模型数量上贪多。我做过一个系列实验从 2 个模型加到 10 个模型看指标增长曲线。结论是前 3-5 个模型带来的提升最大再往后边际收益迅速衰减甚至因为引入了性能过差的子模型而拉低整体。如果你预算有限与其训练 10 个平庸模型来集成不如把预算集中到 3 个高质量、强差异的模型。坑四忘了给最终集成方案做软化处理。集成输出的概率往往会让模型对正确类别过于自信——因为多个模型都认为某个类别概率高平均之后概率更集中。这在某些任务上会导致线上行为过于激进。一个简单的处理是在聚合后对概率做温度缩放或者在蒸馏时使用较高的温度。这个细节在分类任务里往往能提升一小截线上效果。写在后面一个小改动可能比堆模型更划算说实话我在做深度学习项目的早期对模型集成是有些排斥的——总觉得这是努力不够、平均来凑显得技术水平不够高。但后来我慢慢改变看法了集成不是为了掩盖单个模型的不足而是为了在给定的计算预算下更稳定地逼近数据的真实规律。它和调结构、调损失、调训练策略一样都是工程里工具箱的一部分。如果你正准备在项目里尝试模型集成我的建议是从成本最低的试起先给现有模型加一个 EMA 权重观测效果成本几乎为零收益不够再上快照集成或者多个强差异性模型最后才考虑 Stacking 这类需要精心设计第二层的方案。每一步都先测量收益增量再决定要不要继续投入算力。另外提醒一句无论你最终用哪种集成方案都记得把模型之间的相关性当成一个正式指标来监控。很多表面上集成无效的案例归根结底是子模型之间的相关度过高成了同一个模型的重复采样而不是集成方法本身的问题。这套思路我后来在多个任务上都验证过——图像分类、自然语言理解、推荐排序甚至一些小规模的时序预测只要单模型方差存在、子模型多样性做出来了集成几乎都能带来切切实实的收益。希望这篇文章能帮你少走几步弯路把集成真正用出效果来。
1. 为什么单个模型很难赢先说清楚集成的统计学根源做深度学习这几年我越来越觉得有个现象很值得琢磨明明花了大量时间调参、换结构、加数据把单个模型的性能磨到了瓶颈结果随便把几个模型的预测结果平均一下指标反而又涨了一截。第一次观察到这个现象时我还以为是自己实验哪里出了问题——毕竟单个模型费了那么大劲才提升零点几个点一个简单的平均操作居然能轻松超过它这多少让人有点怀疑。但后来翻了翻偏差-方差分解的理论才彻底明白过来这不是什么玄学而是统计学习里一个非常基础的结论在起作用。理解了这个底层原因你才能明白后面所有集成技巧的设计动机也才知道什么时候集成真正有用、什么时候只是在浪费时间。1.1 偏差-方差分解一切集成的出发点假设我们有一个真实的目标函数 f(x)希望用模型 g(x) 去逼近它。在平方误差损失下模型的泛化误差可以分解成三部分偏差Bias模型预测的期望值与真实值的差异代表模型的拟合能力方差Variance模型预测在不同训练集上的波动程度代表模型对训练数据的敏感度噪声Noise数据本身自带的不可约误差。简单来说泛化误差 偏差² 方差 噪声单个模型做久了你八成有过这种体会模型在训练集上表现很好一上验证集就拉胯——这是方差过大的典型信号反过来训练集和验证集都表现平平怎么加容量也上不去——这是偏差过高的信号。模型集成的作用点几乎全部集中在方差这一项上。多个模型的预测做平均之后期望值基本不变偏差不改变但预测值的波动会被显著压低。方差降低了整体误差自然就下来了。打个比方一个人做判断可能有偏差也可能因为状态起伏而忽高忽低。但如果找一群水平相近的人各自独立判断再取个平均值判断的稳定性和可靠性通常会明显提升——每个人个性化的波动被抵消了系统的整体一致性变强了。这正是集成学习最核心的统计学动机。深度学习模型恰好是方差偏大的学习者同样的数据、同样的结构换一个随机种子训练最终模型的预测边界可能差别很大。这种高方差属性为集成提供了巨大的收益空间。1.2 误差去相关为什么平均有效是有条件的不过这里有个关键的前提很多人容易忽略集成带来的方差削减取决于各个子模型的误差之间是否足够独立。假设我们有 M 个模型每个模型的预测误差是 e₁, e₂, ..., eₘ误差的方差都是 σ²两两之间的相关系数为 ρ。对预测结果取平均后平均误差的方差为Var(mean) σ²/M (1 - 1/M) · ρ · σ²当 M 足够大时第一项趋近于 0但第二项里的 ρ 决定了方差的下限。如果模型之间完全独立ρ0方差可以降到原来的 1/M但如果模型之间完全正相关ρ1方差几乎不降集成等于白做。现实中的深度学习模型显然不可能完全独立——它们共享了同一份训练数据学习到的特征表征天然存在相似性。但这不代表集成无意义。随机初始化、不同的数据采样顺序、不同的超参数都会引入一定程度的去相关性。集成效果的好坏很大程度上取决于你是否真正把这些差异做出来了。这就是为什么我一直强调做集成重点不是简单地多训几个模型而是思考怎样让不同模型之间的相关性尽可能降低、同时单模型性能不要下降太多。单模型精度高但高度相关跟单模型精度稍低但彼此差异大后者往往能带来更好的集成效果。1.3 什么时候集成策略性价比最高根据我自己的经验模型集成收益最大化的场景一般有这么几类第一单模型的方差大但偏差可接受时。比如模型在训练集上已经能拟合得很好验证集上却波动明显这时候集成能吃掉大部分方差收益会很可观。第二数据量有限时。数据不足导致模型对训练集的抽样方式极其敏感多个模型之间的差异天然就大集成的去相关效果更明显。第三任务指标对稳定性敏感时。比如医疗影像、风控、推荐系统里的排序任务线上评估时不仅看平均分还要看方差、看长尾表现。集成后预测更稳定往往能带来比平均分提升更重要的实际收益。反过来如果模型偏差过大——比如网络容量严重不足或者数据分布和任务目标本身就不匹配——这时候你做集成也没用。一群同样偏的模型取平均结果还是偏的。所以第一步永远是先把单模型做到足够好而不是指望集成来兜底。2. 经典集成方法在深度学习里的演变Bagging、Boosting与Stacking传统机器学习里的三大集成范式——Bagging、Boosting、Stacking——在深度学习时代都找到了各自的变体。但直接照搬经典做法往往效果不佳需要针对深度学习的训练特性重新设计。这一节我挨个拆一遍。2.1 Bagging随机森林的思路在深度模型里怎么落地Bagging的核心是并行训练多个基学习器然后平均。随机森林之所以效果好是因为每一棵树都在不同的数据子集和特征子集上训练树与树之间的相关性被刻意压低了。深度模型能不能照做理论上可以——用不同的数据子集训练多个深度网络再平均预测。但实际你会很快碰到两个问题一是深度模型是饥饿的数据消费者。本来就缺数据你还给每个模型分一小块子集单模型性能会明显下降集成整体反而得不偿失。二是计算成本高昂。每份子集训一个完整网络训练成本成倍增加。所以深度学习时代的做法通常是改良版不减少训练样本而是通过不同的初始化参数、不同的数据采样顺序、不同的增强策略来制造差异。全量数据都参与训练但每个模型看到的数据经历不同。这样既保持了单模型的精度又在一定程度上实现了去相关。为了进一步压低相关性我还会刻意给不同模型分配不同的超参数组合一个模型用大的学习率加激进的数据增强另一个用小的学习率加保守增强。这种多样性优先的思路比机械地跑 N 个同配置模型要有效得多。2.2 Boosting从样本权重到残差拟合Boosting的思路是串行训练每个新模型重点关照前面模型犯错的样本最后把所有模型加权组合起来。在树模型时代这个思路被 XGBoost、LightGBM 发挥到了极致。但在深度学习里直接做经典 Adaboost 式样本加权效果并不理想。原因不难理解深度网络在大规模数据集上训练时训练的随机性本身就很大——同一份样本权重换个随机种子可能结果就不一样样本权重带来的针对性很容易被随机性淹没。我在实践中见过更靠谱的深度 Boosting 变体是沿着残差的思路走先训练一个模型然后针对它预测错误较严重的子集通常是那些处于决策边界的样本加大下个模型的训练权重或者干脆用伪标签策略去教第二个模型关注难点。这条路线要小心一个陷阱Boosting 会天然倾向于降低偏差而深度学习模型本身拟合能力极强再强行压偏差只会把模型推向过拟合。所以深度 Boosting 我一般只用在单模型明显欠拟合的场景比如数据量很大但模型容量不足时利用多个网络的逐步细化来逼近复杂目标函数。2.3 Stacking元学习器的设计与八卦问题Stacking堆叠的核心不是直接做简单平均而是训练一个元学习器Meta-Learner来自动学习怎么组合多个基模型的输出。原理很简单第一阶段用 K 个基模型对训练集做交叉验证预测得到每个样本在每个基模型下的输出概率向量或特征表示第二阶段把这些输出作为输入特征训练一个线性模型或浅层网络来拟合真实标签。我在做 Stacking 时有两点经验特别想分享第一元学习器一定要简单。用逻辑回归或单层网络做 meta-model通常比用复杂的树模型或深网效果好得多。原因在于第一阶段的模型输出之间已经包含了高度非线性、高度冗余的信息第二层要做的其实只是学习一组权重去平衡不同基模型的可信度。一个复杂的 meta-model 很容易在第一阶段输出的噪声里过拟合。第二必须在交叉验证框架下生成第二阶段特征。如果直接拿每个基模型在训练集上的预测结果来训练 meta-model那这些输出是在基模型见过的数据上生成的等于把过拟合信息递给了第二层。用 K 折交叉验证生成 out-of-fold 预测才能让第二层的输入反映模型的真实泛化倾向。Stacking 最容易踩的坑是我常说的八卦效应多个基模型来自同一个家族比如都是 ResNet 变体它们犯错的模式高度相似Stacking 学到的那组权重往往只对当前这批模型的组合方式有效换个任务或者稍改一下数据分布权重立刻失衡。所以 Stacking 别一上来就堆很多模型先确认基模型之间的多样性确实存在再设计第二层。3. 深度模型集成的几种实操形态从快照到权重平均传统集成方法在深度学习里改造之后接下来聊聊深度学习生态里最有特色的几种集成实操形态。这些方法不是因为理论基础更强而是因为贴合深度网络训练的独特规律用很低的额外成本获得了接近传统集成的收益。3.1 快照集成Snapshot Ensemble一次训练省下 N 倍时间常规做法是训练多个模型来集成代价是训练时间乘以 N。快照集成的思路很巧妙在一次训练过程中利用余弦退火学习率让模型反复收敛到不同的局部最优每个收敛点保存一份权重快照最终用这些快照做集成。实际执行时典型的配置是训练 200 个 epoch学习率按余弦曲线从峰值退火到接近 0一共循环 4 轮每 50 个 epoch 一个周期。在每个周期末尾模型都会在一个较小的学习率下收敛到一个局部最优保存这个时刻的权重即可。为什么这能work我理解的关键在于神经网络的损失曲面极其复杂存在大量性质相近但参数不同的局部最优解。高学习率阶段负责探索新区域低学习率末尾负责收敛精修。每个循环末端的快照实际上是从不同起点出发、经历不同路径收敛出的模型它们之间的误差相关性比随机初始化得到的模型要低集成效果自然好。我实测过快照集成对比单独的最终模型在图像分类任务上一般能带来 1-3 个百分点的提升而训练成本几乎就是一次正常训练的成本。是性价比极高的一种集成方式。但快照集成有一个讲究周期数不能太多。每个周期末保存的快照之间有一定的相似性周期太长、太密后几个快照很容易跟前几个高度雷同边际收益递减。我一般控制在 3-5 个快照再增加收益就很微弱了。3.2 SWA 与 EMA权重平均不是预测平均的低配版有时间接经验与其集成多个模型的预测结果不如直接把多个模型的权重做平均得到一个更平滑、更接近集成效果的单模型。这个方法叫 Stochastic Weight AveragingSWA以及它的近亲——深度学习中训练时常用的指数移动平均EMA。EMA 已经被大量应用在生成模型和自监督训练里原理是在训练过程中维护一组权重的指数滑动平均训练结束时使用这组滑动平均权重做推理。它的优势是不需要额外训练几乎零成本地获得了比单个候选权重更稳健的预测。SWA 的做法则是在训练后期收集若干轮的权重快照做简单平均。有意思的是把权重平均后的模型其损失曲面的平坦程度会比单一模型好很多这种平坦的极小值往往拥有更好的泛化能力。这里说个大实话权重平均的适用场景比很多人想象的还要广。尤其当你的模型在训练后期出现明显震荡时EMA 能直接抹平震荡带来的预测波动效果立竿见影。而且这类方法的收益上限虽然不如多模型集成但成本优势是压倒性的——推理时只有一个模型线上延迟不受影响。我能给的建议是先跑一个 EMA 模型当基线如果你的任务上线成本敏感EMA 几乎是最优解。如果预算宽裕再考虑加多个模型的预测平均。3.3 共享骨干的多头集成工程上最优雅的折衷有一种集成方案很多做工程的人爱用但研究论文里不太起眼叫共享骨干多头输出一个较大的骨干网络比如 ResNet 的主干部分后面接多个并行的分类头或者多个预测头训练时所有头共享同一个特征提取器推理时可以取多个头的平均作为最终输出。这个做法能算是集成吗严格说不算完全独立的模型集成因为各个头共享了底层特征误差相关性不低。但它在很多场景下依然带来了可用收益原因是不同初始化、不同丢包路径的头在高层语义的解读上会存在差异平均之后相当于做了一次特征级别的平滑对预测稳定性有正向作用。从工程角度看它的诱惑力实在太大训练时几乎不增加额外计算只有几个头多出来骨干是共享的显存占用只增加很小的一部分推理时可灵活决定接一个头还是多个头平均多个头天然适应多任务场景。我见过不少上线项目为了控制风险最后选的就是这条路线骨干训练到位之后挂上多个头推理时取均值在不明显增加成本的前提下把单模型的震荡给磨平了。但也要明确边界共享骨干集成和真正的多模型集成在精度提升上限上有明显差距。如果你的任务指标卡在临界点上必须靠更高的精度突破那就别再指望多头了老老实实去训练真正的多模型集成。4. 实战配置数据划分、训练策略与推理聚合的完整清单理论聊得再多不落地在实验配置上都是纸上谈兵。这一节我把做深度模型集成的完整实操套路捋一遍包括一些容易被忽视的细节。4.1 随机种子与数据划分被严重低估的两个变量做集成最忌讳的一件事就是用同一份数据划分去训练所有子模型然后还期待它们差异很大。虽然随机种子不同会引入一些随机性但验证集和测试集在开发过程中被反复使用会导致集体过拟合评测集——所有子模型都在无意中向同一组固定样本靠拢。我的建议是为每个子模型使用不同的数据划分种子让训练集和验证集的边界略有差异或者用 K 折交叉验证的方式每个子模型在不同折上训练保留一个从未参与任何调参决策的盲测集用于最终评估集成效果。随机种子本身的选取也很关键。你当然可以为每个子模型用不同种子但更稳妥的做法是让子模型之间在数据顺序、增强策略、初始化方式上拉开差距而不是只换一个种子。只换种子的差异随着训练步数增加会被快速抹平最终模型之间的相关性依然很高。我在实际项目里的配置大概是这样N 个子模型每个用不同的训练集/验证集划分交叉验证得到不同的数据增强强度不同的基础学习率有时候还刻意让不同模型用不同类型的优化器SGD 和 Adam 混合。这样配置出来的模型差异感很强集成收益比单纯换种子高出一截。4.2 推理时的三种聚合方式平均不只是取均值模型都训练好了推理时怎么聚合预测结果这里有三个层次不同任务适配不同做法概率平均Soft Voting把多个模型输出的概率向量逐元素求平均然后取平均概率中最大的类别作为预测。这是我在分类任务里最常用的方式。它保留了每个模型的置信度信息比硬投票Hard Voting更平滑、更稳健。硬投票Hard Voting每个模型先各自输出预测类别然后按少数服从多数定最终结果。这个方式有个好处是对概率校准不敏感但当模型数量少且某几个模型明显更强时硬投票反而会拖累强模型的表现。加权平均给不同模型分配不同权重权重可以用验证集上的表现来估计。但这需要格外小心——在验证集上拟合权重很容易过拟合验证集。除非你的验证集足够大、分布足够稳定否则我不建议做复杂的加权策略。简单平均往往比各种花式加权更稳。回归类任务直接对预测值取平均即可检测、分割这类结构化输出任务一般会先做输出级别的后处理融合比如检测里的 NMS 合并这已经是另一个话题了。4.3 评估收益时的三个常见误区我在帮不少团队评审实验时反复看到下面三个误区严重的时候能让人对集成效果产生完全错误的判断误区一拿集成的指标去和单个模型的指标比却没有统一训练预算。理想情况下对比基准应该是把集成花费的总训练时间也投入到单个模型训练里所能达到的指标。如果单个模型多训练几轮也能达到同样效果那这不算集成收益。误区二只报告平均分忽视方差。集成最大的价值之一是降低预测方差。如果你只在平均分上看到微小提升就否定集成可能忽略了它在方差、长尾性能、最差类别表现上的显著改善。建议同时报告标准差、P90/P99指标。误区三在测试集上调集成方法。当你反复尝试不同的聚合方式、不同的子模型组合并依据测试集上的指标做决策时测试集已经被污染了。集成方法应该在留出的验证集上确定测试集只碰一次。5. 我能告诉你的成本账训练开销、推理延迟与蒸馏压缩集成不是免费的午餐代价主要在两端训练时的算力成本和上线后的推理延迟成本。这一节把成本账掰开算清楚再说说怎么用蒸馏把集成压缩回单模型。5.1 训练成本和推理延迟从 N 倍训练到永远在线训练成本很直接N 个模型并行训练理想情况下算力需求差不多是单模型训练成本乘 N。做实验研发阶段还能接受但如果你打算让集成方案上线推理延迟和显存占用就成了硬约束。线上服务的瓶颈通常不是单次推理的浮点运算而是显存容量。一个像样的深度模型动辄几百 MB 到几个 GB装 5 个模型的显存开销会直接卡掉绝大多数低配推理服务器。如果接了多个模型还得关心请求并发、batch size 大小、GPU 占用率这些上下游指标发布排期时都得提前沟通。在实际项目中我见过不少集成方案在离线评测里大幅领先结果一到线上评审就被延迟和显存卡住最后只能砍掉。这也解释了为什么知识蒸馏在集成领域这么重要——它可以把集成的能力压缩回一个小型单模型里让推理成本和单模型持平。5.2 蒸馏如何把集成塞进一个模型知识蒸馏的思路是用集成模型的平均输出软标签作为监督信号去训练一个单模型。分类任务里软标签比硬标签提供了更多信息——它不仅告诉学生样本属于哪一类还在不同类别之间传递了相似性信息比如一张狗的照片模型在哈士奇和狼上的概率都较高这种相似性结构就是知识。实操层面你已经训练好一组集成模型那么收集它们在训练集或额外的无标注数据集上的输出概率做软标签然后让一个小型学生模型同时拟合真实标签和软标签loss 配比一般按 0.5 : 0.5 起步温度 T 设在 3-5 之间。温度控制的是软标签的平滑程度温度越高类间分布越均匀传递的相似性信息越多但太高会把噪声也放大。蒸馏后的学生模型通常达不到集成模型的完整水平但往往能逼近单个最优模型之上。这个上界缩减换来的推理成本骤减账非常划算。其实蒸馏和集成的关系还可以反过来用有些人先用大模型蒸馏出学生模型再拿多个学生模型做集成得到的效果经常比直接用多个大模型集成更好——因为不同的学生模型从同一个教师那里学到了略有差异的知识误差相关性更低。5.3 我踩过的一些坑提前帮你绕开最后分享几个我在实操中踩过的坑不一定写在教科书里但都很真实。坑一集成了但没做模型差异性检查。有一回我把同一个模型的 checkpoints 在不同 epoch 保存了几份来做集成自认为模型不一样结果评估指标几乎没有变化。后来计算了模型之间的预测相关性相关系数接近 0.98等于把同一个模型重复预测了多次。从那以后我每次做集成实验都会顺手算一下子模型预测的相关系数矩阵如果平均相关性大于 0.9就说明集成空间已经很小了该回去做多样性。坑二把增强策略复制粘贴到所有子模型。很多人的集成实验其实就是同一个训练脚本换种子跑 N 次。这种做法省事但收益有限。多样性是一个需要刻意设计的东西不同模型使用不同的增强策略、不同的裁剪尺寸、不同的归一化方式甚至不同的 loss 权重带来的收益比单纯换种子明显得多。坑三在集成模型数量上贪多。我做过一个系列实验从 2 个模型加到 10 个模型看指标增长曲线。结论是前 3-5 个模型带来的提升最大再往后边际收益迅速衰减甚至因为引入了性能过差的子模型而拉低整体。如果你预算有限与其训练 10 个平庸模型来集成不如把预算集中到 3 个高质量、强差异的模型。坑四忘了给最终集成方案做软化处理。集成输出的概率往往会让模型对正确类别过于自信——因为多个模型都认为某个类别概率高平均之后概率更集中。这在某些任务上会导致线上行为过于激进。一个简单的处理是在聚合后对概率做温度缩放或者在蒸馏时使用较高的温度。这个细节在分类任务里往往能提升一小截线上效果。写在后面一个小改动可能比堆模型更划算说实话我在做深度学习项目的早期对模型集成是有些排斥的——总觉得这是努力不够、平均来凑显得技术水平不够高。但后来我慢慢改变看法了集成不是为了掩盖单个模型的不足而是为了在给定的计算预算下更稳定地逼近数据的真实规律。它和调结构、调损失、调训练策略一样都是工程里工具箱的一部分。如果你正准备在项目里尝试模型集成我的建议是从成本最低的试起先给现有模型加一个 EMA 权重观测效果成本几乎为零收益不够再上快照集成或者多个强差异性模型最后才考虑 Stacking 这类需要精心设计第二层的方案。每一步都先测量收益增量再决定要不要继续投入算力。另外提醒一句无论你最终用哪种集成方案都记得把模型之间的相关性当成一个正式指标来监控。很多表面上集成无效的案例归根结底是子模型之间的相关度过高成了同一个模型的重复采样而不是集成方法本身的问题。这套思路我后来在多个任务上都验证过——图像分类、自然语言理解、推荐排序甚至一些小规模的时序预测只要单模型方差存在、子模型多样性做出来了集成几乎都能带来切切实实的收益。希望这篇文章能帮你少走几步弯路把集成真正用出效果来。
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
