这是机器学习笔记系列的第三十二篇主题不是某个新模型而是过去几周被问得最多、也让我自己反复摔跟头的一类问题模型在训练集和测试集上的表现差距过大以及围绕这个问题展开的正则化、交叉验证、优化器选择和集成策略。说实话学会跑通一个模型容易把模型调到上线后依然靠谱才是真考验。如果你目前处于训练集漂亮、验证集勉强、测试集翻车的阶段这篇笔记也许能帮你省下不少瞎折腾的时间。我尽量少堆公式把排查思路、参数理由和实际踩过的坑一起写出来。很多事情不一定要靠最复杂的技巧解决关键是把每一步决策背后的依据理清楚。1. 训练集与测试集评分差距悬殊泛化问题的诊断起点1.1 泛化能力是模型的一切机器学习模型说白了就是在做一件事把从训练数据里学到的规律迁移到没见过的数据上。训练集像是平时做过的习题册测试集则是一场真正没见过的考试。如果一个人把习题册背得滚瓜烂熟但考试遇到变式题就懵那不算学会了模型也一样训练集得分再高换一批数据就垮掉这就是典型的过拟合。反过来说如果连做过的习题都做不对那是没学会对应的是欠拟合。这两种情况需要的处理手段完全不同。欠拟合要继续增加模型容量、补特征、减少正则化过拟合则要降低容量、加正则化、收集更多数据。诊断的第一步就是搞清楚现在属于哪一种而不是上来就调学习率或者换模型。我习惯的做法是先看两个数字训练集上的损失或评估指标以及验证集上的损失或评估指标。如果前者明显好于后者比如训练集AUC到0.92验证集只有0.81那优先级最高的问题就是过拟合。如果两个都很差那么建模方向本身可能就有问题这时候调参等于在错误的地基上装修。1.2 偏差与方差先分清模型是笨还是飘统计学里有个偏差-方差分解初看有点绕但可以用笨和飘来理解偏差高是模型本身表达力不够给再多数据也系统性地答错像学生没理解基本概念方差高则是模型对训练数据的细节过于敏感换一份数据结论就大幅波动像考试时状态极不稳定。实际操作中我会观察误差曲线随训练数据量变化的趋势。如果增加训练数据后验证误差有明显下降说明方差偏高过拟合是主要矛盾如果增加数据后误差没什么变化那更可能是偏差问题需要提升模型复杂度或重构特征。这个判断直接影响后面的动作值得在动手前花十分钟想清楚。一个容易犯的错误是一看到过拟合立刻加大正则化结果模型变成欠拟合验证误差反而升了。所以正则化强度要一点一点加每次只改一个变量观察验证指标变化而不是一次性把L2、Dropout、早停全部拉满。2. 正则化不是玄学L1、L2、Dropout与早停的真实边界2.1 L2正则为什么是默认选项L2正则化是在损失函数后面加上权重的平方和惩罚项权重被推向更小、更均匀的数值。它不给某个特征特别大的特权整体上让模型的输出对输入变化的敏感度降低从而减少过拟合。对线性模型和神经网络都适用是大多数深度学习框架里的默认正则手段。L1正则化则是惩罚权重绝对值之和效果是把不重要的权重直接压到零相当于在做特征选择。它的优点是可以得到稀疏权重但副作用是会让模型在训练过程中不稳定尤其在深度网络里很多权重被清零之后特征组合的表达能力反而受损。我的经验是如果只是单纯想抑制过拟合优先用L2如果做的是高维稀疏线性模型并且希望特征具备解释性再考虑L1。正则化强度怎么选一般从比较小的值开始比如L2系数从1e-4试起每次翻十倍观察验证集表现。有些框架把weight decay和L2混为一谈要注意weight decay不等于L2。在Adam优化器里标准L2的实现方式和weight decay并不完全相同如果混用可能导致正则效果不一致。现在主流框架里可以直接选择解耦的weight decay参数优先用这个。2.2 Dropout的坑与正确的使用姿态Dropout的思路很直接训练时随机让一部分神经元的输出置为零迫使网络不依赖单个神经元或局部路径相当于在训练多个共享权重的子网络。它通常是一张好牌但我见过不少用错的场景。第一个坑Dropout用的是带概率的随机置零如果网络很浅、层数很少或者已经是轻度欠拟合状态再加Dropout只会雪上加霜。第二个坑Dropout和BatchNorm混用时要谨慎。BatchNorm依赖批内统计量来归一化数据分布而Dropout会让每层的输入分布随机变化反过来削弱BatchNorm的稳定性。实践中有两种可选方案要么减少Dropout的使用把正则化重点放在weight decay和早停上要么调整Dropout放在BatchNorm之后并对照验证指标决定。第三个坑发生在输入层有些资料会建议输入层也加Dropout但除非输入噪声本身很大否则输入层的高Dropout会直接丢掉有效信息训练效率下降得厉害。一般来说输入层Dropout不要超过0.1隐藏层可以设在0.2到0.5之间关键要看验证指标不要照抄别人的配置。2.3 早停法最被低估的正则化手段早停是我最常用的正则化手段因为它几乎不需要额外调参。训练过程中每过一个固定间隔就评估一次验证集如果连续若干轮验证指标没有改善就停止训练并回滚到指标最好的那一步权重。# 早停逻辑示意 patience 5 wait 0 best_score 0 for epoch in range(max_epochs): train_one_epoch() score evaluate(valid_set) if score best_score: best_score score save_checkpoint(weight_path) wait 0 else: wait 1 if wait patience: print(fearly stop at epoch {epoch}) break这里的patience不要设太大代表你允许模型原地踏步多少次。我一般先从5开始试数据量越大或训练越不稳定再适当加到10。早停的意义在于避免训练迭代次数过多、把噪声也学进去同时它还能间接节约训练时间双赢。有一点必须强调早停依赖的验证集不能用来反复做超参选择。如果你拿同一个验证集来回调早停阈值、调学习率、调网络结构验证集的信息会一点点渗进模型选择过程最终评估结果虚高。3. 交叉验证怎么用才不会骗到自己两种经典误区的亲身教训3.1 分层K折的用法与折数选择交叉验证的本意是让模型评估更稳但用不好反而会给人虚假信心。一个最常见的误区只做一次数据切分然后把验证集反复拿去调参。我踩过这个坑。曾经在一个二分类项目里用一份固定的验证集连续调了一周参数验证分数一路上涨心里美滋滋结果上线发现效果并不好。原因后来想明白了我虽然没把验证集放进训练集但每一次调参都参考了验证集结果相当于把验证集信息间接教给了模型最终验证集已经变成了半训练集。修复办法就是把数据拆成三份训练集、验证集、测试集。训练集用来学参数验证集用来调超参测试集只在最终评估时碰一次。如果数据量不大验证集和测试集的划分还需要用分层采样保证正负样本比例一致。K折交叉验证可以在第一步划分的基础上继续细分避免单次划分的运气成分。分类任务用StratifiedKFold保证每一折的类别比例接近整体分布回归任务按目标变量分位数分层效果也会稳定一些。折数选择依数据量而定千级数据5折万级数据10折更大的数据量可以降到3折节省训练成本。3.2 嵌套交叉验证模型比较的诚实做法如果你同时要完成两个目标一是选模型二是评估选出来的模型到底怎么样普通K折不够。因为你在评估过程中已经看过K折里每一份作为验证集的结果再用这些结果去吹最终得分依然会偏高。这时要用嵌套交叉验证外层做模型评估内层做参数选择。打个比方内层交叉验证像是平时的模拟考试用于选出做题策略外层交叉验证才是正式考试检验策略在完全未知试卷上的表现。计算量大约是单次交叉验证的K²倍所以适合在小中型数据集上使用。实际操作中我会先用一次随机切分快速确定大致方向再用嵌套交叉验证给最终模型一个更诚实的性能估计避免上线后才暴露问题。嵌套交叉验证的元模型训练方式也要注意基模型在每折训练集上完成训练然后对验证集做预测把多个折的预测组合起来作为新特征再交给元模型。如果直接把训练集上的预测拿来用会产生严重泄漏元模型会学到背诵而不是推理。4. 从loss曲线读懂信号学习率、优化器与梯度异常排查4.1 Adam的默认参数并不适合所有场景很多框架里Adam开箱即用默认学习率1e-3在很多任务上表现不错但不错不等于最优。Adam会为每个参数维护自适应学习率收敛速度确实快但它存在一个泛化性争议在某些图像分类任务里Adam收敛到的解比带动量的SGD更尖锐测试集表现稍差。更实际的坑是默认学习率不一定适合你的任务尤其是迁移学习或微调阶段。我有一个习惯新任务先跑一个极小的子集做学习率扫描。从一个很小的学习率开始比如1e-5逐步增大到1e-2观察loss曲线的下降速度。如果训练前几步loss不降说明学习率太小如果loss直接爆掉甚至变成NaN说明学习率太大。找到loss能稳定下降的最大学习率后再用约一半的值正式训练。这个方法比猜学习率省时间得多。4.2 从loss震荡读出的问题学习率与数据尺度如果训练损失曲线像锯齿一样上下跳动并不一定代表模型学坏了。用小批量训练时损失天然会有波动但波动过大通常指向学习率偏高。此时要么调低学习率要么增大批次大小要么两者同时微调。我一般先看全局波动范围如果loss在几十个步长里反复飙升就优先降学习率。另一件容易被忽略的事是数据尺度。尤其做多特征输入时如果把一个范围0到1000的特征和一个范围-1到1的特征直接拼在一起喂给网络再先进的优化器也会被带偏。大多数特征可以先做标准化让均值为0、方差为1至少也要缩放到[-1,1]。遇到极大值离群点时还可以考虑做对数变换或分位变换比单纯裁剪更稳。数据没归一化的情况下连调学习率都是徒劳。4.3 梯度爆炸与消失的排查链路训练过程中出现NaN或Inf最直接的原因是梯度爆炸。排查顺序一般是先确认数据里没有NaN或缺失值然后检查loss计算是否正确最后在反向传播之后打印各层梯度范数定位是哪一层梯度异常变大。梯度裁剪是应急手段效果立竿见影# 梯度裁剪示例按范数 torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0)这个操作把所有参数的梯度缩放到最大范数1.0以内避免某一步更新过大导致loss跳飞。但要注意梯度裁剪治标不治本如果梯度经常爆炸还要降低学习率、检查网络初始化或者在模型结构里加归一化层。梯度消失的典型场景是深层网络使用sigmoid或tanh激活函数梯度在反向传播中逐层衰减导致底层参数很难更新。解决办法包括改用ReLU类激活函数、增加残差连接、或者对每条分支做更合理的初始化。我曾在一个预训练语言模型的微调任务中遇到loss变成NaN排查之后发现是embedding层的学习率被设置得过大单独调低embedding层的学习率后问题解决这就是统一学习率不适合所有层的典型例子。5. 当单模型调无可调数据改造与简单集成的加分顺序5.1 特征工程与数据增强往往比换模型更划算模型结构折腾到一定程度之后收益会越来越小这时候我倾向于把精力转向数据侧。很多新手容易忽略缺失值本身的信息量。某个字段是否缺失可能本身就是预测信号与其简单填充不如单独加一列表示是否缺失。时间序列类数据要做滞后特征、差分特征、周期性编码有时候这些手工特征带来的提升比换一个更复杂的模型大得多。对图像和文本任务来说对应的是数据增强。图像可以旋转、裁剪、翻转、加噪声文本可以做同义词替换、随机删除、句子打乱。增强策略也要有度增强太狠反而让模型在训练集上的表现上不去需要根据验证指标做取舍。用某次公开数据集做图像分类时我只加水平翻转和随机裁剪就把验证准确率提升了一个百分点而换更深的网络结构只提升了零点三性价比差别很大。5.2 Bagging与Stacking简单集成怎么做不打折扣当单个模型确实调到头了可以考虑集成。但集成不是随便把几个模型放一起就能涨分增益来自模型之间的差异性。如果两个模型高度相似、错误模式几乎一样加进去只会增加训练和部署成本对最终结果几乎没帮助。Bagging是最容易上手的集成方式让多个模型在训练集的不同子集上训练再做平均或投票主要降低方差。实际应用中可以同时训练多个随机种子或者对数据集做多次重采样效果通常很稳定。Stacking则更进一步用基模型的输出作为元模型的特征输入。操作时一定要在交叉验证的框架下生成这些元特征否则会产生数据泄漏逻辑上等于让元模型看着答案考试。我做过一个实际业务模型多个不同算法单跑AUC都在0.85附近做简单概率平均后到0.87再用weighted ensemble把表现最好的几个模型加权组合提升到0.88。关键一步是权重要在验证集上确定而不是凭感觉拍脑袋。如果集成后提升不足零点几个百分点我会认真考虑是否值得增加部署复杂度毕竟线上系统多一个模型就多一份维护成本。数据量特别小的时候我不建议一上来就做复杂集成。先把清洗、特征、验证流程做扎实哪怕模型简单效果也可能比盲目堆模型好。反过来如果数据量很大、模型单个很难提升合理的集成往往是最后一公里最稳妥的加速器。这套排查顺序我自己走了一遍又一遍现在遇到新任务基本就是先看偏差方差矛盾再定正则化策略接着用交叉验证控制评估可信度然后盯着loss曲线调学习率最后才考虑数据和集成。按这个顺序走省下的时间足够多做几次完整实验。希望这篇笔记三十二能让你少走一些我走过的弯路。
这是机器学习笔记系列的第三十二篇主题不是某个新模型而是过去几周被问得最多、也让我自己反复摔跟头的一类问题模型在训练集和测试集上的表现差距过大以及围绕这个问题展开的正则化、交叉验证、优化器选择和集成策略。说实话学会跑通一个模型容易把模型调到上线后依然靠谱才是真考验。如果你目前处于训练集漂亮、验证集勉强、测试集翻车的阶段这篇笔记也许能帮你省下不少瞎折腾的时间。我尽量少堆公式把排查思路、参数理由和实际踩过的坑一起写出来。很多事情不一定要靠最复杂的技巧解决关键是把每一步决策背后的依据理清楚。1. 训练集与测试集评分差距悬殊泛化问题的诊断起点1.1 泛化能力是模型的一切机器学习模型说白了就是在做一件事把从训练数据里学到的规律迁移到没见过的数据上。训练集像是平时做过的习题册测试集则是一场真正没见过的考试。如果一个人把习题册背得滚瓜烂熟但考试遇到变式题就懵那不算学会了模型也一样训练集得分再高换一批数据就垮掉这就是典型的过拟合。反过来说如果连做过的习题都做不对那是没学会对应的是欠拟合。这两种情况需要的处理手段完全不同。欠拟合要继续增加模型容量、补特征、减少正则化过拟合则要降低容量、加正则化、收集更多数据。诊断的第一步就是搞清楚现在属于哪一种而不是上来就调学习率或者换模型。我习惯的做法是先看两个数字训练集上的损失或评估指标以及验证集上的损失或评估指标。如果前者明显好于后者比如训练集AUC到0.92验证集只有0.81那优先级最高的问题就是过拟合。如果两个都很差那么建模方向本身可能就有问题这时候调参等于在错误的地基上装修。1.2 偏差与方差先分清模型是笨还是飘统计学里有个偏差-方差分解初看有点绕但可以用笨和飘来理解偏差高是模型本身表达力不够给再多数据也系统性地答错像学生没理解基本概念方差高则是模型对训练数据的细节过于敏感换一份数据结论就大幅波动像考试时状态极不稳定。实际操作中我会观察误差曲线随训练数据量变化的趋势。如果增加训练数据后验证误差有明显下降说明方差偏高过拟合是主要矛盾如果增加数据后误差没什么变化那更可能是偏差问题需要提升模型复杂度或重构特征。这个判断直接影响后面的动作值得在动手前花十分钟想清楚。一个容易犯的错误是一看到过拟合立刻加大正则化结果模型变成欠拟合验证误差反而升了。所以正则化强度要一点一点加每次只改一个变量观察验证指标变化而不是一次性把L2、Dropout、早停全部拉满。2. 正则化不是玄学L1、L2、Dropout与早停的真实边界2.1 L2正则为什么是默认选项L2正则化是在损失函数后面加上权重的平方和惩罚项权重被推向更小、更均匀的数值。它不给某个特征特别大的特权整体上让模型的输出对输入变化的敏感度降低从而减少过拟合。对线性模型和神经网络都适用是大多数深度学习框架里的默认正则手段。L1正则化则是惩罚权重绝对值之和效果是把不重要的权重直接压到零相当于在做特征选择。它的优点是可以得到稀疏权重但副作用是会让模型在训练过程中不稳定尤其在深度网络里很多权重被清零之后特征组合的表达能力反而受损。我的经验是如果只是单纯想抑制过拟合优先用L2如果做的是高维稀疏线性模型并且希望特征具备解释性再考虑L1。正则化强度怎么选一般从比较小的值开始比如L2系数从1e-4试起每次翻十倍观察验证集表现。有些框架把weight decay和L2混为一谈要注意weight decay不等于L2。在Adam优化器里标准L2的实现方式和weight decay并不完全相同如果混用可能导致正则效果不一致。现在主流框架里可以直接选择解耦的weight decay参数优先用这个。2.2 Dropout的坑与正确的使用姿态Dropout的思路很直接训练时随机让一部分神经元的输出置为零迫使网络不依赖单个神经元或局部路径相当于在训练多个共享权重的子网络。它通常是一张好牌但我见过不少用错的场景。第一个坑Dropout用的是带概率的随机置零如果网络很浅、层数很少或者已经是轻度欠拟合状态再加Dropout只会雪上加霜。第二个坑Dropout和BatchNorm混用时要谨慎。BatchNorm依赖批内统计量来归一化数据分布而Dropout会让每层的输入分布随机变化反过来削弱BatchNorm的稳定性。实践中有两种可选方案要么减少Dropout的使用把正则化重点放在weight decay和早停上要么调整Dropout放在BatchNorm之后并对照验证指标决定。第三个坑发生在输入层有些资料会建议输入层也加Dropout但除非输入噪声本身很大否则输入层的高Dropout会直接丢掉有效信息训练效率下降得厉害。一般来说输入层Dropout不要超过0.1隐藏层可以设在0.2到0.5之间关键要看验证指标不要照抄别人的配置。2.3 早停法最被低估的正则化手段早停是我最常用的正则化手段因为它几乎不需要额外调参。训练过程中每过一个固定间隔就评估一次验证集如果连续若干轮验证指标没有改善就停止训练并回滚到指标最好的那一步权重。# 早停逻辑示意 patience 5 wait 0 best_score 0 for epoch in range(max_epochs): train_one_epoch() score evaluate(valid_set) if score best_score: best_score score save_checkpoint(weight_path) wait 0 else: wait 1 if wait patience: print(fearly stop at epoch {epoch}) break这里的patience不要设太大代表你允许模型原地踏步多少次。我一般先从5开始试数据量越大或训练越不稳定再适当加到10。早停的意义在于避免训练迭代次数过多、把噪声也学进去同时它还能间接节约训练时间双赢。有一点必须强调早停依赖的验证集不能用来反复做超参选择。如果你拿同一个验证集来回调早停阈值、调学习率、调网络结构验证集的信息会一点点渗进模型选择过程最终评估结果虚高。3. 交叉验证怎么用才不会骗到自己两种经典误区的亲身教训3.1 分层K折的用法与折数选择交叉验证的本意是让模型评估更稳但用不好反而会给人虚假信心。一个最常见的误区只做一次数据切分然后把验证集反复拿去调参。我踩过这个坑。曾经在一个二分类项目里用一份固定的验证集连续调了一周参数验证分数一路上涨心里美滋滋结果上线发现效果并不好。原因后来想明白了我虽然没把验证集放进训练集但每一次调参都参考了验证集结果相当于把验证集信息间接教给了模型最终验证集已经变成了半训练集。修复办法就是把数据拆成三份训练集、验证集、测试集。训练集用来学参数验证集用来调超参测试集只在最终评估时碰一次。如果数据量不大验证集和测试集的划分还需要用分层采样保证正负样本比例一致。K折交叉验证可以在第一步划分的基础上继续细分避免单次划分的运气成分。分类任务用StratifiedKFold保证每一折的类别比例接近整体分布回归任务按目标变量分位数分层效果也会稳定一些。折数选择依数据量而定千级数据5折万级数据10折更大的数据量可以降到3折节省训练成本。3.2 嵌套交叉验证模型比较的诚实做法如果你同时要完成两个目标一是选模型二是评估选出来的模型到底怎么样普通K折不够。因为你在评估过程中已经看过K折里每一份作为验证集的结果再用这些结果去吹最终得分依然会偏高。这时要用嵌套交叉验证外层做模型评估内层做参数选择。打个比方内层交叉验证像是平时的模拟考试用于选出做题策略外层交叉验证才是正式考试检验策略在完全未知试卷上的表现。计算量大约是单次交叉验证的K²倍所以适合在小中型数据集上使用。实际操作中我会先用一次随机切分快速确定大致方向再用嵌套交叉验证给最终模型一个更诚实的性能估计避免上线后才暴露问题。嵌套交叉验证的元模型训练方式也要注意基模型在每折训练集上完成训练然后对验证集做预测把多个折的预测组合起来作为新特征再交给元模型。如果直接把训练集上的预测拿来用会产生严重泄漏元模型会学到背诵而不是推理。4. 从loss曲线读懂信号学习率、优化器与梯度异常排查4.1 Adam的默认参数并不适合所有场景很多框架里Adam开箱即用默认学习率1e-3在很多任务上表现不错但不错不等于最优。Adam会为每个参数维护自适应学习率收敛速度确实快但它存在一个泛化性争议在某些图像分类任务里Adam收敛到的解比带动量的SGD更尖锐测试集表现稍差。更实际的坑是默认学习率不一定适合你的任务尤其是迁移学习或微调阶段。我有一个习惯新任务先跑一个极小的子集做学习率扫描。从一个很小的学习率开始比如1e-5逐步增大到1e-2观察loss曲线的下降速度。如果训练前几步loss不降说明学习率太小如果loss直接爆掉甚至变成NaN说明学习率太大。找到loss能稳定下降的最大学习率后再用约一半的值正式训练。这个方法比猜学习率省时间得多。4.2 从loss震荡读出的问题学习率与数据尺度如果训练损失曲线像锯齿一样上下跳动并不一定代表模型学坏了。用小批量训练时损失天然会有波动但波动过大通常指向学习率偏高。此时要么调低学习率要么增大批次大小要么两者同时微调。我一般先看全局波动范围如果loss在几十个步长里反复飙升就优先降学习率。另一件容易被忽略的事是数据尺度。尤其做多特征输入时如果把一个范围0到1000的特征和一个范围-1到1的特征直接拼在一起喂给网络再先进的优化器也会被带偏。大多数特征可以先做标准化让均值为0、方差为1至少也要缩放到[-1,1]。遇到极大值离群点时还可以考虑做对数变换或分位变换比单纯裁剪更稳。数据没归一化的情况下连调学习率都是徒劳。4.3 梯度爆炸与消失的排查链路训练过程中出现NaN或Inf最直接的原因是梯度爆炸。排查顺序一般是先确认数据里没有NaN或缺失值然后检查loss计算是否正确最后在反向传播之后打印各层梯度范数定位是哪一层梯度异常变大。梯度裁剪是应急手段效果立竿见影# 梯度裁剪示例按范数 torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0)这个操作把所有参数的梯度缩放到最大范数1.0以内避免某一步更新过大导致loss跳飞。但要注意梯度裁剪治标不治本如果梯度经常爆炸还要降低学习率、检查网络初始化或者在模型结构里加归一化层。梯度消失的典型场景是深层网络使用sigmoid或tanh激活函数梯度在反向传播中逐层衰减导致底层参数很难更新。解决办法包括改用ReLU类激活函数、增加残差连接、或者对每条分支做更合理的初始化。我曾在一个预训练语言模型的微调任务中遇到loss变成NaN排查之后发现是embedding层的学习率被设置得过大单独调低embedding层的学习率后问题解决这就是统一学习率不适合所有层的典型例子。5. 当单模型调无可调数据改造与简单集成的加分顺序5.1 特征工程与数据增强往往比换模型更划算模型结构折腾到一定程度之后收益会越来越小这时候我倾向于把精力转向数据侧。很多新手容易忽略缺失值本身的信息量。某个字段是否缺失可能本身就是预测信号与其简单填充不如单独加一列表示是否缺失。时间序列类数据要做滞后特征、差分特征、周期性编码有时候这些手工特征带来的提升比换一个更复杂的模型大得多。对图像和文本任务来说对应的是数据增强。图像可以旋转、裁剪、翻转、加噪声文本可以做同义词替换、随机删除、句子打乱。增强策略也要有度增强太狠反而让模型在训练集上的表现上不去需要根据验证指标做取舍。用某次公开数据集做图像分类时我只加水平翻转和随机裁剪就把验证准确率提升了一个百分点而换更深的网络结构只提升了零点三性价比差别很大。5.2 Bagging与Stacking简单集成怎么做不打折扣当单个模型确实调到头了可以考虑集成。但集成不是随便把几个模型放一起就能涨分增益来自模型之间的差异性。如果两个模型高度相似、错误模式几乎一样加进去只会增加训练和部署成本对最终结果几乎没帮助。Bagging是最容易上手的集成方式让多个模型在训练集的不同子集上训练再做平均或投票主要降低方差。实际应用中可以同时训练多个随机种子或者对数据集做多次重采样效果通常很稳定。Stacking则更进一步用基模型的输出作为元模型的特征输入。操作时一定要在交叉验证的框架下生成这些元特征否则会产生数据泄漏逻辑上等于让元模型看着答案考试。我做过一个实际业务模型多个不同算法单跑AUC都在0.85附近做简单概率平均后到0.87再用weighted ensemble把表现最好的几个模型加权组合提升到0.88。关键一步是权重要在验证集上确定而不是凭感觉拍脑袋。如果集成后提升不足零点几个百分点我会认真考虑是否值得增加部署复杂度毕竟线上系统多一个模型就多一份维护成本。数据量特别小的时候我不建议一上来就做复杂集成。先把清洗、特征、验证流程做扎实哪怕模型简单效果也可能比盲目堆模型好。反过来如果数据量很大、模型单个很难提升合理的集成往往是最后一公里最稳妥的加速器。这套排查顺序我自己走了一遍又一遍现在遇到新任务基本就是先看偏差方差矛盾再定正则化策略接着用交叉验证控制评估可信度然后盯着loss曲线调学习率最后才考虑数据和集成。按这个顺序走省下的时间足够多做几次完整实验。希望这篇笔记三十二能让你少走一些我走过的弯路。
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
