1. 集成学习这堂课先讲清楚“为什么多个模型会比一个强”在机器学习里如果要挑一个性价比最高的技巧我首推集成学习。它的道理特别朴素单个模型的判断总有盲区——有的样本天生就很难分有的特征分布藏在角落里单模型看几遍都记不住但如果让一堆模型各自给出判断再把这些判断综合起来群体智慧往往能把单点误差摊薄。集成学习里分两大分支Bagging装袋法和 Boosting提升法而提升树也就是以 AdaBoost 为代表的离散提升DBDiscrete Boosting和以 GBDT 为代表的梯度提升是提升法里最核心的两条技术主线。先回答一个很多新手都会问的问题为什么要做集成我早年做某电商平台的点击率预测时单棵决策树调到头也就是 80% 出头的准确率再想往上拱一个点换特征、调剪枝参数都不太动得了。后来某导师提醒了一句“你为什么不试试把十棵树的结果合起来”我把十棵树的结果做一个简单投票准确率直接跳高了三四个点。这就是集成最直接的价值——单个弱模型会犯的错误在群体投票里被稀释了。不过集成学习里有两个方向很多人一开始容易混。Bagging 是“并行纠偏”从训练集里做有放回抽样生成多个不同的子集分别训练几个模型最后投票或取平均靠减小方差取胜最出名的代表是随机森林。Boosting 恰好相反它是“串行纠错”后面的模型重点去学前面模型没学好的样本整体靠减小偏差提升性能。提升树就是 Boosting 路线里用决策树当基学习器的那一大类也是今天要展开的整个主题。整个 Boosting 的直觉可以用高三错题本来类比第一遍卷子做下来错了的题抄进错题本第二遍专门盯着错题做第三遍再集中攻克第二遍还没做对的题。每一遍的学习重心都由上一遍的“失败”重新定义。这个思想在几十年的算法演进里被反复证明有效AdaBoost 和 GBDT 都是它的不同工程实现。接下来我按“先原理、再推导、后实操”的顺序把这两条线彻底拆开讲透。2. 从错题本说起Boosting 的工作机制和它区别于 Bagging 的关键2.1 权重机制是怎么“记住”错误样本的如果只能用一句话解释 Boosting我会说它靠“样本权重”来管理注意力。在普通模型里所有训练样本一视同仁损失函数对每个样本算同样的贡献但 Boosting 引入了权重每一轮训练结束后那些被当前模型分错的样本会被提高权重分对的样本权重降低。这样一来下一轮基学习器训练时损失函数里错误样本占的比重更大模型就不得不把精力优先放到难分样本上。这里有一个容易忽略的细节提升过程的每一次迭代都会输出一个基学习器最终预测是所有基学习器按权重叠加的结果而不是简单把最后一个模型拿来用。早期模型虽然总体表现弱一点但它学到的模式是后面的模型替代不了的尤其是一些“难样本”在第一轮还没被标记出来时它们照样贡献了自己的力量。所以最终模型是一个加法结构前面的贡献和后面的贡献各占一段合起来才完整。2.2 Bagging 和 Boosting 的本质差异很多资料把 Bagging 和 Boosting 放在一起讲是因为它们的最终形态都是“多个模型合体”但出发点差异巨大。Bagging 是用多个子模型的独立预测互相拉平减少单棵树因为训练集子集不同带来的噪声影响Boosting 则更像一个不断自省的过程模型复杂度随着迭代次数线性增长它对于训练集的拟合能力越来越强。理解了这一点就理解了为什么 Boosting 在数据噪声很大的场景里容易出问题——因为它会把噪声也当成“难样本”拼命去拟合。我见过不少同行在项目里随便把随机森林换成 GBDT结果线上指标反而掉了。原因往往不是 GBDT 不好而是业务数据里本身的噪声比例高Boosting 的纠错机制把噪声当成了正确信号。所以在选型阶段先问问自己这个问题里“难分样本”是真实存在的分类困难还是无意义的标签噪声如果是后者随机森林或正则化更强的模型反而更稳健。下面这张表可以帮你快速建立判断框架维度BaggingBoosting训练方式并行各模型独立串行后一个依赖前一个关注重点降低方差降低偏差对噪声的敏感度较低较高典型代表随机森林AdaBoost、GBDT3. 离散提升DB的经典代表AdaBoost 的算法原理和推导3.1 一个完整的 AdaBoost 训练循环AdaBoost 是离散提升DB里最有名的代表也是我在实际项目里接触最早的 Boosting 算法。整个训练过程可以分成四步我用一个只有 10 个样本的小例子来说明。第一步初始化所有样本的权重相等也就是每个样本权重都是 w_i 1/N。第二步用当前权重训练一个弱分类器通常是树桩也就是深度为 1 的决策树并计算它在加权训练集上的分类误差率 ε。第三步根据误差率计算这个分类器的“话语权” α 0.5 * ln((1-ε)/ε)。第四步更新样本权重被分对的样本权重乘以 e^{-α}被分错的样本权重乘以 e^{α}最后归一化让所有权重加起来等于 1。这段话看起来是公式堆砌但背后逻辑是人尽皆知的道理一个人预测得越准他说话的分量应该越重被它忽略掉的错题在下一轮里要加倍重视。α 由 ε 决定当 ε 接近 0 时 α 趋向无穷大当 ε 超过 0.5 时 α 变成负数也就是说这个分类器还不如随机猜测它的意见非但不能采纳还应该反着听。3.2 手算示例看权重如何一步步倾斜假设有 10 个训练样本前两轮训练后编号 3 和编号 7 的样本被连续分错。初始权重都是 0.1第一轮后这两个样本的权重变成 0.1 * e^{0.5ln(9)} ≈ 0.3归一化之后大约在 0.16第二轮再错它们的权重继续涨到第三轮时已经超过 0.3。与此同时其他分对的样本权重被压得非常低。到第五轮这两个样本几乎主导了整个训练过程。这个机制我也会用在手写体数字识别一类的任务上。训练前两轮时模型把数字“7”和“9”弄混的次数比较多这两类的样本权重会变得特别大后续的树桩几乎都在围绕这些样本打转。到了第五轮可能一个被噪声污染的“7”标签错标成了“9”会被反复强化导致模型在训练集上表现很好但在真实场景下见到正常的“7”反而犹豫不决。这就是 AdaBoost 对噪声敏感的根源——它没有能力区分“难样本”和“坏样本”。我在处理业务数据时还会专门监控每一轮的权重分布。如果发现某一小撮样本的权重在五轮内没有回落反而越涨越高第一步不是继续调参而是回去查数据质量。多数情况下这些样本要么是标注错误要么是特别稀有的边缘案例直接清洗掉或者单独开一个类别处理比加大迭代次数更有效。3.3 AdaBoost 的局限和通往 GBDT 的动机AdaBoost 在二分类问题上效果很好但往多分类、回归任务上扩展时数学形式会变得别扭。它对损失函数的定义也是固化的——用的是指数损失一旦换成别的目标算法推导就要重来一遍。后来研究人员意识到与其为每一种损失函数单独设计一套权重更新公式不如把“残差拟合”的思想统一抽象出来。这一步打通之后提升树就从 AdaBoost 走向了更通用的框架——梯度提升。4. 提升树的抽象表达加法模型与前向分步算法4.1 加法模型把多个弱模型的输出加总起来提升树的最终模型怎么表达所有 Boosting 方法的最终输出都能写成同一个形式f(x) β_1 * T_1(x) β_2 * T_2(x) ... β_M * T_M(x)其中 T_m 是第 m 棵决策树β_m 是它对应的权重。这个结构在数学上叫“加法模型”。和神经网络那种“一层套一层”的结构相比加法模型的好处非常明显每一步要优化的东西都是清晰且独立的不需要同时调整全部参数这让训练过程在工程上特别好调试。前向分步算法是配套的训练策略核心思想是每一轮只优化当前这一项。具体地说在第 m 轮我们假设前 m-1 棵树已经定好了、不再改动然后找一个新树 T_m 和它的权重 β_m让当前总模型在训练集上的损失最小。这种贪心的优化方法在严格理论意义上不保证全局最优但实践证明它有很好的收敛性而且计算开销可控。这套思想后来被大量框架沿用包括各种号称能“自动机器学习”的工具底层依然逃不出加法模型的范式。理解这一点再看任何提升类框架的源码都会觉得异常亲切。4.2 为什么基学习器偏爱决策树理论上任何模型都能当基学习器但实际工程里决策树几乎成了默认选择。原因有三个第一决策树能自动处理非线性关系不需要像线性模型那样做复杂的特征变换第二它对缺失值有天然的容忍能力分叉的时候可以把缺失样本导向统计上更合理的分支第三单棵小树的表达力适中刚好适合当“弱学习器”——如果基学习器本身太强第一轮就把训练集拟合完了后面的轮次无事可做提升就失去了意义。这里要纠正一个常见误区提升树里的“树”不是传统意义上那种剪枝剪得很漂亮的大树而往往是非常浅的小树甚至在 AdaBoost 里直接用深度为 1 的树桩。小树只能抓一个特征的分界整体模型靠几十上百棵小树反复叠加来逼近真实函数。这个设计不是为了显摆而是为了控制偏差方差的平衡——每一棵弱的模型贡献一点点信息合起来逐步逼近目标。我见过有人把 GBDT 每棵树的最大深度设成 15训练集 loss 低得吓人验证集却一塌糊涂就是这个原因。4.3 分类问题和回归问题里的提升树提升树最早从回归问题起步。回归问题用平方误差损失时每一轮需要拟合的目标正好是上一轮模型的“残差”——真值减预测值这也是一代教材把提升树叫做“残差学习树”的原因。而分类问题更常用指数损失或对数损失这时残差的表达式会有所不同但整体训练思路一模一样。举例来说如果目标是预测房价第一棵树可能输出一个粗略的预测比如平均值附近第二棵树拟合的就不是房价本身而是第一棵树预测值和真实房价之间的差值第三棵树再拟合第二棵树留下的残差。经过多轮迭代残差越来越小预测值就越来越贴近真实值。这个过程解释起来很直观实操起来也特别好追踪——每轮结束后打印一下残差的均方根RMSE就能直观看到模型停止学习的时刻。5. 梯度提升决策树 GBDT把“拟合残差”升级成“拟合负梯度”5.1 从残差拟合到梯度下降的思想飞跃GBDT 的全称是 Gradient Boosting Decision Tree。它和传统提升树的区别在于把“拟合残差”这个具体操作抽象成了“拟合损失函数的负梯度”。为什么需要这个抽象因为残差只是平方损失下的一个特殊形式一旦换成绝对值损失、Huber 损失、对数损失函数形式就不再是“真实值减预测值”那么简单了。这时你只要记住一个结论对大多数可导的损失函数来说负梯度方向就是损失下降最快的方向。GBDT 每一轮拟合的“伪残差”正是当前模型对每个样本的损失负梯度。这一改不要紧整个框架的通用性一下子打开了分类、回归、排序、生存分析都能用同一套算法流程只是把损失函数换一下而已。我第一次体会到这个观点的力量是在某个排序项目里把损失从平方损失换成对数损失代码改动不到十行指标提升却非常明显。5.2 GBDT 的标准训练流程和关键公式我用伪代码描述一下 GBDT 的完整训练过程。输入训练集、损失函数和迭代轮数 M第一步初始化模型为一个常数让损失函数最小回归场景就是样本均值二分类场景就是正样本占比的对数几率。第二步到第 M 步重复计算每个样本在当前模型下的负梯度值也就是伪残差 r_im用这些伪残差作为新的目标训练一棵回归树 T_m为这棵树确定一个最优步长 γ_m通常用线搜索或者近似处理更新总模型 f(x) f_prev(x) γ_m * T_m(x)。这一步我给一个具体例子。在平方损失下负梯度就是真实值减当前预测值所以 GBDT 退化成普通提升树在 Huber 损失下误差小的样本用平方损失误差大的样本用线性损失负梯度会自动给大误差样本一个缩小的梯度从而抑制异常值的过度影响。这就是为什么 GBDT 框架比 AdaBoost 更抗噪——你可以通过换损失函数来控制对异常值的敏感度而不需要改整套算法。不同损失函数对应的“负梯度”简单整理如下损失函数负梯度伪残差适用场景平方损失y - f(x)常规回归对异常值敏感绝对值损失sign(y - f(x))回归抗异常值Huber损失分段形式回归折中方案对数损失二分类专用形式分类、排序5.3 GBDT 里的正则化手段学习率收缩和行采样实操中决定 GBDT 效果上限的往往不是树的结构参数而是正则化参数。第一个值得重点说的是学习率也叫收缩率。它的作用是每一轮新树的贡献都乘一个小系数比如 0.1 或 0.01从而给后续迭代留下更多纠错空间。直观上讲步子迈太大容易跨过最优点用小步走反而更容易逼近。常规经验是把学习率设置在 0.05 到 0.3 之间同时相应地增大迭代轮数。第二个是行采样也就是 sub_sample 参数。每轮训练回归树时只在训练集里抽取一部分样本参与拟合类似随机森林的行采样思想。这既降低了过拟合风险也有效地打断了串行训练中前后轮的强相关性。我自己的习惯是当训练集不大时行采样比例设置在 0.7 到 0.9样本量很大时配合更小的比例进一步降方差。除了这两个还有树的最大深度、叶子节点的最小样本数、叶子节点权重阈值等常见参数它们各自控制模型复杂度没有谁可以一劳永逸。6. 工程落地参数调整顺序和我踩过的几个坑6.1 一套可复现的调参顺序很多刚接触 GBDT 的同学上来就一顿网格搜索把各种参数一起扫结果又慢又难解释。我强烈建议按由粗到细的顺序来调第一步定学习率和树的数量学习率先用小值比如 0.1然后让树数量随早停机制自适应第二步调树的结构参数比如最大深度和叶子节点最小样本数第三步调行采样和列采样比例最后再微调学习率做最终打磨。用某内容推荐系统的排序模型项目举例我一开始用默认参数跑基线AUC 大概 0.68。第一步把学习率从 0.1 降到 0.05树数量靠早停得到大约 600 棵AUC 升到 0.71第二步把最大深度从默认的 6 降到 3叶子节点最小样本数提到 30AUC 又涨到 0.73而且训练时间缩短了一半第三步把行采样调到 0.8AUC 到 0.735。这个收益看起来不大但在排序场景里0.005 的 AUC 提升足以改变头部展示位次的分布格局。6.2 缺失值处理和类别特征的小经验GBDT 对缺失值的处理多数实现都是把缺失样本默认分到增益最大的一侧这个策略在不少场景下是够用的。但有一个前提条件缺失本身不能携带业务含义。比如在“是否点击”预测中某个特征缺失可能是因为客户端版本太老根本没上报这个“缺失”本身就是信号。我在这类场景里会把“是否缺失”作为一个独立特征加入模型让树去学“缺失了意味着什么”往往比默认分流向有效得多。类别特征方面如果类别数量不大比如几十个以内直接用 label encoding 就行树模型对数值顺序不敏感没有线性模型那么多讲究但如果类别取值几百甚至几千建议改用频次编码或目标编码否则单棵树的切分计算会变得很慢模型也容易在这一个特征上过拟合。更极端的做法是直接交给成熟框架的类别特征专用处理逻辑但小项目没必要上。6.3 训练时间、内存和早停的艺术GBDT 虽然不像深度网络那样吃 GPU但数据量一大迭代轮数一多训练时间还是会让人头疼。我的经验是从三个方向压缩第一控制树的最大深度大多数场景信号只需要深度 3 到 6 就够超过 8 基本是在吸收噪声第二用早停机制每训练一定轮数就在验证集上评估一次连续几十轮没有提升就直接停省掉后面无意义的迭代第三如果是上亿样本的海量数据考虑用分布式版本或者先做负样本采样把数据量压到千万级别再训练。早停还有一个隐藏的好处它相当于隐式地做了模型选择让你不需要把迭代轮数 M 当作超参数去扫描。我通常在同一轮实验里同时看训练集和验证集的损失曲线训练集损失持续下降、验证集损失开始持平或上升就说明模型开始过拟合早停点基本就是最优复杂度所在。要特别留意的是一部分实现的默认早停参数不是针对验证集而是针对训练集用之前一定要查清楚否则早停形同虚设。7. 常见问题排雷手册7.1 训练误差一直在降但验证误差纹丝不动这个现象九成是因为学习率设置太高和树太深。学习率高会让模型快速拟合训练集但也会快速逼近过拟合区树太深则让单棵树表达能力过强几棵树就把训练集学完了。解决办法很简单把学习率降到 0.05 以下把最大深度压到 3 到 4多迭代轮数让每一轮只学一点点同时开早停。我做过的回归项目里这一套组合变动后验证误差基本都能明显回落。7.2 迭代很多轮都没有提升是不是模型不 work不一定。我遇到过点击率预测的场景前面几十轮 AUC 几乎不动到大约 200 轮以后才开始爬升。原因是这个问题的信号非常稀疏大部分样本对提升毫无贡献模型需要足够多的迭代来把那些微弱的交叉效应累积成可见的提升。所以判断模型有没有在学不能只看前几轮要看学习曲线是不是整体向下、有没有在某个点后稳定进入平台期。平台期本身不可怕可怕的是曲线还在明显上升就停了。7.3 GBDT 和 XGBoost、LightGBM 是什么关系经常有同学问学了 GBDT 是不是就相当于学了 XGBoost答案是半对。XGBoost 和 LightGBM 都是 GBDT 的工业级实现核心思想完全一致都是在每一轮拟合伪残差只是工程优化上做了大量改进二阶泰勒展开、直方图分箱、叶子优先的生长策略、各种并行化技术。理解了 GBDT 的原生过程再去看这些框架的文档和源码会觉得非常亲切很多参数的命名和含义都能对得上。反过来如果直接上手框架但不懂底层遇到诡异行为往往连排查方向都找不到。7.4 要不要对特征做归一化或者标准化不需要。树模型是基于切分的特征的不同尺度只会影响切分点的选择范围不会因为特征值大就天然权重高。这一点和 SVM、逻辑回归等基于距离的模型完全不同。如果项目里既用 GBDT 又用线性模型好的做法是分别准备两套特征流水线树模型用原始尺度就行线性模型那一路再做标准化。我见过有人把特征全部归一化后喂给 GBDT结果指标没变反而白白增加了预处理时间和内存占用。7.5 样本严重不均衡怎么办GBDT 对类别不均衡的容忍度其实比线性模型高因为它靠的是叶子节点上的样本分布判断而不是全局的决策边界。但极端不均衡比如正样本不足 1%时还是建议做两类处理一是在训练时给少数类设置更高的样本权重这相当于人为放大它们的损失贡献二是对预测结果不做硬阈值改用排序指标验证模型因为这类场景在线上的真实目标是“把正样本排在前面”而不是“分类完全正确”。7.6 快速排查速查表现象首要怀疑点优先尝试手段过拟合明显树太深、学习率太高降深度、降学习率、开早停训练很慢深度大、数据量过大减深度、负采样、用直方图法预测分布和训练分布不一致特征漂移或采样偏差检查特征管道、重做采样部分特征重要性异常偏高高基数类别特征目标编码、频次编码验证集波动大行采样比例低、迭代不足提高采样比例、加大轮数最后再分享两个实战小技巧第一任何 Boosting 模型上线的第一周我强烈建议把线上预测分布和训练集预测分布画到一起对比。如果形状差异很大大概率是特征分布发生了漂移这时候要查特征管道、回看训练集采样逻辑而不是盲目调模型参数。第二在迭代实验记录里把每次实验的学习率、树数量、验证指标整整齐齐记成一张表坚持记录几周之后你会发现自己对参数行为的直觉会变得特别准——很多新手调参慢不是因为笨而是因为不做记录永远在同一批参数上反复横跳。就写到这里。提升树这条技术线从 AdaBoost 到 GBDT中间隔着一道并不难跨越的抽象台阶从“具体残差”走到“负梯度”。一旦理解了这道台阶后续所有提升类框架包括各种工业级实现都只是在这套骨架上的工程优化。希望这篇整理能帮你省掉一些自己磕碰的时间。
1. 集成学习这堂课先讲清楚“为什么多个模型会比一个强”在机器学习里如果要挑一个性价比最高的技巧我首推集成学习。它的道理特别朴素单个模型的判断总有盲区——有的样本天生就很难分有的特征分布藏在角落里单模型看几遍都记不住但如果让一堆模型各自给出判断再把这些判断综合起来群体智慧往往能把单点误差摊薄。集成学习里分两大分支Bagging装袋法和 Boosting提升法而提升树也就是以 AdaBoost 为代表的离散提升DBDiscrete Boosting和以 GBDT 为代表的梯度提升是提升法里最核心的两条技术主线。先回答一个很多新手都会问的问题为什么要做集成我早年做某电商平台的点击率预测时单棵决策树调到头也就是 80% 出头的准确率再想往上拱一个点换特征、调剪枝参数都不太动得了。后来某导师提醒了一句“你为什么不试试把十棵树的结果合起来”我把十棵树的结果做一个简单投票准确率直接跳高了三四个点。这就是集成最直接的价值——单个弱模型会犯的错误在群体投票里被稀释了。不过集成学习里有两个方向很多人一开始容易混。Bagging 是“并行纠偏”从训练集里做有放回抽样生成多个不同的子集分别训练几个模型最后投票或取平均靠减小方差取胜最出名的代表是随机森林。Boosting 恰好相反它是“串行纠错”后面的模型重点去学前面模型没学好的样本整体靠减小偏差提升性能。提升树就是 Boosting 路线里用决策树当基学习器的那一大类也是今天要展开的整个主题。整个 Boosting 的直觉可以用高三错题本来类比第一遍卷子做下来错了的题抄进错题本第二遍专门盯着错题做第三遍再集中攻克第二遍还没做对的题。每一遍的学习重心都由上一遍的“失败”重新定义。这个思想在几十年的算法演进里被反复证明有效AdaBoost 和 GBDT 都是它的不同工程实现。接下来我按“先原理、再推导、后实操”的顺序把这两条线彻底拆开讲透。2. 从错题本说起Boosting 的工作机制和它区别于 Bagging 的关键2.1 权重机制是怎么“记住”错误样本的如果只能用一句话解释 Boosting我会说它靠“样本权重”来管理注意力。在普通模型里所有训练样本一视同仁损失函数对每个样本算同样的贡献但 Boosting 引入了权重每一轮训练结束后那些被当前模型分错的样本会被提高权重分对的样本权重降低。这样一来下一轮基学习器训练时损失函数里错误样本占的比重更大模型就不得不把精力优先放到难分样本上。这里有一个容易忽略的细节提升过程的每一次迭代都会输出一个基学习器最终预测是所有基学习器按权重叠加的结果而不是简单把最后一个模型拿来用。早期模型虽然总体表现弱一点但它学到的模式是后面的模型替代不了的尤其是一些“难样本”在第一轮还没被标记出来时它们照样贡献了自己的力量。所以最终模型是一个加法结构前面的贡献和后面的贡献各占一段合起来才完整。2.2 Bagging 和 Boosting 的本质差异很多资料把 Bagging 和 Boosting 放在一起讲是因为它们的最终形态都是“多个模型合体”但出发点差异巨大。Bagging 是用多个子模型的独立预测互相拉平减少单棵树因为训练集子集不同带来的噪声影响Boosting 则更像一个不断自省的过程模型复杂度随着迭代次数线性增长它对于训练集的拟合能力越来越强。理解了这一点就理解了为什么 Boosting 在数据噪声很大的场景里容易出问题——因为它会把噪声也当成“难样本”拼命去拟合。我见过不少同行在项目里随便把随机森林换成 GBDT结果线上指标反而掉了。原因往往不是 GBDT 不好而是业务数据里本身的噪声比例高Boosting 的纠错机制把噪声当成了正确信号。所以在选型阶段先问问自己这个问题里“难分样本”是真实存在的分类困难还是无意义的标签噪声如果是后者随机森林或正则化更强的模型反而更稳健。下面这张表可以帮你快速建立判断框架维度BaggingBoosting训练方式并行各模型独立串行后一个依赖前一个关注重点降低方差降低偏差对噪声的敏感度较低较高典型代表随机森林AdaBoost、GBDT3. 离散提升DB的经典代表AdaBoost 的算法原理和推导3.1 一个完整的 AdaBoost 训练循环AdaBoost 是离散提升DB里最有名的代表也是我在实际项目里接触最早的 Boosting 算法。整个训练过程可以分成四步我用一个只有 10 个样本的小例子来说明。第一步初始化所有样本的权重相等也就是每个样本权重都是 w_i 1/N。第二步用当前权重训练一个弱分类器通常是树桩也就是深度为 1 的决策树并计算它在加权训练集上的分类误差率 ε。第三步根据误差率计算这个分类器的“话语权” α 0.5 * ln((1-ε)/ε)。第四步更新样本权重被分对的样本权重乘以 e^{-α}被分错的样本权重乘以 e^{α}最后归一化让所有权重加起来等于 1。这段话看起来是公式堆砌但背后逻辑是人尽皆知的道理一个人预测得越准他说话的分量应该越重被它忽略掉的错题在下一轮里要加倍重视。α 由 ε 决定当 ε 接近 0 时 α 趋向无穷大当 ε 超过 0.5 时 α 变成负数也就是说这个分类器还不如随机猜测它的意见非但不能采纳还应该反着听。3.2 手算示例看权重如何一步步倾斜假设有 10 个训练样本前两轮训练后编号 3 和编号 7 的样本被连续分错。初始权重都是 0.1第一轮后这两个样本的权重变成 0.1 * e^{0.5ln(9)} ≈ 0.3归一化之后大约在 0.16第二轮再错它们的权重继续涨到第三轮时已经超过 0.3。与此同时其他分对的样本权重被压得非常低。到第五轮这两个样本几乎主导了整个训练过程。这个机制我也会用在手写体数字识别一类的任务上。训练前两轮时模型把数字“7”和“9”弄混的次数比较多这两类的样本权重会变得特别大后续的树桩几乎都在围绕这些样本打转。到了第五轮可能一个被噪声污染的“7”标签错标成了“9”会被反复强化导致模型在训练集上表现很好但在真实场景下见到正常的“7”反而犹豫不决。这就是 AdaBoost 对噪声敏感的根源——它没有能力区分“难样本”和“坏样本”。我在处理业务数据时还会专门监控每一轮的权重分布。如果发现某一小撮样本的权重在五轮内没有回落反而越涨越高第一步不是继续调参而是回去查数据质量。多数情况下这些样本要么是标注错误要么是特别稀有的边缘案例直接清洗掉或者单独开一个类别处理比加大迭代次数更有效。3.3 AdaBoost 的局限和通往 GBDT 的动机AdaBoost 在二分类问题上效果很好但往多分类、回归任务上扩展时数学形式会变得别扭。它对损失函数的定义也是固化的——用的是指数损失一旦换成别的目标算法推导就要重来一遍。后来研究人员意识到与其为每一种损失函数单独设计一套权重更新公式不如把“残差拟合”的思想统一抽象出来。这一步打通之后提升树就从 AdaBoost 走向了更通用的框架——梯度提升。4. 提升树的抽象表达加法模型与前向分步算法4.1 加法模型把多个弱模型的输出加总起来提升树的最终模型怎么表达所有 Boosting 方法的最终输出都能写成同一个形式f(x) β_1 * T_1(x) β_2 * T_2(x) ... β_M * T_M(x)其中 T_m 是第 m 棵决策树β_m 是它对应的权重。这个结构在数学上叫“加法模型”。和神经网络那种“一层套一层”的结构相比加法模型的好处非常明显每一步要优化的东西都是清晰且独立的不需要同时调整全部参数这让训练过程在工程上特别好调试。前向分步算法是配套的训练策略核心思想是每一轮只优化当前这一项。具体地说在第 m 轮我们假设前 m-1 棵树已经定好了、不再改动然后找一个新树 T_m 和它的权重 β_m让当前总模型在训练集上的损失最小。这种贪心的优化方法在严格理论意义上不保证全局最优但实践证明它有很好的收敛性而且计算开销可控。这套思想后来被大量框架沿用包括各种号称能“自动机器学习”的工具底层依然逃不出加法模型的范式。理解这一点再看任何提升类框架的源码都会觉得异常亲切。4.2 为什么基学习器偏爱决策树理论上任何模型都能当基学习器但实际工程里决策树几乎成了默认选择。原因有三个第一决策树能自动处理非线性关系不需要像线性模型那样做复杂的特征变换第二它对缺失值有天然的容忍能力分叉的时候可以把缺失样本导向统计上更合理的分支第三单棵小树的表达力适中刚好适合当“弱学习器”——如果基学习器本身太强第一轮就把训练集拟合完了后面的轮次无事可做提升就失去了意义。这里要纠正一个常见误区提升树里的“树”不是传统意义上那种剪枝剪得很漂亮的大树而往往是非常浅的小树甚至在 AdaBoost 里直接用深度为 1 的树桩。小树只能抓一个特征的分界整体模型靠几十上百棵小树反复叠加来逼近真实函数。这个设计不是为了显摆而是为了控制偏差方差的平衡——每一棵弱的模型贡献一点点信息合起来逐步逼近目标。我见过有人把 GBDT 每棵树的最大深度设成 15训练集 loss 低得吓人验证集却一塌糊涂就是这个原因。4.3 分类问题和回归问题里的提升树提升树最早从回归问题起步。回归问题用平方误差损失时每一轮需要拟合的目标正好是上一轮模型的“残差”——真值减预测值这也是一代教材把提升树叫做“残差学习树”的原因。而分类问题更常用指数损失或对数损失这时残差的表达式会有所不同但整体训练思路一模一样。举例来说如果目标是预测房价第一棵树可能输出一个粗略的预测比如平均值附近第二棵树拟合的就不是房价本身而是第一棵树预测值和真实房价之间的差值第三棵树再拟合第二棵树留下的残差。经过多轮迭代残差越来越小预测值就越来越贴近真实值。这个过程解释起来很直观实操起来也特别好追踪——每轮结束后打印一下残差的均方根RMSE就能直观看到模型停止学习的时刻。5. 梯度提升决策树 GBDT把“拟合残差”升级成“拟合负梯度”5.1 从残差拟合到梯度下降的思想飞跃GBDT 的全称是 Gradient Boosting Decision Tree。它和传统提升树的区别在于把“拟合残差”这个具体操作抽象成了“拟合损失函数的负梯度”。为什么需要这个抽象因为残差只是平方损失下的一个特殊形式一旦换成绝对值损失、Huber 损失、对数损失函数形式就不再是“真实值减预测值”那么简单了。这时你只要记住一个结论对大多数可导的损失函数来说负梯度方向就是损失下降最快的方向。GBDT 每一轮拟合的“伪残差”正是当前模型对每个样本的损失负梯度。这一改不要紧整个框架的通用性一下子打开了分类、回归、排序、生存分析都能用同一套算法流程只是把损失函数换一下而已。我第一次体会到这个观点的力量是在某个排序项目里把损失从平方损失换成对数损失代码改动不到十行指标提升却非常明显。5.2 GBDT 的标准训练流程和关键公式我用伪代码描述一下 GBDT 的完整训练过程。输入训练集、损失函数和迭代轮数 M第一步初始化模型为一个常数让损失函数最小回归场景就是样本均值二分类场景就是正样本占比的对数几率。第二步到第 M 步重复计算每个样本在当前模型下的负梯度值也就是伪残差 r_im用这些伪残差作为新的目标训练一棵回归树 T_m为这棵树确定一个最优步长 γ_m通常用线搜索或者近似处理更新总模型 f(x) f_prev(x) γ_m * T_m(x)。这一步我给一个具体例子。在平方损失下负梯度就是真实值减当前预测值所以 GBDT 退化成普通提升树在 Huber 损失下误差小的样本用平方损失误差大的样本用线性损失负梯度会自动给大误差样本一个缩小的梯度从而抑制异常值的过度影响。这就是为什么 GBDT 框架比 AdaBoost 更抗噪——你可以通过换损失函数来控制对异常值的敏感度而不需要改整套算法。不同损失函数对应的“负梯度”简单整理如下损失函数负梯度伪残差适用场景平方损失y - f(x)常规回归对异常值敏感绝对值损失sign(y - f(x))回归抗异常值Huber损失分段形式回归折中方案对数损失二分类专用形式分类、排序5.3 GBDT 里的正则化手段学习率收缩和行采样实操中决定 GBDT 效果上限的往往不是树的结构参数而是正则化参数。第一个值得重点说的是学习率也叫收缩率。它的作用是每一轮新树的贡献都乘一个小系数比如 0.1 或 0.01从而给后续迭代留下更多纠错空间。直观上讲步子迈太大容易跨过最优点用小步走反而更容易逼近。常规经验是把学习率设置在 0.05 到 0.3 之间同时相应地增大迭代轮数。第二个是行采样也就是 sub_sample 参数。每轮训练回归树时只在训练集里抽取一部分样本参与拟合类似随机森林的行采样思想。这既降低了过拟合风险也有效地打断了串行训练中前后轮的强相关性。我自己的习惯是当训练集不大时行采样比例设置在 0.7 到 0.9样本量很大时配合更小的比例进一步降方差。除了这两个还有树的最大深度、叶子节点的最小样本数、叶子节点权重阈值等常见参数它们各自控制模型复杂度没有谁可以一劳永逸。6. 工程落地参数调整顺序和我踩过的几个坑6.1 一套可复现的调参顺序很多刚接触 GBDT 的同学上来就一顿网格搜索把各种参数一起扫结果又慢又难解释。我强烈建议按由粗到细的顺序来调第一步定学习率和树的数量学习率先用小值比如 0.1然后让树数量随早停机制自适应第二步调树的结构参数比如最大深度和叶子节点最小样本数第三步调行采样和列采样比例最后再微调学习率做最终打磨。用某内容推荐系统的排序模型项目举例我一开始用默认参数跑基线AUC 大概 0.68。第一步把学习率从 0.1 降到 0.05树数量靠早停得到大约 600 棵AUC 升到 0.71第二步把最大深度从默认的 6 降到 3叶子节点最小样本数提到 30AUC 又涨到 0.73而且训练时间缩短了一半第三步把行采样调到 0.8AUC 到 0.735。这个收益看起来不大但在排序场景里0.005 的 AUC 提升足以改变头部展示位次的分布格局。6.2 缺失值处理和类别特征的小经验GBDT 对缺失值的处理多数实现都是把缺失样本默认分到增益最大的一侧这个策略在不少场景下是够用的。但有一个前提条件缺失本身不能携带业务含义。比如在“是否点击”预测中某个特征缺失可能是因为客户端版本太老根本没上报这个“缺失”本身就是信号。我在这类场景里会把“是否缺失”作为一个独立特征加入模型让树去学“缺失了意味着什么”往往比默认分流向有效得多。类别特征方面如果类别数量不大比如几十个以内直接用 label encoding 就行树模型对数值顺序不敏感没有线性模型那么多讲究但如果类别取值几百甚至几千建议改用频次编码或目标编码否则单棵树的切分计算会变得很慢模型也容易在这一个特征上过拟合。更极端的做法是直接交给成熟框架的类别特征专用处理逻辑但小项目没必要上。6.3 训练时间、内存和早停的艺术GBDT 虽然不像深度网络那样吃 GPU但数据量一大迭代轮数一多训练时间还是会让人头疼。我的经验是从三个方向压缩第一控制树的最大深度大多数场景信号只需要深度 3 到 6 就够超过 8 基本是在吸收噪声第二用早停机制每训练一定轮数就在验证集上评估一次连续几十轮没有提升就直接停省掉后面无意义的迭代第三如果是上亿样本的海量数据考虑用分布式版本或者先做负样本采样把数据量压到千万级别再训练。早停还有一个隐藏的好处它相当于隐式地做了模型选择让你不需要把迭代轮数 M 当作超参数去扫描。我通常在同一轮实验里同时看训练集和验证集的损失曲线训练集损失持续下降、验证集损失开始持平或上升就说明模型开始过拟合早停点基本就是最优复杂度所在。要特别留意的是一部分实现的默认早停参数不是针对验证集而是针对训练集用之前一定要查清楚否则早停形同虚设。7. 常见问题排雷手册7.1 训练误差一直在降但验证误差纹丝不动这个现象九成是因为学习率设置太高和树太深。学习率高会让模型快速拟合训练集但也会快速逼近过拟合区树太深则让单棵树表达能力过强几棵树就把训练集学完了。解决办法很简单把学习率降到 0.05 以下把最大深度压到 3 到 4多迭代轮数让每一轮只学一点点同时开早停。我做过的回归项目里这一套组合变动后验证误差基本都能明显回落。7.2 迭代很多轮都没有提升是不是模型不 work不一定。我遇到过点击率预测的场景前面几十轮 AUC 几乎不动到大约 200 轮以后才开始爬升。原因是这个问题的信号非常稀疏大部分样本对提升毫无贡献模型需要足够多的迭代来把那些微弱的交叉效应累积成可见的提升。所以判断模型有没有在学不能只看前几轮要看学习曲线是不是整体向下、有没有在某个点后稳定进入平台期。平台期本身不可怕可怕的是曲线还在明显上升就停了。7.3 GBDT 和 XGBoost、LightGBM 是什么关系经常有同学问学了 GBDT 是不是就相当于学了 XGBoost答案是半对。XGBoost 和 LightGBM 都是 GBDT 的工业级实现核心思想完全一致都是在每一轮拟合伪残差只是工程优化上做了大量改进二阶泰勒展开、直方图分箱、叶子优先的生长策略、各种并行化技术。理解了 GBDT 的原生过程再去看这些框架的文档和源码会觉得非常亲切很多参数的命名和含义都能对得上。反过来如果直接上手框架但不懂底层遇到诡异行为往往连排查方向都找不到。7.4 要不要对特征做归一化或者标准化不需要。树模型是基于切分的特征的不同尺度只会影响切分点的选择范围不会因为特征值大就天然权重高。这一点和 SVM、逻辑回归等基于距离的模型完全不同。如果项目里既用 GBDT 又用线性模型好的做法是分别准备两套特征流水线树模型用原始尺度就行线性模型那一路再做标准化。我见过有人把特征全部归一化后喂给 GBDT结果指标没变反而白白增加了预处理时间和内存占用。7.5 样本严重不均衡怎么办GBDT 对类别不均衡的容忍度其实比线性模型高因为它靠的是叶子节点上的样本分布判断而不是全局的决策边界。但极端不均衡比如正样本不足 1%时还是建议做两类处理一是在训练时给少数类设置更高的样本权重这相当于人为放大它们的损失贡献二是对预测结果不做硬阈值改用排序指标验证模型因为这类场景在线上的真实目标是“把正样本排在前面”而不是“分类完全正确”。7.6 快速排查速查表现象首要怀疑点优先尝试手段过拟合明显树太深、学习率太高降深度、降学习率、开早停训练很慢深度大、数据量过大减深度、负采样、用直方图法预测分布和训练分布不一致特征漂移或采样偏差检查特征管道、重做采样部分特征重要性异常偏高高基数类别特征目标编码、频次编码验证集波动大行采样比例低、迭代不足提高采样比例、加大轮数最后再分享两个实战小技巧第一任何 Boosting 模型上线的第一周我强烈建议把线上预测分布和训练集预测分布画到一起对比。如果形状差异很大大概率是特征分布发生了漂移这时候要查特征管道、回看训练集采样逻辑而不是盲目调模型参数。第二在迭代实验记录里把每次实验的学习率、树数量、验证指标整整齐齐记成一张表坚持记录几周之后你会发现自己对参数行为的直觉会变得特别准——很多新手调参慢不是因为笨而是因为不做记录永远在同一批参数上反复横跳。就写到这里。提升树这条技术线从 AdaBoost 到 GBDT中间隔着一道并不难跨越的抽象台阶从“具体残差”走到“负梯度”。一旦理解了这道台阶后续所有提升类框架包括各种工业级实现都只是在这套骨架上的工程优化。希望这篇整理能帮你省掉一些自己磕碰的时间。
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
