简介基于Python的QRFR随机森林分位数回归实现说明文档面向具备一定Python和机器学习基础的开发者与数据科学从业者重点解决多输入单输出场景下的回归预测及不确定性估计问题。文档从分位数回归和随机森林理论入手阐述QRFR融合二者优势的建模思路并针对训练复杂性、超参数调节、数据预处理等实际难点给出应对分析适合用于金融分析、气候预测、医疗健康等对结果置信区间有较高要求的应用背景。资源包共1个docx文件约33KB内容涵盖项目背景、目标与意义、架构设计、模型描述及可参考的代码示例能够帮助读者快速上手搭建QRFR模型并理解区间预测的完整流程。目前已有1116人浏览学习是了解随机森林分位数回归与Python实现的实用参考资料。1. QRFR让随机森林不只给点预测还能输出一个可信区间做设备寿命预测、电网负荷、销量这类回归任务业务方不满足于“明天大约是 12.3”他们真正问的是最低可能到多少、最高可能到多少。QRFRQuantile Regression Forests随机森林分位数回归就是回答这个问题的方案复用训练好的随机森林预测阶段把样本落入叶子的训练目标值收集起来当成条件分布的一组观测直接取 5% 与 95% 分位数作为区间。与为每个分位数重训模型的方案不同QRFR 只改预测端不重训、不改树结构对已经跑通过 RandomForestRegressor 的人来说是成本最低的区间预测升级路径。适合手里有多输入单输出回归数据、需要不确定性估计但不想引入复杂概率模型的工程师。下面按原理、最小实现、完整流水线、踩坑的顺序展开。2. 先立住原理随机森林的分位数区间从哪里长出来2.1 普通随机森林为什么给不出预测区间随机森林的预测链路是每棵树用 bootstrap 样本训练递归分裂到叶子预测时把样本落到叶子取叶子内训练目标值的均值作为这棵树的输出再对全部树平均。问题就出在“均值”上——叶子内样本的离散程度、偏度、离群值在这一步全部被抹平。你得到的是一个条件均值点而不是一个分布。有人会想既然训练完有残差用残差的标准差构造 ±1.96σ 区间不就行了吗这是最常见的误用。全局残差标准差是单个数它描述的是“平均不确定性”而不是“给定 x 的不确定性”。当数据存在异方差时——比如电力负荷预测里高峰时段的波动远大于凌晨——这种区间在所有时间点宽度相同高峰时段的真实风险被明显低估。再看细一层随机森林对 x 的预测值其实是所有训练样本目标值的加权平均权重 w_i(x) 是训练样本 i 与 x 在整个森林里“共享叶子”的比例。每棵树里样本 i 若与 x 落入同一片叶子就在这棵树里获得 1/叶子样本数 的权重跨树平均后就是 w_i(x)。点预测只是一个加权平均而 QRFR 把这一步从“取均值”替换成“构造加权经验分布”整个条件分布就出来了。这个区别是全部后续操作的地基。2.2 叶子收集思想同一个测试点捞出多组历史样本取一组分位数分位数回归森林的核心思路由 Meinshausen 与 Ridgeway 在 2006 年提出做法很朴素不改变随机森林的建树方式但在每个节点记住该节点训练样本的完整目标值列表。预测时测试点 x 落到第 t 棵树的叶子 L_t(x)就把这个列表拿出来每棵树的列表合在一起就是一组与 x“条件相似”的历史结果。用公式表达就是经验条件分布 F(y | Xx) Σ_i w_i(x) · I(y_i ≤ y)。这里的 w_i(x) 就是刚才说的共享叶子权重I(·) 是指示函数。想得到某个分位数 q只需要在这组按权重展开的样本里找到累计权重第一次超过 q 的那个 y 值。这组“伪样本”的中位数通常和随机森林点预测非常接近但 5% 与 95% 分位数给出了点预测给不出的分散信息。为什么叶子里的历史样本能代表未来结果的不确定性因为叶子本质上是输入空间里一个数据驱动的局部邻域随机森林把特征重要、目标变化剧烈的区域切得细把无关区域切得粗。落在同一叶子的样本在特征空间中彼此接近它们目标值的高低分布就是这个局部条件分布最有说服力的经验估计。这个特性让 QRFR 比固定半径的近邻方法更灵活也比任何全局噪声假设更贴近数据。需要提醒的是网上流传的简单写法里很多人把每棵树叶子里的样本直接拼成一个长数组再对数组取分位数。这个“拼接版”不是严格意义上的 QRFR 权重公式因为叶子越大的树在数组里占的样本数越多权重自动偏大。多数情况下结果差别不大严格按论文权重来做会更稳具体差异在第 3 章给出两种实现。2.3 什么时候该用 QRFR三个判断与两个“别用”第一特征与目标明显非线性且有交互。此时线性分位数回归sklearn 的 QuantileRegressor拟合不好而随机森林的树结构天然捕捉交互项。第二不能接受高斯误差假设。QRFR 输出的分位数直接由经验分布给出不要求方差齐性也不要求误差对称。第三团队已经把随机森林点预测模型跑通了现在想补一个区间输出那 QRFR 只是加一个预测端函数不需要重训模型。两个“别用”也要说清楚。样本量太小少于几百条、树数太少少于 100 棵时每个叶子里分到的样本往往只有个位数5% 分位数完全不可靠这时候区间预测表现还不如简单的线性分位数回归。另外如果你要的是极尾部1% 或 99% 分位数的精确估计非参数方法在数据稀疏的尾部会抖动得很厉害常见的替代是 NGBoost、贝叶斯神经网络这类带参数分布的模型。方案对分布的假设训练次数实现成本适用场景线性分位数回归线性关系、误差独立每个分位数一次低线性数据、快速基线XGBoost pinball loss无显式分布每个分位数一个模型中非线性、可重训QRFR无参数、经验分布一次训练出任意分位低已有 RF、想补区间NGBoost / 贝叶斯网络需设定分布族一次高需要概率密度、尾部稳定3. 最小实现从 RandomForestRegressor 到分位数区间的核心代码3.1 先取叶子编号rf.apply() 是区间预测的钥匙要拿到“哪个训练样本和测试样本共用叶子”首先要会取叶子编号。sklearn 的树模型都自带 apply 方法传入特征矩阵会返回一个形状为 (n_samples, n_estimators) 的整数矩阵行是样本列是树值是对应树中样本最终落到的叶子编号。from sklearn.ensemble import RandomForestRegressor rf RandomForestRegressor(n_estimators100, random_state42) rf.fit(X_train, y_train) train_leaves rf.apply(X_train) # (n_train, n_estimators) test_leaves rf.apply(X_test) # (n_test, n_estimators)train_leaves 的行 i、第 t 列表示训练样本 i 在树 t 中的叶子编号。判断两个样本是否“在树 t 上被分到一起”只需要比较这一列的整数是否相等即可。这里有个容易踩的认知误区叶子编号只在同一棵树内有意义不同树之间的相同编号没有任何关联千万不要跨树比较编号大小。一个实操提醒apply 要求传入二维数组。如果你习惯用 pandas 的 DataFrame能用但列顺序必须与训练时完全一致。传一维数组或形状不对时 sklearn 会直接报错这也是后面第五章常见问题的一个重要来源。3.2 叶子内样本收集与分位数计算一版能跑的完整函数拿到叶子编号之后最直接的做法是建一个映射树 t 的叶子编号 → 该叶子里的训练样本目标值列表。预测时对测试样本 i遍历每棵树取出对应叶子的目标值列表把所有列表拼接起来再对拼接数组取分位数。这就是“拼接版 QRFR”。import numpy as np def qrf_interval(rf, X_train, y_train, X_new, qs(0.05, 0.95)): 利用随机森林叶子内的训练目标值输出分位数区间。 train_leaves rf.apply(X_train) # (n_train, n_trees) new_leaves rf.apply(X_new) # (n_new, n_trees) # 建叶子索引树号 - 叶子编号 - 目标值列表 leaf_samples {} for t in range(rf.n_estimators): leaf_samples[t] {} for leaf_id, y in zip(train_leaves[:, t], y_train): leaf_samples[t].setdefault(leaf_id, []).append(y) lower np.zeros(len(X_new)) upper np.zeros(len(X_new)) for i in range(len(X_new)): values [] for t in range(rf.n_estimators): leaf new_leaves[i, t] values.extend(leaf_samples[t].get(leaf, [])) lower[i], upper[i] np.quantile(values, qs) return lower, upper这段代码的逻辑分三层先对训练集 apply拿到全部训练样本在每棵树上的叶子归属然后建一个倒排索引把“树 t 的叶子 L”映射到该叶子下的所有 y 值最后对每个测试样本从倒排索引里把每棵树的叶子列表取出来 extend 成一个长数组对这个数组求分位数。参数上需要注意三点。qs 是分位数组默认 (0.05, 0.95) 对应 90% 预测区间np.quantile 默认用线性插值连续目标值场景下没问题。X_new 必须是和训练时特征数一致的二维数组函数内部会隐式依赖 rf.apply 的输入检查。最关键的是这个函数要求训练集仍然保留在内存里因为区间预测本质上是把训练目标值当作条件分布的经验观测来用训练集用完就删掉的做法在这里行不通。提示values 的实际长度约为 树数 × 平均叶子样本数。300 棵树、每片叶子平均 10 个训练样本时每个测试样本对应约 3000 个经验观测值计算 5% 与 95% 分位数是完全够用的。3.3 简单版与加权版的差别什么时候用哪一个拼接版的权重问题是客观存在的一棵叶子很大的树贡献的目标值数量多在最终分位数里的话语权就大叶子小的树话语权小。而论文定义的 QRFR 权重要求每棵树贡献相等树内部再按叶子样本数均分。当树之间叶子大小差异不大时两者结果几乎相同但当特征存在强主效应、部分叶子特别大时拼接版会高估不确定性。如果想严格按论文权重来需要把“拼接”改成“带权收集”每个目标值的权重是 1/该叶子样本数跨树归一化后每棵树总权重相等然后对加权经验分布取分位数。def weighted_quantile(values, weights, q): 在加权经验分布上取 q 分位数。 order np.argsort(values) values_sorted values[order] cum_w np.cumsum(weights[order]) cum_w / cum_w[-1] # 归一化为累计概率 return values_sorted[np.searchsorted(cum_w, q)] def qrf_weighted_interval(rf, X_train, y_train, X_new, qs(0.05, 0.95)): train_leaves rf.apply(X_train) new_leaves rf.apply(X_new) lower np.zeros(len(X_new)) upper np.zeros(len(X_new)) for i in range(len(X_new)): values, weights [], [] for t in range(rf.n_estimators): mask train_leaves[:, t] new_leaves[i, t] leaf_size int(mask.sum()) if leaf_size 0: continue values.append(y_train[mask]) weights.append(np.full(leaf_size, 1.0 / leaf_size)) values np.concatenate(values) weights np.concatenate(weights) weights / weights.sum() lower[i] weighted_quantile(values, weights, qs[0]) upper[i] weighted_quantile(values, weights, qs[1]) return lower, upper注意这里每棵树给出的权重和是 1leaf_size 个样本 × 1/leaf_size跨树归一化后每棵树正好占 1/n_estimators符合 QRFR 的权重定义。使用建议当测试样本量达到几千、树数 300 以上时两个版本结果差距通常只在分位数的第 2 位小数上如果验证时发现覆盖率和预期差太多再切换到这个加权版复查原因。还必须提一个被很多人忽略的近似sklearn 的随机森林每棵树只用了约 63.2% 的 bootstrap 样本而 rf.apply 会对全部训练样本返回叶子编号。用全量样本建叶子索引等于是把该树没抽中的样本也当成了“邻居”。严格做法是只保留每棵树的样本内成员不过 sklearn 没有直接暴露每棵树抽样索引的稳定接口在树数超过 300、min_samples_leaf 合理时不至于影响结论。4. 多输入单输出的完整流水线数据、训练、区间输出与参数4.1 先造一份带异方差噪声的多输入单输出数据区间预测要验证的是“区间宽度是否会随输入变化”因此我用一份能看见真实规律的三特征模拟数据来说明。x1 是主效应x2 是二次项x3 是弱线性项噪声标准差设计为 0.3 0.5|x1|即 x1 绝对值越大真实波动越大。import numpy as np from sklearn.model_selection import train_test_split rng np.random.default_rng(42) n 2000 x1 rng.uniform(-3, 3, n) x2 rng.uniform(-3, 3, n) x3 rng.normal(0, 1, n) noise_std 0.3 0.5 * np.abs(x1) y (2 * np.sin(x1) 0.5 * x2**2 0.3 * x3 rng.normal(0, 1, n) * noise_std) X np.column_stack([x1, x2, x3]) X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.3, random_state42 ) print(X_train.shape, X_test.shape)用模拟数据还有一个好处你心里清楚知道真实噪声是异方差的所以能直接判断模型输出的区间宽度有没有反映出 x1 带来的波动。换成你自己的数据时只需要把 X 换成二维特征矩阵、y 换成一维目标向量后面的代码完全不用改。4.2 完整训练与区间预测一小时能跑通的最小工程把第 3 章的 qrf_interval 函数放在脚本顶部然后训练一个面向区间预测的随机森林。训练参数上先把 min_samples_leaf 从默认的 1 提高到 10n_estimators 设为 300其他保持 sklearn 默认。from sklearn.ensemble import RandomForestRegressor import numpy as np # qrf_interval 函数定义见第 3 章放在本文件顶部 rf RandomForestRegressor( n_estimators300, min_samples_leaf10, max_featuressqrt, random_state42, n_jobs-1, ) rf.fit(X_train, y_train) y_pred rf.predict(X_test) lower, upper qrf_interval(rf, X_train, y_train, X_test, qs(0.05, 0.95)) coverage np.mean((y_test lower) (y_test upper)) width np.mean(upper - lower) print(f90% 区间覆盖率: {coverage:.3f}) print(f平均区间宽度: {width:.3f})训练后的随机森林还能照常输出点预测 y_predqrf_interval 只是在预测端多返回一条下界和上界。覆盖率表示真实目标落在区间内的比例理论上应该接近 0.90平均宽度则给出业务可解释的数字——在模拟数据里它会明显大于噪声标准差的下界因为还要覆盖模型拟合误差。想直观确认区间有没有随 x 变化可以按 y_test 排序画一张区间图比一堆数字更有说服力。import matplotlib.pyplot as plt order np.argsort(y_test) idx np.arange(len(y_test))[order] plt.figure(figsize(10, 4)) plt.plot(idx, y_test[order], o, ms3, labely_true) plt.plot(idx, lower[order], -r, lw1, labelq0.05) plt.plot(idx, upper[order], -g, lw1, labelq0.95) plt.fill_between(idx, lower[order], upper[order], alpha0.15) plt.legend() plt.show()这段图里如果数据是异方差的区间带在 y 值大的区域会更宽如果是同方差数据区间带宽度会基本恒定。这里按 y_test 排序只是为了让图中横轴更容易读不会影响每个样本的区间数值。4.3 三个必调参数min_samples_leaf、n_estimators、max_features 怎么定做区间预测时调参优先级和点预测并不完全一样。点预测通常死磕 n_estimators 和 max_features而区间预测首先要管住的是 min_samples_leaf因为它直接决定每个叶子里的样本数量也就是每个测试样本能收集到多少个经验观测值。参数作用点预测常用值区间预测建议调过头会怎样min_samples_leaf叶子最少样本数1~55~20太小分位数抖太大区间过宽n_estimators树的棵数100~300300~500太少区间不稳定max_features每棵树候选特征数sqrtsqrt 或特征数/3太大树之间同质化random_state随机种子任意固定一个不固定结果不可复现调参顺序我一般是先用 n_estimators300、min_samples_leaf10、max_featuressqrt 跑一版基准看覆盖率和宽度覆盖率低于名义水平时先加 min_samples_leaf10→15→20覆盖率达标但区间太宽时再降回 5~8最后把 n_estimators 提到 500 看稳定性有没有改善。注意别把点预测的默认参数直接搬来做区间预测。RandomForestRegressor 的默认 min_samples_leaf1 在点预测里没问题但在区间预测里叶子只有一个目标值意味着这个样本的分位数极不稳定5% 分位数几乎等于叶子里的最小值样本和你想要的区间完全不是一回事。5. 避坑与常见问题QRFR 最容易翻车的五个场景5.1 现象设置 90% 区间验证集覆盖率只有 60%原因基本两类。一是 min_samples_leaf1 或 2叶子内样本太少高低分位数被极少量样本拉扯区间实际覆盖远低于名义水平。二是 n_estimators 太少比如只有 50 棵每个测试样本只收集到几十个观测值分位数估计的方差很大。如果数据有明显时间趋势还要检查验证集是否与训练集分布漂移分布漂移造成的覆盖率下降是优化目标本身变了调参数救不回来。解决先把 min_samples_leaf 提到 10 以上重新训练覆盖通常立刻改善再把 n_estimators 加到 300 以上。判断是不是漂移的一个快速做法是看训练集上的覆盖率如果训练集覆盖率正常而测试集偏低基本可以确认是分布偏移而不是分位数计算有问题。5.2 现象所有样本的区间宽度几乎一样异方差信息没体现如果你的数据本身同方差区间宽度本来就该稳定但若残差随某个特征变大区间却仍是一条等宽带就要怀疑树的结构没有区分出局部差异。最常见原因是 max_features 太大比如特征只有 3 个时用 max_features3树的分裂全部围着最强特征转叶子邻域的形状几乎不随弱特征变化。解决特征数少时把 max_features 设为 1 或 sqrt用残差按特征分箱的标准差画一张图确认异方差确实存在再回头调 min_samples_leaf 和树的棵数。也可以算区间宽度的变异系数——如果 CV 低于 0.05说明区间基本没随输入变化需要从特征侧找原因。5.3 现象apply 报 ValueError或叶子索引里查不到目标值训练时用的是 DataFrame预测时换了列顺序apply 拿到的矩阵语义就变了输入里有 NaN 或 Infinity 也会让 sklearn 的树直接报错。另一个低频问题是一维数组直接传给 applysklearn 会提示需要二维输入。解决统一在进模型前转成 numpy 二维数组固定特征列表顺序用同一个特征工程 pipeline 处理训练和预测数据先运行 np.isnan(X).any() 检查输入。叶子索引查不到值的极端场景几乎只发生在手动改过 apply 结果的情况下正常运行不会再出现因为每个测试样本在每棵树上总会落到一片叶子而这片叶子在训练时至少包含 min_samples_leaf 个样本。5.4 现象高位分位数偶尔小于低位分位数上下界交叉分位数回归里这叫 quantile crossing。原因是叶子内样本量小同样的观测值集合随机抽样噪声会让 95% 分位数和 5% 分位数的相对位置偶尔颠倒。样本量少于几百、树少时尤其常见。解决优先加大 min_samples_leaf 到 15 以上n_estimators 提到 500交叉比例会明显下降也可以在输出端做一次兜底upper[i] max(upper[i], lower[i])。但这是修标识不是修模型别指望它掩盖数据量不足的问题。交叉比例超过 1% 时应该回到参数侧而不是靠 max 函数硬撑。5.5 现象覆盖率 100%区间宽到没有决策价值这种翻车比覆盖率偏低更难发现因为覆盖率指标是“达标”的。原因通常是 min_samples_leaf 设得太大比如 50 甚至 100叶子把不同分布的样本混在一起条件分布被人为展宽也可能是特征预测力太弱模型根本没从输入中学到局部结构。解决把 min_samples_leaf 降到 5~8 重新训练用特征重要性筛选特征剔除无关变量如果数据允许把训练样本量加大。区间预测追求的不是覆盖率越高越好覆盖率和区间宽度的平衡才是业务上真正关心的目标——一个 100% 覆盖但宽度等于 3 倍目标标准差的区间放在定价和库存场景里基本没有可用性。6. 用弹球损失和覆盖率双重检查区间不像点预测不能只看 R²一个区间模型上线前我通常会同时看两个指标覆盖率是否接近名义水平以及区间是否“押对了位置”。覆盖率只回答“包没包住”回答不了“区间整体是不是偏了”。比如下界总是太高、上界却富余覆盖率可能仍然达标但业务上这代表预测区间整体偏移风险完全暴露在错误的一端。弹球损失pinball loss专门衡量分位数预测的偏差对下界用 q0.05对上界用 q0.95分别计算后加总数值越低越好。def pinball_loss(y_true, y_pred, q): residual y_true - y_pred return float(np.mean(np.where(residual 0, q * residual, (q - 1) * residual))) loss_low pinball_loss(y_test, lower, 0.05) loss_up pinball_loss(y_test, upper, 0.95) print(f下界弹球损失: {loss_low:.4f}, 上界弹球损失: {loss_up:.4f})如果覆盖率正常但上下界弹球损失差异很大比如下界损失远高于上界说明区间整体偏高需要检查是不是数据漂移或特征分布变化。还有一个我常用的校准技巧当验证集覆盖率稳定低于名义水平时不要急着改模型参数先在验证集上试一组更宽的分位点比如用 0.08/0.92 或 0.1/0.9 替代 0.05/0.95找到让覆盖率贴近日标值的分位点。这相当于给模型的不确定性估计做一次重标定属于临时修法但能快速判断问题出在分位数估计还是模型本身。我第一次做区间预测时只看了覆盖率90% 区间覆盖率 92%以为成了后来算下界弹球损失才发现区间整体偏了 0.2 个标准差放到定价场景里是每单都吃亏的方向性错误。从那以后我给自己定了个习惯区间模型不看单指标覆盖率必须和弹球损失同时报。希望帮到你。本文还有配套的精品资源点击获取
简介基于Python的QRFR随机森林分位数回归实现说明文档面向具备一定Python和机器学习基础的开发者与数据科学从业者重点解决多输入单输出场景下的回归预测及不确定性估计问题。文档从分位数回归和随机森林理论入手阐述QRFR融合二者优势的建模思路并针对训练复杂性、超参数调节、数据预处理等实际难点给出应对分析适合用于金融分析、气候预测、医疗健康等对结果置信区间有较高要求的应用背景。资源包共1个docx文件约33KB内容涵盖项目背景、目标与意义、架构设计、模型描述及可参考的代码示例能够帮助读者快速上手搭建QRFR模型并理解区间预测的完整流程。目前已有1116人浏览学习是了解随机森林分位数回归与Python实现的实用参考资料。1. QRFR让随机森林不只给点预测还能输出一个可信区间做设备寿命预测、电网负荷、销量这类回归任务业务方不满足于“明天大约是 12.3”他们真正问的是最低可能到多少、最高可能到多少。QRFRQuantile Regression Forests随机森林分位数回归就是回答这个问题的方案复用训练好的随机森林预测阶段把样本落入叶子的训练目标值收集起来当成条件分布的一组观测直接取 5% 与 95% 分位数作为区间。与为每个分位数重训模型的方案不同QRFR 只改预测端不重训、不改树结构对已经跑通过 RandomForestRegressor 的人来说是成本最低的区间预测升级路径。适合手里有多输入单输出回归数据、需要不确定性估计但不想引入复杂概率模型的工程师。下面按原理、最小实现、完整流水线、踩坑的顺序展开。2. 先立住原理随机森林的分位数区间从哪里长出来2.1 普通随机森林为什么给不出预测区间随机森林的预测链路是每棵树用 bootstrap 样本训练递归分裂到叶子预测时把样本落到叶子取叶子内训练目标值的均值作为这棵树的输出再对全部树平均。问题就出在“均值”上——叶子内样本的离散程度、偏度、离群值在这一步全部被抹平。你得到的是一个条件均值点而不是一个分布。有人会想既然训练完有残差用残差的标准差构造 ±1.96σ 区间不就行了吗这是最常见的误用。全局残差标准差是单个数它描述的是“平均不确定性”而不是“给定 x 的不确定性”。当数据存在异方差时——比如电力负荷预测里高峰时段的波动远大于凌晨——这种区间在所有时间点宽度相同高峰时段的真实风险被明显低估。再看细一层随机森林对 x 的预测值其实是所有训练样本目标值的加权平均权重 w_i(x) 是训练样本 i 与 x 在整个森林里“共享叶子”的比例。每棵树里样本 i 若与 x 落入同一片叶子就在这棵树里获得 1/叶子样本数 的权重跨树平均后就是 w_i(x)。点预测只是一个加权平均而 QRFR 把这一步从“取均值”替换成“构造加权经验分布”整个条件分布就出来了。这个区别是全部后续操作的地基。2.2 叶子收集思想同一个测试点捞出多组历史样本取一组分位数分位数回归森林的核心思路由 Meinshausen 与 Ridgeway 在 2006 年提出做法很朴素不改变随机森林的建树方式但在每个节点记住该节点训练样本的完整目标值列表。预测时测试点 x 落到第 t 棵树的叶子 L_t(x)就把这个列表拿出来每棵树的列表合在一起就是一组与 x“条件相似”的历史结果。用公式表达就是经验条件分布 F(y | Xx) Σ_i w_i(x) · I(y_i ≤ y)。这里的 w_i(x) 就是刚才说的共享叶子权重I(·) 是指示函数。想得到某个分位数 q只需要在这组按权重展开的样本里找到累计权重第一次超过 q 的那个 y 值。这组“伪样本”的中位数通常和随机森林点预测非常接近但 5% 与 95% 分位数给出了点预测给不出的分散信息。为什么叶子里的历史样本能代表未来结果的不确定性因为叶子本质上是输入空间里一个数据驱动的局部邻域随机森林把特征重要、目标变化剧烈的区域切得细把无关区域切得粗。落在同一叶子的样本在特征空间中彼此接近它们目标值的高低分布就是这个局部条件分布最有说服力的经验估计。这个特性让 QRFR 比固定半径的近邻方法更灵活也比任何全局噪声假设更贴近数据。需要提醒的是网上流传的简单写法里很多人把每棵树叶子里的样本直接拼成一个长数组再对数组取分位数。这个“拼接版”不是严格意义上的 QRFR 权重公式因为叶子越大的树在数组里占的样本数越多权重自动偏大。多数情况下结果差别不大严格按论文权重来做会更稳具体差异在第 3 章给出两种实现。2.3 什么时候该用 QRFR三个判断与两个“别用”第一特征与目标明显非线性且有交互。此时线性分位数回归sklearn 的 QuantileRegressor拟合不好而随机森林的树结构天然捕捉交互项。第二不能接受高斯误差假设。QRFR 输出的分位数直接由经验分布给出不要求方差齐性也不要求误差对称。第三团队已经把随机森林点预测模型跑通了现在想补一个区间输出那 QRFR 只是加一个预测端函数不需要重训模型。两个“别用”也要说清楚。样本量太小少于几百条、树数太少少于 100 棵时每个叶子里分到的样本往往只有个位数5% 分位数完全不可靠这时候区间预测表现还不如简单的线性分位数回归。另外如果你要的是极尾部1% 或 99% 分位数的精确估计非参数方法在数据稀疏的尾部会抖动得很厉害常见的替代是 NGBoost、贝叶斯神经网络这类带参数分布的模型。方案对分布的假设训练次数实现成本适用场景线性分位数回归线性关系、误差独立每个分位数一次低线性数据、快速基线XGBoost pinball loss无显式分布每个分位数一个模型中非线性、可重训QRFR无参数、经验分布一次训练出任意分位低已有 RF、想补区间NGBoost / 贝叶斯网络需设定分布族一次高需要概率密度、尾部稳定3. 最小实现从 RandomForestRegressor 到分位数区间的核心代码3.1 先取叶子编号rf.apply() 是区间预测的钥匙要拿到“哪个训练样本和测试样本共用叶子”首先要会取叶子编号。sklearn 的树模型都自带 apply 方法传入特征矩阵会返回一个形状为 (n_samples, n_estimators) 的整数矩阵行是样本列是树值是对应树中样本最终落到的叶子编号。from sklearn.ensemble import RandomForestRegressor rf RandomForestRegressor(n_estimators100, random_state42) rf.fit(X_train, y_train) train_leaves rf.apply(X_train) # (n_train, n_estimators) test_leaves rf.apply(X_test) # (n_test, n_estimators)train_leaves 的行 i、第 t 列表示训练样本 i 在树 t 中的叶子编号。判断两个样本是否“在树 t 上被分到一起”只需要比较这一列的整数是否相等即可。这里有个容易踩的认知误区叶子编号只在同一棵树内有意义不同树之间的相同编号没有任何关联千万不要跨树比较编号大小。一个实操提醒apply 要求传入二维数组。如果你习惯用 pandas 的 DataFrame能用但列顺序必须与训练时完全一致。传一维数组或形状不对时 sklearn 会直接报错这也是后面第五章常见问题的一个重要来源。3.2 叶子内样本收集与分位数计算一版能跑的完整函数拿到叶子编号之后最直接的做法是建一个映射树 t 的叶子编号 → 该叶子里的训练样本目标值列表。预测时对测试样本 i遍历每棵树取出对应叶子的目标值列表把所有列表拼接起来再对拼接数组取分位数。这就是“拼接版 QRFR”。import numpy as np def qrf_interval(rf, X_train, y_train, X_new, qs(0.05, 0.95)): 利用随机森林叶子内的训练目标值输出分位数区间。 train_leaves rf.apply(X_train) # (n_train, n_trees) new_leaves rf.apply(X_new) # (n_new, n_trees) # 建叶子索引树号 - 叶子编号 - 目标值列表 leaf_samples {} for t in range(rf.n_estimators): leaf_samples[t] {} for leaf_id, y in zip(train_leaves[:, t], y_train): leaf_samples[t].setdefault(leaf_id, []).append(y) lower np.zeros(len(X_new)) upper np.zeros(len(X_new)) for i in range(len(X_new)): values [] for t in range(rf.n_estimators): leaf new_leaves[i, t] values.extend(leaf_samples[t].get(leaf, [])) lower[i], upper[i] np.quantile(values, qs) return lower, upper这段代码的逻辑分三层先对训练集 apply拿到全部训练样本在每棵树上的叶子归属然后建一个倒排索引把“树 t 的叶子 L”映射到该叶子下的所有 y 值最后对每个测试样本从倒排索引里把每棵树的叶子列表取出来 extend 成一个长数组对这个数组求分位数。参数上需要注意三点。qs 是分位数组默认 (0.05, 0.95) 对应 90% 预测区间np.quantile 默认用线性插值连续目标值场景下没问题。X_new 必须是和训练时特征数一致的二维数组函数内部会隐式依赖 rf.apply 的输入检查。最关键的是这个函数要求训练集仍然保留在内存里因为区间预测本质上是把训练目标值当作条件分布的经验观测来用训练集用完就删掉的做法在这里行不通。提示values 的实际长度约为 树数 × 平均叶子样本数。300 棵树、每片叶子平均 10 个训练样本时每个测试样本对应约 3000 个经验观测值计算 5% 与 95% 分位数是完全够用的。3.3 简单版与加权版的差别什么时候用哪一个拼接版的权重问题是客观存在的一棵叶子很大的树贡献的目标值数量多在最终分位数里的话语权就大叶子小的树话语权小。而论文定义的 QRFR 权重要求每棵树贡献相等树内部再按叶子样本数均分。当树之间叶子大小差异不大时两者结果几乎相同但当特征存在强主效应、部分叶子特别大时拼接版会高估不确定性。如果想严格按论文权重来需要把“拼接”改成“带权收集”每个目标值的权重是 1/该叶子样本数跨树归一化后每棵树总权重相等然后对加权经验分布取分位数。def weighted_quantile(values, weights, q): 在加权经验分布上取 q 分位数。 order np.argsort(values) values_sorted values[order] cum_w np.cumsum(weights[order]) cum_w / cum_w[-1] # 归一化为累计概率 return values_sorted[np.searchsorted(cum_w, q)] def qrf_weighted_interval(rf, X_train, y_train, X_new, qs(0.05, 0.95)): train_leaves rf.apply(X_train) new_leaves rf.apply(X_new) lower np.zeros(len(X_new)) upper np.zeros(len(X_new)) for i in range(len(X_new)): values, weights [], [] for t in range(rf.n_estimators): mask train_leaves[:, t] new_leaves[i, t] leaf_size int(mask.sum()) if leaf_size 0: continue values.append(y_train[mask]) weights.append(np.full(leaf_size, 1.0 / leaf_size)) values np.concatenate(values) weights np.concatenate(weights) weights / weights.sum() lower[i] weighted_quantile(values, weights, qs[0]) upper[i] weighted_quantile(values, weights, qs[1]) return lower, upper注意这里每棵树给出的权重和是 1leaf_size 个样本 × 1/leaf_size跨树归一化后每棵树正好占 1/n_estimators符合 QRFR 的权重定义。使用建议当测试样本量达到几千、树数 300 以上时两个版本结果差距通常只在分位数的第 2 位小数上如果验证时发现覆盖率和预期差太多再切换到这个加权版复查原因。还必须提一个被很多人忽略的近似sklearn 的随机森林每棵树只用了约 63.2% 的 bootstrap 样本而 rf.apply 会对全部训练样本返回叶子编号。用全量样本建叶子索引等于是把该树没抽中的样本也当成了“邻居”。严格做法是只保留每棵树的样本内成员不过 sklearn 没有直接暴露每棵树抽样索引的稳定接口在树数超过 300、min_samples_leaf 合理时不至于影响结论。4. 多输入单输出的完整流水线数据、训练、区间输出与参数4.1 先造一份带异方差噪声的多输入单输出数据区间预测要验证的是“区间宽度是否会随输入变化”因此我用一份能看见真实规律的三特征模拟数据来说明。x1 是主效应x2 是二次项x3 是弱线性项噪声标准差设计为 0.3 0.5|x1|即 x1 绝对值越大真实波动越大。import numpy as np from sklearn.model_selection import train_test_split rng np.random.default_rng(42) n 2000 x1 rng.uniform(-3, 3, n) x2 rng.uniform(-3, 3, n) x3 rng.normal(0, 1, n) noise_std 0.3 0.5 * np.abs(x1) y (2 * np.sin(x1) 0.5 * x2**2 0.3 * x3 rng.normal(0, 1, n) * noise_std) X np.column_stack([x1, x2, x3]) X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.3, random_state42 ) print(X_train.shape, X_test.shape)用模拟数据还有一个好处你心里清楚知道真实噪声是异方差的所以能直接判断模型输出的区间宽度有没有反映出 x1 带来的波动。换成你自己的数据时只需要把 X 换成二维特征矩阵、y 换成一维目标向量后面的代码完全不用改。4.2 完整训练与区间预测一小时能跑通的最小工程把第 3 章的 qrf_interval 函数放在脚本顶部然后训练一个面向区间预测的随机森林。训练参数上先把 min_samples_leaf 从默认的 1 提高到 10n_estimators 设为 300其他保持 sklearn 默认。from sklearn.ensemble import RandomForestRegressor import numpy as np # qrf_interval 函数定义见第 3 章放在本文件顶部 rf RandomForestRegressor( n_estimators300, min_samples_leaf10, max_featuressqrt, random_state42, n_jobs-1, ) rf.fit(X_train, y_train) y_pred rf.predict(X_test) lower, upper qrf_interval(rf, X_train, y_train, X_test, qs(0.05, 0.95)) coverage np.mean((y_test lower) (y_test upper)) width np.mean(upper - lower) print(f90% 区间覆盖率: {coverage:.3f}) print(f平均区间宽度: {width:.3f})训练后的随机森林还能照常输出点预测 y_predqrf_interval 只是在预测端多返回一条下界和上界。覆盖率表示真实目标落在区间内的比例理论上应该接近 0.90平均宽度则给出业务可解释的数字——在模拟数据里它会明显大于噪声标准差的下界因为还要覆盖模型拟合误差。想直观确认区间有没有随 x 变化可以按 y_test 排序画一张区间图比一堆数字更有说服力。import matplotlib.pyplot as plt order np.argsort(y_test) idx np.arange(len(y_test))[order] plt.figure(figsize(10, 4)) plt.plot(idx, y_test[order], o, ms3, labely_true) plt.plot(idx, lower[order], -r, lw1, labelq0.05) plt.plot(idx, upper[order], -g, lw1, labelq0.95) plt.fill_between(idx, lower[order], upper[order], alpha0.15) plt.legend() plt.show()这段图里如果数据是异方差的区间带在 y 值大的区域会更宽如果是同方差数据区间带宽度会基本恒定。这里按 y_test 排序只是为了让图中横轴更容易读不会影响每个样本的区间数值。4.3 三个必调参数min_samples_leaf、n_estimators、max_features 怎么定做区间预测时调参优先级和点预测并不完全一样。点预测通常死磕 n_estimators 和 max_features而区间预测首先要管住的是 min_samples_leaf因为它直接决定每个叶子里的样本数量也就是每个测试样本能收集到多少个经验观测值。参数作用点预测常用值区间预测建议调过头会怎样min_samples_leaf叶子最少样本数1~55~20太小分位数抖太大区间过宽n_estimators树的棵数100~300300~500太少区间不稳定max_features每棵树候选特征数sqrtsqrt 或特征数/3太大树之间同质化random_state随机种子任意固定一个不固定结果不可复现调参顺序我一般是先用 n_estimators300、min_samples_leaf10、max_featuressqrt 跑一版基准看覆盖率和宽度覆盖率低于名义水平时先加 min_samples_leaf10→15→20覆盖率达标但区间太宽时再降回 5~8最后把 n_estimators 提到 500 看稳定性有没有改善。注意别把点预测的默认参数直接搬来做区间预测。RandomForestRegressor 的默认 min_samples_leaf1 在点预测里没问题但在区间预测里叶子只有一个目标值意味着这个样本的分位数极不稳定5% 分位数几乎等于叶子里的最小值样本和你想要的区间完全不是一回事。5. 避坑与常见问题QRFR 最容易翻车的五个场景5.1 现象设置 90% 区间验证集覆盖率只有 60%原因基本两类。一是 min_samples_leaf1 或 2叶子内样本太少高低分位数被极少量样本拉扯区间实际覆盖远低于名义水平。二是 n_estimators 太少比如只有 50 棵每个测试样本只收集到几十个观测值分位数估计的方差很大。如果数据有明显时间趋势还要检查验证集是否与训练集分布漂移分布漂移造成的覆盖率下降是优化目标本身变了调参数救不回来。解决先把 min_samples_leaf 提到 10 以上重新训练覆盖通常立刻改善再把 n_estimators 加到 300 以上。判断是不是漂移的一个快速做法是看训练集上的覆盖率如果训练集覆盖率正常而测试集偏低基本可以确认是分布偏移而不是分位数计算有问题。5.2 现象所有样本的区间宽度几乎一样异方差信息没体现如果你的数据本身同方差区间宽度本来就该稳定但若残差随某个特征变大区间却仍是一条等宽带就要怀疑树的结构没有区分出局部差异。最常见原因是 max_features 太大比如特征只有 3 个时用 max_features3树的分裂全部围着最强特征转叶子邻域的形状几乎不随弱特征变化。解决特征数少时把 max_features 设为 1 或 sqrt用残差按特征分箱的标准差画一张图确认异方差确实存在再回头调 min_samples_leaf 和树的棵数。也可以算区间宽度的变异系数——如果 CV 低于 0.05说明区间基本没随输入变化需要从特征侧找原因。5.3 现象apply 报 ValueError或叶子索引里查不到目标值训练时用的是 DataFrame预测时换了列顺序apply 拿到的矩阵语义就变了输入里有 NaN 或 Infinity 也会让 sklearn 的树直接报错。另一个低频问题是一维数组直接传给 applysklearn 会提示需要二维输入。解决统一在进模型前转成 numpy 二维数组固定特征列表顺序用同一个特征工程 pipeline 处理训练和预测数据先运行 np.isnan(X).any() 检查输入。叶子索引查不到值的极端场景几乎只发生在手动改过 apply 结果的情况下正常运行不会再出现因为每个测试样本在每棵树上总会落到一片叶子而这片叶子在训练时至少包含 min_samples_leaf 个样本。5.4 现象高位分位数偶尔小于低位分位数上下界交叉分位数回归里这叫 quantile crossing。原因是叶子内样本量小同样的观测值集合随机抽样噪声会让 95% 分位数和 5% 分位数的相对位置偶尔颠倒。样本量少于几百、树少时尤其常见。解决优先加大 min_samples_leaf 到 15 以上n_estimators 提到 500交叉比例会明显下降也可以在输出端做一次兜底upper[i] max(upper[i], lower[i])。但这是修标识不是修模型别指望它掩盖数据量不足的问题。交叉比例超过 1% 时应该回到参数侧而不是靠 max 函数硬撑。5.5 现象覆盖率 100%区间宽到没有决策价值这种翻车比覆盖率偏低更难发现因为覆盖率指标是“达标”的。原因通常是 min_samples_leaf 设得太大比如 50 甚至 100叶子把不同分布的样本混在一起条件分布被人为展宽也可能是特征预测力太弱模型根本没从输入中学到局部结构。解决把 min_samples_leaf 降到 5~8 重新训练用特征重要性筛选特征剔除无关变量如果数据允许把训练样本量加大。区间预测追求的不是覆盖率越高越好覆盖率和区间宽度的平衡才是业务上真正关心的目标——一个 100% 覆盖但宽度等于 3 倍目标标准差的区间放在定价和库存场景里基本没有可用性。6. 用弹球损失和覆盖率双重检查区间不像点预测不能只看 R²一个区间模型上线前我通常会同时看两个指标覆盖率是否接近名义水平以及区间是否“押对了位置”。覆盖率只回答“包没包住”回答不了“区间整体是不是偏了”。比如下界总是太高、上界却富余覆盖率可能仍然达标但业务上这代表预测区间整体偏移风险完全暴露在错误的一端。弹球损失pinball loss专门衡量分位数预测的偏差对下界用 q0.05对上界用 q0.95分别计算后加总数值越低越好。def pinball_loss(y_true, y_pred, q): residual y_true - y_pred return float(np.mean(np.where(residual 0, q * residual, (q - 1) * residual))) loss_low pinball_loss(y_test, lower, 0.05) loss_up pinball_loss(y_test, upper, 0.95) print(f下界弹球损失: {loss_low:.4f}, 上界弹球损失: {loss_up:.4f})如果覆盖率正常但上下界弹球损失差异很大比如下界损失远高于上界说明区间整体偏高需要检查是不是数据漂移或特征分布变化。还有一个我常用的校准技巧当验证集覆盖率稳定低于名义水平时不要急着改模型参数先在验证集上试一组更宽的分位点比如用 0.08/0.92 或 0.1/0.9 替代 0.05/0.95找到让覆盖率贴近日标值的分位点。这相当于给模型的不确定性估计做一次重标定属于临时修法但能快速判断问题出在分位数估计还是模型本身。我第一次做区间预测时只看了覆盖率90% 区间覆盖率 92%以为成了后来算下界弹球损失才发现区间整体偏了 0.2 个标准差放到定价场景里是每单都吃亏的方向性错误。从那以后我给自己定了个习惯区间模型不看单指标覆盖率必须和弹球损失同时报。希望帮到你。本文还有配套的精品资源点击获取
