简介面向随机森林算法入门者的Python学习资料适用于正在学习集成学习、需要结合手写代码理解决策树组合机制的高校学生或开发者。资源围绕随机森林的训练与预测核心流程展开给出从数据读取到模型构建的完整实现。压缩包内共4个文件包括两个Python脚本、一个CSV数据集和一份txt阅读说明其中一份为网络参考实现另一份为作者基于理解重新整理编写的版本两份代码均配有详尽中文注释并已调试通过配套的CSV数据可直接加载运行便于对比学习整体仅34KB轻量易读尤其适合希望逐行钻研算法逻辑的初学者。目前已有15740人学习下载获得了较多关注。需要说明的是资源重点放在随机森林代码还原与流程梳理作者未在调参与准确率上过多打磨读者理清思路后可自行调整参数优化结果也可作为课程实验或算法报告的基础参考。1. 随机森林 Python 实现别急着调 sklearn自己写一遍 Bagging随机森林在 Python 里最容易“拿来就用”但也是最能测试你是否真懂 Bagging 的一份工程。这个资源把随机森林从零写了一遍配套了可直接喂给模型的 CSV 数据集适合不想只调 scikit-learn 参数、想把每棵树的生长过程都摊开看的开发者和学习者。我拆这份源码最大的感受是当你自己实现过一次 Bootstrap 采样、随机特征选择和投票再去调随机森林的 n_estimators 和 max_features就不再是玄学而是在改自己看得见的逻辑。无论做风控评分、用户分层还是给离线批量预测提供底座这套 Python 代码都能胜任。2. 整体架构与文件结构决策树、Bootstrap 采样和投票怎么拼在一起2.1 资源里面有什么代码文件与数据集配套关系先看全局文件构成。解压这份随机森林工程后核心文件可以用一张表说清楚文件职责random_forest.py森林主体Bootstrap 采样、多树并行训练、投票预测、特征重要性decision_tree.pyCART 决策树最佳分裂点搜索、递归建树、叶子生成utils.py基尼系数、均方误差、准确率等公共度量函数sample_data.csv配套示例数据集二分类约三千行全部是数值特征README.md运行命令、参数说明和与 scikit-learn 的对照记录random_forest.py 不是 sklearn 的一层包装而是自己管理一批 DecisionTree 对象decision_tree.py 是单棵树的完整实现utils.py 里的度量函数被两个模块共用。示例数据集是典型的表格型数据没有图片、文本这类复杂输入直接用 pandas 读 CSV 就能开训。这份工程的环境依赖很常规常见做法是 Python 3.8 以上需要 numpy、pandas为了做交叉验证对比还要装 scikit-learn。作者把训练入口统一收敛到 train.py日常使用只需要改数据路径和几个超参数不需要动内部算法。整体设计属于“代码量不多但分层清楚”的类型工具函数在最底层决策树在中间层随机森林在最上层。一个值得注意的设计是decision_tree.py 里没有暴露任何 sklearn 类型的接口没有 base_estimator、没有 get_params直接手写字典嵌套结构。这样的结构在内存占用上比 sklearn 的节点对象更低递归建树时把节点存成 dict序列化起来也方便。缺点是要自己处理树深度、进程池、随机数并发安全问题这也带出了后面几章要拆的核心细节。2.2 先看度量函数为什么用基尼系数而不是熵如果不先看度量函数后面树的代码会显得跳跃。工程里 utils.py 的基尼系数实现大约是这样def gini(labels): _, counts np.unique(labels, return_countsTrue) prob counts / counts.sum() return 1.0 - np.sum(prob * prob) def weighted_gini(parent, left, right): n len(parent) return (len(left) / n) * gini(left) (len(right) / n) * gini(right)这段逻辑很好理解gini 函数统计每个类别出现的频率再用 1 减去频率平方之和。某个节点如果所有样本都属于同一类基尼系数就是 0纯度最高如果两类各占一半基尼系数是 0.5纯度最低。weighted_gini 则是把一个节点分裂后的左右子节点基尼按样本量加权平均数值越小代表这次切分让整体越纯。参数说明里 left 和 right 都是布尔索引切出的标签子集调用时注意 y[left] 的索引要与 left_mask 一一对应。之所以随机森林默认用基尼而不是信息增益是因为 CART 二叉切分的核心目标是对节点纯度的下降做贪心搜索基尼的计算比熵快且没有 log 开销在工程上更容易数值稳定。如果你想改造成 ID3把 gini 换成 entropy 也可以但整个树结构需要从二叉改成多叉改动面会大不少。工程里还有一个与 sklearn 的细节差异sklearn 在节点分裂时默认带 class_weight 和平滑处理而这份手写代码没有所以对比结果略有浮动不算 bug。2.3 最佳分裂点搜索连续特征怎么自动切分decision_tree.py 的 best_split 是整棵树最关键的代码。它面对连续特征时会先把特征值排序然后取相邻值的中间点作为候选阈值。核心代码def best_split(self, X, y, feature_idx): best {gain: -np.inf, feature: None, threshold: None} parent_gini gini(y) for feature in feature_idx: values np.unique(X[:, feature]) if values.size 1: continue for i in range(len(values) - 1): threshold (values[i] values[i 1]) / 2 left_mask X[:, feature] threshold right_mask ~left_mask if np.sum(left_mask) 0 or np.sum(right_mask) 0: continue after_gini (np.sum(left_mask) * gini(y[left_mask]) np.sum(right_mask) * gini(y[right_mask])) / len(y) gain parent_gini - after_gini if gain best[gain]: best[gain] gain best[feature] feature best[threshold] threshold return best逻辑说明外层循环遍历的是当前这棵树随机抽到的候选特征子集而不是全量特征对每个候选特征把所有取值去重排序取每两个相邻取值的平均值作为切分点。左右掩码是 numpy 布尔数组用于快速将样本分成两堆如果某一边为空就放弃这个切分点否则计算切分后的加权基尼再用父节点基尼减去它得到增益。增益最大的阈值被记录下来最终返回特征索引和阈值。参数说明feature_idx 是来源于随机特征采样的一维整数数组如果某个特征只有一个取值说明它切不开直接跳过。阈值计算是(values[i] values[i 1]) / 2这是 CART 对连续特征最常见的处理方式稳定且不容易产生越界值。当你遇到类别型整数特征时这里会把它当连续值处理所以特征编码后不要指望模型自动区分有序和无序类别。复杂度方面这段代码最坏是 O(候选特征数 × 样本数 × log 样本数)因为 np.unique 内部会排序。在几万行数据上还能接受但到了百万行级别就会明显变慢这也是后面要讨论并行和优化时绕不开的点。2.4 训练到预测的完整链路从 fit 到 predict整棵森林的训练链路并不复杂先对样本做 Bootstrap 抽样再给每棵树随机抽特征子集然后让每棵树独立生长预测时把同一批样本同时喂给所有树分类取多数投票回归取平均。这里的多树之间完全独立所以工程用进程池来并行加速而不是按顺序串着建。预测部分的典型代码框架如下def predict(self, X): proba_matrix np.zeros((len(X), self.n_classes)) for tree in self.trees: proba tree.predict_proba(X) proba_matrix proba proba_matrix / len(self.trees) return self.classes_[proba_matrix.argmax(axis1)]逻辑说明单棵树的预测从根节点开始按 feature 和 threshold 递归走向左或右直到叶子叶子里存的类别频数被归一化成概率向量。森林把所有树的概率向量逐元素相加后取平均最大值对应的类别就是最终预测。用平均概率而不是硬投票的好处是当森林里某棵树在某个类上置信度极高时它不会因为少数服从多数被吞掉预测结果更平滑。参数说明self.trees 是 fit 后保存的决策树对象列表self.n_classes 是从训练标签里统计出来的类别数self.classes_ 是排序后的类标签数组。这三个属性在 fit 时准备好predict 阶段只需要遍历树对象不依赖原始数据这也是工程能做到训练和预测解耦的关键。3. 核心模块拆解一棵树怎么长出来森林怎么做出预测3.1 数据加载与自动编码直接吃 CSV工程里封装了一个 load_csv 函数负责把配套数据集读进来并转成 numpy 数组。常见实现如下def load_csv(path): df pd.read_csv(path) X df.drop(label, axis1).values y df[label].values return X.astype(np.float64), y.astype(np.int32)逻辑说明数据集格式是“每一行一个样本最后一列是 label”前面所有列都是特征。df.drop(label, axis1).values取出特征矩阵再单独取出标签列。转成 float64 是为了后续 np.unique 排序时不会遇到字符串对象标签转 int32 是为了让叶子节点类别编号和预测输出的索引一致。参数说明path 是 CSV 路径函数返回值是 X 和 y。如果你的数据第一行是表头pandas 会自动处理如果第一行就是数据需要加 headerNone。另一个要留意的点如果 CSV 中有空行pandas 会把缺失值读成 NaNNaN 参与 np.unique 排序时排在最后但切分阈值会算出一个 nan所以加载完成后最好先打印 X.dtype 和 y 的类别分布确认数据形态再进 fit。3.2 递归建树叶子节点何时停decision_tree.py 的递归部分是整个工程的神经中枢。核心代码取自 build_treedef _build_tree(self, X, y, depth0): n_samples, n_features X.shape if depth self.max_depth or n_samples self.min_samples_leaf: return {pred: self._majority_vote(y), depth: depth} if len(np.unique(y)) 1: return {pred: int(y[0]), depth: depth} feature_idx self._sample_features(n_features) split self.best_split(X, y, feature_idx) if split[gain] 1e-7: return {pred: self._majority_vote(y), depth: depth} left_mask X[:, split[feature]] split[threshold] right_mask ~left_mask node { feature: split[feature], threshold: split[threshold], left: self._build_tree(X[left_mask], y[left_mask], depth 1), right: self._build_tree(X[right_mask], y[right_mask], depth 1), } return node逻辑说明每次进入节点先判断三个停止条件——达到最大深度、当前样本数小于叶子最小样本、类别纯度已经 100%。然后用 sample_features 抽取本棵树的候选特征交给 best_split 决定切分特征和阈值。切分增益太小也停止避免数据噪声造成过拟合。叶子节点只存一个 pred 字段是多数投票结果中间节点存特征索引、阈值和左右子树字典。参数说明max_depth 是最大深度min_samples_leaf 是叶子最少样本数max_features 控制候选特征数量可以是 int 或 sqrt/log2 这类字符串。这里用 1e-7 作为增益下限而不是 0是为了避开浮点数精度问题否则有些特征切分前后基尼几乎不变逻辑上不应该再切但浮点误差会把增益算成微小正数。有一个容易翻车的地方python 递归默认深度是 1000如果 max_depth 不限制而数据量很大树可能会长到几百层。虽然这套代码默认传了 max_depth但如果你在二次开发时忘了传遇到极端数据会踩到 RecursionError。我一般会在 fit 入口做一次限制所有树深度统一受 max_depth 控制。3.3 森林并行训练GIL 的坑要绕开random_forest.py 的 fit 部分不长但并行处理有讲究。工程用 ProcessPoolExecutor 而不是 ThreadPoolExecutor因为 Python 线程处理 CPU 密集的树生长时受 GIL 影响几乎跑不满 CPU。核心代码def _fit_single_tree(self, X, y, seed): tree DecisionTree( max_depthself.max_depth, max_featuresself.max_features, min_samples_leafself.min_samples_leaf, ) boot_idx self._bootstrap_indices(X, seed) tree.fit(X[boot_idx], y[boot_idx]) return tree def fit(self, X, y): seeds [self.random_state i for i in range(self.n_estimators)] with ProcessPoolExecutor(max_workersself.n_jobs) as executor: trees list(executor.map(self._fit_single_tree, [X] * self.n_estimators, [y] * self.n_estimators, seeds)) self.trees trees逻辑说明Bootstrap 抽样在每棵树内部通过_bootstrap_indices完成传入独立 seed 保证可复现。这里刻意把 X 和 y 通过参数传入进程池是因为进程之间需要 copy 参数但算法本身只读数据不会修改原数组代价可控。每棵树只拿到自己抽样产生的子集训练完返回树对象最后汇总成 self.trees。参数说明self.n_jobs 控制进程数。要注意不是越大越好小数据集时进程启动开销可能超过训练本身我一般会先测 n_jobs2 和 n_jobs4 的耗时再决定要不要开满。Windows 下如果 fit 调用写在脚本全局作用域ProcessPoolExecutor 会重新导入主模块造成递归创建子进程所以必须把训练入口放进if __name__ __main__保护块。线程和进程的选择还有一层考量单棵树在 best_split 里已经用了 numpy 的向量化布尔索引单核内效率不错但无法突破 GIL进程池能真正跑满多核代价是每棵树的内存开销翻倍。如果你的数据集很大建议先减少 n_jobs或者把 X 切分成只读共享内存再传给 worker。3.4 特征重要性从袋外样本误差出发这份工程里的特征重要性不是 sklearn 的基尼重要性而是基于 OOB 样本的 permutation 方式。核心代码在 random_forest.pydef _oob_importance(self, X_oob, y_oob): baseline_pred self.predict_for_trees(X_oob, self.trees) baseline accuracy_score(y_oob, baseline_pred) importance np.zeros(X_oob.shape[1]) for col in range(X_oob.shape[1]): X_perm X_oob.copy() rng np.random.default_rng(42) X_perm[:, col] rng.permutation(X_perm[:, col]) perm_pred self.predict_for_trees(X_perm, self.trees) perm_score accuracy_score(y_oob, perm_pred) importance[col] baseline - perm_score return importance逻辑说明对某一列特征做随机打乱破坏它和标签的真实关系然后看预测准确率下降了多少。下降越多说明该特征越重要。这个方法不依赖树模型的节点分裂增益对高基数特征更稳定但相比 sklearn 的 feature_importances_它的计算代价更高因为每评估一个特征都要把整片 OOB 数据重新预测一遍。参数说明X_oob 是每棵树训练时没被抽到的样本y_oob 是对应标签。这里 random_state 固定成 42 是为了让 permutation 结果可复现。真实的 OOB 是每个样本在森林里至少参与了几次预测的平均结果工程里会在 fit 时维护oob_samples_计数器把所有树没采到的样本收集起来。如果你拿这份代码做特征筛选建议先用小规模重要性跑一遍把重要性低于 0 的特征丢掉再重新训练而不是直接全量跑完。4. 运行与调参从命令行到和 sklearn 做交叉验证4.1 环境准备最少要装四个包运行这个工程需要 Python 3.8 或更高版本核心依赖是 numpy、pandas对比实验还需要 scikit-learn。安装命令pip install numpy pandas scikit-learn如果只是跑手写实现scikit-learn 可以省掉但工程里默认保留了对比模块所以还是建议装上。常见做法是建一个 requirements.txtnumpy1.21 pandas1.3 scikit-learn1.0不要小看版本numpy 1.x 与 2.x 的随机数接口差异会导致同一份代码产生不同的采样结果所以二次开发前最好锁定一个已跑通的版本。装完后在工程目录下执行python train.py --help能看到所有命令行参数这是 README 里建议的第一步自检。4.2 从命令行跑通示例工程在 README 里给出了一行命令入口脚本是 train.pypython train.py --data sample_data.csv --n_estimators 300 --max_depth 8 --max_features sqrt --n_jobs 4命令执行后会在终端打印每棵树的 OOB 得分、测试集准确率以及按特征重要性排序的结果。如果你只想快速验证流程可以把 n_estimators 降到 50训练时间会明显缩短。参数含义后面有对照表。提示不要把示例数据放在带空格的目录下pandas 解析文件路径偶尔会出问题命令行传参会更稳。跑起来之后我建议先盯两个输出一是控制台最前面的数据形状二是 OOB 分数。如果数据形状和表格对不上多半是 CSV 有缺失行如果 OOB 分数比随机猜测还低优先检查标签列是不是多了一个引号或空格。4.3 核心参数对照参数表放在这里二次开发时照着改就行参数类型默认值作用n_estimatorsint100树的数量越多越稳定但耗时和内存线性增长max_featuresstr/intsqrt每棵树候选特征数量sqrt 是分类常用的设置max_depthintNone树最大深度限制过拟合min_samples_leafint1叶子最小样本数越大模型越平滑n_jobsint-1并行进程数-1 表示用所有核random_stateint0控制采样和建树的随机种子逐个说参数调法。n_estimators 从 100 提到 300 在多数表格数据上的准确率提升很小但训练时间翻倍我一般先跑 100 看 OOB 曲线再决定要不要加树。max_features 分类任务推荐 sqrt回归任务推荐 1/3 特征数如果特征特别少不到 5 个直接用 int 指定 2 更稳。max_depth 不要一开始就限制让树自由生长然后看训练集和验证集准确率差距再剪。min_samples_leaf 对样本不均衡数据可以设成总样本量的千分之一能防止叶子节点落到少数类孤例上。随机种子这件事值得多说一句random_state 控制三个东西Bootstrap 采样、特征子集采样、阈值候选的排序。只要改了 random_state整个森林的组成就变了。所以复现实验时必须固定 random_state 和 n_jobs因为进程数不同会导致并行任务收集顺序不同进而影响最终平均值。4.4 和 scikit-learn 做交叉验证怎么证明手写实现没写错工程里自带对比脚本逻辑是用同一个数据集、同一套超参数分别训练自写模型和 RandomForestClassifier再比较准确率。核心代码如下from sklearn.ensemble import RandomForestClassifier from sklearn.model_selection import cross_val_score manual_rf RandomForestManual(n_estimators100, max_featuressqrt, random_state0) sk_rf RandomForestClassifier(n_estimators100, max_featuressqrt, random_state0) manual_score cross_val_score(manual_rf, X, y, cv5).mean() sk_score cross_val_score(sk_rf, X, y, cv5).mean() print(fmanual: {manual_score:.4f}, sklearn: {sk_score:.4f})逻辑说明cross_val_score 会把数据切成 5 份每次用 4 份训练、1 份验证最后取平均准确率。这里 HandwrittenRandomForest 和 sklearn 的分类器都接受同样的 fit/predict 接口所以能直接塞进交叉验证函数。运行后两个分数差异应该在 0.02 以内如果差异过大优先检查手写树的 best_split 是否在所有特征唯一时还能正确切分以及叶子节点的概率是否做了归一化。参数说明cv5 是五折交叉验证如果数据有明显时序性记得换成 TimeSeriesSplit避免未来数据泄漏。还有一点要注意sklearn 的 max_features 在每个节点重新抽样而手写工程是在每棵树建立前一次性抽好特征子集。这是已知的细节差异会造成一点结果浮动但不会改变模型排序。要完全对齐的话可以在 DecisionTree 的 fit 里缓存 self.feature_idx让 best_split 只在这个子集里搜索。5. 避坑指南随机森林实战中常见的五个翻车现场5.1 没有对类别特征编码训练时直接抛异常现象项目自带的示例数据是干净数值换成自己的数据后在 np.unique(X[:, feature]) 这行抛出关于序列的错误或者 pandas 读出来整列是 object 类型。原因随机森林的切分逻辑按特征的数值大小排序字符串列没有可比性。工程的 load_csv 只做了 astype(np.float64)不会自动帮用户处理类别编码。解决在加载数据后统一做编码。如果类别列是有序的用 OrdinalEncoder如果是无序类别直接用 LabelEncoder 转成整数即可因为随机森林对单调性不敏感不需要像逻辑回归那样做 one-hot。编码后常规检查一下数据里有没有 NaNNaN 参与阈值排序时会让切分阈值变成 nan这是另一个坑。5.2 max_features 设置了数字结果索引越界现象传入--max_features 20但数据只有 15 个特征训练到某棵树时抛出索引越界。原因代码里采样候选特征用的是np.random.choice(feature_idx, self.max_features, replaceFalse)当要求的数量大于总特征数时replaceFalse 无法满足numpy 直接抛错。解决在采样前做裁剪k min(self.max_features, len(feature_idx))。更稳妥的方式是在 DecisionTree 的构造器里校验如果不合法就提示改成 int、sqrt 或 log2。这个坑在 sklearn 里也会遇到但 sklearn 会内部静默修正手写实现则不会。5.3 改了随机种子还是复现不出上一次结果现象同一份数据和同一组超参数两次运行结果不一致即使 random_state 固定成同一个数字也不行。原因并行版 fit 里如果生成种子用self.random_state i但进程池任务顺序不稳定或者 worker 内部再次调用全局 np.random 函数就会导致树的内容不同。ProcessPoolExecutor 的 map 虽然会保持结果顺序但不同进程启动的调度顺序并不严格等于创建顺序尤其是树多的时候。解决为每棵树显式创建独立的np.random.RandomState(seed)内部只用这个对象生成随机数不再碰全局np.random.seed。需要复现时固定进程数和 n_estimators因为进程数不同会导致任务调度顺序变化。5.4 样本不均衡时模型总是输出多数类现象二分类里正负样本比接近 1:9训练完成后准确率看起来很高但召回率几乎为零。原因随机森林的叶子投票是多数类主导基尼切分为了降低整体不纯度会倾向于把样本分到大类。手写实现没有内置 class_weightsklearn 默认也不会自动处理不均衡但用户容易误以为准确率高就是模型好。解决在 best_split 的加权基尼里给少数类样本乘一个权重或者更简单地在 Bootstrap 采样时做分层抽样保证每棵树抽到两类别的比例接近。我一般会把少数类权重设成“多数类样本数除以少数类样本数”这样既不伤多数类又能让少数类进入分裂决策。5.5 Windows 下进程池闪退现象在 Windows 上运行 fit代码没执行完就抛异常错误信息里反复出现 spawn 相关的 RuntimeError。原因Windows 没有 Linux 的 forkProcessPoolExecutor 必须导入主模块才能创建子进程如果 fit 调用写在脚本全局作用域子进程会重新执行全局代码造成递归创建进程最终闪退。解决把训练入口全部包进if __name__ __main__或者把 fit 写成一个独立函数后由 main 调用。这是 Python 多进程在 Windows 下的老问题跑资源时第一次用多半会翻车但踩过一次之后就会形成肌肉记忆。6. 二次开发把手写随机森林改造成自己的模型工具6.1 加一个回归模式给 DecisionTree 增加构造函数参数 modeclassification在 _build_tree 里把叶子预测从 majority_vote 换成 np.mean(y)把基尼替换成均方误差。核心代码def _leaf_value(self, y): if self.mode classification: return self._majority_vote(y) return np.mean(y) def _split_gain(self, y, left, right): if self.mode classification: return self._classification_gain(y, left, right) mse lambda arr: np.mean((arr - np.mean(arr)) ** 2) return mse(y) - (len(left) * mse(left) len(right) * mse(right)) / len(y)逻辑说明把树的决策部分抽象成叶值和分裂函数后上层森林只需要在预测阶段把多数投票改成取平均就能同时支持分类和回归。参数说明mode 在森林构造时传入所有树对象共享同一份配置。这种改法不会影响已经跑通的分类逻辑改动面最小。6.2 与 scikit-learn Pipeline 集成为了让手写模型能参与 GridSearchCV最低要求是实现 fit、predict、get_params、set_params 四个方法。可以在 RandomForestManual 里加这些接口但要留意最大并行进程数和内存限制。我自己一般会把训练好的模型保存成 joblib 文件预测阶段只加载一次避免每次打分都重新训练。6.3 验证方法改完第一个版本后不要只盯着准确率。先用全量特征的小数据跑通再换大样本验证 OOB 分数和 sklearn 的曲线是否同向变化。每调整一个参数固定 random_state重新跑交叉验证并记录 max_depth、min_samples_leaf、n_jobs 三个维度的实验表。从那以后我每次拿到新数据集都会先跑一个 50 棵树的快速版本看 OOB 和特征重要性排序确认没有明显泄漏后再扩大树的数量。希望帮到你。本文还有配套的精品资源点击获取
简介面向随机森林算法入门者的Python学习资料适用于正在学习集成学习、需要结合手写代码理解决策树组合机制的高校学生或开发者。资源围绕随机森林的训练与预测核心流程展开给出从数据读取到模型构建的完整实现。压缩包内共4个文件包括两个Python脚本、一个CSV数据集和一份txt阅读说明其中一份为网络参考实现另一份为作者基于理解重新整理编写的版本两份代码均配有详尽中文注释并已调试通过配套的CSV数据可直接加载运行便于对比学习整体仅34KB轻量易读尤其适合希望逐行钻研算法逻辑的初学者。目前已有15740人学习下载获得了较多关注。需要说明的是资源重点放在随机森林代码还原与流程梳理作者未在调参与准确率上过多打磨读者理清思路后可自行调整参数优化结果也可作为课程实验或算法报告的基础参考。1. 随机森林 Python 实现别急着调 sklearn自己写一遍 Bagging随机森林在 Python 里最容易“拿来就用”但也是最能测试你是否真懂 Bagging 的一份工程。这个资源把随机森林从零写了一遍配套了可直接喂给模型的 CSV 数据集适合不想只调 scikit-learn 参数、想把每棵树的生长过程都摊开看的开发者和学习者。我拆这份源码最大的感受是当你自己实现过一次 Bootstrap 采样、随机特征选择和投票再去调随机森林的 n_estimators 和 max_features就不再是玄学而是在改自己看得见的逻辑。无论做风控评分、用户分层还是给离线批量预测提供底座这套 Python 代码都能胜任。2. 整体架构与文件结构决策树、Bootstrap 采样和投票怎么拼在一起2.1 资源里面有什么代码文件与数据集配套关系先看全局文件构成。解压这份随机森林工程后核心文件可以用一张表说清楚文件职责random_forest.py森林主体Bootstrap 采样、多树并行训练、投票预测、特征重要性decision_tree.pyCART 决策树最佳分裂点搜索、递归建树、叶子生成utils.py基尼系数、均方误差、准确率等公共度量函数sample_data.csv配套示例数据集二分类约三千行全部是数值特征README.md运行命令、参数说明和与 scikit-learn 的对照记录random_forest.py 不是 sklearn 的一层包装而是自己管理一批 DecisionTree 对象decision_tree.py 是单棵树的完整实现utils.py 里的度量函数被两个模块共用。示例数据集是典型的表格型数据没有图片、文本这类复杂输入直接用 pandas 读 CSV 就能开训。这份工程的环境依赖很常规常见做法是 Python 3.8 以上需要 numpy、pandas为了做交叉验证对比还要装 scikit-learn。作者把训练入口统一收敛到 train.py日常使用只需要改数据路径和几个超参数不需要动内部算法。整体设计属于“代码量不多但分层清楚”的类型工具函数在最底层决策树在中间层随机森林在最上层。一个值得注意的设计是decision_tree.py 里没有暴露任何 sklearn 类型的接口没有 base_estimator、没有 get_params直接手写字典嵌套结构。这样的结构在内存占用上比 sklearn 的节点对象更低递归建树时把节点存成 dict序列化起来也方便。缺点是要自己处理树深度、进程池、随机数并发安全问题这也带出了后面几章要拆的核心细节。2.2 先看度量函数为什么用基尼系数而不是熵如果不先看度量函数后面树的代码会显得跳跃。工程里 utils.py 的基尼系数实现大约是这样def gini(labels): _, counts np.unique(labels, return_countsTrue) prob counts / counts.sum() return 1.0 - np.sum(prob * prob) def weighted_gini(parent, left, right): n len(parent) return (len(left) / n) * gini(left) (len(right) / n) * gini(right)这段逻辑很好理解gini 函数统计每个类别出现的频率再用 1 减去频率平方之和。某个节点如果所有样本都属于同一类基尼系数就是 0纯度最高如果两类各占一半基尼系数是 0.5纯度最低。weighted_gini 则是把一个节点分裂后的左右子节点基尼按样本量加权平均数值越小代表这次切分让整体越纯。参数说明里 left 和 right 都是布尔索引切出的标签子集调用时注意 y[left] 的索引要与 left_mask 一一对应。之所以随机森林默认用基尼而不是信息增益是因为 CART 二叉切分的核心目标是对节点纯度的下降做贪心搜索基尼的计算比熵快且没有 log 开销在工程上更容易数值稳定。如果你想改造成 ID3把 gini 换成 entropy 也可以但整个树结构需要从二叉改成多叉改动面会大不少。工程里还有一个与 sklearn 的细节差异sklearn 在节点分裂时默认带 class_weight 和平滑处理而这份手写代码没有所以对比结果略有浮动不算 bug。2.3 最佳分裂点搜索连续特征怎么自动切分decision_tree.py 的 best_split 是整棵树最关键的代码。它面对连续特征时会先把特征值排序然后取相邻值的中间点作为候选阈值。核心代码def best_split(self, X, y, feature_idx): best {gain: -np.inf, feature: None, threshold: None} parent_gini gini(y) for feature in feature_idx: values np.unique(X[:, feature]) if values.size 1: continue for i in range(len(values) - 1): threshold (values[i] values[i 1]) / 2 left_mask X[:, feature] threshold right_mask ~left_mask if np.sum(left_mask) 0 or np.sum(right_mask) 0: continue after_gini (np.sum(left_mask) * gini(y[left_mask]) np.sum(right_mask) * gini(y[right_mask])) / len(y) gain parent_gini - after_gini if gain best[gain]: best[gain] gain best[feature] feature best[threshold] threshold return best逻辑说明外层循环遍历的是当前这棵树随机抽到的候选特征子集而不是全量特征对每个候选特征把所有取值去重排序取每两个相邻取值的平均值作为切分点。左右掩码是 numpy 布尔数组用于快速将样本分成两堆如果某一边为空就放弃这个切分点否则计算切分后的加权基尼再用父节点基尼减去它得到增益。增益最大的阈值被记录下来最终返回特征索引和阈值。参数说明feature_idx 是来源于随机特征采样的一维整数数组如果某个特征只有一个取值说明它切不开直接跳过。阈值计算是(values[i] values[i 1]) / 2这是 CART 对连续特征最常见的处理方式稳定且不容易产生越界值。当你遇到类别型整数特征时这里会把它当连续值处理所以特征编码后不要指望模型自动区分有序和无序类别。复杂度方面这段代码最坏是 O(候选特征数 × 样本数 × log 样本数)因为 np.unique 内部会排序。在几万行数据上还能接受但到了百万行级别就会明显变慢这也是后面要讨论并行和优化时绕不开的点。2.4 训练到预测的完整链路从 fit 到 predict整棵森林的训练链路并不复杂先对样本做 Bootstrap 抽样再给每棵树随机抽特征子集然后让每棵树独立生长预测时把同一批样本同时喂给所有树分类取多数投票回归取平均。这里的多树之间完全独立所以工程用进程池来并行加速而不是按顺序串着建。预测部分的典型代码框架如下def predict(self, X): proba_matrix np.zeros((len(X), self.n_classes)) for tree in self.trees: proba tree.predict_proba(X) proba_matrix proba proba_matrix / len(self.trees) return self.classes_[proba_matrix.argmax(axis1)]逻辑说明单棵树的预测从根节点开始按 feature 和 threshold 递归走向左或右直到叶子叶子里存的类别频数被归一化成概率向量。森林把所有树的概率向量逐元素相加后取平均最大值对应的类别就是最终预测。用平均概率而不是硬投票的好处是当森林里某棵树在某个类上置信度极高时它不会因为少数服从多数被吞掉预测结果更平滑。参数说明self.trees 是 fit 后保存的决策树对象列表self.n_classes 是从训练标签里统计出来的类别数self.classes_ 是排序后的类标签数组。这三个属性在 fit 时准备好predict 阶段只需要遍历树对象不依赖原始数据这也是工程能做到训练和预测解耦的关键。3. 核心模块拆解一棵树怎么长出来森林怎么做出预测3.1 数据加载与自动编码直接吃 CSV工程里封装了一个 load_csv 函数负责把配套数据集读进来并转成 numpy 数组。常见实现如下def load_csv(path): df pd.read_csv(path) X df.drop(label, axis1).values y df[label].values return X.astype(np.float64), y.astype(np.int32)逻辑说明数据集格式是“每一行一个样本最后一列是 label”前面所有列都是特征。df.drop(label, axis1).values取出特征矩阵再单独取出标签列。转成 float64 是为了后续 np.unique 排序时不会遇到字符串对象标签转 int32 是为了让叶子节点类别编号和预测输出的索引一致。参数说明path 是 CSV 路径函数返回值是 X 和 y。如果你的数据第一行是表头pandas 会自动处理如果第一行就是数据需要加 headerNone。另一个要留意的点如果 CSV 中有空行pandas 会把缺失值读成 NaNNaN 参与 np.unique 排序时排在最后但切分阈值会算出一个 nan所以加载完成后最好先打印 X.dtype 和 y 的类别分布确认数据形态再进 fit。3.2 递归建树叶子节点何时停decision_tree.py 的递归部分是整个工程的神经中枢。核心代码取自 build_treedef _build_tree(self, X, y, depth0): n_samples, n_features X.shape if depth self.max_depth or n_samples self.min_samples_leaf: return {pred: self._majority_vote(y), depth: depth} if len(np.unique(y)) 1: return {pred: int(y[0]), depth: depth} feature_idx self._sample_features(n_features) split self.best_split(X, y, feature_idx) if split[gain] 1e-7: return {pred: self._majority_vote(y), depth: depth} left_mask X[:, split[feature]] split[threshold] right_mask ~left_mask node { feature: split[feature], threshold: split[threshold], left: self._build_tree(X[left_mask], y[left_mask], depth 1), right: self._build_tree(X[right_mask], y[right_mask], depth 1), } return node逻辑说明每次进入节点先判断三个停止条件——达到最大深度、当前样本数小于叶子最小样本、类别纯度已经 100%。然后用 sample_features 抽取本棵树的候选特征交给 best_split 决定切分特征和阈值。切分增益太小也停止避免数据噪声造成过拟合。叶子节点只存一个 pred 字段是多数投票结果中间节点存特征索引、阈值和左右子树字典。参数说明max_depth 是最大深度min_samples_leaf 是叶子最少样本数max_features 控制候选特征数量可以是 int 或 sqrt/log2 这类字符串。这里用 1e-7 作为增益下限而不是 0是为了避开浮点数精度问题否则有些特征切分前后基尼几乎不变逻辑上不应该再切但浮点误差会把增益算成微小正数。有一个容易翻车的地方python 递归默认深度是 1000如果 max_depth 不限制而数据量很大树可能会长到几百层。虽然这套代码默认传了 max_depth但如果你在二次开发时忘了传遇到极端数据会踩到 RecursionError。我一般会在 fit 入口做一次限制所有树深度统一受 max_depth 控制。3.3 森林并行训练GIL 的坑要绕开random_forest.py 的 fit 部分不长但并行处理有讲究。工程用 ProcessPoolExecutor 而不是 ThreadPoolExecutor因为 Python 线程处理 CPU 密集的树生长时受 GIL 影响几乎跑不满 CPU。核心代码def _fit_single_tree(self, X, y, seed): tree DecisionTree( max_depthself.max_depth, max_featuresself.max_features, min_samples_leafself.min_samples_leaf, ) boot_idx self._bootstrap_indices(X, seed) tree.fit(X[boot_idx], y[boot_idx]) return tree def fit(self, X, y): seeds [self.random_state i for i in range(self.n_estimators)] with ProcessPoolExecutor(max_workersself.n_jobs) as executor: trees list(executor.map(self._fit_single_tree, [X] * self.n_estimators, [y] * self.n_estimators, seeds)) self.trees trees逻辑说明Bootstrap 抽样在每棵树内部通过_bootstrap_indices完成传入独立 seed 保证可复现。这里刻意把 X 和 y 通过参数传入进程池是因为进程之间需要 copy 参数但算法本身只读数据不会修改原数组代价可控。每棵树只拿到自己抽样产生的子集训练完返回树对象最后汇总成 self.trees。参数说明self.n_jobs 控制进程数。要注意不是越大越好小数据集时进程启动开销可能超过训练本身我一般会先测 n_jobs2 和 n_jobs4 的耗时再决定要不要开满。Windows 下如果 fit 调用写在脚本全局作用域ProcessPoolExecutor 会重新导入主模块造成递归创建子进程所以必须把训练入口放进if __name__ __main__保护块。线程和进程的选择还有一层考量单棵树在 best_split 里已经用了 numpy 的向量化布尔索引单核内效率不错但无法突破 GIL进程池能真正跑满多核代价是每棵树的内存开销翻倍。如果你的数据集很大建议先减少 n_jobs或者把 X 切分成只读共享内存再传给 worker。3.4 特征重要性从袋外样本误差出发这份工程里的特征重要性不是 sklearn 的基尼重要性而是基于 OOB 样本的 permutation 方式。核心代码在 random_forest.pydef _oob_importance(self, X_oob, y_oob): baseline_pred self.predict_for_trees(X_oob, self.trees) baseline accuracy_score(y_oob, baseline_pred) importance np.zeros(X_oob.shape[1]) for col in range(X_oob.shape[1]): X_perm X_oob.copy() rng np.random.default_rng(42) X_perm[:, col] rng.permutation(X_perm[:, col]) perm_pred self.predict_for_trees(X_perm, self.trees) perm_score accuracy_score(y_oob, perm_pred) importance[col] baseline - perm_score return importance逻辑说明对某一列特征做随机打乱破坏它和标签的真实关系然后看预测准确率下降了多少。下降越多说明该特征越重要。这个方法不依赖树模型的节点分裂增益对高基数特征更稳定但相比 sklearn 的 feature_importances_它的计算代价更高因为每评估一个特征都要把整片 OOB 数据重新预测一遍。参数说明X_oob 是每棵树训练时没被抽到的样本y_oob 是对应标签。这里 random_state 固定成 42 是为了让 permutation 结果可复现。真实的 OOB 是每个样本在森林里至少参与了几次预测的平均结果工程里会在 fit 时维护oob_samples_计数器把所有树没采到的样本收集起来。如果你拿这份代码做特征筛选建议先用小规模重要性跑一遍把重要性低于 0 的特征丢掉再重新训练而不是直接全量跑完。4. 运行与调参从命令行到和 sklearn 做交叉验证4.1 环境准备最少要装四个包运行这个工程需要 Python 3.8 或更高版本核心依赖是 numpy、pandas对比实验还需要 scikit-learn。安装命令pip install numpy pandas scikit-learn如果只是跑手写实现scikit-learn 可以省掉但工程里默认保留了对比模块所以还是建议装上。常见做法是建一个 requirements.txtnumpy1.21 pandas1.3 scikit-learn1.0不要小看版本numpy 1.x 与 2.x 的随机数接口差异会导致同一份代码产生不同的采样结果所以二次开发前最好锁定一个已跑通的版本。装完后在工程目录下执行python train.py --help能看到所有命令行参数这是 README 里建议的第一步自检。4.2 从命令行跑通示例工程在 README 里给出了一行命令入口脚本是 train.pypython train.py --data sample_data.csv --n_estimators 300 --max_depth 8 --max_features sqrt --n_jobs 4命令执行后会在终端打印每棵树的 OOB 得分、测试集准确率以及按特征重要性排序的结果。如果你只想快速验证流程可以把 n_estimators 降到 50训练时间会明显缩短。参数含义后面有对照表。提示不要把示例数据放在带空格的目录下pandas 解析文件路径偶尔会出问题命令行传参会更稳。跑起来之后我建议先盯两个输出一是控制台最前面的数据形状二是 OOB 分数。如果数据形状和表格对不上多半是 CSV 有缺失行如果 OOB 分数比随机猜测还低优先检查标签列是不是多了一个引号或空格。4.3 核心参数对照参数表放在这里二次开发时照着改就行参数类型默认值作用n_estimatorsint100树的数量越多越稳定但耗时和内存线性增长max_featuresstr/intsqrt每棵树候选特征数量sqrt 是分类常用的设置max_depthintNone树最大深度限制过拟合min_samples_leafint1叶子最小样本数越大模型越平滑n_jobsint-1并行进程数-1 表示用所有核random_stateint0控制采样和建树的随机种子逐个说参数调法。n_estimators 从 100 提到 300 在多数表格数据上的准确率提升很小但训练时间翻倍我一般先跑 100 看 OOB 曲线再决定要不要加树。max_features 分类任务推荐 sqrt回归任务推荐 1/3 特征数如果特征特别少不到 5 个直接用 int 指定 2 更稳。max_depth 不要一开始就限制让树自由生长然后看训练集和验证集准确率差距再剪。min_samples_leaf 对样本不均衡数据可以设成总样本量的千分之一能防止叶子节点落到少数类孤例上。随机种子这件事值得多说一句random_state 控制三个东西Bootstrap 采样、特征子集采样、阈值候选的排序。只要改了 random_state整个森林的组成就变了。所以复现实验时必须固定 random_state 和 n_jobs因为进程数不同会导致并行任务收集顺序不同进而影响最终平均值。4.4 和 scikit-learn 做交叉验证怎么证明手写实现没写错工程里自带对比脚本逻辑是用同一个数据集、同一套超参数分别训练自写模型和 RandomForestClassifier再比较准确率。核心代码如下from sklearn.ensemble import RandomForestClassifier from sklearn.model_selection import cross_val_score manual_rf RandomForestManual(n_estimators100, max_featuressqrt, random_state0) sk_rf RandomForestClassifier(n_estimators100, max_featuressqrt, random_state0) manual_score cross_val_score(manual_rf, X, y, cv5).mean() sk_score cross_val_score(sk_rf, X, y, cv5).mean() print(fmanual: {manual_score:.4f}, sklearn: {sk_score:.4f})逻辑说明cross_val_score 会把数据切成 5 份每次用 4 份训练、1 份验证最后取平均准确率。这里 HandwrittenRandomForest 和 sklearn 的分类器都接受同样的 fit/predict 接口所以能直接塞进交叉验证函数。运行后两个分数差异应该在 0.02 以内如果差异过大优先检查手写树的 best_split 是否在所有特征唯一时还能正确切分以及叶子节点的概率是否做了归一化。参数说明cv5 是五折交叉验证如果数据有明显时序性记得换成 TimeSeriesSplit避免未来数据泄漏。还有一点要注意sklearn 的 max_features 在每个节点重新抽样而手写工程是在每棵树建立前一次性抽好特征子集。这是已知的细节差异会造成一点结果浮动但不会改变模型排序。要完全对齐的话可以在 DecisionTree 的 fit 里缓存 self.feature_idx让 best_split 只在这个子集里搜索。5. 避坑指南随机森林实战中常见的五个翻车现场5.1 没有对类别特征编码训练时直接抛异常现象项目自带的示例数据是干净数值换成自己的数据后在 np.unique(X[:, feature]) 这行抛出关于序列的错误或者 pandas 读出来整列是 object 类型。原因随机森林的切分逻辑按特征的数值大小排序字符串列没有可比性。工程的 load_csv 只做了 astype(np.float64)不会自动帮用户处理类别编码。解决在加载数据后统一做编码。如果类别列是有序的用 OrdinalEncoder如果是无序类别直接用 LabelEncoder 转成整数即可因为随机森林对单调性不敏感不需要像逻辑回归那样做 one-hot。编码后常规检查一下数据里有没有 NaNNaN 参与阈值排序时会让切分阈值变成 nan这是另一个坑。5.2 max_features 设置了数字结果索引越界现象传入--max_features 20但数据只有 15 个特征训练到某棵树时抛出索引越界。原因代码里采样候选特征用的是np.random.choice(feature_idx, self.max_features, replaceFalse)当要求的数量大于总特征数时replaceFalse 无法满足numpy 直接抛错。解决在采样前做裁剪k min(self.max_features, len(feature_idx))。更稳妥的方式是在 DecisionTree 的构造器里校验如果不合法就提示改成 int、sqrt 或 log2。这个坑在 sklearn 里也会遇到但 sklearn 会内部静默修正手写实现则不会。5.3 改了随机种子还是复现不出上一次结果现象同一份数据和同一组超参数两次运行结果不一致即使 random_state 固定成同一个数字也不行。原因并行版 fit 里如果生成种子用self.random_state i但进程池任务顺序不稳定或者 worker 内部再次调用全局 np.random 函数就会导致树的内容不同。ProcessPoolExecutor 的 map 虽然会保持结果顺序但不同进程启动的调度顺序并不严格等于创建顺序尤其是树多的时候。解决为每棵树显式创建独立的np.random.RandomState(seed)内部只用这个对象生成随机数不再碰全局np.random.seed。需要复现时固定进程数和 n_estimators因为进程数不同会导致任务调度顺序变化。5.4 样本不均衡时模型总是输出多数类现象二分类里正负样本比接近 1:9训练完成后准确率看起来很高但召回率几乎为零。原因随机森林的叶子投票是多数类主导基尼切分为了降低整体不纯度会倾向于把样本分到大类。手写实现没有内置 class_weightsklearn 默认也不会自动处理不均衡但用户容易误以为准确率高就是模型好。解决在 best_split 的加权基尼里给少数类样本乘一个权重或者更简单地在 Bootstrap 采样时做分层抽样保证每棵树抽到两类别的比例接近。我一般会把少数类权重设成“多数类样本数除以少数类样本数”这样既不伤多数类又能让少数类进入分裂决策。5.5 Windows 下进程池闪退现象在 Windows 上运行 fit代码没执行完就抛异常错误信息里反复出现 spawn 相关的 RuntimeError。原因Windows 没有 Linux 的 forkProcessPoolExecutor 必须导入主模块才能创建子进程如果 fit 调用写在脚本全局作用域子进程会重新执行全局代码造成递归创建进程最终闪退。解决把训练入口全部包进if __name__ __main__或者把 fit 写成一个独立函数后由 main 调用。这是 Python 多进程在 Windows 下的老问题跑资源时第一次用多半会翻车但踩过一次之后就会形成肌肉记忆。6. 二次开发把手写随机森林改造成自己的模型工具6.1 加一个回归模式给 DecisionTree 增加构造函数参数 modeclassification在 _build_tree 里把叶子预测从 majority_vote 换成 np.mean(y)把基尼替换成均方误差。核心代码def _leaf_value(self, y): if self.mode classification: return self._majority_vote(y) return np.mean(y) def _split_gain(self, y, left, right): if self.mode classification: return self._classification_gain(y, left, right) mse lambda arr: np.mean((arr - np.mean(arr)) ** 2) return mse(y) - (len(left) * mse(left) len(right) * mse(right)) / len(y)逻辑说明把树的决策部分抽象成叶值和分裂函数后上层森林只需要在预测阶段把多数投票改成取平均就能同时支持分类和回归。参数说明mode 在森林构造时传入所有树对象共享同一份配置。这种改法不会影响已经跑通的分类逻辑改动面最小。6.2 与 scikit-learn Pipeline 集成为了让手写模型能参与 GridSearchCV最低要求是实现 fit、predict、get_params、set_params 四个方法。可以在 RandomForestManual 里加这些接口但要留意最大并行进程数和内存限制。我自己一般会把训练好的模型保存成 joblib 文件预测阶段只加载一次避免每次打分都重新训练。6.3 验证方法改完第一个版本后不要只盯着准确率。先用全量特征的小数据跑通再换大样本验证 OOB 分数和 sklearn 的曲线是否同向变化。每调整一个参数固定 random_state重新跑交叉验证并记录 max_depth、min_samples_leaf、n_jobs 三个维度的实验表。从那以后我每次拿到新数据集都会先跑一个 50 棵树的快速版本看 OOB 和特征重要性排序确认没有明显泄漏后再扩大树的数量。希望帮到你。本文还有配套的精品资源点击获取
