DecisionTree 二分类指的是用决策树Decision Tree解决二分类问题如 0/1、是/否、流失/不流失。下面我从概念、原理、代码实现、典型场景几个方面来讲。一、什么是决策树决策树是一种基于树形结构的分类/回归模型。它通过一系列如果...那么...的规则把样本逐步划分到不同的叶子节点每个叶子节点对应一个预测结果。直观理解想象你在判断一个人是否会买某款产品text年龄 30 ├── 是收入 10000 │ ├── 是会买 ✓ │ └── 否不会买 ✗ └── 否性别 男 ├── 是会买 ✓ └── 否不会买 ✗这就是一棵决策树。二、决策树的核心思想决策树通过递归划分数据每次选择一个最优特征和最优切分点把数据分成两部分使得划分后的子集纯度最高。划分标准指标公式说明信息增益ID3熵 - 条件熵划分后熵减少最多信息增益率C4.5信息增益 / 特征熵修正信息增益偏向多值特征的问题基尼系数CART1 - Σp²划分后基尼不纯度最小sklearn 默认用 CART 基尼系数。关键概念概念说明根节点树的起点包含所有样本内部节点一个判断条件如 年龄 30叶子节点最终的分类结果深度从根到叶的最长路径剪枝防止过拟合去掉不必要的分支三、代码实现1. 基本用法from sklearn.tree import DecisionTreeClassifier from sklearn.datasets import make_classification from sklearn.model_selection import train_test_split from sklearn.metrics import accuracy_score, roc_auc_score, classification_report # 生成二分类数据 X, y make_classification( n_samples1000, n_features20, n_informative10, n_redundant5, weights[0.9, 0.1], random_state42 ) # 划分数据集 X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42, stratifyy ) # 训练决策树 clf DecisionTreeClassifier(random_state42) clf.fit(X_train, y_train) # 预测 y_pred clf.predict(X_test) y_pred_prob clf.predict_proba(X_test)[:, 1] # 评估 print(准确率:, accuracy_score(y_test, y_pred)) print(AUC:, roc_auc_score(y_test, y_pred_prob)) print(\n分类报告:) print(classification_report(y_test, y_pred))2. 重要参数clf DecisionTreeClassifier( criteriongini, # 划分标准gini 或 entropy max_depth5, # 树的最大深度 min_samples_split10, # 内部节点再划分所需的最小样本数 min_samples_leaf5, # 叶子节点最少样本数 max_featuressqrt, # 每次划分考虑的最大特征数 class_weightbalanced, # 类别不平衡时自动加权 random_state42 )参数含义作用criterion划分标准gini默认或entropymax_depth树最大深度限制深度防过拟合min_samples_split内部节点最小样本数小于此值不再划分min_samples_leaf叶子节点最小样本数防止叶子样本太少max_features每次划分考虑的特征数sqrt、log2、整数、Nonemax_leaf_nodes最大叶子数限制树的规模min_impurity_decrease最小不纯度减少小于此值不划分class_weight类别权重balanced自动处理不平衡ccp_alpha代价复杂度剪枝后剪枝防过拟合random_state随机种子保证可复现3. 处理类别不平衡# 方法1class_weightbalanced clf DecisionTreeClassifier(class_weightbalanced, random_state42) # 方法2手动指定权重 clf DecisionTreeClassifier(class_weight{0: 1, 1: 9}, random_state42) # 方法3采样SMOTE 等 # 见前面SMOTE过采样章节class_weightbalanced会自动按类别频率的反比设置权重。4. 防止过拟合决策树不加限制时容易过拟合可以一直划分到每个叶子只有一个样本。常用方法# 方法1限制深度 clf DecisionTreeClassifier(max_depth5, random_state42) # 方法2限制叶子样本数 clf DecisionTreeClassifier(min_samples_leaf10, random_state42) # 方法3限制叶子节点数 clf DecisionTreeClassifier(max_leaf_nodes20, random_state42) # 方法4后剪枝代价复杂度剪枝 clf DecisionTreeClassifier(ccp_alpha0.01, random_state42)5. 可视化决策树from sklearn.tree import plot_tree import matplotlib.pyplot as plt plt.figure(figsize(20, 10)) plot_tree( clf, feature_names[ff{i} for i in range(X.shape[1])], class_names[负类, 正类], filledTrue, roundedTrue, fontsize10 ) plt.show()6. 特征重要性import pandas as pd # 特征重要性 importance pd.DataFrame({ feature: [ff{i} for i in range(X.shape[1])], importance: clf.feature_importances_ }).sort_values(importance, ascendingFalse) print(importance)输出示例feature importance 2 f2 0.3521 7 f7 0.2145 0 f0 0.1234 ...含义重要性越高该特征对分类的贡献越大。7. 交叉验证from sklearn.model_selection import cross_val_score scores cross_val_score(clf, X, y, cv5, scoringroc_auc) print(5折交叉验证 AUC:, scores.mean())8. 在 Pipeline 中使用from sklearn.pipeline import Pipeline from sklearn.preprocessing import StandardScaler from sklearn.tree import DecisionTreeClassifier pipe Pipeline([ (scaler, StandardScaler()), # 决策树不需要标准化这里仅为演示 (clf, DecisionTreeClassifier(max_depth5, random_state42)) ]) pipe.fit(X_train, y_train) print(Pipeline 准确率:, pipe.score(X_test, y_test))注意决策树不需要标准化因为它是基于分裂点的对特征尺度不敏感。9. 网格搜索调参from sklearn.model_selection import GridSearchCV param_grid { max_depth: [3, 5, 7, 10], min_samples_split: [2, 5, 10], min_samples_leaf: [1, 2, 5], criterion: [gini, entropy] } grid GridSearchCV( DecisionTreeClassifier(random_state42), param_grid, cv5, scoringroc_auc, n_jobs-1 ) grid.fit(X_train, y_train) print(最优参数:, grid.best_params_) print(最优 AUC:, grid.best_score_)四、决策树的优缺点优点可解释性强可以画出树规则清晰业务容易理解。不需要标准化基于分裂点对特征尺度不敏感。能处理混合类型数值、类别都可以。能处理非线性自动捕捉非线性关系。不需要特征工程自动做特征选择。训练快相比 DNN训练速度快。能输出特征重要性方便特征筛选。缺点容易过拟合不加限制时可以一直划分到每个叶子一个样本。不稳定数据微小变化可能导致树结构大幅变化。偏向多值特征信息增益偏向取值多的特征C4.5 用增益率修正。不擅长处理线性关系需要用多个分裂逼近线性边界。对类别不平衡敏感需要用class_weight或采样。单棵树效果有限通常不如随机森林、XGBoost。五、决策树 vs 其他模型维度决策树逻辑回归随机森林XGBoost可解释性强强中中非线性强弱强强过拟合风险高低低低训练速度快快中中效果中中好最好需要标准化否是否否特征重要性有无有有实践建议需要可解释性 → 决策树、逻辑回归。追求效果 → 随机森林、XGBoost、LightGBM。决策树通常作为集成模型的基学习器。六、典型应用场景场景说明风控信用评分、欺诈检测医疗疾病诊断规则营销用户流失预测、转化预测推荐是否点击、是否购买工业故障诊断规则提取从数据中提取业务规则七、关键提醒必须限制深度不加限制会过拟合用max_depth、min_samples_leaf等。不需要标准化决策树对特征尺度不敏感。处理类别不平衡用class_weightbalanced或采样。随机种子要固定random_state42保证可复现。注意特征重要性偏差决策树偏向多值特征可用 permutation importance 修正。单棵树效果有限实际应用中多用随机森林、XGBoost。可以输出概率predict_proba返回每个类别的概率。可视化很直观plot_tree可以画出树结构方便业务解释。八、决策树的重要属性属性说明tree_底层树结构feature_importances_特征重要性classes_类别标签n_classes_类别数max_depth实际最大深度n_leaves_叶子节点数n_features_in_输入特征数九、决策树的重要方法方法说明fit(X, y)训练predict(X)预测类别predict_proba(X)预测概率predict_log_proba(X)预测对数概率score(X, y)准确率apply(X)返回每个样本所在的叶子节点索引decision_path(X)返回决策路径十、总结DecisionTree 二分类 用决策树解决二分类问题。核心思想递归划分每次选最优特征和切分点让子集纯度最高。划分标准基尼系数默认、信息增益、信息增益率。sklearn 实现DecisionTreeClassifier。关键参数max_depth、min_samples_split、min_samples_leaf、class_weight。核心价值可解释性强、不需要标准化、自动特征选择、能输出特征重要性。主要代价容易过拟合、不稳定、单棵树效果有限。关键原则限制深度、处理不平衡、固定随机种子、注意特征重要性偏差。它和前面讲的 DNN 二分类、逻辑回归二分类、XGBoost 二分类一样都是二分类算法区别在于决策树可解释性最强、最容易理解但单棵树效果有限实际应用中通常作为随机森林、GBDT、XGBoost 的基学习器。
DecisionTree 二分类指的是用决策树Decision Tree解决二分类问题如 0/1、是/否、流失/不流失。下面我从概念、原理、代码实现、典型场景几个方面来讲。一、什么是决策树决策树是一种基于树形结构的分类/回归模型。它通过一系列如果...那么...的规则把样本逐步划分到不同的叶子节点每个叶子节点对应一个预测结果。直观理解想象你在判断一个人是否会买某款产品text年龄 30 ├── 是收入 10000 │ ├── 是会买 ✓ │ └── 否不会买 ✗ └── 否性别 男 ├── 是会买 ✓ └── 否不会买 ✗这就是一棵决策树。二、决策树的核心思想决策树通过递归划分数据每次选择一个最优特征和最优切分点把数据分成两部分使得划分后的子集纯度最高。划分标准指标公式说明信息增益ID3熵 - 条件熵划分后熵减少最多信息增益率C4.5信息增益 / 特征熵修正信息增益偏向多值特征的问题基尼系数CART1 - Σp²划分后基尼不纯度最小sklearn 默认用 CART 基尼系数。关键概念概念说明根节点树的起点包含所有样本内部节点一个判断条件如 年龄 30叶子节点最终的分类结果深度从根到叶的最长路径剪枝防止过拟合去掉不必要的分支三、代码实现1. 基本用法from sklearn.tree import DecisionTreeClassifier from sklearn.datasets import make_classification from sklearn.model_selection import train_test_split from sklearn.metrics import accuracy_score, roc_auc_score, classification_report # 生成二分类数据 X, y make_classification( n_samples1000, n_features20, n_informative10, n_redundant5, weights[0.9, 0.1], random_state42 ) # 划分数据集 X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42, stratifyy ) # 训练决策树 clf DecisionTreeClassifier(random_state42) clf.fit(X_train, y_train) # 预测 y_pred clf.predict(X_test) y_pred_prob clf.predict_proba(X_test)[:, 1] # 评估 print(准确率:, accuracy_score(y_test, y_pred)) print(AUC:, roc_auc_score(y_test, y_pred_prob)) print(\n分类报告:) print(classification_report(y_test, y_pred))2. 重要参数clf DecisionTreeClassifier( criteriongini, # 划分标准gini 或 entropy max_depth5, # 树的最大深度 min_samples_split10, # 内部节点再划分所需的最小样本数 min_samples_leaf5, # 叶子节点最少样本数 max_featuressqrt, # 每次划分考虑的最大特征数 class_weightbalanced, # 类别不平衡时自动加权 random_state42 )参数含义作用criterion划分标准gini默认或entropymax_depth树最大深度限制深度防过拟合min_samples_split内部节点最小样本数小于此值不再划分min_samples_leaf叶子节点最小样本数防止叶子样本太少max_features每次划分考虑的特征数sqrt、log2、整数、Nonemax_leaf_nodes最大叶子数限制树的规模min_impurity_decrease最小不纯度减少小于此值不划分class_weight类别权重balanced自动处理不平衡ccp_alpha代价复杂度剪枝后剪枝防过拟合random_state随机种子保证可复现3. 处理类别不平衡# 方法1class_weightbalanced clf DecisionTreeClassifier(class_weightbalanced, random_state42) # 方法2手动指定权重 clf DecisionTreeClassifier(class_weight{0: 1, 1: 9}, random_state42) # 方法3采样SMOTE 等 # 见前面SMOTE过采样章节class_weightbalanced会自动按类别频率的反比设置权重。4. 防止过拟合决策树不加限制时容易过拟合可以一直划分到每个叶子只有一个样本。常用方法# 方法1限制深度 clf DecisionTreeClassifier(max_depth5, random_state42) # 方法2限制叶子样本数 clf DecisionTreeClassifier(min_samples_leaf10, random_state42) # 方法3限制叶子节点数 clf DecisionTreeClassifier(max_leaf_nodes20, random_state42) # 方法4后剪枝代价复杂度剪枝 clf DecisionTreeClassifier(ccp_alpha0.01, random_state42)5. 可视化决策树from sklearn.tree import plot_tree import matplotlib.pyplot as plt plt.figure(figsize(20, 10)) plot_tree( clf, feature_names[ff{i} for i in range(X.shape[1])], class_names[负类, 正类], filledTrue, roundedTrue, fontsize10 ) plt.show()6. 特征重要性import pandas as pd # 特征重要性 importance pd.DataFrame({ feature: [ff{i} for i in range(X.shape[1])], importance: clf.feature_importances_ }).sort_values(importance, ascendingFalse) print(importance)输出示例feature importance 2 f2 0.3521 7 f7 0.2145 0 f0 0.1234 ...含义重要性越高该特征对分类的贡献越大。7. 交叉验证from sklearn.model_selection import cross_val_score scores cross_val_score(clf, X, y, cv5, scoringroc_auc) print(5折交叉验证 AUC:, scores.mean())8. 在 Pipeline 中使用from sklearn.pipeline import Pipeline from sklearn.preprocessing import StandardScaler from sklearn.tree import DecisionTreeClassifier pipe Pipeline([ (scaler, StandardScaler()), # 决策树不需要标准化这里仅为演示 (clf, DecisionTreeClassifier(max_depth5, random_state42)) ]) pipe.fit(X_train, y_train) print(Pipeline 准确率:, pipe.score(X_test, y_test))注意决策树不需要标准化因为它是基于分裂点的对特征尺度不敏感。9. 网格搜索调参from sklearn.model_selection import GridSearchCV param_grid { max_depth: [3, 5, 7, 10], min_samples_split: [2, 5, 10], min_samples_leaf: [1, 2, 5], criterion: [gini, entropy] } grid GridSearchCV( DecisionTreeClassifier(random_state42), param_grid, cv5, scoringroc_auc, n_jobs-1 ) grid.fit(X_train, y_train) print(最优参数:, grid.best_params_) print(最优 AUC:, grid.best_score_)四、决策树的优缺点优点可解释性强可以画出树规则清晰业务容易理解。不需要标准化基于分裂点对特征尺度不敏感。能处理混合类型数值、类别都可以。能处理非线性自动捕捉非线性关系。不需要特征工程自动做特征选择。训练快相比 DNN训练速度快。能输出特征重要性方便特征筛选。缺点容易过拟合不加限制时可以一直划分到每个叶子一个样本。不稳定数据微小变化可能导致树结构大幅变化。偏向多值特征信息增益偏向取值多的特征C4.5 用增益率修正。不擅长处理线性关系需要用多个分裂逼近线性边界。对类别不平衡敏感需要用class_weight或采样。单棵树效果有限通常不如随机森林、XGBoost。五、决策树 vs 其他模型维度决策树逻辑回归随机森林XGBoost可解释性强强中中非线性强弱强强过拟合风险高低低低训练速度快快中中效果中中好最好需要标准化否是否否特征重要性有无有有实践建议需要可解释性 → 决策树、逻辑回归。追求效果 → 随机森林、XGBoost、LightGBM。决策树通常作为集成模型的基学习器。六、典型应用场景场景说明风控信用评分、欺诈检测医疗疾病诊断规则营销用户流失预测、转化预测推荐是否点击、是否购买工业故障诊断规则提取从数据中提取业务规则七、关键提醒必须限制深度不加限制会过拟合用max_depth、min_samples_leaf等。不需要标准化决策树对特征尺度不敏感。处理类别不平衡用class_weightbalanced或采样。随机种子要固定random_state42保证可复现。注意特征重要性偏差决策树偏向多值特征可用 permutation importance 修正。单棵树效果有限实际应用中多用随机森林、XGBoost。可以输出概率predict_proba返回每个类别的概率。可视化很直观plot_tree可以画出树结构方便业务解释。八、决策树的重要属性属性说明tree_底层树结构feature_importances_特征重要性classes_类别标签n_classes_类别数max_depth实际最大深度n_leaves_叶子节点数n_features_in_输入特征数九、决策树的重要方法方法说明fit(X, y)训练predict(X)预测类别predict_proba(X)预测概率predict_log_proba(X)预测对数概率score(X, y)准确率apply(X)返回每个样本所在的叶子节点索引decision_path(X)返回决策路径十、总结DecisionTree 二分类 用决策树解决二分类问题。核心思想递归划分每次选最优特征和切分点让子集纯度最高。划分标准基尼系数默认、信息增益、信息增益率。sklearn 实现DecisionTreeClassifier。关键参数max_depth、min_samples_split、min_samples_leaf、class_weight。核心价值可解释性强、不需要标准化、自动特征选择、能输出特征重要性。主要代价容易过拟合、不稳定、单棵树效果有限。关键原则限制深度、处理不平衡、固定随机种子、注意特征重要性偏差。它和前面讲的 DNN 二分类、逻辑回归二分类、XGBoost 二分类一样都是二分类算法区别在于决策树可解释性最强、最容易理解但单棵树效果有限实际应用中通常作为随机森林、GBDT、XGBoost 的基学习器。
