前言在机器学习分类问题中样本不均衡是一个非常常见且棘手的问题。以信用卡欺诈检测为例正常交易的数量远远多于欺诈交易通常欺诈比例不到1%。如果直接将这样的数据丢给模型模型会倾向于将所有样本预测为“正常”准确率看似很高但召回率Recall极低——这意味着模型几乎无法识别出欺诈交易而识别出欺诈样本恰恰是我们最关心的目标。本文将围绕以下内容展开数据预处理与标准化交叉验证选择最优超参数下采样Under-sampling与过采样Over-sampling / SMOTE处理样本不均衡混淆矩阵可视化阈值调优提升召回率1. 数据与工具准备import pandas as pd import numpy as np import matplotlib.pyplot as plt数据集说明文件说明creditcard.csv信用卡交易数据包含 PCA 降维后的 V1~V28 特征、Amount、Time 及 Class 标签0正常1欺诈datingTestSet2.txt约会数据集3 个特征 1 个分类标签用于 Demo042. 混淆矩阵可视化工具函数在对比不同模型时混淆矩阵是非常直观的评估工具。我们先封装一个通用的绘制函数后续所有 Demo 都复用这一函数def cm_plot(y, yp): from sklearn.metrics import confusion_matrix cm confusion_matrix(y, yp) plt.matshow(cm, cmapplt.cm.Blues) plt.colorbar() for x in range(len(cm)): for y in range(len(cm)): plt.annotate(cm[x, y], (x, y), horizontalalignmentcenter, verticalalignmentcenter) plt.ylabel(True label) plt.xlabel(Predicted label) return plt这个函数会生成一张带颜色深浅的矩阵热力图并在每个格子内标注具体的数值方便我们直观地看到 TP、FP、TN、FN 的数量。3. 数据预处理from sklearn.preprocessing import StandardScaler data pd.read_csv(creditcard.csv) Z-score 标准化 Amount 列 scaler StandardScaler() data[Amount] scaler.fit_transform(data[[Amount]]) 删除无用的 Time 列 data data.drop([Time], axis1)关键步骤解释Z-score 标准化将 Amount 列转换为均值为 0、标准差为 1 的分布消除量纲影响加速模型收敛。删除 Time 列交易发生的时间戳对欺诈检测没有实质性帮助属于无关特征。4. Demo01 —— 不做采样直接交叉验证4.1 什么是交叉验证交叉验证Cross-Validation是一种评估模型泛化能力的统计方法。它的核心思想是将训练数据拆分为 K 份每次用 K-1 份训练、1 份验证轮换 K 次取平均评分。这样能有效避免单次划分带来的偶然性。from sklearn.model_selection import train_test_split, cross_val_score from sklearn.linear_model import LogisticRegression X data.drop(Class, axis1) y data.Class X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.3, random_state0) 交叉验证选择最优惩罚因子 C scores [] c_param_range [0.01, 0.1, 1, 10, 100] for i in c_param_range: lr LogisticRegression(Ci, solverlbfgs, max_iter1000) score cross_val_score(lr, X_train, y_train, cv8, scoringrecall) scores_mean sum(score) / len(score) scores.append(scores_mean) print(scores_mean) best_c c_param_range[np.argmax(scores)] print(f最优惩罚因子是 {best_c})4.2 为什么选择 Recall 作为评分标准指标含义在欺诈检测中的重要性Accuracy(TPTN)/总数不可靠——样本不均衡时虚高PrecisionTP/(TPFP)误报将正常判为欺诈的代价RecallTP/(TPFN)漏报将欺诈判为正常的代价——我们最不想看到的在欺诈检测中漏掉一个欺诈交易的代价远大于误报一个正常交易因此我们以 Recall 作为优化目标。4.3 惩罚因子 C 的作用逻辑回归中的 C 是正则化强度的倒数C 越小 → 正则化越强 → 防止过拟合但可能欠拟合C 越大 → 正则化越弱 → 模型更复杂可能过拟合。我们通过交叉验证在 [0.01, 0.1, 1, 10, 100] 中搜索最优 C 值。5. Demo02 —— 下采样Under-sampling解决样本不均衡5.1 下采样原理下采样的核心思路让多数类样本数量减少到与少数类一样多。例如正常交易有 10000 条欺诈交易只有 100 条 → 从正常交易中随机抽取 100 条与 100 条欺诈交易组成新的训练集。X_whole data.drop(Class, axis1) y_whole data.Class X_train_w, X_test_w, y_train_w, y_test_w train_test_split( X_whole, y_whole, test_size0.2, random_state0) X_train_w[Class] y_train_w data_train X_train_w 分离多数类和少数类 positive_eg data_train[data_train[Class] 0] # 正常交易 negative_eg data_train[data_train[Class] 1] # 欺诈交易 对多数类进行下采样使其数量少数类数量 positive_eg positive_eg.sample(len(negative_eg)) data_c pd.concat([positive_eg, negative_eg]) X_train data_c.drop(Class, axis1) y_train data_c[Class]5.2 下采样的优缺点优点缺点训练速度快数据量大幅减少丢弃了大量多数类样本可能丢失重要信息简单直观易于实现训练集与测试集分布不一致5.3 阈值调优除了调整 C 参数外我们还可以调整分类阈值来进一步提升 Recallthresholds [0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9] recalls [] y_predict_proba lr.predict_proba(X_test_w)[:, 1] # 只取正类概率 for i in thresholds: y_pred (y_predict_proba i).astype(int) recall metrics.recall_score(y_test_w, y_pred) recalls.append(recall) print(f{i} Recall metric in the testing dataset: {recall:.3f})阈值的影响阈值降低如 0.1→ 更多样本被预测为正类 → Recall 上升但 Precision 下降阈值升高如 0.9→ 更少样本被预测为正类 → Precision 上升但 Recall 下降。6. Demo03 —— 过采样SMOTE解决样本不均衡6.1 SMOTE 原理SMOTESynthetic Minority Oversampling Technique不是简单地复制少数类样本而是通过插值生成新的合成样本对于每个少数类样本找到它的 K 个最近邻在该样本与其邻居之间的连线上随机生成新样本。这样做的好处是生成的样本具有一定多样性而非简单重复。from imblearn.over_sampling import SMOTE oversampler SMOTE(random_state0) os_x_train, os_y_train oversampler.fit_resample(X_train_w, y_train_w) 用合成后的数据做交叉验证 for i in c_param_range: lr LogisticRegression(Ci, solverlbfgs, max_iter1000) score cross_val_score(lr, os_x_train, os_y_train, cv2, scoringrecall) scores_mean sum(score) / len(score) scores.append(scores_mean)6.2 下采样 vs 过采样对比维度下采样过采样 (SMOTE)数据量减少增加信息损失丢失多数类信息保留原始数据过拟合风险较低SMOTE 生成的样本可能引入噪声训练时间短较长适用场景数据量足够大数据量较小7. Demo04 —— 在约会数据集上应用逻辑回归Demo04 使用了另一份数据集 datingTestSet2.txt3 个特征 1 个分类标签演示了完整的逻辑回归流程data pd.read_csv(datingTestSet2.txt, sep\\s, headerNone, names[milage, game, icecream, label]) X data.iloc[:, :-1] y data.iloc[:, -1] X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.3, random_state0) 先切分再标准化纠正 Demo1 的做法 scaler StandardScaler() X_train scaler.fit_transform(X_train) X_test scaler.transform(X_test) lr LogisticRegression(C1, solverlbfgs, max_iter1000) lr.fit(X_train, y_train) y_pred lr.predict(X_test) cm_plot(y_test, y_pred) plt.show() print(metrics.classification_report(y_test, y_pred, zero_division1))通过这个完整流程我们再次强调了先切分再标准化的正确做法以及 multi-class 下指标的选择这里使用默认的 accuracy实际可按需求改用 recall_macro 等。
前言在机器学习分类问题中样本不均衡是一个非常常见且棘手的问题。以信用卡欺诈检测为例正常交易的数量远远多于欺诈交易通常欺诈比例不到1%。如果直接将这样的数据丢给模型模型会倾向于将所有样本预测为“正常”准确率看似很高但召回率Recall极低——这意味着模型几乎无法识别出欺诈交易而识别出欺诈样本恰恰是我们最关心的目标。本文将围绕以下内容展开数据预处理与标准化交叉验证选择最优超参数下采样Under-sampling与过采样Over-sampling / SMOTE处理样本不均衡混淆矩阵可视化阈值调优提升召回率1. 数据与工具准备import pandas as pd import numpy as np import matplotlib.pyplot as plt数据集说明文件说明creditcard.csv信用卡交易数据包含 PCA 降维后的 V1~V28 特征、Amount、Time 及 Class 标签0正常1欺诈datingTestSet2.txt约会数据集3 个特征 1 个分类标签用于 Demo042. 混淆矩阵可视化工具函数在对比不同模型时混淆矩阵是非常直观的评估工具。我们先封装一个通用的绘制函数后续所有 Demo 都复用这一函数def cm_plot(y, yp): from sklearn.metrics import confusion_matrix cm confusion_matrix(y, yp) plt.matshow(cm, cmapplt.cm.Blues) plt.colorbar() for x in range(len(cm)): for y in range(len(cm)): plt.annotate(cm[x, y], (x, y), horizontalalignmentcenter, verticalalignmentcenter) plt.ylabel(True label) plt.xlabel(Predicted label) return plt这个函数会生成一张带颜色深浅的矩阵热力图并在每个格子内标注具体的数值方便我们直观地看到 TP、FP、TN、FN 的数量。3. 数据预处理from sklearn.preprocessing import StandardScaler data pd.read_csv(creditcard.csv) Z-score 标准化 Amount 列 scaler StandardScaler() data[Amount] scaler.fit_transform(data[[Amount]]) 删除无用的 Time 列 data data.drop([Time], axis1)关键步骤解释Z-score 标准化将 Amount 列转换为均值为 0、标准差为 1 的分布消除量纲影响加速模型收敛。删除 Time 列交易发生的时间戳对欺诈检测没有实质性帮助属于无关特征。4. Demo01 —— 不做采样直接交叉验证4.1 什么是交叉验证交叉验证Cross-Validation是一种评估模型泛化能力的统计方法。它的核心思想是将训练数据拆分为 K 份每次用 K-1 份训练、1 份验证轮换 K 次取平均评分。这样能有效避免单次划分带来的偶然性。from sklearn.model_selection import train_test_split, cross_val_score from sklearn.linear_model import LogisticRegression X data.drop(Class, axis1) y data.Class X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.3, random_state0) 交叉验证选择最优惩罚因子 C scores [] c_param_range [0.01, 0.1, 1, 10, 100] for i in c_param_range: lr LogisticRegression(Ci, solverlbfgs, max_iter1000) score cross_val_score(lr, X_train, y_train, cv8, scoringrecall) scores_mean sum(score) / len(score) scores.append(scores_mean) print(scores_mean) best_c c_param_range[np.argmax(scores)] print(f最优惩罚因子是 {best_c})4.2 为什么选择 Recall 作为评分标准指标含义在欺诈检测中的重要性Accuracy(TPTN)/总数不可靠——样本不均衡时虚高PrecisionTP/(TPFP)误报将正常判为欺诈的代价RecallTP/(TPFN)漏报将欺诈判为正常的代价——我们最不想看到的在欺诈检测中漏掉一个欺诈交易的代价远大于误报一个正常交易因此我们以 Recall 作为优化目标。4.3 惩罚因子 C 的作用逻辑回归中的 C 是正则化强度的倒数C 越小 → 正则化越强 → 防止过拟合但可能欠拟合C 越大 → 正则化越弱 → 模型更复杂可能过拟合。我们通过交叉验证在 [0.01, 0.1, 1, 10, 100] 中搜索最优 C 值。5. Demo02 —— 下采样Under-sampling解决样本不均衡5.1 下采样原理下采样的核心思路让多数类样本数量减少到与少数类一样多。例如正常交易有 10000 条欺诈交易只有 100 条 → 从正常交易中随机抽取 100 条与 100 条欺诈交易组成新的训练集。X_whole data.drop(Class, axis1) y_whole data.Class X_train_w, X_test_w, y_train_w, y_test_w train_test_split( X_whole, y_whole, test_size0.2, random_state0) X_train_w[Class] y_train_w data_train X_train_w 分离多数类和少数类 positive_eg data_train[data_train[Class] 0] # 正常交易 negative_eg data_train[data_train[Class] 1] # 欺诈交易 对多数类进行下采样使其数量少数类数量 positive_eg positive_eg.sample(len(negative_eg)) data_c pd.concat([positive_eg, negative_eg]) X_train data_c.drop(Class, axis1) y_train data_c[Class]5.2 下采样的优缺点优点缺点训练速度快数据量大幅减少丢弃了大量多数类样本可能丢失重要信息简单直观易于实现训练集与测试集分布不一致5.3 阈值调优除了调整 C 参数外我们还可以调整分类阈值来进一步提升 Recallthresholds [0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9] recalls [] y_predict_proba lr.predict_proba(X_test_w)[:, 1] # 只取正类概率 for i in thresholds: y_pred (y_predict_proba i).astype(int) recall metrics.recall_score(y_test_w, y_pred) recalls.append(recall) print(f{i} Recall metric in the testing dataset: {recall:.3f})阈值的影响阈值降低如 0.1→ 更多样本被预测为正类 → Recall 上升但 Precision 下降阈值升高如 0.9→ 更少样本被预测为正类 → Precision 上升但 Recall 下降。6. Demo03 —— 过采样SMOTE解决样本不均衡6.1 SMOTE 原理SMOTESynthetic Minority Oversampling Technique不是简单地复制少数类样本而是通过插值生成新的合成样本对于每个少数类样本找到它的 K 个最近邻在该样本与其邻居之间的连线上随机生成新样本。这样做的好处是生成的样本具有一定多样性而非简单重复。from imblearn.over_sampling import SMOTE oversampler SMOTE(random_state0) os_x_train, os_y_train oversampler.fit_resample(X_train_w, y_train_w) 用合成后的数据做交叉验证 for i in c_param_range: lr LogisticRegression(Ci, solverlbfgs, max_iter1000) score cross_val_score(lr, os_x_train, os_y_train, cv2, scoringrecall) scores_mean sum(score) / len(score) scores.append(scores_mean)6.2 下采样 vs 过采样对比维度下采样过采样 (SMOTE)数据量减少增加信息损失丢失多数类信息保留原始数据过拟合风险较低SMOTE 生成的样本可能引入噪声训练时间短较长适用场景数据量足够大数据量较小7. Demo04 —— 在约会数据集上应用逻辑回归Demo04 使用了另一份数据集 datingTestSet2.txt3 个特征 1 个分类标签演示了完整的逻辑回归流程data pd.read_csv(datingTestSet2.txt, sep\\s, headerNone, names[milage, game, icecream, label]) X data.iloc[:, :-1] y data.iloc[:, -1] X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.3, random_state0) 先切分再标准化纠正 Demo1 的做法 scaler StandardScaler() X_train scaler.fit_transform(X_train) X_test scaler.transform(X_test) lr LogisticRegression(C1, solverlbfgs, max_iter1000) lr.fit(X_train, y_train) y_pred lr.predict(X_test) cm_plot(y_test, y_pred) plt.show() print(metrics.classification_report(y_test, y_pred, zero_division1))通过这个完整流程我们再次强调了先切分再标准化的正确做法以及 multi-class 下指标的选择这里使用默认的 accuracy实际可按需求改用 recall_macro 等。
