变压器寿命预测这个方向我在实际项目里碰过不少次。很多团队一上来就套Logistic Regression跑完发现准确率、F1都差口气然后就开始怀疑数据有问题。其实LR在这个场景下表现平庸大概率不是代码写错了而是模型假设和任务本质之间的错位。这篇就把我踩过的坑、试过的路数以及一套可复现的对比实验方案完整梳理出来给正在做电力设备预测维护的同学一个直接能用的参考。1. 核心问题拆解Logistic Regression在寿命预测上为什么“效果一般”先说结论LR本身是个线性分类器它默认特征和目标变量之间是单调的、可加的关系。变压器寿命预测这个任务特征和故障标签之间的关系根本不是线性的甚至不是单向的——气体浓度过低和过高都可能对应异常但LR只能学到“越高越危险”这种单边逻辑天然吃亏。1.1 线性决策边界与真实工况的非线性矛盾变压器油中溶解气体分析DGA是最常用的数据源氢气、甲烷、乙烷、乙烯、乙炔、一氧化碳、二氧化碳这些气体的浓度组合对应不同的故障类型。比如局部放电时氢气浓度显著升高过热故障时乙烯和甲烷比例异常电弧放电时乙炔浓度骤增。这些关系里有大量的“比值特征”——IEC三比值法就是靠CH4/H2、C2H2/C2H4、C2H4/C2H6这些比值来编码故障类型的。比值本身就是非线性变换LR拿到的是原始浓度线性加权求和之后很难表达“比值超过某个阈值才触发故障”这种逻辑。我在一个配电变压器项目上做过测试只用原始气体浓度特征跑LRF1只有0.61把三比值编码加进去之后F1提到0.69但依然不如随机森林的0.78。这说明LR不是完全不能用而是需要非常精细的特征工程才能逼近其他模型的 baseline特征工程的时间成本会高很多。1.2 类别不平衡寿命预测数据集的普遍困境真实场景下变压器绝大多数时间是在正常运行故障样本占比极低。我见过最极端的数据集正常样本和故障样本比例达到50比1。LR在类别不平衡时决策边界会整体偏向多数类因为它的损失函数没有对少数类给予足够权重。这就导致模型把所有样本都判成“正常”准确率看着很高但召回率几乎为零F1惨不忍睹。这种问题不是LR独有但LR尤其明显因为它的输出是线性加权后过sigmoid缺乏局部自适应能力。树模型在分裂时天然会把少数类样本单独分出来对不平衡的容忍度更高。1.3 时间维度的信息丢失寿命预测和故障分类还不一样故障分类是“此刻是否异常”寿命预测是“多久后会失效”。变压器老化是一个过程气体浓度随时间的变化趋势本身就携带着巨大信息量——浓度突变比浓度绝对值更重要。LR处理的是静态特征矩阵如果把时序数据直接拍平成单条样本等于把变化趋势丢了。我后来习惯在特征里加一列“最近一个月气体浓度变化率”只靠这一个特征LR的F1就能提升3到5个百分点。但更深层的时序模式比如浓度先升后降的震荡特征LR依然无能为力这类模式更适合LSTM或者时序Transformer但那些模型的训练成本又会成为新问题。2. 数据集准备与特征工程实操决定对比实验成败的细节对比实验不光是换模型特征工程的一致性才是检验模型真实水平的关键。下面这套流程我整理自多个实际项目可以直接套用。2.1 数据源与样本构建最理想的数据源是电网公司或大型工厂的油中溶解气体在线监测系统。如果手头没有真实数据可以用公开数据集比如某电力大学的DGA故障样本库或者用IEC TC 10的数据。实在没有只能基于已知故障机理做仿真采样但结论的适用范围会受限。构建样本时有几个关键决策时间窗口选择以“故障发生前一个月”作为负样本即将故障以“故障发生前一年以上且气体浓度正常”作为正样本健康。窗口太短模型学不到老化趋势窗口太长会把老化初期的样本误判为健康。样本平衡策略先不做任何采样保持原始分布跑一轮拿到 baseline。再分别用SMOTE、随机过采样、类权重方案各跑一轮对比效果。数据清洗气体浓度经常有缺失和异常尖峰。我习惯用中位数填充缺失值用3倍标准差规则剔除尖峰但不要过度平滑否则会破坏故障前浓度突变的细节。import pandas as pd import numpy as np from sklearn.model_selection import train_test_split # 假设 df 包含列: date, h2, ch4, c2h2, c2h4, c2h6, co, co2, label # label: 1 表示故障前一个月内的样本0 表示健康样本 df[date] pd.to_datetime(df[date]) df df.sort_values(date) # 缺失值处理气体浓度列用中位数填充 gas_cols [h2, ch4, c2h2, c2h4, c2h6, co, co2] df[gas_cols] df[gas_cols].fillna(df[gas_cols].median()) # 异常尖峰处理按3倍标准差剔除 for col in gas_cols: mean, std df[col].mean(), df[col].std() df.loc[df[col] mean 3 * std, col] mean 3 * std df.loc[df[col] mean - 3 * std, col] mean - 3 * std # 按时间顺序切分防止数据泄漏 train_df, test_df train_test_split(df, test_size0.3, shuffleFalse)注意寿命预测场景里绝对不能随机打乱后切分。变压器老化有强时间依赖随机切分会把故障前的样本同时塞进训练集和测试集模型看到过“未来”的数据指标虚高得离谱。2.2 特征工程从原始浓度到故障敏感特征绝对浓度特征六种特征气体和总烃浓度直接对数变换。气体浓度跨度极大从个位数ppm到上千ppm不取对数的话模型权重会被高浓度气体主导。比值特征按照IEC三比值法和Roger比值法构造编码特征。这个必须做LR能不能翻身全靠这批特征。趋势特征固定时间窗口内的浓度变化率窗口建议取30天。变化率的计算要滞后一位避免用到当前时刻的信息。老化指标总烃与CO的比值以及产气速率。产气速率比浓度更早反映变压器内部异常是寿命预测里非常关键的特征。# 构造对数浓度特征 for col in gas_cols: df[flog_{col}] np.log1p(df[col]) # 构造IEC三比值特征 df[ratio_1] df[ch4] / (df[h2] 1e-6) df[ratio_2] df[c2h2] / (df[c2h4] 1e-6) df[ratio_3] df[c2h4] / (df[c2h6] 1e-6) # 构造趋势特征30天变化率 def calc_trend(group): group group.sort_values(date) return group[gas_cols].diff(30) / (group[gas_cols].shift(30) 1e-6) df[trend_h2] df.groupby(transformer_id)[[date, h2]].apply(calc_trend)[h2]2.3 数据划分与评估指标选择评估指标千万别只看准确率。类别不平衡下准确率是骗人的要重点盯F1、AUC、召回率。故障预测场景里漏报一台变压器可能意味着几百万的损失和停电事故召回率优先级高于精确率。训练集 / 验证集 / 测试集6:2:2按时间顺序切分。交叉验证用TimeSeriesSplit不用K折。评估矩阵同时输出准确率、精确率、召回率、F1、AUC-ROC别只给一个数。3. Logistic Regression基线实现直接可跑的完整代码先不看花活老老实实把LR跑到最优作为后续所有对比实验的地基。这里有几个关键点不是默认参数能搞定的。3.1 数据标准化与类权重设置LR对特征尺度极其敏感必须做标准化。我踩过坑一开始只对部分特征做了标准化模型在测试集上震荡严重。另外class_weightbalanced要显式打开这比事后过采样更稳。3.2 超参数调优C值和正则化的选择L2正则化是默认选择。C值控制正则强度C越小正则越强。我用网格搜索在[0.01, 0.1, 1, 10, 100]里选实际项目里最优C通常在0.1到1之间。这里给了完整代码可以直接跑。import pandas as pd import numpy as np from sklearn.linear_model import LogisticRegression from sklearn.preprocessing import StandardScaler from sklearn.pipeline import Pipeline from sklearn.model_selection import GridSearchCV, TimeSeriesSplit from sklearn.metrics import classification_report, roc_auc_score, confusion_matrix # 特征列选择对数浓度 比值 趋势 feature_cols [flog_{col} for col in gas_cols] \ [ratio_1, ratio_2, ratio_3, trend_h2, trend_ch4, trend_c2h2] X df[feature_cols].values y df[label].values # 时间序列切分保证训练数据时间都在测试数据之前 tscv TimeSeriesSplit(n_splits5) # 构建流水线标准化 LR pipe Pipeline([ (scaler, StandardScaler()), (lr, LogisticRegression(class_weightbalanced, max_iter2000, solverlbfgs)) ]) # 网格搜索C值 param_grid {lr__C: [0.01, 0.1, 1, 10, 100]} search GridSearchCV(pipe, param_grid, cvtscv, scoringroc_auc, n_jobs-1) search.fit(X, y) print(Best param:, search.best_params_) print(Best AUC:, search.best_score_) # 最优模型预测 best_model search.best_estimator_ y_pred best_model.predict(X) y_prob best_model.predict_proba(X)[:, 1] print(classification_report(y, y_pred, target_names[正常, 故障前])) print(AUC:, roc_auc_score(y, y_prob)) print(Confusion Matrix:\n, confusion_matrix(y, y_pred))提示class_weightbalanced 让LR自动调整每个类的权重等价于把少数类的损失放大。这一步对故障前样本极少的数据集来说是强制性操作。3.3 LR提升技巧交互特征与多项式特征如果在上面这套流程下LR还是不理想下一步不是换模型而是给LR加非线性能力。用PolynomialFeatures把特征两两相乘LR的决策边界就从直线变成曲线。from sklearn.preprocessing import PolynomialFeatures poly PolynomialFeatures(degree2, interaction_onlyTrue) X_poly poly.fit_transform(X) pipe_poly Pipeline([ (scaler, StandardScaler()), (lr, LogisticRegression(class_weightbalanced, C0.1, max_iter3000)) ]) pipe_poly.fit(X_poly, y)交互特征数量会爆炸六种气体加三个比值加若干趋势特征两两交互后维度上千。此时C值可以适当调小用更强的正则化压制过拟合。我建议先只对气体比值之间做交互维度小一些可解释性也更好。4. 对比实验设计如何科学地证明“LR效果一般其他模型更好”对比实验的正确打开方式不是把LR换成随机森林跑完发现分数高了就完事。要有一套可控变量、可信流程的体系才能在报告里真正站得住脚。4.1 对比模型矩阵从低到高四档对比模型的选择要有梯度每换一个模型就对应一个你想验证的假设决策树 / SGDClassifier验证“模型容量是不是瓶颈”。SGDClassifier本质是线性模型但用hinge loss和LR形成对照。SVMRBF核验证“非线性决策边界能否提升效果”。SVM加RBF核就是典型的非线性模型核技巧等价于隐式高维映射。随机森林 / XGBoost / LightGBM验证“树模型对特征交互的建模能力”。树模型天然支持特征非线性分裂不需要手工构造交互项。MLP多层感知机验证“如果用神经网络做同一个任务数据量是否够撑起模型”。四档模型的实验代码可以共用一个训练脚本只替换模型类。下面给出一段对比实验主框架。from sklearn.svm import SVC from sklearn.ensemble import RandomForestClassifier from xgboost import XGBClassifier from sklearn.neural_network import MLPClassifier models { LR: LogisticRegression(class_weightbalanced, C0.1, max_iter2000), SVM-RBF: SVC(kernelrbf, class_weightbalanced, probabilityTrue, C1.0), RandomForest: RandomForestClassifier(n_estimators300, class_weightbalanced, min_samples_leaf5, n_jobs-1), XGBoost: XGBClassifier(scale_pos_weight10, max_depth4, n_estimators300, learning_rate0.05), MLP: MLPClassifier(hidden_layer_sizes(64, 32), early_stoppingTrue, max_iter500) } results [] for name, model in models.items(): model.fit(X_train_scaled, y_train) y_pred model.predict(X_test_scaled) y_prob model.predict_proba(X_test_scaled)[:, 1] results.append({ 模型: name, 准确率: accuracy_score(y_test, y_pred), 精确率: precision_score(y_test, y_pred), 召回率: recall_score(y_test, y_pred), F1: f1_score(y_test, y_pred), AUC: roc_auc_score(y_test, y_prob) }) results_df pd.DataFrame(results) print(results_df.round(4))注意XGBoost的scale_pos_weight是把少数类权重放大效果类似class_weightbalanced。我这里给的是10实际操作里要根据正常样本和故障样本的比例计算ratio 多数类数量 / 少数类数量直接填入即可。4.2 四维度对照实验不只是换模型除了模型本身至少还要做四个维度的对照实验处理策略对照不处理类别不平衡 vs SMOTE过采样 vs class_weight/scale_pos_weight。这个维度最能说明问题——有些模型效果“差”是没给正确的类权重。特征集对照只用原始气体浓度 vs 原始浓度比值特征 vs 全部特征加趋势。看每个模型在不同特征集下的增益幅度。评估方式对照随机K折 vs 时间序列切分。LR在随机切分下AUC可能虚高0.1以上时间序列切分才是真实水平。稳定性对照同一模型多次重复训练观察AUC标准差。树模型有随机性LR没有标准差能反映模型对初始条件的敏感程度。这个矩阵跑完才能真正得出结论LR效果一般是本身容量不够还是特征工程没到位还是数据重叠导致假象。我在项目里常常发现搞定特征选择后LR其实能到0.75的AUC不是完全不能用。4.3 结果可视化与结论生成对比结果用图呈现比表格更直观。我习惯画两个图ROC曲线对比图所有模型画在同一张图上能看出谁在低假阳性率区间更有优势。故障预测场景里我们希望检测阈值更早触发看ROC曲线往左上角弯多少。PR曲线对比图类别不平衡时PR曲线比ROC更敏感能放大模型间的差距。LR往往在PR曲线上露馅——高召回段精度掉得很快。import matplotlib.pyplot as plt from sklearn.metrics import roc_curve, precision_recall_curve plt.figure(figsize(8, 6)) for name, model in models.items(): y_prob model.predict_proba(X_test_scaled)[:, 1] fpr, tpr, _ roc_curve(y_test, y_prob) plt.plot(fpr, tpr, labelf{name} (AUC{roc_auc_score(y_test, y_prob):.3f})) plt.plot([0, 1], [0, 1], k--, label随机基线) plt.xlabel(假阳性率) plt.ylabel(真阳性率) plt.title(各模型ROC曲线对比) plt.legend() plt.show()5. 踩坑记录与问题排查我在变压器寿命预测项目中遇到的真实问题这一节全是实际操作中碰到的坑不是从教科书里抄来的。5.1 数据泄漏最隐蔽的坑最惨的一次模型在验证集上AUC高达0.97我当时还觉得项目稳了。后来复盘发现特征工程里计算趋势特征时没有做滞后处理构造“未来30天变化率”时用到了当前样本之后的数据。比如t时刻的样本用到了t30的气体浓度去算变化率测试集里当然包含了故障前的信息。修正方式是把变化率改成“过去30天的变化率”即用[t-30, t]的数据来算修完之后AUC回落到0.79那才是真实水平。查数据泄漏有个简单办法随机选几个预测正确的测试样本人工核对特征值。如果发现特征里含有明显超出该时间点合理范围的信息基本就是泄漏了。5.2 时间序列切分与K折的偏差在某个中期报告中我用K折交叉验证做调参LR的AUC是0.84换成TimeSeriesSplit后变成0.72。工程老板看到数字掉这么多第一个反应是模型退化了。实际原因很简单K折把相邻时间段的样本分进了不同折里电流互感器的传感器在相邻时间段里测量数据高度相关等于模型提前看到了测试集的相似样本。TimeSeriesSplit严格按时间顺序划分才能模拟真实预测场景中的cold start。提示调参和最终评估必须使用同一种划分方式。如果调参用K折评估用时间序列切分那调出来的参数大概率就不是最优解。5.3 SMOTE在时序数据上不可乱用SMOTE通过在少数类样本之间线性插值来生成新样本。听起来合理但在时序数据上有隐患——新合成的“故障前样本”会落在两段真实时间点之间也就是无中生有地制造了一个可能根本不存在的状态转移路径。在变压器寿命预测中温度、负荷、气体产气速率都有物理规律约束SMOTE生成的样本可能违背这些规律。我的实操建议是类别不平衡优先用class_weight或scale_pos_weight解决。SMOTE如果要用只在非时间特征上做或者用SMOTENC这种支持类别特征的版本并且生成后人工检查几个样本确认没有违背基本物理直觉。5.4 特征缩放遗漏导致LR梯度震荡LR用梯度下降优化特征尺度不一致时梯度更新会被大尺度特征主导损失函数会像在凹凸不平的路面上弹跳。StandardScaler必须fit在训练集上再transform验证集和测试集不能全数据集一起fit。这一点出错很常见而且很难发现因为数值上还是能跑通只是评估指标会波动。算法模型 | 是否对尺度敏感 | 是否需要特征缩放 LR | 是 | 必须 SVMRBF核 | 是 | 必须 决策树/随机森林 | 否 | 不需要 XGBoost/LightGBM | 否 | 不需要 MLP | 是 | 强烈建议5.5 冷启动与模型更新策略变压器在线监测系统上线后新变压器没有历史数据模型无法计算趋势特征。我的处理方式给冷启动变压器设置一个默认趋势特征值比如0并叠加一个基于同类变压器历史数据的先验分布。系统运行三个月后再切换到实际计算出的趋势值。另外变压器工况会随时间漂移模型要定期增量更新。我试过每月用最近六个月数据重训一次比继续用旧模型更稳定。重训时把旧模型的特征均值、标准差也一并更新否则标准差漂移会影响标准化效果。6. 从“分类”到“寿命预测”的进阶思路LR之外还能怎么走如果对比实验做完发现所有分类模型的AUC都卡在0.8上下说明这件事的本质不是分类而是回归或生存分析问题。寿命预测的最终输出应该是“这台变压器还能安全运行多少天”而不是“它是否即将故障”。6.1 回归方向预测剩余使用寿命把标签从二分类改成连续值距离故障的天数模型换成岭回归或LightGBM回归。此时评估指标用MAE或RMSE。回归的好处是能给出一个预期寿命值现场运维可以直接用这个值做检修计划排期。缺点是回归模型对标签噪声更敏感变压器的“真实剩余寿命”本身就存在标注噪声。6.2 生存分析方向更贴合质检数据特性生存分析是统计学里的经典方法专门处理“事件在‘某时刻之后’是否发生”的问题。Cox比例风险模型可以输出每条样本的风险分数比二分类的概率值更具解释性。用Python的话lifelines库可以直接实现。这个方法适合检修记录里有“上次检修时间”和“已运行时长”字段的数据集。6.3 时序退化轨迹预测如果数据足够稠密每天一条DGA监测数据可以构造退化轨迹模型例如用LSTM预测未来30天的气体浓度走势当预测值超过故障阈值就报警。这个方向工程量会翻倍但它的优势在于能提前识别浓度的“拐点”也就是加速老化的开始时刻。6.4 多模型融合集成才是工业落地的常态工业场景里我不迷信单一模型的绝对优势。最终交付的时候我通常把LR、XGBoost、MLP做软投票集成三个模型的预测概率取加权平均。LR权重低一些但它的稳定性可以中和树模型过拟合的风险掉落模态的情况更少。final_prob 0.2 * lr_prob 0.5 * xgb_prob 0.3 * mlp_prob这个权重不是拍脑袋定的是拿验证集做网格搜索找出来的。工业落地时守卫在线监测系统安全的是可解释性LR作为线性模型天然具备特征权重的可解释性这个价值在于决策审计时的快速回溯团队对坏例的复盘效率会明显提高。7. 实验总结与个人经验做变压器寿命预测这件事我的真实感受是先别急着上复杂模型要把数据切分方式、特征工程和类别不平衡这三件事做扎实。LR效果一般不是模型的问题往往是数据形态和模型假设不匹配。对比实验的真正价值不在于证明“哪个模型分数最高”而在于弄清楚分数差异的来源——数据泄漏、特征尺度、类别权重、时间依赖任何一个环节都能让结果偏差巨大。如果你正在做同样的项目我建议按这个顺序走一遍先把数据切分和特征工程做规范跑一个LR拿到可靠baseline再依次引入SVM、树模型、MLP做对比实验记录每个模型在不同特征集和采样策略下的表现最后根据AUC和PR曲线判断是否值得往回归或生存分析方向延伸。这样下来你的对比实验会非常有说服力无论是写论文还是做工程交付都能讲清楚每一步选择的依据。最后再分享一个我在多个项目里验证过的细节不要只盯着AUC和F1要去看混淆矩阵里的漏报数。变压器寿命预测是高风险决策场景漏掉一台故障前的变压器远比多报几台严重得多。对比实验的最终结论一定要说明“哪个模型在可接受的漏报率下精确率最高”这个维度才是工程真正关心的。
变压器寿命预测这个方向我在实际项目里碰过不少次。很多团队一上来就套Logistic Regression跑完发现准确率、F1都差口气然后就开始怀疑数据有问题。其实LR在这个场景下表现平庸大概率不是代码写错了而是模型假设和任务本质之间的错位。这篇就把我踩过的坑、试过的路数以及一套可复现的对比实验方案完整梳理出来给正在做电力设备预测维护的同学一个直接能用的参考。1. 核心问题拆解Logistic Regression在寿命预测上为什么“效果一般”先说结论LR本身是个线性分类器它默认特征和目标变量之间是单调的、可加的关系。变压器寿命预测这个任务特征和故障标签之间的关系根本不是线性的甚至不是单向的——气体浓度过低和过高都可能对应异常但LR只能学到“越高越危险”这种单边逻辑天然吃亏。1.1 线性决策边界与真实工况的非线性矛盾变压器油中溶解气体分析DGA是最常用的数据源氢气、甲烷、乙烷、乙烯、乙炔、一氧化碳、二氧化碳这些气体的浓度组合对应不同的故障类型。比如局部放电时氢气浓度显著升高过热故障时乙烯和甲烷比例异常电弧放电时乙炔浓度骤增。这些关系里有大量的“比值特征”——IEC三比值法就是靠CH4/H2、C2H2/C2H4、C2H4/C2H6这些比值来编码故障类型的。比值本身就是非线性变换LR拿到的是原始浓度线性加权求和之后很难表达“比值超过某个阈值才触发故障”这种逻辑。我在一个配电变压器项目上做过测试只用原始气体浓度特征跑LRF1只有0.61把三比值编码加进去之后F1提到0.69但依然不如随机森林的0.78。这说明LR不是完全不能用而是需要非常精细的特征工程才能逼近其他模型的 baseline特征工程的时间成本会高很多。1.2 类别不平衡寿命预测数据集的普遍困境真实场景下变压器绝大多数时间是在正常运行故障样本占比极低。我见过最极端的数据集正常样本和故障样本比例达到50比1。LR在类别不平衡时决策边界会整体偏向多数类因为它的损失函数没有对少数类给予足够权重。这就导致模型把所有样本都判成“正常”准确率看着很高但召回率几乎为零F1惨不忍睹。这种问题不是LR独有但LR尤其明显因为它的输出是线性加权后过sigmoid缺乏局部自适应能力。树模型在分裂时天然会把少数类样本单独分出来对不平衡的容忍度更高。1.3 时间维度的信息丢失寿命预测和故障分类还不一样故障分类是“此刻是否异常”寿命预测是“多久后会失效”。变压器老化是一个过程气体浓度随时间的变化趋势本身就携带着巨大信息量——浓度突变比浓度绝对值更重要。LR处理的是静态特征矩阵如果把时序数据直接拍平成单条样本等于把变化趋势丢了。我后来习惯在特征里加一列“最近一个月气体浓度变化率”只靠这一个特征LR的F1就能提升3到5个百分点。但更深层的时序模式比如浓度先升后降的震荡特征LR依然无能为力这类模式更适合LSTM或者时序Transformer但那些模型的训练成本又会成为新问题。2. 数据集准备与特征工程实操决定对比实验成败的细节对比实验不光是换模型特征工程的一致性才是检验模型真实水平的关键。下面这套流程我整理自多个实际项目可以直接套用。2.1 数据源与样本构建最理想的数据源是电网公司或大型工厂的油中溶解气体在线监测系统。如果手头没有真实数据可以用公开数据集比如某电力大学的DGA故障样本库或者用IEC TC 10的数据。实在没有只能基于已知故障机理做仿真采样但结论的适用范围会受限。构建样本时有几个关键决策时间窗口选择以“故障发生前一个月”作为负样本即将故障以“故障发生前一年以上且气体浓度正常”作为正样本健康。窗口太短模型学不到老化趋势窗口太长会把老化初期的样本误判为健康。样本平衡策略先不做任何采样保持原始分布跑一轮拿到 baseline。再分别用SMOTE、随机过采样、类权重方案各跑一轮对比效果。数据清洗气体浓度经常有缺失和异常尖峰。我习惯用中位数填充缺失值用3倍标准差规则剔除尖峰但不要过度平滑否则会破坏故障前浓度突变的细节。import pandas as pd import numpy as np from sklearn.model_selection import train_test_split # 假设 df 包含列: date, h2, ch4, c2h2, c2h4, c2h6, co, co2, label # label: 1 表示故障前一个月内的样本0 表示健康样本 df[date] pd.to_datetime(df[date]) df df.sort_values(date) # 缺失值处理气体浓度列用中位数填充 gas_cols [h2, ch4, c2h2, c2h4, c2h6, co, co2] df[gas_cols] df[gas_cols].fillna(df[gas_cols].median()) # 异常尖峰处理按3倍标准差剔除 for col in gas_cols: mean, std df[col].mean(), df[col].std() df.loc[df[col] mean 3 * std, col] mean 3 * std df.loc[df[col] mean - 3 * std, col] mean - 3 * std # 按时间顺序切分防止数据泄漏 train_df, test_df train_test_split(df, test_size0.3, shuffleFalse)注意寿命预测场景里绝对不能随机打乱后切分。变压器老化有强时间依赖随机切分会把故障前的样本同时塞进训练集和测试集模型看到过“未来”的数据指标虚高得离谱。2.2 特征工程从原始浓度到故障敏感特征绝对浓度特征六种特征气体和总烃浓度直接对数变换。气体浓度跨度极大从个位数ppm到上千ppm不取对数的话模型权重会被高浓度气体主导。比值特征按照IEC三比值法和Roger比值法构造编码特征。这个必须做LR能不能翻身全靠这批特征。趋势特征固定时间窗口内的浓度变化率窗口建议取30天。变化率的计算要滞后一位避免用到当前时刻的信息。老化指标总烃与CO的比值以及产气速率。产气速率比浓度更早反映变压器内部异常是寿命预测里非常关键的特征。# 构造对数浓度特征 for col in gas_cols: df[flog_{col}] np.log1p(df[col]) # 构造IEC三比值特征 df[ratio_1] df[ch4] / (df[h2] 1e-6) df[ratio_2] df[c2h2] / (df[c2h4] 1e-6) df[ratio_3] df[c2h4] / (df[c2h6] 1e-6) # 构造趋势特征30天变化率 def calc_trend(group): group group.sort_values(date) return group[gas_cols].diff(30) / (group[gas_cols].shift(30) 1e-6) df[trend_h2] df.groupby(transformer_id)[[date, h2]].apply(calc_trend)[h2]2.3 数据划分与评估指标选择评估指标千万别只看准确率。类别不平衡下准确率是骗人的要重点盯F1、AUC、召回率。故障预测场景里漏报一台变压器可能意味着几百万的损失和停电事故召回率优先级高于精确率。训练集 / 验证集 / 测试集6:2:2按时间顺序切分。交叉验证用TimeSeriesSplit不用K折。评估矩阵同时输出准确率、精确率、召回率、F1、AUC-ROC别只给一个数。3. Logistic Regression基线实现直接可跑的完整代码先不看花活老老实实把LR跑到最优作为后续所有对比实验的地基。这里有几个关键点不是默认参数能搞定的。3.1 数据标准化与类权重设置LR对特征尺度极其敏感必须做标准化。我踩过坑一开始只对部分特征做了标准化模型在测试集上震荡严重。另外class_weightbalanced要显式打开这比事后过采样更稳。3.2 超参数调优C值和正则化的选择L2正则化是默认选择。C值控制正则强度C越小正则越强。我用网格搜索在[0.01, 0.1, 1, 10, 100]里选实际项目里最优C通常在0.1到1之间。这里给了完整代码可以直接跑。import pandas as pd import numpy as np from sklearn.linear_model import LogisticRegression from sklearn.preprocessing import StandardScaler from sklearn.pipeline import Pipeline from sklearn.model_selection import GridSearchCV, TimeSeriesSplit from sklearn.metrics import classification_report, roc_auc_score, confusion_matrix # 特征列选择对数浓度 比值 趋势 feature_cols [flog_{col} for col in gas_cols] \ [ratio_1, ratio_2, ratio_3, trend_h2, trend_ch4, trend_c2h2] X df[feature_cols].values y df[label].values # 时间序列切分保证训练数据时间都在测试数据之前 tscv TimeSeriesSplit(n_splits5) # 构建流水线标准化 LR pipe Pipeline([ (scaler, StandardScaler()), (lr, LogisticRegression(class_weightbalanced, max_iter2000, solverlbfgs)) ]) # 网格搜索C值 param_grid {lr__C: [0.01, 0.1, 1, 10, 100]} search GridSearchCV(pipe, param_grid, cvtscv, scoringroc_auc, n_jobs-1) search.fit(X, y) print(Best param:, search.best_params_) print(Best AUC:, search.best_score_) # 最优模型预测 best_model search.best_estimator_ y_pred best_model.predict(X) y_prob best_model.predict_proba(X)[:, 1] print(classification_report(y, y_pred, target_names[正常, 故障前])) print(AUC:, roc_auc_score(y, y_prob)) print(Confusion Matrix:\n, confusion_matrix(y, y_pred))提示class_weightbalanced 让LR自动调整每个类的权重等价于把少数类的损失放大。这一步对故障前样本极少的数据集来说是强制性操作。3.3 LR提升技巧交互特征与多项式特征如果在上面这套流程下LR还是不理想下一步不是换模型而是给LR加非线性能力。用PolynomialFeatures把特征两两相乘LR的决策边界就从直线变成曲线。from sklearn.preprocessing import PolynomialFeatures poly PolynomialFeatures(degree2, interaction_onlyTrue) X_poly poly.fit_transform(X) pipe_poly Pipeline([ (scaler, StandardScaler()), (lr, LogisticRegression(class_weightbalanced, C0.1, max_iter3000)) ]) pipe_poly.fit(X_poly, y)交互特征数量会爆炸六种气体加三个比值加若干趋势特征两两交互后维度上千。此时C值可以适当调小用更强的正则化压制过拟合。我建议先只对气体比值之间做交互维度小一些可解释性也更好。4. 对比实验设计如何科学地证明“LR效果一般其他模型更好”对比实验的正确打开方式不是把LR换成随机森林跑完发现分数高了就完事。要有一套可控变量、可信流程的体系才能在报告里真正站得住脚。4.1 对比模型矩阵从低到高四档对比模型的选择要有梯度每换一个模型就对应一个你想验证的假设决策树 / SGDClassifier验证“模型容量是不是瓶颈”。SGDClassifier本质是线性模型但用hinge loss和LR形成对照。SVMRBF核验证“非线性决策边界能否提升效果”。SVM加RBF核就是典型的非线性模型核技巧等价于隐式高维映射。随机森林 / XGBoost / LightGBM验证“树模型对特征交互的建模能力”。树模型天然支持特征非线性分裂不需要手工构造交互项。MLP多层感知机验证“如果用神经网络做同一个任务数据量是否够撑起模型”。四档模型的实验代码可以共用一个训练脚本只替换模型类。下面给出一段对比实验主框架。from sklearn.svm import SVC from sklearn.ensemble import RandomForestClassifier from xgboost import XGBClassifier from sklearn.neural_network import MLPClassifier models { LR: LogisticRegression(class_weightbalanced, C0.1, max_iter2000), SVM-RBF: SVC(kernelrbf, class_weightbalanced, probabilityTrue, C1.0), RandomForest: RandomForestClassifier(n_estimators300, class_weightbalanced, min_samples_leaf5, n_jobs-1), XGBoost: XGBClassifier(scale_pos_weight10, max_depth4, n_estimators300, learning_rate0.05), MLP: MLPClassifier(hidden_layer_sizes(64, 32), early_stoppingTrue, max_iter500) } results [] for name, model in models.items(): model.fit(X_train_scaled, y_train) y_pred model.predict(X_test_scaled) y_prob model.predict_proba(X_test_scaled)[:, 1] results.append({ 模型: name, 准确率: accuracy_score(y_test, y_pred), 精确率: precision_score(y_test, y_pred), 召回率: recall_score(y_test, y_pred), F1: f1_score(y_test, y_pred), AUC: roc_auc_score(y_test, y_prob) }) results_df pd.DataFrame(results) print(results_df.round(4))注意XGBoost的scale_pos_weight是把少数类权重放大效果类似class_weightbalanced。我这里给的是10实际操作里要根据正常样本和故障样本的比例计算ratio 多数类数量 / 少数类数量直接填入即可。4.2 四维度对照实验不只是换模型除了模型本身至少还要做四个维度的对照实验处理策略对照不处理类别不平衡 vs SMOTE过采样 vs class_weight/scale_pos_weight。这个维度最能说明问题——有些模型效果“差”是没给正确的类权重。特征集对照只用原始气体浓度 vs 原始浓度比值特征 vs 全部特征加趋势。看每个模型在不同特征集下的增益幅度。评估方式对照随机K折 vs 时间序列切分。LR在随机切分下AUC可能虚高0.1以上时间序列切分才是真实水平。稳定性对照同一模型多次重复训练观察AUC标准差。树模型有随机性LR没有标准差能反映模型对初始条件的敏感程度。这个矩阵跑完才能真正得出结论LR效果一般是本身容量不够还是特征工程没到位还是数据重叠导致假象。我在项目里常常发现搞定特征选择后LR其实能到0.75的AUC不是完全不能用。4.3 结果可视化与结论生成对比结果用图呈现比表格更直观。我习惯画两个图ROC曲线对比图所有模型画在同一张图上能看出谁在低假阳性率区间更有优势。故障预测场景里我们希望检测阈值更早触发看ROC曲线往左上角弯多少。PR曲线对比图类别不平衡时PR曲线比ROC更敏感能放大模型间的差距。LR往往在PR曲线上露馅——高召回段精度掉得很快。import matplotlib.pyplot as plt from sklearn.metrics import roc_curve, precision_recall_curve plt.figure(figsize(8, 6)) for name, model in models.items(): y_prob model.predict_proba(X_test_scaled)[:, 1] fpr, tpr, _ roc_curve(y_test, y_prob) plt.plot(fpr, tpr, labelf{name} (AUC{roc_auc_score(y_test, y_prob):.3f})) plt.plot([0, 1], [0, 1], k--, label随机基线) plt.xlabel(假阳性率) plt.ylabel(真阳性率) plt.title(各模型ROC曲线对比) plt.legend() plt.show()5. 踩坑记录与问题排查我在变压器寿命预测项目中遇到的真实问题这一节全是实际操作中碰到的坑不是从教科书里抄来的。5.1 数据泄漏最隐蔽的坑最惨的一次模型在验证集上AUC高达0.97我当时还觉得项目稳了。后来复盘发现特征工程里计算趋势特征时没有做滞后处理构造“未来30天变化率”时用到了当前样本之后的数据。比如t时刻的样本用到了t30的气体浓度去算变化率测试集里当然包含了故障前的信息。修正方式是把变化率改成“过去30天的变化率”即用[t-30, t]的数据来算修完之后AUC回落到0.79那才是真实水平。查数据泄漏有个简单办法随机选几个预测正确的测试样本人工核对特征值。如果发现特征里含有明显超出该时间点合理范围的信息基本就是泄漏了。5.2 时间序列切分与K折的偏差在某个中期报告中我用K折交叉验证做调参LR的AUC是0.84换成TimeSeriesSplit后变成0.72。工程老板看到数字掉这么多第一个反应是模型退化了。实际原因很简单K折把相邻时间段的样本分进了不同折里电流互感器的传感器在相邻时间段里测量数据高度相关等于模型提前看到了测试集的相似样本。TimeSeriesSplit严格按时间顺序划分才能模拟真实预测场景中的cold start。提示调参和最终评估必须使用同一种划分方式。如果调参用K折评估用时间序列切分那调出来的参数大概率就不是最优解。5.3 SMOTE在时序数据上不可乱用SMOTE通过在少数类样本之间线性插值来生成新样本。听起来合理但在时序数据上有隐患——新合成的“故障前样本”会落在两段真实时间点之间也就是无中生有地制造了一个可能根本不存在的状态转移路径。在变压器寿命预测中温度、负荷、气体产气速率都有物理规律约束SMOTE生成的样本可能违背这些规律。我的实操建议是类别不平衡优先用class_weight或scale_pos_weight解决。SMOTE如果要用只在非时间特征上做或者用SMOTENC这种支持类别特征的版本并且生成后人工检查几个样本确认没有违背基本物理直觉。5.4 特征缩放遗漏导致LR梯度震荡LR用梯度下降优化特征尺度不一致时梯度更新会被大尺度特征主导损失函数会像在凹凸不平的路面上弹跳。StandardScaler必须fit在训练集上再transform验证集和测试集不能全数据集一起fit。这一点出错很常见而且很难发现因为数值上还是能跑通只是评估指标会波动。算法模型 | 是否对尺度敏感 | 是否需要特征缩放 LR | 是 | 必须 SVMRBF核 | 是 | 必须 决策树/随机森林 | 否 | 不需要 XGBoost/LightGBM | 否 | 不需要 MLP | 是 | 强烈建议5.5 冷启动与模型更新策略变压器在线监测系统上线后新变压器没有历史数据模型无法计算趋势特征。我的处理方式给冷启动变压器设置一个默认趋势特征值比如0并叠加一个基于同类变压器历史数据的先验分布。系统运行三个月后再切换到实际计算出的趋势值。另外变压器工况会随时间漂移模型要定期增量更新。我试过每月用最近六个月数据重训一次比继续用旧模型更稳定。重训时把旧模型的特征均值、标准差也一并更新否则标准差漂移会影响标准化效果。6. 从“分类”到“寿命预测”的进阶思路LR之外还能怎么走如果对比实验做完发现所有分类模型的AUC都卡在0.8上下说明这件事的本质不是分类而是回归或生存分析问题。寿命预测的最终输出应该是“这台变压器还能安全运行多少天”而不是“它是否即将故障”。6.1 回归方向预测剩余使用寿命把标签从二分类改成连续值距离故障的天数模型换成岭回归或LightGBM回归。此时评估指标用MAE或RMSE。回归的好处是能给出一个预期寿命值现场运维可以直接用这个值做检修计划排期。缺点是回归模型对标签噪声更敏感变压器的“真实剩余寿命”本身就存在标注噪声。6.2 生存分析方向更贴合质检数据特性生存分析是统计学里的经典方法专门处理“事件在‘某时刻之后’是否发生”的问题。Cox比例风险模型可以输出每条样本的风险分数比二分类的概率值更具解释性。用Python的话lifelines库可以直接实现。这个方法适合检修记录里有“上次检修时间”和“已运行时长”字段的数据集。6.3 时序退化轨迹预测如果数据足够稠密每天一条DGA监测数据可以构造退化轨迹模型例如用LSTM预测未来30天的气体浓度走势当预测值超过故障阈值就报警。这个方向工程量会翻倍但它的优势在于能提前识别浓度的“拐点”也就是加速老化的开始时刻。6.4 多模型融合集成才是工业落地的常态工业场景里我不迷信单一模型的绝对优势。最终交付的时候我通常把LR、XGBoost、MLP做软投票集成三个模型的预测概率取加权平均。LR权重低一些但它的稳定性可以中和树模型过拟合的风险掉落模态的情况更少。final_prob 0.2 * lr_prob 0.5 * xgb_prob 0.3 * mlp_prob这个权重不是拍脑袋定的是拿验证集做网格搜索找出来的。工业落地时守卫在线监测系统安全的是可解释性LR作为线性模型天然具备特征权重的可解释性这个价值在于决策审计时的快速回溯团队对坏例的复盘效率会明显提高。7. 实验总结与个人经验做变压器寿命预测这件事我的真实感受是先别急着上复杂模型要把数据切分方式、特征工程和类别不平衡这三件事做扎实。LR效果一般不是模型的问题往往是数据形态和模型假设不匹配。对比实验的真正价值不在于证明“哪个模型分数最高”而在于弄清楚分数差异的来源——数据泄漏、特征尺度、类别权重、时间依赖任何一个环节都能让结果偏差巨大。如果你正在做同样的项目我建议按这个顺序走一遍先把数据切分和特征工程做规范跑一个LR拿到可靠baseline再依次引入SVM、树模型、MLP做对比实验记录每个模型在不同特征集和采样策略下的表现最后根据AUC和PR曲线判断是否值得往回归或生存分析方向延伸。这样下来你的对比实验会非常有说服力无论是写论文还是做工程交付都能讲清楚每一步选择的依据。最后再分享一个我在多个项目里验证过的细节不要只盯着AUC和F1要去看混淆矩阵里的漏报数。变压器寿命预测是高风险决策场景漏掉一台故障前的变压器远比多报几台严重得多。对比实验的最终结论一定要说明“哪个模型在可接受的漏报率下精确率最高”这个维度才是工程真正关心的。
