基于Kmeans的光伏时序聚类：特征提取与工程实践

1. 为什么要把光伏时间序列“分门别类”光伏电站的功率输出曲线说白了就是一组随时间变化的数据序列从凌晨的零出力到中午的峰值再到傍晚归零每天都有一条大致相似但又绝不相同的曲线。晴天是平滑的单峰多云天是锯齿状波动阴雨天则整体趴在地上。这些形态差异的背后反映的是不同的气象条件、不同的辐照度变化、甚至不同的设备运行状态。但问题是一座电站一年有365条日曲线一条条看根本不现实。想要从这些曲线里找出“哪几类天气形态最典型”“哪类曲线对应最高的发电量”“哪些异常形状值得重点关注”就需要一种能够自动把相似曲线归到一起的方法。这就是聚类分析在做的事而Kmeans正是这类任务里最经典、最常用的算法之一。它的目标很简单把N条曲线分成K组让同一组内的曲线尽量相似不同组之间的曲线尽量不同。对光伏时序数据来说聚类结果可以直接对应到“典型发电模式”比如晴空型、薄云型、厚云型、阴雨型甚至“设备异常型”。有了这些归类结果后续可以做很多事情预测模型的样本筛选、相似日检索、发电量区间估算、设备健康度初筛等。这篇文章就围绕“基于Kmeans的光伏时间序列聚类”这条线从数据处理到特征提取从K值选择到结果解读完整走一遍实操流程并把我实际踩过的坑一并写出来。适合的对象包括正在做光伏功率预测的算法工程师、做新能源数据分析的同学、以及想入门时序聚类的读者。2. 数据准备与特征设计2.1 数据清洗别让脏数据带偏聚类中心任何聚类分析的第一步都不是调参而是先把数据搞干净。光伏时序数据的常见脏数据包括夜间非零出力理论上太阳辐照度为0时功率应为0但部分电站台账或逆变器上报数据存在夜间漂移表现为凌晨或深夜时段出现小幅非零值。通讯中断导致的连续零值常见于数据采集器宕机或网络抖动表现为某些日期整段数据为0或恒值。限电导致的数据截断部分时段电站被调度限功率曲线顶部出现平台式截断和真实天气形态无关。数值跳变与毛刺某个时刻功率突然跳到几百千瓦又迅速回落通常是报文错位或传感器异常。我的处理思路是先做合法性检查再做合理性检查。合法性检查是判断功率是否在[0, 装机容量]区间内超限直接剔除合理性检查需要结合前后时刻的数值做差分判断比如单点跳变量超过装机容量的30%就标记为异常并采用线性插值修正。清洗这一步之所以重要是因为Kmeans对离群点很敏感。簇中心是所有样本的平均几个异常大的毛刺或整天为零的坏数据会把簇中心拉偏导致聚类结果出现一个“混合型”的伪簇。2.2 数据切片粒度与时间窗口的确定聚类的对象可以是整条日曲线也可以是某个时间段内的片段。我推荐先按“自然日有效光照时段”切片。以中国大陆地区为例多数地区有效光照时段大约在06:00-18:00之间冬季会短一些夏季长一些。如果把24小时全放进来夜间的那一堆零值会在特征空间里占很大比重但它们是“无信息”的反而稀释了白天曲线形态的差异。所以我通常将每天的06:00-18:00这段作为聚类输入采样间隔取15分钟这样每天就是48个点。采样间隔的选择需要根据业务目标来定如果做中长期气象分型15分钟粒度足够如果做超短期预测的相似日检索5分钟粒度更能保留细节。但粒度越高特征维度越大Kmeans在高维空间的距离度量越不稳定这一点在后面特征提取部分会进一步说明。2.3 特征提取从完整曲线到低维表示直接用48个原始时序点喂给Kmeans虽然可行但效果不见得最好。原因有两个第一维数过高会导致欧氏距离趋于平均化簇间差异不明显第二原始曲线叠加了许多短时波动聚类算法容易被“噪声细节”带偏而忽略了整体形态。我在实践中优先使用三类特征第一类是统计特征包括日峰值功率、峰值出现时刻、日均功率、出力波动率相邻时刻差值的标准差、低于10%额定功率的时间占比等。这些特征从不同角度刻画了“这一天整体上是什么样的”。第二类是形状特征比如归一化后的曲线峰值比例、上升段斜率均值、下降段斜率均值、峰态系数和偏态系数。这类特征能捕捉曲线是“尖峰型”还是“平顶型”是“单峰型”还是“波动型”。第三类是降维特征即对原始时序做PCA或TSFresh自动特征抽取取前几个主成分分量作为聚类输入。PCA的优点是能自动提取方差最大的方向减少人工设计特征时可能遗漏的角度缺点是主成分的物理含义不明确解释性较差。我最终的方案是把“统计特征形状特征”组合成一套约12维的特征向量再做一个标准化处理。这个方案解释性好维度也不高聚类结果稳定。你也可以把原始时序和特征抽取两种方案都跑一遍用轮廓系数对比哪个效果更好。3. Kmeans聚类算法核心细节解析3.1 Kmeans的数学原理与迭代逻辑Kmeans的本质是一个优化问题给定样本集合找到K个簇中心使得所有样本到其所属簇中心的平方距离之和最小。用公式表达就是[ J \sum_{i1}^{K} \sum_{x \in C_i} ||x - \mu_i||^2 ]其中C_i表示第i个簇μ_i表示该簇的中心即簇内样本均值。求解这个优化问题的标准做法是Lloyd迭代算法流程是随机选择K个样本作为初始簇中心。计算每个样本到K个中心的距离并将其归入距离最近的中心所代表的簇。对每个簇重新计算簇内所有样本的均值作为新的簇中心。重复步骤2和3直到簇中心不再变化或达到最大迭代次数。这个算法的特点是非常直观而且收敛速度快在样本量不大比如几千条日曲线时通常几十次迭代就能收敛。但它有一个先天缺陷目标函数是非凸的迭代结果依赖于初始中心的选取。也就是说跑两次Kmeans可能得到不同的聚类结果这一点在光伏数据的应用场景中尤其需要留意。3.2 K值如何选择肘部法则与轮廓系数K值的选择直接决定了聚类的粒度。K太小晴天、多云天、阴雨天被强行合并成一类丢了信息K太大同一种天气形态被拆成好几类结果碎片化难以解读业务含义。我在项目中同时用两种方法辅助确定K第一种是肘部法则Elbow Method。做法是分别计算K2到K10时的簇内误差平方和SSE然后画一条折线图。SSE会随着K增大而单调下降但在某个K值处下降速度明显放缓这个拐点就像手臂的肘部对应的K就是相对合理的值。光伏时序数据的经验值是K3到K5之间大部分情况下K4能在“类间差异”和“类内一致性”之间取得较好平衡。第二种是轮廓系数Silhouette Coefficient。对每个样本计算它与同簇其他样本的平均距离a(i)以及它与最近的其他簇中样本的平均距离b(i)轮廓系数定义为[ s(i) \frac{b(i) - a(i)}{\max(a(i), b(i))} ]s(i)的取值范围是[-1, 1]越接近1说明聚类质量越好。把所有样本的s(i)取平均就得到整体轮廓系数。K4时轮廓系数通常在0.45到0.6之间属于“合理且具备明显结构”的范围。需要注意的是K的选择不能只盯着指标。我在实际项目中明显感觉到K5在轮廓系数上可能比K4略高一点点但从业务解读角度来看K5会分裂出一类只有零星几天的“长尾形态”这种类对后续分析价值不大。所以最终K的选择是“指标业务可解释性”共同决定的。3.3 初始中心优化与距离度量选择前面提到Kmeans受初始中心影响很大。为了缓解这个问题实践中常用Kmeans初始化策略。它的核心思路是第一个中心随机选取之后每个新中心都倾向于选择离已有中心更远的样本点。这样能让初始中心尽可能分散减少迭代陷入局部最优的概率。scikit-learn里的KMeans默认就是使用Kmeans这也是我推荐你直接使用默认参数的原因。距离度量方面标准Kmeans默认使用欧氏距离这要求特征必须经过标准化否则数值范围和量纲差异会直接扭曲距离计算。比如日峰值功率的量纲是“千瓦”数值可能是几万而峰值出现时刻是“小时”数值只有十几。如果不做标准化峰值功率会完全主导距离度量聚类结果退化成一维聚类。我采用StandardScaler做Z-score标准化也就是每个特征减去均值再除以标准差。这样所有特征都处于同一量纲空间距离度量才公平。4. 完整实操从数据到聚类结果4.1 环境准备与工具选型整个流程用Python实现核心库是scikit-learn、pandas、numpy和matplotlib。如果你用Anaconda发行版这些库基本已经内置如果用纯净的Python环境可以用pip安装pip install pandas numpy scikit-learn matplotlib版本方面scikit-learn 1.x系列比较稳定KMeans的API没有大的变化相关代码在旧版本上也能跑通。4.2 数据加载与预处理代码我以一份典型的光伏电站功率数据为例数据格式为CSV包含两列时间戳datetime和功率值power单位kW。import pandas as pd import numpy as np from sklearn.preprocessing import StandardScaler from sklearn.cluster import KMeans from sklearn.metrics import silhouette_score import matplotlib.pyplot as plt # 读取数据 df pd.read_csv(pv_power.csv, parse_dates[timestamp], index_coltimestamp) # 重采样为15分钟粒度 df df.resample(15T).mean() # 剔除夜间零出力时段聚焦06:00-18:00 df_day df.between_time(06:00, 18:00) # 按日期切片构建“日期 x 时刻”的透视表 pivot df_day.pivot_table(indexdf_day.index.date, columnsdf_day.index.time, valuespower) pivot pivot.dropna(thresh40) # 剔除缺失严重少于40个有效点的日期这段代码做完以后pivot的每一行就是某一天从06:00到18:00、每15分钟一个点的功率序列共48列。接下来对每一行做特征提取def extract_features(row): features {} features[peak] np.max(row) features[mean] np.mean(row) features[peak_time] np.argmax(row) / 4 6 # 转为小时 # 一阶差分标准差反映波动程度 diff np.diff(row) features[volatility] np.std(diff) # 峰值归一化后的曲线用于提取形状特征 norm_curve row / (np.max(row) 1e-6) features[rise_slope] np.mean(np.diff(norm_curve[:int(len(norm_curve)*0.3)])) features[fall_slope] np.mean(np.diff(norm_curve[int(len(norm_curve)*0.7):])) return pd.Series(features) feature_df pivot.apply(extract_features, axis1)这里有个细节值得说明rise_slope计算的是曲线前30%时间段的平均上升斜率fall_slope是后30%时间段的平均下降斜率。选择“前30%”和“后30%”是因为光伏曲线在大多数情况下上午上升、下午下降但峰值的具体位置每天不一样。取一个相对宽泛的窗口能避免峰值位置偏移导致的计算不稳定。4.3 标准化与Kmeans聚类特征提取完成后先做标准化再聚类# 标准化 scaler StandardScaler() feature_scaled scaler.fit_transform(feature_df) # 先用肘部法则辅助确定K sse [] k_range range(2, 11) for k in k_range: km KMeans(n_clustersk, random_state42) km.fit(feature_scaled) sse.append(km.inertia_) # 绘制SSE曲线 plt.plot(list(k_range), sse, o-) plt.xlabel(K) plt.ylabel(SSE) plt.show() # 以K4为例执行聚类 kmeans KMeans(n_clusters4, random_state42, n_init10) labels kmeans.fit_predict(feature_scaled) # 轮廓系数评估 sil_score silhouette_score(feature_scaled, labels) print(f轮廓系数: {sil_score:.4f})关于random_state这个参数你可能注意到我设为42。这是为了让结果可复现。如果哪天你跑出来的聚类结果和上次不一样八成是忘记固定随机种子了。Kmeans的初始化有随机性不固定种子的话每次运行都会略有差异。n_init参数也需要解释一下。scikit-learn的KMeans默认n_init10意思是算法会从10个不同的初始中心分别跑一次最后返回聚类误差最小的那个结果。这能在一定程度上避免局部最优问题代价是计算时间增加。对几千行数据来说这个开销完全可以接受所以我建议保持默认或设为10以上。4.4 聚类结果可视化与解读聚类完成后最直观的验证方式是把每一类的日曲线都画出来。我的做法是对每个簇取簇内所有曲线逐时刻求均值得到“典型日曲线”同时画出簇内样本的标准差带观察类内集中度。pivot[cluster] labels fig, axes plt.subplots(2, 2, figsize(16, 10)) for c in range(4): ax axes[c // 2][c % 2] subset pivot[pivot[cluster] c].drop(columnscluster) # 典型曲线 mean_curve subset.mean(axis0) std_curve subset.std(axis0) x np.arange(len(mean_curve)) ax.plot(x, mean_curve, colorC0, labelfCluster {c} mean) ax.fill_between(x, mean_curve - std_curve, mean_curve std_curve, alpha0.2) ax.set_title(fCluster {c}, samples{len(subset)}) ax.legend() plt.tight_layout() plt.show()从经验来看K4时四个簇大概率的形态分布是簇0典型晴天。峰值高、曲线平滑、波动率低、峰现时刻在11:00-13:00之间。簇1多云/薄云。峰值中等曲线有明显的上下波动但总体仍有明显的日变化规律。簇2阴天/雨天。整体出力很低峰值可能不到装机容量的30%曲线相对平缓。簇3复杂天气型。峰值可能出现得比较早或比较晚或者曲线有几个小峰说明上午或下午有云层过境。当然这个对应关系不是固定不变的。不同地区、不同季节、不同电站的聚类结果会有差异。比如高纬度地区夏季日照时间长可能出现“双峰型”曲线部分地区受沙尘影响可能出现“午间骤降型”曲线。重要的是你要把聚类结果和实际气象记录对照一下验证聚类是否真的抓到了不同的天气型。5. 聚类效果的评估与常见问题排查5.1 量化评估指标怎么用聚类是无监督学习没有一个“标准答案”可以直接比对。但有几个量化指标可以用来判断聚类质量轮廓系数Silhouette Coefficient前面已经介绍过值越高说明类内越紧、类间越远。光伏时序数据的合理范围通常在0.35到0.6之间。Calinski-Harabasz指数计算类间离散度与类内离散度的比值值越高越好。这个指标计算效率高可以快速比较不同K值的效果。Davies-Bouldin指数计算任意两个簇之间的相似度值越低越好说明类间区分越明显。需要注意的是这些指标在样本不均衡时都会有一定偏向性。光伏时序数据天然存在季节不均衡夏天晴天多冬天阴天多某些簇的样本数可能远大于其他簇。这种情况下单纯追求指标最大化可能得到一个样本极其不均衡的聚类方案对业务分析不友好。5.2 高频抖动导致聚类“漂移”的排查我遇到过一种比较隐蔽的问题聚类结果在相邻月份之间发生显著的“标签漂移”。比如1月份聚类结果中的簇0是“晴天型”到4月份再跑聚类时簇0变成了“多云型”。特征提取逻辑没变、K没变但簇的语义变了。背后的原因是Kmeans聚类是全量数据的全局划分每次新增或剔除一批样本比如按月滚动更新簇中心都会整体移动簇标签也随之变化。这不是算法错误而是聚类的固有特性。解决办法是如果业务上需要跨时间对比建议锁定一组“参考簇中心”。具体做法是用一整年的数据训练一个Kmeans模型保存模型参数新月份的数据进来时直接把新样本投影到已保存的簇中心上用最近中心来分配簇标签。这样可以保证不同时期的数据统一归属到同一套“天气类型”体系下。scikit-learn里可以实现为import joblib # 训练基准模型 base_kmeans KMeans(n_clusters4, random_state42) base_kmeans.fit(base_feature_scaled) joblib.dump(base_kmeans, pv_kmeans_model.pkl) # 新数据预测 new_scaled scaler.transform(new_feature_df) new_labels base_kmeans.predict(new_scaled)这种做法的代价是新数据中如果出现了历史上不存在的天气形态比如罕见的极端天气基准簇中心无法描述它新样本会被硬性归到最近的簇中。对于这种情况需要额外加一个距离阈值判断——当样本到最近簇中心的距离超过阈值时标记为“未知类型”单独审查。5.3 与DBSCAN等密度聚类方法的对比选择热词里提到了DBSCAN和两步聚类这也是时序聚类中绕不开的对比项。DBSCAN的核心思想是“密度可达”它不用预设簇数量而是通过邻域半径eps和最小样本数min_samples两个参数将密度相连的样本归为一类同时把低密度区域的样本标记为噪声。在光伏聚类的场景下DBSCAN有一个明显优势能够识别出“异常日”——比如数据质量问题导致的怪异曲线、统计上罕见但真实存在的极端天气这些样本会被标记为噪声而不是被硬塞进某一类。但DBSCAN也有麻烦它对eps参数非常敏感而光伏时序特征空间的密度分布并不均匀——晴天群体非常密集阴天群体相对松散。用一个固定的eps很难同时适配两类。我测试过用DBSCAN处理同样的数据最终要么把阴天全判成噪声要么把晴天和阴天粘连成一个簇调参过程相当痛苦。我的建议是如果聚类是用于常规天气分型和后续预测建模的样本管理优先使用Kmeans因为它稳定、可解释、适合批量处理如果聚类目标中包含“异常检测”需求可以考虑先用Kmeans做常规分型再在每类内部用DBSCAN或距离阈值识别局部离群点。两步聚类先层次聚类确定K再Kmeans细化在数据量不大时也可以尝试但计算复杂度会高一些收益没有想象中大。6. 聚类的进阶应用从分组到业务价值6.1 基于聚类结果的光伏功率预测样本管理聚类最大的价值不在于“把数据分成几堆”这件事本身而在于分类结果可以作为下游任务的输入。我做过的一个实际案例是把历史数据按聚类结果分成四类后对每一类分别训练一个光伏功率预测模型。预测时先用当天的气象预报数据辐照度、云量、温度等做一个初步的“天气模式判别”判断今天更像哪一簇然后调用对应的预测模型。这种分而治之的思路相比一个混合模型在晴好天气下的预测精度提升尤其明显——因为晴天样本在混合模型里很容易被阴雨天的样本“拖累”分模型后这类偏差被消除了。你也可以把聚类结果直接作为特征拼接到预测模型里。逻辑是聚类打上的“天气类型”标签本身浓缩了一整天的曲线形态信息把它作为分类特征或Embedding输入相当于给模型提供了一天级别的先验知识。6.2 相似日检索与光伏运维辅助决策另一个不错的应用方向是相似日检索。传统做法是找“历史同期”或者“和今天辐照度接近的日子”但辐照度接近不代表曲线形态接近。用聚类结果做相似日检索会更合理先判定今天最接近哪个簇然后在这个簇内部找特征距离最近的几天作为历史参考相似日。这个方法在光伏电站的短期功率预测、发电量考核目标制定中都有实用价值。运维侧也有应用空间。我在一次分析中发现某个电站的聚类结果里出现了一个“出力整体偏低但曲线形状正常”的簇对标气象数据后发现当天天气和晴天簇并无明显差异。进一步排查后发现这个时间段电站部分逆变器因故停机检修导致整体出力下降。聚类结果无形中帮助定位到了运维异常。6.3 簇数K调整对业务解释的影响最后聊一下K的微调。标准K4的分类方案在大多数场景下够用但如果你的业务需要更细的粒度可以考虑在某个簇内部继续做一次聚类。例如把“复杂天气型”单独拎出来在里面再分Cl2这就能区分“上午多云、下午晴”和“上午晴、下午多云”两种子类型。这种层级式聚类方式比直接增大K值更好控制因为它是按业务需求“按需细分”不会把原本清晰的类别打乱。也不要盲目追求细分类类别越多每类的样本数越少统计规律越不稳定模型和业务分析都容易过拟合到噪声上。我个人的体会是光伏时间序列聚类不是一次性的“算法输出”而是需要和数据理解、业务需求不断迭代的过程。先把数据清洗干净把特征设计合理把K值定得可解释再用稳定可复现的流程去跑结果才会有真正的参考价值。如果你在做类似的项目时遇到聚类结果不稳定或者不可解释的情况建议先从特征标准化和数据切片粒度两个方向排查大多数问题都出在这两个环节上。