简介基于MATLAB实现的BP神经网络城市电网负荷预测项目面向电力系统、自动化及相关专业的本科及以上学习者可用于课程设计、毕业设计或负荷预测算法的快速验证从数据导入、网络训练到结果评估均有完整实现。资源共11个文件主要包含4个.m脚本主程序与评估代码、2个.mat数据文件、1个.xlsx原始数据表以及4个.png结果图压缩包仅585KB轻量易部署。脚本涵盖MSE、RMSE、MBE、MAE及R²等误差指标计算并输出训练集与测试集的预测对比图代码注释完整、数据结构清晰方便读者理解BP网络建模流程并结合实际数据改进网络结构或训练参数。目前已有172人学习下载适合需要快速上手负荷预测建模的在校学生与工程师参考使用。1. 城市电网负荷预测为什么 BP 神经网络仍是值得做的入门方案电网调度员每天最头疼的事就是明天的负荷高峰出现在几点、峰值能到多少。城市电网负荷预测这件事本质上是一个时间序列回归问题——用过去一段时间的负荷和气象数据推出下一个时段的负荷值。BP 神经网络在这个问题上已经被验证了二十年虽然现在 LSTM、Transformer 很热闹但 BP 网络结构简单、收敛可控、在中小规模数据上表现稳定仍然是新手入门负荷预测、以及快速搭建一个可用基线方案的最短路径。这套「基于 BP 神经网络的城市电网负荷预测」方案解决的是两个具体问题一是把历史负荷数据变成可训练的数据集二是通过一个三到四层的全连接网络拟合出负荷的变化规律。它适合谁适合手里有城市或区域负荷历史数据、想先跑通一个完整预测流程的工程师和学生。数据量不需要很大一到两年的日负荷记录就够这也是这类项目在课程设计和工程预研里反复出现的原因。接下来我会从数据处理开始把网络结构、代码实现、参数调优和常见翻车点完整讲一遍。2. 先处理数据再做预测负荷数据的四个预处理步骤城市电网负荷数据有一个很鲜明的特点周期性极强但干扰因素也多。一个典型的工作日负荷曲线会呈现出早高峰和晚高峰两个波峰中午和夜间是低谷周末的峰值会整体下移夏季高温和冬季寒潮会让负荷整体抬高。这些规律既是 BP 网络能学到的「信号」也是数据预处理必须保留的「结构」。拿到「数据齐全」的项目包后第一步不是急着建网络而是先检查数据到底齐到什么程度。2.1 时间列与负荷列先统一格式再补缺失值多数负荷数据是以 CSV 格式存储的常见的样子是两列一列是时间戳15 分钟一个点或一小时一个点一列是该时刻的系统总负荷。也有一些数据会把温度、湿度、星期几单独拆成列。第一步是把时间列解析成标准格式并检查有没有缺失的时间点。这里有一个容易忽略的问题电力系统采集终端偶尔会漏传数据导致某一天少了几个点但 CSV 文件里不会留空行而是直接跳过了这个时刻。import pandas as pd import numpy as np # 读取原始负荷数据 df pd.read_csv(load_data.csv, parse_dates[time]) # 按固定频率重采样缺失的时段会自动补成 NaN df df.set_index(time).resample(15min).asfreq() # 线性插值填补缺失值 df[load] df[load].interpolate(methodlinear) # 一天有 96 个 15 分钟点检查一下每天的数据量 daily_count df.resample(1D).count() print(daily_count[daily_count[load] 96])这段代码做了三件事把时间列设为索引按 15 分钟频率重采样然后做线性插值。重采样是关键——它把「缺失但未被记录」的时间点暴露出来插值则补齐这些坑。注意interpolate默认按时间索引的间隔来算适合负荷这种变化平缓的序列。如果缺失段太长比如连续缺了 3 个小时以上线性插值就不靠谱了需要用前一天同时刻的值来补这是一个常见的数据补齐策略。提示不要用全局均值去填缺失值那会直接抹平负荷的日周期特征后面模型怎么训练都学不出早高峰和晚高峰。2.2 异常值识别负荷不会瞬间跳变城市负荷有个物理约束在分钟级尺度上负荷变化是连续的不会出现「前一刻 500 兆瓦下一刻跳到 900 兆瓦」的跳变。所以识别异常值最简单有效的方法是计算相邻两个时间点的差值找到变化率超过合理阈值的点。另一种做法是用滚动窗口的标准差判定但容易误伤真正的峰谷点。# 计算相邻点差值 diff df[load].diff() # 超过 150 兆瓦的跳变视为异常用前后时刻均值替换 threshold 150 anomaly_idx diff.abs() threshold df.loc[anomaly_idx, load] ( df[load].shift(1) df[load].shift(-1) ) / 2阈值怎么设看数据本身的量级和采样频率。15 分钟采样下城市级负荷变化率一般不超过总量的 3%~5%如果数据总量均值在 3000 兆瓦左右150 兆瓦的阈值是合理的。这里替换异常值的逻辑是取前后两个正常时刻的平均比用插值更稳因为异常点往往只有一个孤立点被污染。2.3 构造输入特征BP 网络不能直接吃时间戳BP 神经网络输入的是数值向量没法直接理解「2024 年 7 月 15 日 14:30」这种时间戳。常见做法是把时间和气象信息拆成多个数值特征。核心特征有三类历史负荷序列、时间属性小时、星期几、气象因子温度、湿度。这些特征需要拼成一个二维矩阵每一行是一个样本每一列是一个特征。# 构造时间特征 df[hour] df.index.hour df[weekday] df.index.weekday # 构造滞后负荷特征用前 4 个时刻的负荷预测当前值 for lag in [1, 2, 3, 4]: df[fload_lag_{lag}] df[load].shift(lag) # 删除前 4 行的 NaN df df.dropna()这里选滞后 4 个点对应的是过去 1 小时的负荷。为什么是 1 小时而不是更长因为负荷的短时惯性主要集中在半小时到一小时之间太短的滞后1 个点信息量不足太长的滞后比如滞后 96 个点即前一天同时刻会让输入维度膨胀训练时间变长而收益不大。如果你要预测的是未来 1 小时的负荷把滞后窗口设为 4~8 个点是最常用的区间。2.4 归一化不同量纲的特征必须缩放到同一尺度负荷的数值可能是几千兆瓦温度是几十摄氏度星期几是 0~6 的整数。这些量纲差异很大的特征直接喂给 BP 网络会导致权重更新被大数值特征主导小数值特征完全学不到东西。归一化是所有神经网络训练的必做步骤这里用的是 min-max 归一化把数据缩放到 0~1 之间。from sklearn.preprocessing import MinMaxScaler # 选取特征列和标签列 feature_cols [hour, weekday, load_lag_1, load_lag_2, load_lag_3, load_lag_4] X df[feature_cols].values y df[load].values # 对特征和标签分别做归一化 scaler_X MinMaxScaler() scaler_y MinMaxScaler() X_scaled scaler_X.fit_transform(X) y_scaled scaler_y.fit_transform(y.reshape(-1, 1))注意标签也要归一化因为 BP 网络的输出层激活函数通常用 sigmoid 或 tanh的输出范围是有限的不归一化的标签会让输出层永远无法逼近目标值。后面的预测结果要通过scaler_y.inverse_transform还原成实际的兆瓦数。这一步是新手最容易漏掉的漏掉之后预测曲线会几乎变成一条平线。3. BP 网络结构怎么定从隐层节点到学习率的调参顺序BP 网络解决负荷预测的基本原理是用多个全连接层把输入特征映射到输出值误差通过反向传播逐层调整权重。理论依据是万能逼近定理一个包含足够多隐层节点的三层网络可以逼近任意连续函数。但「足够多」是多少这恰恰是工程里最微妙的问题。3.1 先看 bp 神经网络结构图输入、隐层、输出怎么连一个典型的 BP 负荷预测网络结构图是输入层接 6~10 个特征节点中间一个隐层接 8~20 个节点输出层接 1 个节点预测值。如果你要一次预测多个时刻比如一次预测未来 4 个 15 分钟点输出层就改为 4 个节点。隐层节点的选择有个经验公式h sqrt(m n) a其中m是输入节点数n是输出节点数a取 1~10 之间的整数。这个公式只能给出一个初始范围真正合适的值要靠实验确定。在 Python 里用 scikit-learn 的 MLPRegressor 就能快速搭出这个结构。hidden_layer_sizes(12,)表示一个隐层 12 个节点(12, 8)表示两个隐层分别是 12 和 8 个节点。对城市负荷预测这类中等问题一个隐层通常就够用两个隐层适合特征间存在强非线性交互的情况——比如你要同时考虑温度、湿度、工作日和滞后负荷。3.2 激活函数与训练算法三个必调的参数激活函数选什么直接影响收敛速度。负荷预测任务里隐层用 ReLU 或 tanh 都可以ReLU 收敛快但偶尔会死亡tanh 稳定但稍慢。输出层建议不加激活函数即 linear因为负荷预测是回归任务输出层加 sigmoid 或 tanh 会把预测值限制在一个很窄的区间内导致峰谷值永远预测不到位。训练算法方面MLPRegressor 默认的adam适合大多数情况但数据量小的时候几千个样本lbfgs收敛更快且结果更稳定。我在实践中发现用lbfgs配合max_iter2000在负荷数据上通常能在几十次迭代内收敛而adam需要把max_iter调得更大。学习率方面常量学习率推荐从 0.001 起步如果损失函数震荡不下降就降到 0.0001。参数推荐范围影响调参建议hidden_layer_sizes(8,) 到 (20,)网络容量从小往大试看测试误差先降后升activationrelu / tanh收敛速度先用 relu不收敛换 tanhsolverlbfgs / adam优化效果小数据用 lbfgs大数据用 adamalpha0.0001 ~ 0.01正则化强度过拟合时增大欠拟合时减小learning_rate_init0.0001 ~ 0.01收敛速度损失震荡就调小3.3 数据划分时序数据不能随机打乱训练集、验证集、测试集的划分在时序预测里和普通分类任务有本质区别。分类任务可以随机打乱数据时序预测绝对不能——你要预测的是未来而把未来的数据混进训练集等于考试时提前抄到了答案测试指标会好看得离谱上线部署后立刻翻车。正确的做法是按时间顺序切分前 80% 的数据做训练集中间 10% 做验证集用于早停最后 10% 做测试集。验证集的作用是监控训练过程中是否过拟合当验证集误差开始上升时停止训练。MLPRegressor 的validation_fraction0.1参数会自动从训练集尾部切出一段做验证加上early_stoppingTrue。注意sklearn 的train_test_split默认会随机打乱数据直接用在时序数据上是错误的。要么设shuffleFalse要么干脆手动按索引切分。4. 跑通训练与预测代码完整脚本与评估指标标题里说的「代码完整数据齐全」落到实操上就是拿到数据后能用一段脚本完成「数据读取 → 特征构造 → 训练 → 预测 → 评估」的全流程。下面这个脚本就是最小可用的 BP 负荷预测实现我常用它在一分钟之内验证一组新数据的可预测性。4.1 快速跑通的 bp 神经网络 python 代码import pandas as pd import numpy as np from sklearn.neural_network import MLPRegressor from sklearn.preprocessing import MinMaxScaler from sklearn.metrics import mean_absolute_percentage_error import joblib # 1. 数据加载与预处理 df pd.read_csv(load_data.csv, parse_dates[time]) df df.set_index(time).resample(15min).interpolate() # 2. 特征工程小时、星期、滞后负荷 df[hour] df.index.hour df[weekday] df.index.weekday for lag in [1, 2, 3, 4]: df[flag_{lag}] df[load].shift(lag) df df.dropna() # 3. 特征与标签 features [hour, weekday, lag_1, lag_2, lag_3, lag_4] X df[features].values y df[load].values # 4. 按时间顺序切分前 80% 训练后 20% 测试 split int(len(X) * 0.8) X_train, X_test X[:split], X[split:] y_train, y_test y[:split], y[split:] # 5. 归一化 scaler_X MinMaxScaler() scaler_y MinMaxScaler() X_train scaler_X.fit_transform(X_train) X_test scaler_X.transform(X_test) y_train scaler_y.fit_transform(y_train.reshape(-1, 1)).ravel() y_test_scaled scaler_y.transform(y_test.reshape(-1, 1)).ravel() # 6. 训练 BP 网络 model MLPRegressor( hidden_layer_sizes(12,), activationrelu, solverlbfgs, max_iter2000, early_stoppingTrue, validation_fraction0.1, random_state42 ) model.fit(X_train, y_train) # 7. 预测并还原 y_pred_scaled model.predict(X_test) y_pred scaler_y.inverse_transform(y_pred_scaled.reshape(-1, 1)).ravel() # 8. 评估 mape mean_absolute_percentage_error(y_test, y_pred) * 100 print(f测试集 MAPE: {mape:.2f}%)这段脚本的核心逻辑在前 5 步数据读取后重采样补缺失构造小时和星期特征再加 4 个滞后负荷特征组成 6 维输入。第 4 步的时间顺序切分是时序预测的红线第 5 步归一化时只对训练集fit测试集只transform——这是避免数据泄漏的关键。参数方面hidden_layer_sizes(12,)是单隐层 12 个节点对 6 维输入来说是一个平衡点。solverlbfgs在这个样本量下比adam收敛快很多但如果你的数据量超过几万条建议换回adam。validation_fraction0.1配合early_stoppingTrue会自动从训练集尾部切 10% 做早停判断。运行结束后MAPE 在 2%~5% 之间是正常水平超过 8% 就要检查数据预处理是否出了问题。4.2 评估指标为什么 MAPE 是负荷预测的第一指标负荷预测领域最常用的评估指标是 MAPE平均绝对百分比误差因为它直观反应预测偏差相对于真实负荷的百分比。电网调度人员关心的是「预测偏了百分之多少」而不是绝对的兆瓦数——一个 3000 兆瓦的系统预测偏 50 兆瓦只算小事一个 300 兆瓦的配电网偏 50 兆瓦就是严重偏差。RMSE 也有参考价值它对大误差更敏感能暴露出模型在尖峰时刻的系统性偏差但汇报时以 MAPE 为主。from sklearn.metrics import mean_squared_error, r2_score rmse np.sqrt(mean_squared_error(y_test, y_pred)) r2 r2_score(y_test, y_pred) print(fRMSE: {rmse:.2f} MW, R2: {r2:.4f})R2 达到 0.95 以上说明模型解释了大部分负荷波动但注意 R2 对时序数据很容易虚高——因为负荷本身就有强周期性一个「昨天此时段的负荷」的朴素预测也能拿到很高的 R2。所以我不建议单独看 R2要结合 MAPE 和 RMSE 一起判断。另外要记录预测误差在一天内的分布这个信息比单点指标更值钱。4.3 从 sklearn 到手写反向传播看懂 BP 的本质用 MLPRegressor 能快速得到结果但它是个黑盒子。如果你想调网络结构、改进损失函数、或者把模型部署到不含 sklearn 的环境里手写一个简化版 BP 是有价值的。下面是一个单隐层 BP 网络的前向传播和反向传播核心代码去掉了 batch 处理细节只保留梯度更新的骨架。import numpy as np def sigmoid(x): return 1 / (1 np.exp(-x)) class SimpleBP: def __init__(self, n_input, n_hidden, n_output, lr0.01): # 初始化权重和偏置 self.W1 np.random.randn(n_input, n_hidden) * 0.1 self.b1 np.zeros((1, n_hidden)) self.W2 np.random.randn(n_hidden, n_output) * 0.1 self.b2 np.zeros((1, n_output)) self.lr lr def forward(self, X): # 前向传播 self.z1 np.dot(X, self.W1) self.b1 self.a1 sigmoid(self.z1) self.z2 np.dot(self.a1, self.W2) self.b2 return self.z2 # 输出层线性激活 def backward(self, X, y, output): m X.shape[0] # 输出层误差 delta2 (output - y) / m # 隐层误差 delta1 np.dot(delta2, self.W2.T) * self.a1 * (1 - self.a1) # 梯度更新 self.W2 - self.lr * np.dot(self.a1.T, delta2) self.b2 - self.lr * np.dot(np.ones((1, m)), delta2) self.W1 - self.lr * np.dot(X.T, delta1) self.b1 - self.lr * np.dot(np.ones((1, m)), delta1)这段代码展示了 BP 的本质前向传播算输出反向传播算每层的误差梯度然后用梯度下降更新权重。delta2是输出层的误差项delta1通过W2的转置把误差回传到隐层再乘上a1 * (1 - a1)是 sigmoid 的导数。权重初始化用 0.1 倍的标准正态分布不能全为 0否则隐层节点会对称更新所有节点学到同样的特征。学习率lr是这段代码里唯一需要手动调的超参数大了发散小了收敛慢——这也是 BP 网络最原始、最真实的调参感受。5. 避坑BP 负荷预测最常见的 5 个翻车现场这个项目在课程设计和工程落地里踩过的坑翻来覆去就那么几个。每一个我都见过至少三次写在这里帮你省掉重复试错的时间。5.1 归一化泄漏测试集用了全样本的统计量现象训练时 MAPE 很低测试时也低得离谱但把模型部署到新数据上预测误差飙升。 原因对全部数据包括测试集一起做了fit_transform归一化的最小值和最大值里包含了未来的信息。这等于让模型在训练时就「看见了」测试集的范围。 解决只用训练集做fit再用训练好的 scaler 对测试集和线上新做transform。代码见 4.1 节第 5 步。5.2 提前打乱数据时间序列被 shuffle现象测试集 MAPE 只有 1% 左右你觉得自己已经超越了绝大多数论文但换一段新时间的数据就完全失灵。 原因数据被随机打乱后训练集里混进了测试集时间段的样本模型学到的是「查到答案」而不是「预测规律」。 解决按时间顺序切分数据。稳妥的做法是训练集用前 80%测试集用最后 20%中间接一段验证集做早停。永远不要对时序数据用默认的train_test_split。5.3 节假日预测整体飘偏BP 学不会「突然的变化」现象工作日的预测误差在 3% 以内一到国庆、春节预测值比实际值高出 10% 以上。 原因负荷的节假日特征在全年数据里占比太少一年只有 11 天法定节假日BP 网络在训练时把这些样本当成噪声忽略了。模型学到的规律是「工作日高、周末低」遇到节假日这种「工作日和周末的混合体」就不知所措。 解决最有效的方法是把节假日标记作为一维特征输入节假日当天设为 1平时为 0节假日前一天和后一天也单独标记。如果节假日预测是核心需求单独用节假日数据训练一个专用模型效果比混合模型好得多。另外节假日负荷只占全年数据的 3%即使预测误差大对全年 MAPE 的拖累也很小——这也是别只看整体 MAPE要分时段看误差的原因。5.4 隐层节点过多训练误差好看测试误差失控现象训练集 MAPE 降到 0.5%测试集 MAPE 却有 7%。训练和测试的误差差距非常大。 原因隐层节点太多网络把训练数据里的噪声也记住了泛化能力差。BP 网络参数多到一定程度就有能力「背下」训练集的所有细节但这毫无意义。 解决从hidden_layer_sizes(8,)开始逐次增加节点数到 16 或 20观察测试误差的先降后升曲线取转折点。同时开启early_stopping和alpha0.001的正则化两者结合能有效压制过拟合。5.5 预测曲线比真实曲线「平滑」峰值永远差一口气现象预测曲线的大形走势都对但早高峰和晚高峰的峰值明显偏低夜间低谷偏不到底。整体像被抹平了。 原因一个原因是归一化后标签值域接近 sigmoid 的饱和区梯度太小峰值附近的权重学不动另一个原因是输入特征里缺少温度等气象数据而城市负荷的峰值往往由空调负荷主导温度信息的缺失让模型只能学习周期性规律学不到峰值变化的驱动因素。 解决检查输出层是否用了线性激活是的话排除第一个原因再确认特征里有没有温度、湿度。温度对夏季负荷的影响有滞后性——连续三天高温后空调负荷会累积当天温度反而不是最相关的特征。可以试试把前 1~3 天的平均温度作为额外的输入特征。6. 把模型用起来的进阶技巧滚动预测、多步外推与模型更新策略前面所有步骤都是在做「单步预测」用前 1 小时的 4 个点预测下 15 分钟。但在实际调度场景里你需要的是未来 2 小时、4 小时甚至第二天的负荷曲线。这里就涉及滚动预测和多步外推的问题。滚动预测是指在 t 时刻预测出 t1然后把这个预测值当作已知输入继续预测 t2依次类推。代码上就是把lag_1的值替换成上一轮的预测值def rolling_predict(model, scaler_X, scaler_y, last_window, steps): preds [] current last_window.copy() for _ in range(steps): # current 是归一化后的窗口特征 next_scaled model.predict(current.reshape(1, -1)) preds.append(next_scaled[0]) # 滑动窗口丢掉第一个滞后特征接入预测值 current np.roll(current, -1) current[-1] next_scaled[0] return scaler_y.inverse_transform(np.array(preds).reshape(-1, 1)).ravel()滚动预测的坑在于误差累积——第一步的小偏差会进入下一步的输入偏差会被逐级放大。预测步数越多后面的误差越大。缓解方法有两个一是每预测 1~2 步就用新的真实负荷数据校准一次这就是调度系统里常见的滚动更新二是不要预测太远4 步1 小时以内的滚动预测误差控制在可接受范围内超过这个范围建议改用别的模型或者分时段建模。模型更新策略上我的习惯是每周重训一次模型保留最近三个月的训练数据。因为城市负荷的模式会随季节缓慢变化——夏季的晚高峰出现在 21 点前后冬季的晚高峰在 18 点附近这种变化是 BP 网络的静态权重无法自动适应的。每周重训能保证模型始终贴合最近的负荷形态代价只是几分钟的训练时间收益是长期稳定的预测精度。最后说一个我踩过的教训最早我做这类项目时把大量精力花在调网络结构上隐层节点从 8 试到 64激活函数换了一轮MAPE 也就是从 5% 降到 4.5%。后来我把温度特征加进模型再区分节假日标记MAPE 直接降到了 3.2%。数据特征的意义远大于网络结构的微调这个顺序千万别搞反。希望帮到你。本文还有配套的精品资源点击获取
简介基于MATLAB实现的BP神经网络城市电网负荷预测项目面向电力系统、自动化及相关专业的本科及以上学习者可用于课程设计、毕业设计或负荷预测算法的快速验证从数据导入、网络训练到结果评估均有完整实现。资源共11个文件主要包含4个.m脚本主程序与评估代码、2个.mat数据文件、1个.xlsx原始数据表以及4个.png结果图压缩包仅585KB轻量易部署。脚本涵盖MSE、RMSE、MBE、MAE及R²等误差指标计算并输出训练集与测试集的预测对比图代码注释完整、数据结构清晰方便读者理解BP网络建模流程并结合实际数据改进网络结构或训练参数。目前已有172人学习下载适合需要快速上手负荷预测建模的在校学生与工程师参考使用。1. 城市电网负荷预测为什么 BP 神经网络仍是值得做的入门方案电网调度员每天最头疼的事就是明天的负荷高峰出现在几点、峰值能到多少。城市电网负荷预测这件事本质上是一个时间序列回归问题——用过去一段时间的负荷和气象数据推出下一个时段的负荷值。BP 神经网络在这个问题上已经被验证了二十年虽然现在 LSTM、Transformer 很热闹但 BP 网络结构简单、收敛可控、在中小规模数据上表现稳定仍然是新手入门负荷预测、以及快速搭建一个可用基线方案的最短路径。这套「基于 BP 神经网络的城市电网负荷预测」方案解决的是两个具体问题一是把历史负荷数据变成可训练的数据集二是通过一个三到四层的全连接网络拟合出负荷的变化规律。它适合谁适合手里有城市或区域负荷历史数据、想先跑通一个完整预测流程的工程师和学生。数据量不需要很大一到两年的日负荷记录就够这也是这类项目在课程设计和工程预研里反复出现的原因。接下来我会从数据处理开始把网络结构、代码实现、参数调优和常见翻车点完整讲一遍。2. 先处理数据再做预测负荷数据的四个预处理步骤城市电网负荷数据有一个很鲜明的特点周期性极强但干扰因素也多。一个典型的工作日负荷曲线会呈现出早高峰和晚高峰两个波峰中午和夜间是低谷周末的峰值会整体下移夏季高温和冬季寒潮会让负荷整体抬高。这些规律既是 BP 网络能学到的「信号」也是数据预处理必须保留的「结构」。拿到「数据齐全」的项目包后第一步不是急着建网络而是先检查数据到底齐到什么程度。2.1 时间列与负荷列先统一格式再补缺失值多数负荷数据是以 CSV 格式存储的常见的样子是两列一列是时间戳15 分钟一个点或一小时一个点一列是该时刻的系统总负荷。也有一些数据会把温度、湿度、星期几单独拆成列。第一步是把时间列解析成标准格式并检查有没有缺失的时间点。这里有一个容易忽略的问题电力系统采集终端偶尔会漏传数据导致某一天少了几个点但 CSV 文件里不会留空行而是直接跳过了这个时刻。import pandas as pd import numpy as np # 读取原始负荷数据 df pd.read_csv(load_data.csv, parse_dates[time]) # 按固定频率重采样缺失的时段会自动补成 NaN df df.set_index(time).resample(15min).asfreq() # 线性插值填补缺失值 df[load] df[load].interpolate(methodlinear) # 一天有 96 个 15 分钟点检查一下每天的数据量 daily_count df.resample(1D).count() print(daily_count[daily_count[load] 96])这段代码做了三件事把时间列设为索引按 15 分钟频率重采样然后做线性插值。重采样是关键——它把「缺失但未被记录」的时间点暴露出来插值则补齐这些坑。注意interpolate默认按时间索引的间隔来算适合负荷这种变化平缓的序列。如果缺失段太长比如连续缺了 3 个小时以上线性插值就不靠谱了需要用前一天同时刻的值来补这是一个常见的数据补齐策略。提示不要用全局均值去填缺失值那会直接抹平负荷的日周期特征后面模型怎么训练都学不出早高峰和晚高峰。2.2 异常值识别负荷不会瞬间跳变城市负荷有个物理约束在分钟级尺度上负荷变化是连续的不会出现「前一刻 500 兆瓦下一刻跳到 900 兆瓦」的跳变。所以识别异常值最简单有效的方法是计算相邻两个时间点的差值找到变化率超过合理阈值的点。另一种做法是用滚动窗口的标准差判定但容易误伤真正的峰谷点。# 计算相邻点差值 diff df[load].diff() # 超过 150 兆瓦的跳变视为异常用前后时刻均值替换 threshold 150 anomaly_idx diff.abs() threshold df.loc[anomaly_idx, load] ( df[load].shift(1) df[load].shift(-1) ) / 2阈值怎么设看数据本身的量级和采样频率。15 分钟采样下城市级负荷变化率一般不超过总量的 3%~5%如果数据总量均值在 3000 兆瓦左右150 兆瓦的阈值是合理的。这里替换异常值的逻辑是取前后两个正常时刻的平均比用插值更稳因为异常点往往只有一个孤立点被污染。2.3 构造输入特征BP 网络不能直接吃时间戳BP 神经网络输入的是数值向量没法直接理解「2024 年 7 月 15 日 14:30」这种时间戳。常见做法是把时间和气象信息拆成多个数值特征。核心特征有三类历史负荷序列、时间属性小时、星期几、气象因子温度、湿度。这些特征需要拼成一个二维矩阵每一行是一个样本每一列是一个特征。# 构造时间特征 df[hour] df.index.hour df[weekday] df.index.weekday # 构造滞后负荷特征用前 4 个时刻的负荷预测当前值 for lag in [1, 2, 3, 4]: df[fload_lag_{lag}] df[load].shift(lag) # 删除前 4 行的 NaN df df.dropna()这里选滞后 4 个点对应的是过去 1 小时的负荷。为什么是 1 小时而不是更长因为负荷的短时惯性主要集中在半小时到一小时之间太短的滞后1 个点信息量不足太长的滞后比如滞后 96 个点即前一天同时刻会让输入维度膨胀训练时间变长而收益不大。如果你要预测的是未来 1 小时的负荷把滞后窗口设为 4~8 个点是最常用的区间。2.4 归一化不同量纲的特征必须缩放到同一尺度负荷的数值可能是几千兆瓦温度是几十摄氏度星期几是 0~6 的整数。这些量纲差异很大的特征直接喂给 BP 网络会导致权重更新被大数值特征主导小数值特征完全学不到东西。归一化是所有神经网络训练的必做步骤这里用的是 min-max 归一化把数据缩放到 0~1 之间。from sklearn.preprocessing import MinMaxScaler # 选取特征列和标签列 feature_cols [hour, weekday, load_lag_1, load_lag_2, load_lag_3, load_lag_4] X df[feature_cols].values y df[load].values # 对特征和标签分别做归一化 scaler_X MinMaxScaler() scaler_y MinMaxScaler() X_scaled scaler_X.fit_transform(X) y_scaled scaler_y.fit_transform(y.reshape(-1, 1))注意标签也要归一化因为 BP 网络的输出层激活函数通常用 sigmoid 或 tanh的输出范围是有限的不归一化的标签会让输出层永远无法逼近目标值。后面的预测结果要通过scaler_y.inverse_transform还原成实际的兆瓦数。这一步是新手最容易漏掉的漏掉之后预测曲线会几乎变成一条平线。3. BP 网络结构怎么定从隐层节点到学习率的调参顺序BP 网络解决负荷预测的基本原理是用多个全连接层把输入特征映射到输出值误差通过反向传播逐层调整权重。理论依据是万能逼近定理一个包含足够多隐层节点的三层网络可以逼近任意连续函数。但「足够多」是多少这恰恰是工程里最微妙的问题。3.1 先看 bp 神经网络结构图输入、隐层、输出怎么连一个典型的 BP 负荷预测网络结构图是输入层接 6~10 个特征节点中间一个隐层接 8~20 个节点输出层接 1 个节点预测值。如果你要一次预测多个时刻比如一次预测未来 4 个 15 分钟点输出层就改为 4 个节点。隐层节点的选择有个经验公式h sqrt(m n) a其中m是输入节点数n是输出节点数a取 1~10 之间的整数。这个公式只能给出一个初始范围真正合适的值要靠实验确定。在 Python 里用 scikit-learn 的 MLPRegressor 就能快速搭出这个结构。hidden_layer_sizes(12,)表示一个隐层 12 个节点(12, 8)表示两个隐层分别是 12 和 8 个节点。对城市负荷预测这类中等问题一个隐层通常就够用两个隐层适合特征间存在强非线性交互的情况——比如你要同时考虑温度、湿度、工作日和滞后负荷。3.2 激活函数与训练算法三个必调的参数激活函数选什么直接影响收敛速度。负荷预测任务里隐层用 ReLU 或 tanh 都可以ReLU 收敛快但偶尔会死亡tanh 稳定但稍慢。输出层建议不加激活函数即 linear因为负荷预测是回归任务输出层加 sigmoid 或 tanh 会把预测值限制在一个很窄的区间内导致峰谷值永远预测不到位。训练算法方面MLPRegressor 默认的adam适合大多数情况但数据量小的时候几千个样本lbfgs收敛更快且结果更稳定。我在实践中发现用lbfgs配合max_iter2000在负荷数据上通常能在几十次迭代内收敛而adam需要把max_iter调得更大。学习率方面常量学习率推荐从 0.001 起步如果损失函数震荡不下降就降到 0.0001。参数推荐范围影响调参建议hidden_layer_sizes(8,) 到 (20,)网络容量从小往大试看测试误差先降后升activationrelu / tanh收敛速度先用 relu不收敛换 tanhsolverlbfgs / adam优化效果小数据用 lbfgs大数据用 adamalpha0.0001 ~ 0.01正则化强度过拟合时增大欠拟合时减小learning_rate_init0.0001 ~ 0.01收敛速度损失震荡就调小3.3 数据划分时序数据不能随机打乱训练集、验证集、测试集的划分在时序预测里和普通分类任务有本质区别。分类任务可以随机打乱数据时序预测绝对不能——你要预测的是未来而把未来的数据混进训练集等于考试时提前抄到了答案测试指标会好看得离谱上线部署后立刻翻车。正确的做法是按时间顺序切分前 80% 的数据做训练集中间 10% 做验证集用于早停最后 10% 做测试集。验证集的作用是监控训练过程中是否过拟合当验证集误差开始上升时停止训练。MLPRegressor 的validation_fraction0.1参数会自动从训练集尾部切出一段做验证加上early_stoppingTrue。注意sklearn 的train_test_split默认会随机打乱数据直接用在时序数据上是错误的。要么设shuffleFalse要么干脆手动按索引切分。4. 跑通训练与预测代码完整脚本与评估指标标题里说的「代码完整数据齐全」落到实操上就是拿到数据后能用一段脚本完成「数据读取 → 特征构造 → 训练 → 预测 → 评估」的全流程。下面这个脚本就是最小可用的 BP 负荷预测实现我常用它在一分钟之内验证一组新数据的可预测性。4.1 快速跑通的 bp 神经网络 python 代码import pandas as pd import numpy as np from sklearn.neural_network import MLPRegressor from sklearn.preprocessing import MinMaxScaler from sklearn.metrics import mean_absolute_percentage_error import joblib # 1. 数据加载与预处理 df pd.read_csv(load_data.csv, parse_dates[time]) df df.set_index(time).resample(15min).interpolate() # 2. 特征工程小时、星期、滞后负荷 df[hour] df.index.hour df[weekday] df.index.weekday for lag in [1, 2, 3, 4]: df[flag_{lag}] df[load].shift(lag) df df.dropna() # 3. 特征与标签 features [hour, weekday, lag_1, lag_2, lag_3, lag_4] X df[features].values y df[load].values # 4. 按时间顺序切分前 80% 训练后 20% 测试 split int(len(X) * 0.8) X_train, X_test X[:split], X[split:] y_train, y_test y[:split], y[split:] # 5. 归一化 scaler_X MinMaxScaler() scaler_y MinMaxScaler() X_train scaler_X.fit_transform(X_train) X_test scaler_X.transform(X_test) y_train scaler_y.fit_transform(y_train.reshape(-1, 1)).ravel() y_test_scaled scaler_y.transform(y_test.reshape(-1, 1)).ravel() # 6. 训练 BP 网络 model MLPRegressor( hidden_layer_sizes(12,), activationrelu, solverlbfgs, max_iter2000, early_stoppingTrue, validation_fraction0.1, random_state42 ) model.fit(X_train, y_train) # 7. 预测并还原 y_pred_scaled model.predict(X_test) y_pred scaler_y.inverse_transform(y_pred_scaled.reshape(-1, 1)).ravel() # 8. 评估 mape mean_absolute_percentage_error(y_test, y_pred) * 100 print(f测试集 MAPE: {mape:.2f}%)这段脚本的核心逻辑在前 5 步数据读取后重采样补缺失构造小时和星期特征再加 4 个滞后负荷特征组成 6 维输入。第 4 步的时间顺序切分是时序预测的红线第 5 步归一化时只对训练集fit测试集只transform——这是避免数据泄漏的关键。参数方面hidden_layer_sizes(12,)是单隐层 12 个节点对 6 维输入来说是一个平衡点。solverlbfgs在这个样本量下比adam收敛快很多但如果你的数据量超过几万条建议换回adam。validation_fraction0.1配合early_stoppingTrue会自动从训练集尾部切 10% 做早停判断。运行结束后MAPE 在 2%~5% 之间是正常水平超过 8% 就要检查数据预处理是否出了问题。4.2 评估指标为什么 MAPE 是负荷预测的第一指标负荷预测领域最常用的评估指标是 MAPE平均绝对百分比误差因为它直观反应预测偏差相对于真实负荷的百分比。电网调度人员关心的是「预测偏了百分之多少」而不是绝对的兆瓦数——一个 3000 兆瓦的系统预测偏 50 兆瓦只算小事一个 300 兆瓦的配电网偏 50 兆瓦就是严重偏差。RMSE 也有参考价值它对大误差更敏感能暴露出模型在尖峰时刻的系统性偏差但汇报时以 MAPE 为主。from sklearn.metrics import mean_squared_error, r2_score rmse np.sqrt(mean_squared_error(y_test, y_pred)) r2 r2_score(y_test, y_pred) print(fRMSE: {rmse:.2f} MW, R2: {r2:.4f})R2 达到 0.95 以上说明模型解释了大部分负荷波动但注意 R2 对时序数据很容易虚高——因为负荷本身就有强周期性一个「昨天此时段的负荷」的朴素预测也能拿到很高的 R2。所以我不建议单独看 R2要结合 MAPE 和 RMSE 一起判断。另外要记录预测误差在一天内的分布这个信息比单点指标更值钱。4.3 从 sklearn 到手写反向传播看懂 BP 的本质用 MLPRegressor 能快速得到结果但它是个黑盒子。如果你想调网络结构、改进损失函数、或者把模型部署到不含 sklearn 的环境里手写一个简化版 BP 是有价值的。下面是一个单隐层 BP 网络的前向传播和反向传播核心代码去掉了 batch 处理细节只保留梯度更新的骨架。import numpy as np def sigmoid(x): return 1 / (1 np.exp(-x)) class SimpleBP: def __init__(self, n_input, n_hidden, n_output, lr0.01): # 初始化权重和偏置 self.W1 np.random.randn(n_input, n_hidden) * 0.1 self.b1 np.zeros((1, n_hidden)) self.W2 np.random.randn(n_hidden, n_output) * 0.1 self.b2 np.zeros((1, n_output)) self.lr lr def forward(self, X): # 前向传播 self.z1 np.dot(X, self.W1) self.b1 self.a1 sigmoid(self.z1) self.z2 np.dot(self.a1, self.W2) self.b2 return self.z2 # 输出层线性激活 def backward(self, X, y, output): m X.shape[0] # 输出层误差 delta2 (output - y) / m # 隐层误差 delta1 np.dot(delta2, self.W2.T) * self.a1 * (1 - self.a1) # 梯度更新 self.W2 - self.lr * np.dot(self.a1.T, delta2) self.b2 - self.lr * np.dot(np.ones((1, m)), delta2) self.W1 - self.lr * np.dot(X.T, delta1) self.b1 - self.lr * np.dot(np.ones((1, m)), delta1)这段代码展示了 BP 的本质前向传播算输出反向传播算每层的误差梯度然后用梯度下降更新权重。delta2是输出层的误差项delta1通过W2的转置把误差回传到隐层再乘上a1 * (1 - a1)是 sigmoid 的导数。权重初始化用 0.1 倍的标准正态分布不能全为 0否则隐层节点会对称更新所有节点学到同样的特征。学习率lr是这段代码里唯一需要手动调的超参数大了发散小了收敛慢——这也是 BP 网络最原始、最真实的调参感受。5. 避坑BP 负荷预测最常见的 5 个翻车现场这个项目在课程设计和工程落地里踩过的坑翻来覆去就那么几个。每一个我都见过至少三次写在这里帮你省掉重复试错的时间。5.1 归一化泄漏测试集用了全样本的统计量现象训练时 MAPE 很低测试时也低得离谱但把模型部署到新数据上预测误差飙升。 原因对全部数据包括测试集一起做了fit_transform归一化的最小值和最大值里包含了未来的信息。这等于让模型在训练时就「看见了」测试集的范围。 解决只用训练集做fit再用训练好的 scaler 对测试集和线上新做transform。代码见 4.1 节第 5 步。5.2 提前打乱数据时间序列被 shuffle现象测试集 MAPE 只有 1% 左右你觉得自己已经超越了绝大多数论文但换一段新时间的数据就完全失灵。 原因数据被随机打乱后训练集里混进了测试集时间段的样本模型学到的是「查到答案」而不是「预测规律」。 解决按时间顺序切分数据。稳妥的做法是训练集用前 80%测试集用最后 20%中间接一段验证集做早停。永远不要对时序数据用默认的train_test_split。5.3 节假日预测整体飘偏BP 学不会「突然的变化」现象工作日的预测误差在 3% 以内一到国庆、春节预测值比实际值高出 10% 以上。 原因负荷的节假日特征在全年数据里占比太少一年只有 11 天法定节假日BP 网络在训练时把这些样本当成噪声忽略了。模型学到的规律是「工作日高、周末低」遇到节假日这种「工作日和周末的混合体」就不知所措。 解决最有效的方法是把节假日标记作为一维特征输入节假日当天设为 1平时为 0节假日前一天和后一天也单独标记。如果节假日预测是核心需求单独用节假日数据训练一个专用模型效果比混合模型好得多。另外节假日负荷只占全年数据的 3%即使预测误差大对全年 MAPE 的拖累也很小——这也是别只看整体 MAPE要分时段看误差的原因。5.4 隐层节点过多训练误差好看测试误差失控现象训练集 MAPE 降到 0.5%测试集 MAPE 却有 7%。训练和测试的误差差距非常大。 原因隐层节点太多网络把训练数据里的噪声也记住了泛化能力差。BP 网络参数多到一定程度就有能力「背下」训练集的所有细节但这毫无意义。 解决从hidden_layer_sizes(8,)开始逐次增加节点数到 16 或 20观察测试误差的先降后升曲线取转折点。同时开启early_stopping和alpha0.001的正则化两者结合能有效压制过拟合。5.5 预测曲线比真实曲线「平滑」峰值永远差一口气现象预测曲线的大形走势都对但早高峰和晚高峰的峰值明显偏低夜间低谷偏不到底。整体像被抹平了。 原因一个原因是归一化后标签值域接近 sigmoid 的饱和区梯度太小峰值附近的权重学不动另一个原因是输入特征里缺少温度等气象数据而城市负荷的峰值往往由空调负荷主导温度信息的缺失让模型只能学习周期性规律学不到峰值变化的驱动因素。 解决检查输出层是否用了线性激活是的话排除第一个原因再确认特征里有没有温度、湿度。温度对夏季负荷的影响有滞后性——连续三天高温后空调负荷会累积当天温度反而不是最相关的特征。可以试试把前 1~3 天的平均温度作为额外的输入特征。6. 把模型用起来的进阶技巧滚动预测、多步外推与模型更新策略前面所有步骤都是在做「单步预测」用前 1 小时的 4 个点预测下 15 分钟。但在实际调度场景里你需要的是未来 2 小时、4 小时甚至第二天的负荷曲线。这里就涉及滚动预测和多步外推的问题。滚动预测是指在 t 时刻预测出 t1然后把这个预测值当作已知输入继续预测 t2依次类推。代码上就是把lag_1的值替换成上一轮的预测值def rolling_predict(model, scaler_X, scaler_y, last_window, steps): preds [] current last_window.copy() for _ in range(steps): # current 是归一化后的窗口特征 next_scaled model.predict(current.reshape(1, -1)) preds.append(next_scaled[0]) # 滑动窗口丢掉第一个滞后特征接入预测值 current np.roll(current, -1) current[-1] next_scaled[0] return scaler_y.inverse_transform(np.array(preds).reshape(-1, 1)).ravel()滚动预测的坑在于误差累积——第一步的小偏差会进入下一步的输入偏差会被逐级放大。预测步数越多后面的误差越大。缓解方法有两个一是每预测 1~2 步就用新的真实负荷数据校准一次这就是调度系统里常见的滚动更新二是不要预测太远4 步1 小时以内的滚动预测误差控制在可接受范围内超过这个范围建议改用别的模型或者分时段建模。模型更新策略上我的习惯是每周重训一次模型保留最近三个月的训练数据。因为城市负荷的模式会随季节缓慢变化——夏季的晚高峰出现在 21 点前后冬季的晚高峰在 18 点附近这种变化是 BP 网络的静态权重无法自动适应的。每周重训能保证模型始终贴合最近的负荷形态代价只是几分钟的训练时间收益是长期稳定的预测精度。最后说一个我踩过的教训最早我做这类项目时把大量精力花在调网络结构上隐层节点从 8 试到 64激活函数换了一轮MAPE 也就是从 5% 降到 4.5%。后来我把温度特征加进模型再区分节假日标记MAPE 直接降到了 3.2%。数据特征的意义远大于网络结构的微调这个顺序千万别搞反。希望帮到你。本文还有配套的精品资源点击获取
