简介面向时间序列预测与深度学习入门进阶者提供一套基于VMD分解、Attention注意力机制与LSTM循环网络的完整预测方案。资源以Python源码、预训练模型、Excel/csv数据集和Word报告为核心共28个文件约5.25MB代码含详细注释并配备训练与预测脚本及说明文档。方案采用前30天数据预测第31天创新地将VMD分解后的五个特征作为每个时间步输入有效缓解数据压缩引发的过拟合问题模型包含两个128单元LSTM层、点积注意力层、展平层与全连接层并加入Dropout加强泛化能力。数据划分训练集840,30,15与测试集205,30,15目录结构清晰适合学习时序特征提取、注意力机制应用及模型调优。已有381人学习可作为课程设计、论文实验或工程落地的参考实现。1. 基于VMD-Attention-LSTM的时间序列预测先解决“滞后一拍”直接拿LSTM去拟合电力负荷、日径流或设备振动数据训练集误差往往收敛得很好但测试集上一画线就会发现预测曲线总是比真实曲线慢半拍峰谷位置整体右移。根源在于原始序列由趋势、周期和随机扰动混合而成网络被迫在一个非常不平坦的目标面上寻找映射内部状态同时被不同频率的信号拉扯。VMD-Attention-LSTM的处理思路是把预测链路拆成三段先用变分模态分解把原序列按中心频率拆成若干有限带宽的模态再对每个模态分别用带注意力机制的LSTM建模最后把所有模态的预测结果相加还原出最终预测值。原先需要同时拟合高频噪声和低频趋势的单一模型变成了多个只负责一类振荡规律的子模型注意力机制则负责在长历史序列里把真正有参考价值的时刻权重放大。这套流程在电力负荷、水文径流预测中通用下文按顺序展开并给出可运行的代码和调参思路。2. VMD分解的原理与基本流程从变分方法到第一批模态VMD的全称是变分模态分解是Dragomiretskiy和Zosso在2014年提出的信号分解方法。与EMD的递归筛分思路不同VMD把分解问题写成一个同时优化所有模态的约束变分问题。目标函数要求每个模态经过希尔伯特变换后得到单边频谱再通过指数项频移到基带用梯度平方的L2范数估计带宽并让所有模态的带宽总和最小。约束条件是分解后的所有模态相加恰好等于原始信号。这样一个多变量优化问题通过增广拉格朗日法转化为无约束问题再用交替方向乘子法ADMM反复迭代更新模态、中心频率和拉格朗日乘子最终得到一组围绕各自中心频率分布的窄带模态。每个模态在频域上相对独立这为后续按频率分量建立预测模型创造了条件。2.1 为什么选VMD而不是EMD模态混叠与端点效应EMD分解作为经验模态分解的代表在工程中应用已久但两个问题在预测场景中特别棘手。第一个是模态混叠。EMD依靠极值包络递归地筛选模态当原始信号里某个频率成分的能量过强时筛选过程会把不属于该频带的成分也带上导致同一个本征模态函数里既有高频振荡又有低频趋势。第二个是端点效应。EMD在信号两端需要外插极值包络而外插本身没有严格约束两端误差会逐层向内部传导。VMD则通过全局变分优化统一求解所有模态每个模态都被约束在一个窄带内模态之间的中心频率间隔更清晰混叠现象明显更轻。端点处的拟合由光滑约束自动控制不再依赖外插包络。因此在做时间序列预测前的预处理时倾向选择VMD而不是EMD。2.2 最小可运行的VMD分解代码与参数解释Python社区最常用的VMD实现是vmdpy包安装后用下面这段代码即可完成一次完整分解import numpy as np from vmdpy import VMD fs 10.0 t np.arange(0, 1000) / fs signal (1.2 * np.sin(2 * np.pi * 0.5 * t) 0.8 * np.sin(2 * np.pi * 2.0 * t) 0.5 * np.sin(2 * np.pi * 6.0 * t) 0.3 * np.random.randn(len(t))) alpha 2000 # 带宽惩罚因子越大模态带宽越窄 K 4 # 模态个数需要预先指定 tau 0.0 # 噪声容忍度0表示严格重构 DC 0 # 0表示不单独保留直流分量 init 1 # 中心频率初始化方式1为均匀初始化 tol 1e-7 # ADMM迭代停止阈值 u, u_hat, omega VMD(signal, alpha, tau, K, DC, init, tol) print(u.shape, omega.shape)代码里的alpha是控制每个模态带宽的惩罚因子取2000是常见起点alpha越大模态在频域上收得越窄细节保留能力下降alpha过小则模态带宽过宽容易在两个相邻频率间来回漂移。K是需要提前给出的模态个数取值是否合理直接影响结果质量。tau表示对噪声的容忍程度取0表示要求严格重构取非零值时允许原始信号中的一部分能量不参与分解。init控制中心频率的初始化方式1表示均匀分布在频带内0表示从随机值开始。tol控制迭代停止的阈值通常取1e-7到1e-8。提示不同渠道下载的vmdpy在函数签名上略有差异最稳妥的方式是先把VMD模块导入后执行help(VMD)核对参数顺序再传值。盲目照搬别人的调用方式最容易遇到的问题是参数顺序理解错误导致分解结果完全不可用但程序不报错。2.3 第一次分解后要检查什么重构误差与中心频率分解完成后不要急着建模先做两步检查。第一步是用u求和重建信号计算与原始信号的重构误差。重构误差如果明显偏离1e-6量级说明ADMM迭代没有满足约束优先检查tol是否设得太宽松以及tau是否被设置成非零。第二步是查看VMD返回的omega数组它记录的是每组模态的中心频率。如果两个相邻中心频率几乎重合说明K设置偏大出现过度分解如果最低频率模态的中心频率仍然明显高于原始序列的趋势变化频率说明K偏小低频趋势可能混入了其他模态。实际项目里我会把K从3到12各跑一遍记录中心频率间隔和重构误差再进入后续模型训练。VMD参数作用常用起点alpha带宽惩罚因子控制各模态频带宽度10003000K模态个数需要预先设定310结合中心频率检查tau噪声容忍度0为严格重构0或0.1init中心频率初始化方式0随机1均匀tolADMM迭代停止阈值1e-71e-83. Attention-LSTM在时间序列中的结构设计与代码实现LSTM在时间序列预测中常被当成一个黑箱输入一段历史窗口输出下一个或几个时间点的值。它通过输入门、遗忘门和输出门控制信息流动其中遗忘门的输入是上一个时刻的隐藏状态与当前时刻输入拼接后的向量经过sigmoid映射成0到1之间的比率决定上一时刻记忆单元中有多少信息被保留。理论上这种门控结构具备长程记忆能力但在处理较长历史窗口时最后一个输出的隐藏状态需要充当整个序列的摘要早期的重要模式很容易在此过程中被稀释。Attention-LSTM的做法是让模型除了持有最后一步状态还能回头对所有历史时间步的隐状态做加权汇总刚好弥补LSTM输出端的信息瓶颈。3.1 注意力要解决的是“最后一步不够用”的问题一个标准的LSTM序列模型通常只把最后一步的隐藏状态接全连接层作为输出。这在短序列上问题不大但窗口加长到几十步后最后时刻的隐状态是高度压缩的信息噪声和关键特征都被揉在一起。注意力机制的介入方式是保留LSTM每个时间步的隐状态为每个时间步计算一个权重然后按权重把全部隐状态加权求和得到一个包含全局信息的上下文向量。预测时使用的是这个上下文向量而非最后一步状态。这样一来不同时刻对预测目标的影响不再由LSTM内部的遗忘门单独决定而是直接以注意力的形式体现为可监督的权重模型训练时可以追溯到“它到底在关注历史中的哪一段”。3.2 一个通用Attention模块的PyTorch实现下面是一个精简的缩放点积注意力模块直接接在LSTM输出层之后使用import math import torch import torch.nn as nn class Attention(nn.Module): def __init__(self, hidden_dim, attn_dim64): super().__init__() self.W_q nn.Linear(hidden_dim, attn_dim, biasFalse) self.W_k nn.Linear(hidden_dim, attn_dim, biasFalse) self.W_v nn.Linear(hidden_dim, hidden_dim, biasFalse) self.softmax nn.Softmax(dim-1) def forward(self, lstm_out, queryNone): # lstm_out: (batch, seq_len, hidden_dim) if query is None: query lstm_out[:, -1:, :] q self.W_q(query) k self.W_k(lstm_out) v self.W_v(lstm_out) scores torch.matmul(q, k.transpose(-2, -1)) / math.sqrt(k.size(-1)) weights self.softmax(scores) context torch.matmul(weights, v).squeeze(1) return context, weights这段代码的关键在于query的来源。当query缺省时取LSTM最后一个时刻的隐状态作为查询条件此时模型要判断历史中哪几个时刻与最终时刻的语义最接近进而决定分配多少注意力。缩放因子math.sqrt(k.size(-1))用来防止点积数值过大导致softmax进入饱和区权重分布过于尖锐训练时梯度流动变差。W_v输出维度与hidden_dim一致保证加权后的上下文向量可以直接与LSTM输出拼接或替换不需要额外调整维度。如果只做单变量序列预测模型主体可以这样组装class AttentionLSTM(nn.Module): def __init__(self, input_dim, hidden_dim, num_layers, output_dim): super().__init__() self.lstm nn.LSTM(input_dim, hidden_dim, num_layers, batch_firstTrue) self.attn Attention(hidden_dim) self.fc nn.Linear(hidden_dim, output_dim) def forward(self, x): out, _ self.lstm(x) # out: (batch, seq, hidden) context, _ self.attn(out) # context: (batch, hidden) return self.fc(context)这里的input_dim是每条样本的特征数量。如果只使用历史值本身input_dim为1如果额外加入时刻、星期等特征则对应加宽。LSTM默认采用单向结构而不是双向原因是预测时不能拿未来数据做反向编码递推预测过程中也不存在完整序列可供双向网络使用。num_layers取1到2层足够叠加更多层会明显增加训练时间和过拟合风险。3.3 两种注意力接法在预测中的取舍在实际工程中注意力模块接在LSTM上的位置有两种常见做法。第一种是把所有时间步的隐状态做加权求和这种方法适合序列中存在多个有效历史模式的场景例如负荷预测中一周前同一天的数据可能和最近一天的数据同样重要。第二种是只把最后一步的隐状态作为query其他时间步作为key和value这种做法更适合预测起点与近期状态强相关的场景。二者的对比如下接法query来源特征提取倾向适用场景对全部隐状态加权可学习的固定query全局历史信息周期性强的数据如24小时负荷最后一步隐状态做queryLSTM最后一个输出与近期状态相关的历史依赖最近状态的径流、设备趋势选择哪种接法没有绝对标准通常以验证集误差为准。特别要注意的是在样本量只有几千条的项目里把注意力维度attn_dim设得过大并不会带来收益反而会把权重训练成近似均匀分布相当于退化为简单平均池化。attn_dim取64或128即可与hidden_dim保持在同一量级。4. 完整跑通VMD-Attention-LSTM滑窗、训练、递推预测与重构前面两章分别解决了“把信号拆开”和“把LSTM输出变强”两个问题这一章把它们串成一条可复现的流水线。流程顺序是先对原始序列做归一化和VMD分解然后把每个模态分别切成训练集、验证集和测试集用Attention-LSTM逐个训练最后对每个模态做递推预测并反归一化把多模态预测结果相加。4.1 数据准备每个模态单独构造滑窗样本时间序列预测的数据划分不能像分类任务那样随机打乱必须严格按时间顺序切分避免未来信息泄漏。先用80%的数据训练模型再在剩余部分里切出约10%作为验证集最后10%作为测试集。对每个模态分别生成滑窗样本窗口长度需要覆盖数据的最小周期。电力负荷数据常用24或48作为窗口长度对齐一天或两天内的变化规律水文径流数据则以周为单位取窗口。生成滑窗样本的函数可以这样写def make_windows(series, window24, horizon1): X, y [], [] for i in range(len(series) - window - horizon 1): X.append(series[i : i window]) y.append(series[i window : i window horizon]) return np.array(X, dtypenp.float32).reshape(-1, window, 1), \ np.array(y, dtypenp.float32).reshape(-1, horizon)注意这里X的最后一维设置为1对应输入特征数为1。如果数据中还有节假日、温度等其他外部特征需要在构建窗口时把这些特征按时间步对齐拼接到最后一个维度上。返回的y形状是(batch, horizon)当horizon大于1时模型输出层也要相应调整输出维度。4.2 训练主循环损失、梯度裁剪与早停每个模态的样本量往往只剩原始序列的80%参数量过大的模型容易过拟合。训练时采用Adam优化器作为默认选择初始学习率设为1e-3每10个epoch乘以0.5递减。损失函数使用MSE因为预测值连续且误差服从近似正态分布MSE对离群点的惩罚比MAE更重能推动模型缩小峰值误差。每批样本经过前向计算后记录验证集损失连续15个epoch没有下降就恢复最佳权重并停止训练。训练一个epoch的核心逻辑如下def train_one_epoch(model, loader, optimizer, loss_fn, device): model.train() total_loss 0.0 for x, y in loader: x, y x.to(device), y.to(device) optimizer.zero_grad() pred model(x) loss loss_fn(pred, y) loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0) optimizer.step() total_loss loss.item() * x.size(0) return total_loss / len(loader.dataset)梯度裁剪是LSTM训练中的一项重要保护措施梯度范数超过1.0时会被统一缩放到1.0避免RNN结构在反向传播过程中出现梯度爆炸。训练初期如果发现loss下降很慢先检查数据归一化而不是调学习率每个模态的均值和方差差异很大需要在分解完成后分别统计各自的归一化参数不能沿用原始序列的mean和std。训练超参数可以参考下表超参数建议起点说明window2448覆盖最小周期hidden_dim32128与样本量匹配样本量小取下限num_layers12过深容易过拟合batch_size64256按显存调节learning_rate1e-3每10轮减半后期控制在1e-4附近clip_grad_norm1.0防止梯度爆炸4.3 多步预测与多模态重构误差累积的规避方式预测阶段如果把整段测试集一次性输入模型得到的只是单步预测结果不能体现真实线上使用时的递推过程。常见做法是滚动窗口预测每次只预测下一个时间点然后把预测值补到窗口末尾丢掉最旧的一个点再输入模型得到下一步预测。滚动窗口会引入误差累积效应预测步数越多误差放大越明显因此必须用这种方法评估真实性能。def recursive_forecast(model, init_window, steps, device): model.eval() window init_window.copy() preds [] with torch.no_grad(): for _ in range(steps): x torch.tensor(window, dtypetorch.float32, devicedevice).unsqueeze(0) pred model(x).squeeze().item() preds.append(pred) window np.roll(window, -1) window[-1] pred return np.array(preds)函数里的window在每一轮预测后整体前移并用预测值填充末尾的缺失位置模拟在线预测时拿不到真实值的情况。到这里得到的是某一个模态在归一化空间中的预测结果要先用该模态自己的scaler做逆变换再与其他模态相加得到最终预测序列。注意逆变换和相加的顺序不能反过来。先对各模态预测值做逆归一化再求和若先求和再逆变换各模态的尺度信息被混在一起重构结果必然出错。5. VMD分解参数怎么调K值与alpha的配合规律与快速验证技巧到了最后VMD-Attention-LSTM整条链路已经能跑通剩下的问题通常是预测效果不理想时该先改哪里。多数情况下问题不在LSTM而在分解参数选择。K偏大的典型现象是中心频率表中出现两两非常接近的模态分解结果里出现两个波形几乎重合的分量K偏小的现象则是最低频模态的包络还明显跟随原序列的趋势。alpha的规律与K相反alpha偏大时各模态频带过窄分解结果丢失原始信号中的细节alpha偏小时各模态频带加宽出现交叉覆盖。观察这几个现象比单纯看训练loss更能定位问题。可以用下面这段小脚本快速检查中心频率间距def check_center_freqs(u_list, fs): K u_list.shape[0] peaks [] for k in range(K): spec np.abs(np.fft.rfft(u_list[k])) freqs np.fft.rfftfreq(u_list[k].size, d1/fs) peaks.append(freqs[np.argmax(spec)]) peaks np.array(peaks) diffs np.diff(peaks) return peaks, diffs如果diffs的最小值小于最大间隔的10%优先降低K如果所有diffs都很大但最低中心频率仍然偏高检查alpha是否需要加大。以我经手的例子来看多数单变量序列的K落在3到8之间alpha落在1000到3000之间再去调整LSTM结构才有意义。最后再强调一个容易忽略的验证细节对比模型效果时需要同时给出多步递推预测的误差和单步预测误差。单步误差很小而递推误差迅速放大的情况说明模型学到的是“贴住输入窗口末尾”没有真正学到序列的演化规律。对这种情况的快速验证方法是把输出曲线和输入窗口尾部对齐后画在同一张图里如果预测值几乎等于窗口最后一个值说明模型退化为复制最近观测此时应回到分解参数而不是继续增加网络层数。先跑一遍短窗口快速看曲线如果每个IMF测试集残差里还有明显周期成分回去调整K和alpha不要先调LSTM的层数。本文还有配套的精品资源点击获取
简介面向时间序列预测与深度学习入门进阶者提供一套基于VMD分解、Attention注意力机制与LSTM循环网络的完整预测方案。资源以Python源码、预训练模型、Excel/csv数据集和Word报告为核心共28个文件约5.25MB代码含详细注释并配备训练与预测脚本及说明文档。方案采用前30天数据预测第31天创新地将VMD分解后的五个特征作为每个时间步输入有效缓解数据压缩引发的过拟合问题模型包含两个128单元LSTM层、点积注意力层、展平层与全连接层并加入Dropout加强泛化能力。数据划分训练集840,30,15与测试集205,30,15目录结构清晰适合学习时序特征提取、注意力机制应用及模型调优。已有381人学习可作为课程设计、论文实验或工程落地的参考实现。1. 基于VMD-Attention-LSTM的时间序列预测先解决“滞后一拍”直接拿LSTM去拟合电力负荷、日径流或设备振动数据训练集误差往往收敛得很好但测试集上一画线就会发现预测曲线总是比真实曲线慢半拍峰谷位置整体右移。根源在于原始序列由趋势、周期和随机扰动混合而成网络被迫在一个非常不平坦的目标面上寻找映射内部状态同时被不同频率的信号拉扯。VMD-Attention-LSTM的处理思路是把预测链路拆成三段先用变分模态分解把原序列按中心频率拆成若干有限带宽的模态再对每个模态分别用带注意力机制的LSTM建模最后把所有模态的预测结果相加还原出最终预测值。原先需要同时拟合高频噪声和低频趋势的单一模型变成了多个只负责一类振荡规律的子模型注意力机制则负责在长历史序列里把真正有参考价值的时刻权重放大。这套流程在电力负荷、水文径流预测中通用下文按顺序展开并给出可运行的代码和调参思路。2. VMD分解的原理与基本流程从变分方法到第一批模态VMD的全称是变分模态分解是Dragomiretskiy和Zosso在2014年提出的信号分解方法。与EMD的递归筛分思路不同VMD把分解问题写成一个同时优化所有模态的约束变分问题。目标函数要求每个模态经过希尔伯特变换后得到单边频谱再通过指数项频移到基带用梯度平方的L2范数估计带宽并让所有模态的带宽总和最小。约束条件是分解后的所有模态相加恰好等于原始信号。这样一个多变量优化问题通过增广拉格朗日法转化为无约束问题再用交替方向乘子法ADMM反复迭代更新模态、中心频率和拉格朗日乘子最终得到一组围绕各自中心频率分布的窄带模态。每个模态在频域上相对独立这为后续按频率分量建立预测模型创造了条件。2.1 为什么选VMD而不是EMD模态混叠与端点效应EMD分解作为经验模态分解的代表在工程中应用已久但两个问题在预测场景中特别棘手。第一个是模态混叠。EMD依靠极值包络递归地筛选模态当原始信号里某个频率成分的能量过强时筛选过程会把不属于该频带的成分也带上导致同一个本征模态函数里既有高频振荡又有低频趋势。第二个是端点效应。EMD在信号两端需要外插极值包络而外插本身没有严格约束两端误差会逐层向内部传导。VMD则通过全局变分优化统一求解所有模态每个模态都被约束在一个窄带内模态之间的中心频率间隔更清晰混叠现象明显更轻。端点处的拟合由光滑约束自动控制不再依赖外插包络。因此在做时间序列预测前的预处理时倾向选择VMD而不是EMD。2.2 最小可运行的VMD分解代码与参数解释Python社区最常用的VMD实现是vmdpy包安装后用下面这段代码即可完成一次完整分解import numpy as np from vmdpy import VMD fs 10.0 t np.arange(0, 1000) / fs signal (1.2 * np.sin(2 * np.pi * 0.5 * t) 0.8 * np.sin(2 * np.pi * 2.0 * t) 0.5 * np.sin(2 * np.pi * 6.0 * t) 0.3 * np.random.randn(len(t))) alpha 2000 # 带宽惩罚因子越大模态带宽越窄 K 4 # 模态个数需要预先指定 tau 0.0 # 噪声容忍度0表示严格重构 DC 0 # 0表示不单独保留直流分量 init 1 # 中心频率初始化方式1为均匀初始化 tol 1e-7 # ADMM迭代停止阈值 u, u_hat, omega VMD(signal, alpha, tau, K, DC, init, tol) print(u.shape, omega.shape)代码里的alpha是控制每个模态带宽的惩罚因子取2000是常见起点alpha越大模态在频域上收得越窄细节保留能力下降alpha过小则模态带宽过宽容易在两个相邻频率间来回漂移。K是需要提前给出的模态个数取值是否合理直接影响结果质量。tau表示对噪声的容忍程度取0表示要求严格重构取非零值时允许原始信号中的一部分能量不参与分解。init控制中心频率的初始化方式1表示均匀分布在频带内0表示从随机值开始。tol控制迭代停止的阈值通常取1e-7到1e-8。提示不同渠道下载的vmdpy在函数签名上略有差异最稳妥的方式是先把VMD模块导入后执行help(VMD)核对参数顺序再传值。盲目照搬别人的调用方式最容易遇到的问题是参数顺序理解错误导致分解结果完全不可用但程序不报错。2.3 第一次分解后要检查什么重构误差与中心频率分解完成后不要急着建模先做两步检查。第一步是用u求和重建信号计算与原始信号的重构误差。重构误差如果明显偏离1e-6量级说明ADMM迭代没有满足约束优先检查tol是否设得太宽松以及tau是否被设置成非零。第二步是查看VMD返回的omega数组它记录的是每组模态的中心频率。如果两个相邻中心频率几乎重合说明K设置偏大出现过度分解如果最低频率模态的中心频率仍然明显高于原始序列的趋势变化频率说明K偏小低频趋势可能混入了其他模态。实际项目里我会把K从3到12各跑一遍记录中心频率间隔和重构误差再进入后续模型训练。VMD参数作用常用起点alpha带宽惩罚因子控制各模态频带宽度10003000K模态个数需要预先设定310结合中心频率检查tau噪声容忍度0为严格重构0或0.1init中心频率初始化方式0随机1均匀tolADMM迭代停止阈值1e-71e-83. Attention-LSTM在时间序列中的结构设计与代码实现LSTM在时间序列预测中常被当成一个黑箱输入一段历史窗口输出下一个或几个时间点的值。它通过输入门、遗忘门和输出门控制信息流动其中遗忘门的输入是上一个时刻的隐藏状态与当前时刻输入拼接后的向量经过sigmoid映射成0到1之间的比率决定上一时刻记忆单元中有多少信息被保留。理论上这种门控结构具备长程记忆能力但在处理较长历史窗口时最后一个输出的隐藏状态需要充当整个序列的摘要早期的重要模式很容易在此过程中被稀释。Attention-LSTM的做法是让模型除了持有最后一步状态还能回头对所有历史时间步的隐状态做加权汇总刚好弥补LSTM输出端的信息瓶颈。3.1 注意力要解决的是“最后一步不够用”的问题一个标准的LSTM序列模型通常只把最后一步的隐藏状态接全连接层作为输出。这在短序列上问题不大但窗口加长到几十步后最后时刻的隐状态是高度压缩的信息噪声和关键特征都被揉在一起。注意力机制的介入方式是保留LSTM每个时间步的隐状态为每个时间步计算一个权重然后按权重把全部隐状态加权求和得到一个包含全局信息的上下文向量。预测时使用的是这个上下文向量而非最后一步状态。这样一来不同时刻对预测目标的影响不再由LSTM内部的遗忘门单独决定而是直接以注意力的形式体现为可监督的权重模型训练时可以追溯到“它到底在关注历史中的哪一段”。3.2 一个通用Attention模块的PyTorch实现下面是一个精简的缩放点积注意力模块直接接在LSTM输出层之后使用import math import torch import torch.nn as nn class Attention(nn.Module): def __init__(self, hidden_dim, attn_dim64): super().__init__() self.W_q nn.Linear(hidden_dim, attn_dim, biasFalse) self.W_k nn.Linear(hidden_dim, attn_dim, biasFalse) self.W_v nn.Linear(hidden_dim, hidden_dim, biasFalse) self.softmax nn.Softmax(dim-1) def forward(self, lstm_out, queryNone): # lstm_out: (batch, seq_len, hidden_dim) if query is None: query lstm_out[:, -1:, :] q self.W_q(query) k self.W_k(lstm_out) v self.W_v(lstm_out) scores torch.matmul(q, k.transpose(-2, -1)) / math.sqrt(k.size(-1)) weights self.softmax(scores) context torch.matmul(weights, v).squeeze(1) return context, weights这段代码的关键在于query的来源。当query缺省时取LSTM最后一个时刻的隐状态作为查询条件此时模型要判断历史中哪几个时刻与最终时刻的语义最接近进而决定分配多少注意力。缩放因子math.sqrt(k.size(-1))用来防止点积数值过大导致softmax进入饱和区权重分布过于尖锐训练时梯度流动变差。W_v输出维度与hidden_dim一致保证加权后的上下文向量可以直接与LSTM输出拼接或替换不需要额外调整维度。如果只做单变量序列预测模型主体可以这样组装class AttentionLSTM(nn.Module): def __init__(self, input_dim, hidden_dim, num_layers, output_dim): super().__init__() self.lstm nn.LSTM(input_dim, hidden_dim, num_layers, batch_firstTrue) self.attn Attention(hidden_dim) self.fc nn.Linear(hidden_dim, output_dim) def forward(self, x): out, _ self.lstm(x) # out: (batch, seq, hidden) context, _ self.attn(out) # context: (batch, hidden) return self.fc(context)这里的input_dim是每条样本的特征数量。如果只使用历史值本身input_dim为1如果额外加入时刻、星期等特征则对应加宽。LSTM默认采用单向结构而不是双向原因是预测时不能拿未来数据做反向编码递推预测过程中也不存在完整序列可供双向网络使用。num_layers取1到2层足够叠加更多层会明显增加训练时间和过拟合风险。3.3 两种注意力接法在预测中的取舍在实际工程中注意力模块接在LSTM上的位置有两种常见做法。第一种是把所有时间步的隐状态做加权求和这种方法适合序列中存在多个有效历史模式的场景例如负荷预测中一周前同一天的数据可能和最近一天的数据同样重要。第二种是只把最后一步的隐状态作为query其他时间步作为key和value这种做法更适合预测起点与近期状态强相关的场景。二者的对比如下接法query来源特征提取倾向适用场景对全部隐状态加权可学习的固定query全局历史信息周期性强的数据如24小时负荷最后一步隐状态做queryLSTM最后一个输出与近期状态相关的历史依赖最近状态的径流、设备趋势选择哪种接法没有绝对标准通常以验证集误差为准。特别要注意的是在样本量只有几千条的项目里把注意力维度attn_dim设得过大并不会带来收益反而会把权重训练成近似均匀分布相当于退化为简单平均池化。attn_dim取64或128即可与hidden_dim保持在同一量级。4. 完整跑通VMD-Attention-LSTM滑窗、训练、递推预测与重构前面两章分别解决了“把信号拆开”和“把LSTM输出变强”两个问题这一章把它们串成一条可复现的流水线。流程顺序是先对原始序列做归一化和VMD分解然后把每个模态分别切成训练集、验证集和测试集用Attention-LSTM逐个训练最后对每个模态做递推预测并反归一化把多模态预测结果相加。4.1 数据准备每个模态单独构造滑窗样本时间序列预测的数据划分不能像分类任务那样随机打乱必须严格按时间顺序切分避免未来信息泄漏。先用80%的数据训练模型再在剩余部分里切出约10%作为验证集最后10%作为测试集。对每个模态分别生成滑窗样本窗口长度需要覆盖数据的最小周期。电力负荷数据常用24或48作为窗口长度对齐一天或两天内的变化规律水文径流数据则以周为单位取窗口。生成滑窗样本的函数可以这样写def make_windows(series, window24, horizon1): X, y [], [] for i in range(len(series) - window - horizon 1): X.append(series[i : i window]) y.append(series[i window : i window horizon]) return np.array(X, dtypenp.float32).reshape(-1, window, 1), \ np.array(y, dtypenp.float32).reshape(-1, horizon)注意这里X的最后一维设置为1对应输入特征数为1。如果数据中还有节假日、温度等其他外部特征需要在构建窗口时把这些特征按时间步对齐拼接到最后一个维度上。返回的y形状是(batch, horizon)当horizon大于1时模型输出层也要相应调整输出维度。4.2 训练主循环损失、梯度裁剪与早停每个模态的样本量往往只剩原始序列的80%参数量过大的模型容易过拟合。训练时采用Adam优化器作为默认选择初始学习率设为1e-3每10个epoch乘以0.5递减。损失函数使用MSE因为预测值连续且误差服从近似正态分布MSE对离群点的惩罚比MAE更重能推动模型缩小峰值误差。每批样本经过前向计算后记录验证集损失连续15个epoch没有下降就恢复最佳权重并停止训练。训练一个epoch的核心逻辑如下def train_one_epoch(model, loader, optimizer, loss_fn, device): model.train() total_loss 0.0 for x, y in loader: x, y x.to(device), y.to(device) optimizer.zero_grad() pred model(x) loss loss_fn(pred, y) loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0) optimizer.step() total_loss loss.item() * x.size(0) return total_loss / len(loader.dataset)梯度裁剪是LSTM训练中的一项重要保护措施梯度范数超过1.0时会被统一缩放到1.0避免RNN结构在反向传播过程中出现梯度爆炸。训练初期如果发现loss下降很慢先检查数据归一化而不是调学习率每个模态的均值和方差差异很大需要在分解完成后分别统计各自的归一化参数不能沿用原始序列的mean和std。训练超参数可以参考下表超参数建议起点说明window2448覆盖最小周期hidden_dim32128与样本量匹配样本量小取下限num_layers12过深容易过拟合batch_size64256按显存调节learning_rate1e-3每10轮减半后期控制在1e-4附近clip_grad_norm1.0防止梯度爆炸4.3 多步预测与多模态重构误差累积的规避方式预测阶段如果把整段测试集一次性输入模型得到的只是单步预测结果不能体现真实线上使用时的递推过程。常见做法是滚动窗口预测每次只预测下一个时间点然后把预测值补到窗口末尾丢掉最旧的一个点再输入模型得到下一步预测。滚动窗口会引入误差累积效应预测步数越多误差放大越明显因此必须用这种方法评估真实性能。def recursive_forecast(model, init_window, steps, device): model.eval() window init_window.copy() preds [] with torch.no_grad(): for _ in range(steps): x torch.tensor(window, dtypetorch.float32, devicedevice).unsqueeze(0) pred model(x).squeeze().item() preds.append(pred) window np.roll(window, -1) window[-1] pred return np.array(preds)函数里的window在每一轮预测后整体前移并用预测值填充末尾的缺失位置模拟在线预测时拿不到真实值的情况。到这里得到的是某一个模态在归一化空间中的预测结果要先用该模态自己的scaler做逆变换再与其他模态相加得到最终预测序列。注意逆变换和相加的顺序不能反过来。先对各模态预测值做逆归一化再求和若先求和再逆变换各模态的尺度信息被混在一起重构结果必然出错。5. VMD分解参数怎么调K值与alpha的配合规律与快速验证技巧到了最后VMD-Attention-LSTM整条链路已经能跑通剩下的问题通常是预测效果不理想时该先改哪里。多数情况下问题不在LSTM而在分解参数选择。K偏大的典型现象是中心频率表中出现两两非常接近的模态分解结果里出现两个波形几乎重合的分量K偏小的现象则是最低频模态的包络还明显跟随原序列的趋势。alpha的规律与K相反alpha偏大时各模态频带过窄分解结果丢失原始信号中的细节alpha偏小时各模态频带加宽出现交叉覆盖。观察这几个现象比单纯看训练loss更能定位问题。可以用下面这段小脚本快速检查中心频率间距def check_center_freqs(u_list, fs): K u_list.shape[0] peaks [] for k in range(K): spec np.abs(np.fft.rfft(u_list[k])) freqs np.fft.rfftfreq(u_list[k].size, d1/fs) peaks.append(freqs[np.argmax(spec)]) peaks np.array(peaks) diffs np.diff(peaks) return peaks, diffs如果diffs的最小值小于最大间隔的10%优先降低K如果所有diffs都很大但最低中心频率仍然偏高检查alpha是否需要加大。以我经手的例子来看多数单变量序列的K落在3到8之间alpha落在1000到3000之间再去调整LSTM结构才有意义。最后再强调一个容易忽略的验证细节对比模型效果时需要同时给出多步递推预测的误差和单步预测误差。单步误差很小而递推误差迅速放大的情况说明模型学到的是“贴住输入窗口末尾”没有真正学到序列的演化规律。对这种情况的快速验证方法是把输出曲线和输入窗口尾部对齐后画在同一张图里如果预测值几乎等于窗口最后一个值说明模型退化为复制最近观测此时应回到分解参数而不是继续增加网络层数。先跑一遍短窗口快速看曲线如果每个IMF测试集残差里还有明显周期成分回去调整K和alpha不要先调LSTM的层数。本文还有配套的精品资源点击获取
 详解)
