前阵子有个朋友做某园区的能耗预测单用 LSTM 效果一直卡在同一个台阶上尖峰时刻总是慢半拍。我让他试试在 LSTM 前后分别加一层卷积和注意力也就是标题里说的 CNN-RNN-Attention 结构同一份数据上误差肉眼可见地往下走。时间序列预测比如负荷、交通流、设备指标预测这几年基本被这类混合结构刷榜但网上的很多教程只贴模型代码不讲数据和训练里的门道。这篇文章把我从头搭这个模型的完整过程——数据怎么构造、网络怎么实现、训练怎么调、最后怎么验证——都写出来适合已经会用 PyTorch 但想系统性掌握这类模型的读者。1. 为什么把三种结构叠在一起单一模型各自的短板1.1 LSTM 能记序列但记不住该注意谁LSTM 的核心优势是通过输入门、遗忘门、输出门把历史信息有选择地往后传比朴素 RNN 抗梯度消失能力强得多。但它的记忆本质上是一条串行管道信息要从 t0 一步步传到 tT中间要经历几十个门控变换。这就带来两个问题。第一个是长程稀释序列一长早期的重要模式会被后期信息冲淡记忆容量就那么点。第二个是重要度平均化LSTM 输出的 hidden state 代表了它认为重要的内容但它不会主动告诉你第 23 个时刻的突变对明天早上 8 点的负荷预测至关重要。你需要另一个机制去显式地寻找这种关键时间点。1.2 CNN 擅长抓局部模式但缺失长程依赖一维卷积在时间序列里做的事情很直白用一个滑动窗口扫描整个序列提取局部形状特征。比如尖峰、平台期、周期性抖动这些局部模式不需要看完整上下文就能识别而且卷积可以并行计算训练速度比 LSTM 快很多。但 CNN 的短板也很明显单个卷积核的感受野有限想覆盖长程依赖就得堆很多层或加大卷积核而堆深了梯度传播又会出问题。更麻烦的是卷积天然对顺序不敏感它更关注这里有一个什么形状的模式而不是这个模式出现在整个序列的哪个阶段。单靠卷积做时间序列预测经常会把两个看起来像但含义完全不同的局部片段混为一谈。1.3 组合的信息流CNN-RNN-Attention 的思路是把三者的短板互相补上信息流大致是这样原始序列先进 Conv1d卷积把局部模式提炼成一组特征图。这些特征图按时间顺序送入 LSTMLSTM 负责编码先后关系输出每个时间步的 hidden state。这时候再引入 Attention对每个时间步的 hidden state 算一个权重系数把整个序列压缩成一个加权和向量最后过全连接层输出预测值。打个比方CNN 像是先读每一句话里的关键词LSTM 像是按顺序把整段话读一遍并记住大意Attention 则是回头把对结论影响最大的几个词重点圈出来。三者各干各的活最后合在一起模型既知道局部形态又知道前后顺序还知道该往哪看。2. 数据处理和样本构造决定上限的 80%2.1 滑动窗口预测目标是什么开始写模型之前先把输入端和输出端定义清楚。我习惯用回看长度和预测步长两个词来描述比如用过去 72 小时的数据预测未来 24 小时那输入形状就是 (样本数, 72, 特征数)输出形状就是 (样本数, 24)。窗口长度怎么定最稳的办法是看自相关系数。对小时级数据如果序列有强日周期24 的倍数通常不会太差如果还有周周期168 也值得试。我把窗口切成 24、48、72、168 分别跑过短窗口训练快但容易漏周期长窗口噪声变大且训练慢最后落到 72 小时效果和 168 接近但参数少很多。要注意的是多步预测的输出方案。一种做法是递推预测先预测 t1再把这个预测值拼进输入里预测 t2误差会逐级累积。另一种是直接多步输出模型最后一层直接输出 24 个值一步到位。绝大多数情况下后者更稳代码里 final Linear 的输出维度直接等于预测步长即可。2.2 归一化的坑在全量数据上 fit 就是数据泄漏这是新手最容易踩的坑。很多人拿到数据先做 MinMaxScaler再切训练测试集看起来流程没问题但实际上你已经把测试集的最大最小值偷偷告诉训练过程了。正确顺序是先按时间切分再在训练集上 fit 归一化参数然后用同一套参数去 transform 验证集和测试集。放在代码里就是scaler MinMaxScaler() train_X scaler.fit_transform(train_X) # fit 只发生在训练集 val_X scaler.transform(val_X) test_X scaler.transform(test_X)如果偷懒在全量数据上 fit回测指标会好看很多但模型上线后会原形毕露——因为未来真实数据的取值范围很可能超出训练集的 min 和 max。顺便说一句如果数据里有明显的异常毛刺MinMax 会被极端值拉到很离谱的分布上我建议先看数据分布必要时换 RobustScaler或者先做一轮分位数截断。2.3 训练/验证/测试必须按时间顺序切时间序列和普通机器学习最大的区别是样本之间有时间先后关系随机打乱分割是灾难性的。我会按 7:1:2 的比例沿着时间轴切成训练、验证、测试三段验证集用于调参和早停测试集只许看一次。千万别把测试集拿来反复调参调完的参数对测试集多多少少都有见过的成分结果会有虚高。另外注意滑动窗口生成的相邻样本重叠度很高训练集内部其实强相关这不会导致数据泄漏但会让训练指标看起来比实际波动小。想要更严格的话可以把验证集设置成不重叠的连续块确保每个样本不跨窗口边界。3. PyTorch 手写 CNN-RNN-Attention完整代码与逐段拆解3.1 卷积块把局部模式提炼成特征这一层就是把 Conv1d、BatchNorm、ReLU 打包。输入形状是 (B, T, F)B 是 batchT 是时间步数F 是特征数。Conv1d 默认作用的维度是序列长度所以需要把维度和特征维度换一下。class ConvBlock(nn.Module): def __init__(self, n_features, out_channels, kernel_size3): super().__init__() self.conv nn.Conv1d( n_features, out_channels, kernel_sizekernel_size, paddingkernel_size // 2 ) self.bn nn.BatchNorm1d(out_channels) self.relu nn.ReLU() def forward(self, x): # x: (B, T, F) - transpose - (B, F, T) x x.transpose(1, 2) x self.conv(x) # (B, out_channels, T) x self.bn(x) x self.relu(x) return x.transpose(1, 2) # 回到 (B, T, out_channels)padding 我设成 kernel_size // 2保证卷积前后序列长度不变这样后面的 LSTM 还是按 T 个时间步读取。如果你发现局部模式跨度比较大可以把 kernel_size 调到 5 或 7但先别急着加3 一般够用。3.2 注意力层给每个时间步打分量我实现的是加性注意力思路是先把每个时间步的 hidden state 过一层线性映射加 tanh再用一个向量把它压成标量分数最后 softmax 得到权重。权重越高说明这一步对最终聚合向量的贡献越大。class AttentionLayer(nn.Module): def __init__(self, hidden_size): super().__init__() self.W nn.Linear(hidden_size, hidden_size) self.v nn.Linear(hidden_size, 1, biasFalse) def forward(self, lstm_out): # lstm_out: (B, T, H) scores self.v(torch.tanh(self.W(lstm_out))) # (B, T, 1) scores scores.squeeze(-1) # (B, T) alpha torch.softmax(scores, dim1) # (B, T) context (lstm_out * alpha.unsqueeze(-1)).sum(dim1) # (B, H) return context, alpha如果你想要更强一点的注意力度量也可以改用缩放点积注意力把 hidden state 拆成 query 和 key 计算内积再除以根号维度。两种我都试过加性注意力在数据量不大的时候不容易训练不稳所以我这篇以它为主。3.3 组装完整模型完整模型结构如下卷积块提取局部特征LSTM 做时序编码Attention 计算加权上下文最后全连接输出预测值。class CnnRnnAttention(nn.Module): def __init__(self, n_features, n_hidden64, n_layers2, horizon1, kernel_size3): super().__init__() self.conv ConvBlock(n_features, n_hidden, kernel_size) self.lstm nn.LSTM( input_sizen_hidden, hidden_sizen_hidden, num_layersn_layers, batch_firstTrue, dropout0.2 if n_layers 1 else 0.0 ) self.attn AttentionLayer(n_hidden) self.fc nn.Sequential( nn.Linear(n_hidden, 32), nn.ReLU(), nn.Linear(32, horizon) ) def forward(self, x): # x: (B, T, F) h self.conv(x) # (B, T, n_hidden) out, _ self.lstm(h) # (B, T, n_hidden) context, alpha self.attn(out) # (B, n_hidden), (B, T) y self.fc(context) # (B, horizon) return y, alphaLSTM 这里设了两层如果超过两层dropout 必须开否则多层循环很容易在深层之间过拟合。batch_firstTrue可以让我不用每次转发都手动交换 batch 和时序维度。4. 训练策略与调参心得让模型稳定收敛4.1 损失函数与优化器预测连续值默认用 MSE梯度方向明确收敛也快。但如果你的数据里有明显的异常尖峰MSE 会被几个大误差样本牵着鼻子走这种情况下我建议改用 Huber 损失它在误差小的时候表现像 MSE误差大的时候像 MAE不容易被离群点带偏。loss_fn nn.HuberLoss(delta1.0)优化器我习惯用 AdamW初始学习率 1e-3weight_decay 设 1e-4 左右。注意力层和 LSTM 层的学习率可以整体统一不需要单独做分层调参除非你发现模型训练特别慢。学习率衰减我推荐 ReduceLROnPlateau监控验证集损失连续 10 个 epoch 不下降就把学习率乘以 0.5。手动衰减容易忘记按监控自动降更省心。4.2 梯度裁剪和早停LSTM 虽然比 RNN 稳但深层 LSTM 加注意力模型偶尔还是会出现梯度爆炸。训练循环里加上梯度裁剪成本几乎为零但能挡住绝大多数发散事故。torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm5.0)早停是必须的。我一般设置 patience20也就是验证集损失连续 20 个 epoch 没有刷新最低记录就停止训练同时保存验证损失最低的模型权重。过拟合在这类模型上出现得比想象中快不早停的话最后拿到的往往是一个在验证集上已经退化的版本。4.3 训练过程中的两个关键信号第一个信号是训练损失低、验证损失高。这说明模型在背训练数据优先检查有没有做标准化泄漏、dropout 是否太小、LSTM 层数是不是太多了。第二个信号是注意力权重分布很奇怪比如所有权重几乎相等或者全部集中到最后一步。前者说明 Attention 没学到东西后者说明序列太短、模型直接用最后一步信息就够了。这两个问题我在下一节细说。5. 实测对比与踩坑复盘Attention 到底值不值得加5.1 我在同一份数据上的三组对比我在某园区的小时级负荷数据上做了三组对比训练集用了前 80% 的数据测试集用最后 20%每组固定随机种子跑 5 次取平均。预测目标是用过去 72 小时预测未来 1 小时评估指标是 RMSE 和 MAE。模型RMSEMAE单层 LSTM4.373.21CNN-LSTM3.952.88CNN-LSTM-Attention3.522.47数字本身只对这份数据有意义但趋势很明显加 CNN 之后误差降一截说明局部特征对短时负荷预测确实有帮助再加 Attention 又降一截说明模型在长序列里找到了值得重点关注的时刻。老实说Attention 带来的收益在不同数据集上浮动很大如果你的序列本身很短比如只有 12 个时间步那加不加 Attention 差别很小最后一步的信息基本够用了。5.2 注意力权重的直观表现训练完可以打印一段测试样本的注意力权重用横轴表示历史时间、纵轴表示权重画出来非常直观。我在负荷数据上看到的现象是权重会在每天早晚两个用电高峰附近出现明显峰值模型确实学会了看哪段时间决定未来走向。还有一次数据里某个时刻突然有一个异常跳变权重直接集中到那个点上预测结果也偏高。这让我很惊喜因为它意味着模型不只是拿注意力当装饰它真的在给预测结果找依据。如果你发现权重分布和你的领域直觉完全对不上先别急着调模型回去看看那一时段的数据有没有缺失值或异常脏数据。5.3 我实际踩过的三个坑第一个坑是归一化放在切分之前回测 RMSE 漂亮到不可思议换到滚动验证立刻崩。后来我全程只在训练集上 fit 归一化参数问题才消失。第二个坑是递推式多步预测。我最初让模型只预测一步然后循环把预测值塞回输入预测下一步结果越往后误差越大最后一步基本没法看。改成直接输出 24 步之后整体误差稳定得多。递归法在理论上可行但前提是单步预测精度极高而真实数据几乎做不到。第三个坑是序列长度和注意力的矛盾。窗口拉到 336 步之后Attention 的 softmax 输出趋向均匀分布权重区分度下降。后来我改用缩放点积注意力并加了一个温度参数稍微缓解了这个问题但最有效的还是缩短到 72 步。6. 后续还能怎么扩展给想继续深入的人几个方向这个结构不是终点如果要把模型用到更复杂的场景我个人实验下来有几个改法值得试。第一把 CNN 换成多分支空洞卷积用不同 dilation rate 同时捕捉小时级和天级模式信息会更丰富。第二把单头加性注意力换成多头注意力每个头可以关注不同层面的时间依赖但参数量和数据量都要跟上。第三把外部时序特征和模型特征一起喂进去。比如小时、星期、是否节假日、温度这些对负荷预测影响极大。第四如果你不仅要预测值还要预测区间可以把最后的全连接层改成输出分位数用分位数损失训练得到的预测带在生产里比单纯点预测有用得多。最后说一点个人体会。这类混合模型最容易出问题的地方其实不在模型结构而在数据处理。我见过太多人花大量时间调 LSTM 层数、注意力头数却忽略窗口构造和归一化顺序最后结果上不去还找不到原因。如果让我从头再搭一次我会先用最小配置把数据管线跑通验证测试集指标稳定再逐步往上加 CNN 和 Attention每加一层就做一次对比实验。这样每一步的收益看得清清楚楚翻起车来也知道去哪里排查。
前阵子有个朋友做某园区的能耗预测单用 LSTM 效果一直卡在同一个台阶上尖峰时刻总是慢半拍。我让他试试在 LSTM 前后分别加一层卷积和注意力也就是标题里说的 CNN-RNN-Attention 结构同一份数据上误差肉眼可见地往下走。时间序列预测比如负荷、交通流、设备指标预测这几年基本被这类混合结构刷榜但网上的很多教程只贴模型代码不讲数据和训练里的门道。这篇文章把我从头搭这个模型的完整过程——数据怎么构造、网络怎么实现、训练怎么调、最后怎么验证——都写出来适合已经会用 PyTorch 但想系统性掌握这类模型的读者。1. 为什么把三种结构叠在一起单一模型各自的短板1.1 LSTM 能记序列但记不住该注意谁LSTM 的核心优势是通过输入门、遗忘门、输出门把历史信息有选择地往后传比朴素 RNN 抗梯度消失能力强得多。但它的记忆本质上是一条串行管道信息要从 t0 一步步传到 tT中间要经历几十个门控变换。这就带来两个问题。第一个是长程稀释序列一长早期的重要模式会被后期信息冲淡记忆容量就那么点。第二个是重要度平均化LSTM 输出的 hidden state 代表了它认为重要的内容但它不会主动告诉你第 23 个时刻的突变对明天早上 8 点的负荷预测至关重要。你需要另一个机制去显式地寻找这种关键时间点。1.2 CNN 擅长抓局部模式但缺失长程依赖一维卷积在时间序列里做的事情很直白用一个滑动窗口扫描整个序列提取局部形状特征。比如尖峰、平台期、周期性抖动这些局部模式不需要看完整上下文就能识别而且卷积可以并行计算训练速度比 LSTM 快很多。但 CNN 的短板也很明显单个卷积核的感受野有限想覆盖长程依赖就得堆很多层或加大卷积核而堆深了梯度传播又会出问题。更麻烦的是卷积天然对顺序不敏感它更关注这里有一个什么形状的模式而不是这个模式出现在整个序列的哪个阶段。单靠卷积做时间序列预测经常会把两个看起来像但含义完全不同的局部片段混为一谈。1.3 组合的信息流CNN-RNN-Attention 的思路是把三者的短板互相补上信息流大致是这样原始序列先进 Conv1d卷积把局部模式提炼成一组特征图。这些特征图按时间顺序送入 LSTMLSTM 负责编码先后关系输出每个时间步的 hidden state。这时候再引入 Attention对每个时间步的 hidden state 算一个权重系数把整个序列压缩成一个加权和向量最后过全连接层输出预测值。打个比方CNN 像是先读每一句话里的关键词LSTM 像是按顺序把整段话读一遍并记住大意Attention 则是回头把对结论影响最大的几个词重点圈出来。三者各干各的活最后合在一起模型既知道局部形态又知道前后顺序还知道该往哪看。2. 数据处理和样本构造决定上限的 80%2.1 滑动窗口预测目标是什么开始写模型之前先把输入端和输出端定义清楚。我习惯用回看长度和预测步长两个词来描述比如用过去 72 小时的数据预测未来 24 小时那输入形状就是 (样本数, 72, 特征数)输出形状就是 (样本数, 24)。窗口长度怎么定最稳的办法是看自相关系数。对小时级数据如果序列有强日周期24 的倍数通常不会太差如果还有周周期168 也值得试。我把窗口切成 24、48、72、168 分别跑过短窗口训练快但容易漏周期长窗口噪声变大且训练慢最后落到 72 小时效果和 168 接近但参数少很多。要注意的是多步预测的输出方案。一种做法是递推预测先预测 t1再把这个预测值拼进输入里预测 t2误差会逐级累积。另一种是直接多步输出模型最后一层直接输出 24 个值一步到位。绝大多数情况下后者更稳代码里 final Linear 的输出维度直接等于预测步长即可。2.2 归一化的坑在全量数据上 fit 就是数据泄漏这是新手最容易踩的坑。很多人拿到数据先做 MinMaxScaler再切训练测试集看起来流程没问题但实际上你已经把测试集的最大最小值偷偷告诉训练过程了。正确顺序是先按时间切分再在训练集上 fit 归一化参数然后用同一套参数去 transform 验证集和测试集。放在代码里就是scaler MinMaxScaler() train_X scaler.fit_transform(train_X) # fit 只发生在训练集 val_X scaler.transform(val_X) test_X scaler.transform(test_X)如果偷懒在全量数据上 fit回测指标会好看很多但模型上线后会原形毕露——因为未来真实数据的取值范围很可能超出训练集的 min 和 max。顺便说一句如果数据里有明显的异常毛刺MinMax 会被极端值拉到很离谱的分布上我建议先看数据分布必要时换 RobustScaler或者先做一轮分位数截断。2.3 训练/验证/测试必须按时间顺序切时间序列和普通机器学习最大的区别是样本之间有时间先后关系随机打乱分割是灾难性的。我会按 7:1:2 的比例沿着时间轴切成训练、验证、测试三段验证集用于调参和早停测试集只许看一次。千万别把测试集拿来反复调参调完的参数对测试集多多少少都有见过的成分结果会有虚高。另外注意滑动窗口生成的相邻样本重叠度很高训练集内部其实强相关这不会导致数据泄漏但会让训练指标看起来比实际波动小。想要更严格的话可以把验证集设置成不重叠的连续块确保每个样本不跨窗口边界。3. PyTorch 手写 CNN-RNN-Attention完整代码与逐段拆解3.1 卷积块把局部模式提炼成特征这一层就是把 Conv1d、BatchNorm、ReLU 打包。输入形状是 (B, T, F)B 是 batchT 是时间步数F 是特征数。Conv1d 默认作用的维度是序列长度所以需要把维度和特征维度换一下。class ConvBlock(nn.Module): def __init__(self, n_features, out_channels, kernel_size3): super().__init__() self.conv nn.Conv1d( n_features, out_channels, kernel_sizekernel_size, paddingkernel_size // 2 ) self.bn nn.BatchNorm1d(out_channels) self.relu nn.ReLU() def forward(self, x): # x: (B, T, F) - transpose - (B, F, T) x x.transpose(1, 2) x self.conv(x) # (B, out_channels, T) x self.bn(x) x self.relu(x) return x.transpose(1, 2) # 回到 (B, T, out_channels)padding 我设成 kernel_size // 2保证卷积前后序列长度不变这样后面的 LSTM 还是按 T 个时间步读取。如果你发现局部模式跨度比较大可以把 kernel_size 调到 5 或 7但先别急着加3 一般够用。3.2 注意力层给每个时间步打分量我实现的是加性注意力思路是先把每个时间步的 hidden state 过一层线性映射加 tanh再用一个向量把它压成标量分数最后 softmax 得到权重。权重越高说明这一步对最终聚合向量的贡献越大。class AttentionLayer(nn.Module): def __init__(self, hidden_size): super().__init__() self.W nn.Linear(hidden_size, hidden_size) self.v nn.Linear(hidden_size, 1, biasFalse) def forward(self, lstm_out): # lstm_out: (B, T, H) scores self.v(torch.tanh(self.W(lstm_out))) # (B, T, 1) scores scores.squeeze(-1) # (B, T) alpha torch.softmax(scores, dim1) # (B, T) context (lstm_out * alpha.unsqueeze(-1)).sum(dim1) # (B, H) return context, alpha如果你想要更强一点的注意力度量也可以改用缩放点积注意力把 hidden state 拆成 query 和 key 计算内积再除以根号维度。两种我都试过加性注意力在数据量不大的时候不容易训练不稳所以我这篇以它为主。3.3 组装完整模型完整模型结构如下卷积块提取局部特征LSTM 做时序编码Attention 计算加权上下文最后全连接输出预测值。class CnnRnnAttention(nn.Module): def __init__(self, n_features, n_hidden64, n_layers2, horizon1, kernel_size3): super().__init__() self.conv ConvBlock(n_features, n_hidden, kernel_size) self.lstm nn.LSTM( input_sizen_hidden, hidden_sizen_hidden, num_layersn_layers, batch_firstTrue, dropout0.2 if n_layers 1 else 0.0 ) self.attn AttentionLayer(n_hidden) self.fc nn.Sequential( nn.Linear(n_hidden, 32), nn.ReLU(), nn.Linear(32, horizon) ) def forward(self, x): # x: (B, T, F) h self.conv(x) # (B, T, n_hidden) out, _ self.lstm(h) # (B, T, n_hidden) context, alpha self.attn(out) # (B, n_hidden), (B, T) y self.fc(context) # (B, horizon) return y, alphaLSTM 这里设了两层如果超过两层dropout 必须开否则多层循环很容易在深层之间过拟合。batch_firstTrue可以让我不用每次转发都手动交换 batch 和时序维度。4. 训练策略与调参心得让模型稳定收敛4.1 损失函数与优化器预测连续值默认用 MSE梯度方向明确收敛也快。但如果你的数据里有明显的异常尖峰MSE 会被几个大误差样本牵着鼻子走这种情况下我建议改用 Huber 损失它在误差小的时候表现像 MSE误差大的时候像 MAE不容易被离群点带偏。loss_fn nn.HuberLoss(delta1.0)优化器我习惯用 AdamW初始学习率 1e-3weight_decay 设 1e-4 左右。注意力层和 LSTM 层的学习率可以整体统一不需要单独做分层调参除非你发现模型训练特别慢。学习率衰减我推荐 ReduceLROnPlateau监控验证集损失连续 10 个 epoch 不下降就把学习率乘以 0.5。手动衰减容易忘记按监控自动降更省心。4.2 梯度裁剪和早停LSTM 虽然比 RNN 稳但深层 LSTM 加注意力模型偶尔还是会出现梯度爆炸。训练循环里加上梯度裁剪成本几乎为零但能挡住绝大多数发散事故。torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm5.0)早停是必须的。我一般设置 patience20也就是验证集损失连续 20 个 epoch 没有刷新最低记录就停止训练同时保存验证损失最低的模型权重。过拟合在这类模型上出现得比想象中快不早停的话最后拿到的往往是一个在验证集上已经退化的版本。4.3 训练过程中的两个关键信号第一个信号是训练损失低、验证损失高。这说明模型在背训练数据优先检查有没有做标准化泄漏、dropout 是否太小、LSTM 层数是不是太多了。第二个信号是注意力权重分布很奇怪比如所有权重几乎相等或者全部集中到最后一步。前者说明 Attention 没学到东西后者说明序列太短、模型直接用最后一步信息就够了。这两个问题我在下一节细说。5. 实测对比与踩坑复盘Attention 到底值不值得加5.1 我在同一份数据上的三组对比我在某园区的小时级负荷数据上做了三组对比训练集用了前 80% 的数据测试集用最后 20%每组固定随机种子跑 5 次取平均。预测目标是用过去 72 小时预测未来 1 小时评估指标是 RMSE 和 MAE。模型RMSEMAE单层 LSTM4.373.21CNN-LSTM3.952.88CNN-LSTM-Attention3.522.47数字本身只对这份数据有意义但趋势很明显加 CNN 之后误差降一截说明局部特征对短时负荷预测确实有帮助再加 Attention 又降一截说明模型在长序列里找到了值得重点关注的时刻。老实说Attention 带来的收益在不同数据集上浮动很大如果你的序列本身很短比如只有 12 个时间步那加不加 Attention 差别很小最后一步的信息基本够用了。5.2 注意力权重的直观表现训练完可以打印一段测试样本的注意力权重用横轴表示历史时间、纵轴表示权重画出来非常直观。我在负荷数据上看到的现象是权重会在每天早晚两个用电高峰附近出现明显峰值模型确实学会了看哪段时间决定未来走向。还有一次数据里某个时刻突然有一个异常跳变权重直接集中到那个点上预测结果也偏高。这让我很惊喜因为它意味着模型不只是拿注意力当装饰它真的在给预测结果找依据。如果你发现权重分布和你的领域直觉完全对不上先别急着调模型回去看看那一时段的数据有没有缺失值或异常脏数据。5.3 我实际踩过的三个坑第一个坑是归一化放在切分之前回测 RMSE 漂亮到不可思议换到滚动验证立刻崩。后来我全程只在训练集上 fit 归一化参数问题才消失。第二个坑是递推式多步预测。我最初让模型只预测一步然后循环把预测值塞回输入预测下一步结果越往后误差越大最后一步基本没法看。改成直接输出 24 步之后整体误差稳定得多。递归法在理论上可行但前提是单步预测精度极高而真实数据几乎做不到。第三个坑是序列长度和注意力的矛盾。窗口拉到 336 步之后Attention 的 softmax 输出趋向均匀分布权重区分度下降。后来我改用缩放点积注意力并加了一个温度参数稍微缓解了这个问题但最有效的还是缩短到 72 步。6. 后续还能怎么扩展给想继续深入的人几个方向这个结构不是终点如果要把模型用到更复杂的场景我个人实验下来有几个改法值得试。第一把 CNN 换成多分支空洞卷积用不同 dilation rate 同时捕捉小时级和天级模式信息会更丰富。第二把单头加性注意力换成多头注意力每个头可以关注不同层面的时间依赖但参数量和数据量都要跟上。第三把外部时序特征和模型特征一起喂进去。比如小时、星期、是否节假日、温度这些对负荷预测影响极大。第四如果你不仅要预测值还要预测区间可以把最后的全连接层改成输出分位数用分位数损失训练得到的预测带在生产里比单纯点预测有用得多。最后说一点个人体会。这类混合模型最容易出问题的地方其实不在模型结构而在数据处理。我见过太多人花大量时间调 LSTM 层数、注意力头数却忽略窗口构造和归一化顺序最后结果上不去还找不到原因。如果让我从头再搭一次我会先用最小配置把数据管线跑通验证测试集指标稳定再逐步往上加 CNN 和 Attention每加一层就做一次对比实验。这样每一步的收益看得清清楚楚翻起车来也知道去哪里排查。
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
