群里有朋友发来一张截图说“LSTM输出输出维度怎么看都看不懂”。我猜是“输入输出”四个字打重了可问题本身一点都不含糊模型明明能跑但中间张量到底长什么样很多人完全说不清。LSTM的维度问题几乎每个入门者都会卡一下因为它的数据不是一次性算完而是按时间步滚动更新再加上不同框架的默认排列顺序还不一样input_size、hidden_size、seq_len、batch_size几个概念搅在一起确实容易绕晕。这篇文章就用表格、简单示意和几段能直接复制的小代码把LSTM的输入输出维度一层层拆开。从单层到多层从单向到双向从多对一到多对多最后把常见的维度报错也一并解决掉。读过之后你会发现LSTM的维度没那么玄关键是把“时间步”“隐藏层大小”“批大小”这三件事对应到张量的具体轴上。1. 先搞清楚三个数字input_size、hidden_size、seq_lenLSTM的维度问题九成是这三个数字混在一起造成的。它们都叫“大小”但含义完全不同。1.1 input_size 是“每个时间步的特征数”不是序列长度input_size指的是单个时间步里携带的特征数量。比如一段文本经过词嵌入后每个词可能用8维向量表示那input_size8再比如你预测一只股票每个历史时刻只有“收盘价”一个数字那input_size1如果有5个传感器的读数那input_size5。很多从全连接网络转过来的朋友会下意识把input_size理解成“输入神经元个数”这个类比在LSTM里其实不太准确。LSTM每个时间步都是一个小型计算单元它接收的是一整个向量而不是一个标量。这个向量的长度就是input_size。它跟序列长度完全无关。长度是“有多少个时间步”特征数是“每个时间步里有多少个数字”。一个句子有10个词每个词用8维向量表示那么seq_len10input_size8。这两个数字一旦搞反模型肯定报错。1.2 hidden_size 是“内部记忆的宽度”不是层数hidden_size表示LSTM单元内部状态向量的长度你可以把它理解为“这个单元记忆有多宽”。它不是神经元的个数而是每一组状态向量的维度。例如hidden_size16意味着在内部会产生一个16维的隐状态向量h_t和一个16维的细胞状态向量c_t。这两个状态向量会在每个时间步不断被更新用来携带上下文信息。hidden_size和input_size不需要相等。哪怕输入特征只有1维内部状态也可以设成128维。这就像一个人接收到的外部信息可能很简单但他脑子里可以反复琢磨、展开很多内部细节。hidden_size越大表达能力越强但计算量和过拟合风险也更大。1.3 seq_len 是“循环的次数”不是数据维度seq_len是时间步的数量它决定LSTM要按顺序处理多少个输入。它不体现在单个向量的长度上而是体现在张量的一个轴以及内部循环次数上。把这三个数字放回张量里看就清楚多了。一个标准的LSTM输入是三维张量三个轴分别对应轴0批次大小batch_size轴1序列长度seq_len轴2每个时间步的特征数input_size所以一个[batch_size, seq_len, input_size]的输入经过LSTM层之后一般会得到[batch_size, seq_len, hidden_size]的输出。这层变换的本质就是“把每个时间步的特征向量从 input_size 映射到 hidden_size”同时借助内部状态把整个序列的信息累积起来。2. 单层LSTM的维度图示输入输出到底怎么变这一节是全文的基础。搞懂单层单向LSTM后多层、双向、各种变体的维度都是在这个基础上加的。2.1 最常见输入形态是三维张量框架默认顺序不一样LSTM输入一定是三维张量但同一个数据在不同框架里摆放顺序不一样。这是很多新手疑惑的重灾区。框架/参数输入张量形状说明PyTorch 默认[seq_len, batch, input_size]时间轴放在最前面time-majorPyTorch 开启batch_firstTrue[batch, seq_len, input_size]批量轴放最前更直观TensorFlow/Keras[batch, seq_len, input_size]默认就是批量轴在前PyTorch 默认不把 batch 放前面是因为LSTM类最初是从论文习惯里的“时间步优先”风格继承过来的训练时可能在某些并行计算场景下更快。但大多数业务代码里数据读进来通常都是batch在前的所以 PyTorch 也提供了batch_firstTrue来切换。我建议你在写代码时统一加batch_firstTrue至少能少一半轴顺序方面的纠结。注意一点这个参数只影响输入和输出张量中“时间轴和批量轴”的位置不影响隐状态h_n和细胞状态c_n的排列方式。2.2 输出其实有两种全部时间步输出和最终隐状态LSTM层会返回两类东西很多人只盯着其中一类然后就蒙了。第一类是“所有时间步的输出”通常叫output或者out。在 PyTorch 里它的形状是batch_firstTrue[batch, seq_len, hidden_size]batch_firstFalse[seq_len, batch, hidden_size]第二类是“最后一个时间步的隐状态和细胞状态”通常叫h_n和c_n。它们的形状是[num_layers, batch, hidden_size]注意即使你设置batch_firstTrueh_n的形状也不会变成[batch, num_layers, hidden_size]。它的第一维永远是层数。为什么会不一样因为out保存的是“每个时间步的最后一层输出”而h_n保存的是“每一层在最后那个时间步的隐状态”。单层单向时out[:, -1, :]和h_n[-1]在数值上是同一个东西。多层时h_n里面还装着前面层的最终状态out里面则是每一时间步的最后一层输出两者不能直接画等号。2.3 一个可复现的维度打印实验与其空想不如直接打印维度。下面这段代码在 PyTorch 里验证单层单向LSTM的输入输出形状import torch import torch.nn as nn # 输入特征8维隐状态16维batch_firstTrue lstm nn.LSTM(input_size8, hidden_size16, batch_firstTrue) # 4句话每句话5个词每个词8维向量 x torch.randn(4, 5, 8) out, (h_n, c_n) lstm(x) print(out.shape:, out.shape) # torch.Size([4, 5, 16]) print(h_n.shape:, h_n.shape) # torch.Size([1, 4, 16]) print(c_n.shape:, c_n.shape) # torch.Size([1, 4, 16]) # 所有时间步输出里的“最后一步” 和 h_n最后一层数值一致 print(torch.equal(out[:, -1, :], h_n[-1])) # True在 Keras 里对应的参数是return_sequences和return_statefrom tensorflow.keras.layers import LSTM # return_sequencesTrue返回所有时间步输出 [batch, seq_len, hidden_size] # return_stateTrue额外返回最后隐状态 h 和细胞状态 c lstm_layer LSTM(16, return_sequencesTrue, return_stateTrue)Keras 的返回值顺序容易记混依次是output,h_state,c_state。其中h_state的形状是[batch, hidden_size]不是[1, batch, hidden_size]。这就跟 PyTorch 不一样换框架时一定要重新打印一下。3. 维度流动的内部逻辑从 input_size 到 hidden_size知道形状以后还得理解它为什么会这样流动。否则下次遇到[batch, seq_len, input_size]变成什么还是只能靠猜。3.1 时间步是“循环”不是广播LSTM不是像卷积那样在整个序列上一次性滑完而是严格按时间顺序循环处理。理论上LSTM单元在每个时间步只处理一个“长度为input_size”的向量然后更新内部状态。这个过程可以用一个手动展开的循环来理解h torch.zeros(batch, hidden_size) c torch.zeros(batch, hidden_size) for t in range(seq_len): x_t x[:, t, :] # 取出第t个时间步的数据形状 [batch, input_size] h, c lstm_cell(x_t, (h, c)) # 内部状态更新h仍然是 [batch, hidden_size]所以seq_len是循环的次数它决定张量中“时间轴”的长度。每个时间步的输入和输出向量长度分别由input_size和hidden_size决定。循环次数和向量长度是两回事这也是很多人搞混的根源。3.2 权重矩阵把外部特征映射到内部记忆空间LSTM单元内部有一组门控机制输入门、遗忘门、输出门、候选记忆每个门本质上都是一次线性变换加激活函数。线性变换的输入是“当前输入向量”和“上一个隐状态”拼接在一起然后乘上权重矩阵。忽略掉具体门控细节后可以简化理解为input_size 维向量 - 线性变换 - hidden_size 维隐状态input_size和hidden_size不相等完全没问题因为中间有一个hidden_size x (input_size hidden_size)的权重矩阵在做维度转换。换句话说LSTM把“外部世界的特征表达”映射到“内部记忆空间”里。为什么需要这个差异因为外部特征可能很稀疏、很短而内部记忆需要足够宽才能承载长期上下文。比如一个单词的词向量只有8维但句子里的语法角色、情感倾向、指代关系都需要被记忆这就不止8维能装下。3.3 文本分类任务的维度流动全过程用文本分类举个例子。假设要判断4句话的情感句子已经切好了词每句话最多5个词每个词用8维的词向量表示。流程大致是这样原始文本[我 爱 深 度 学 习, 这 部 电 影 好 看, ...] 分词后变成 token id[4, 5] 经过 Embedding(词表大小, 8) 变为[4, 5, 8] 经过 LSTM(input_size8, hidden_size16, batch_firstTrue) 变为[4, 5, 16] 取最后一个时间步 out[:, -1, :] 变为[4, 16] 接 Dense(2) 输出分类概率[4, 2]这里的[4, 5, 8]就是标准三维输入。5是时间步数8是每个词向量维度4是批量大小。LSTM层输出[4, 5, 16]每个词都有一个16维的隐状态表示。如果任务是句子级分类只关心整句话的情感那就取最后一个时间步。如果任务是词性标注需要每个词都输出标签那就直接用[4, 5, 16]接全连接层对每个时间步做分类。3.4 时间序列预测任务的维度流动全过程再举一个完全不同领域的例子用过去10个时刻的传感器数据预测下一时刻的温度。原始数据是一维的总共10000个时刻。为了喂给LSTM需要做滑动窗口切样本。假设每个样本取10个历史时刻每个时刻只有1个温度值批量大小取32。此时输入张量是[32, 10, 1]32是批量大小一次处理32个窗口10是时间步数即过去的10个时刻1是每个时刻的特征数即温度lstm nn.LSTM(input_size1, hidden_size32, batch_firstTrue) out, (h_n, c_n) lstm(x) # out.shape [32, 10, 32] # 预测下一个温度取序列最后一步再接一个全连接层 last_step out[:, -1, :] # [32, 32] pred fc(last_step) # [32, 1]如果每个时刻有多个传感器比如温度、湿度、风速三个值那input_size3输入形状就是[32, 10, 3]。LSTM内部会自动把每个时间步的3维特征映射到hidden_size维空间。4. 不同任务形态下的输出维度变体LSTM的输入输出形态并不只有一种。根据任务需要大体分为多对一、多对多、一对多三类。维度选择完全取决于任务目标。4.1 多对一、多对多、一对多的形状对照表任务形态典型任务输入形状常用输出多对一文本分类、时间序列点预测[batch, seq_len, input_size][batch, hidden_size]取最后一步多对多同步序列标注、逐帧分类[batch, seq_len, input_size][batch, seq_len, hidden_size]多对多异步机器翻译、摘要生成编码器输入[batch, seq_len_enc, input]解码器输入逐个生成解码器输出长度不定一对多图像标题、文本生成条件向量 逐步输入生成seq_len_out步输出“一对多”这个词容易让人误以为LSTM原生支持一个输入、多个输出。实际它并不是一个LSTM层就能完成的而是靠“把同一个条件向量重复送到每个时间步”或者“把条件向量作为初始隐状态”来构造的。4.2 多对一任务取“最后一步”的两个等价方式多对一任务最后都需要把一整条序列压缩成一个向量。最常用的是取序列最后一个时间步的隐状态。在 PyTorch 里有两种写法本质等价# 方式一从 out 里取最后一步 feature out[:, -1, :] # [batch, hidden_size] # 方式二从 h_n 里取最后一层 feature h_n[-1] # [batch, hidden_size]单层单向时这两个结果完全相同。不过有一个小坑如果开了batch_firstTrueout[:, -1, :]是最后一步如果没开就应该是out[-1, :, :]。所以每次写之前都要先确认你的输入轴顺序是什么。多层时更需要注意。out是最后一层在每个时间步的输出h_n是每一层的最终隐状态。如果你要的是“最后一层的最终状态”h_n[-1]是对的如果你要的是“倒数第二层的最终状态”就得用h_n[-2]。只看out时你拿不到中间层的输出。4.3 一对多任务靠“重复输入”和“初始状态”实现一对多任务最常见的是文本生成和图像标题输入一个条件向量输出一串序列。LSTM本身没有“一个输入产生多个时间步输出”的固定接口实际操作中有两种常见构造方式。方式一是把条件向量作为LSTM的初始隐状态然后在每个时间步把上一时间步的输出当作当前输入。这种方式最接近“自回归生成”的逻辑但训练时要费心处理“强制教学”和“自由生成”之间的差异。方式二更简单把同一个条件向量复制seq_len份组成一个[batch, seq_len, condition_dim]的输入送入LSTM。比如训练图像标题时可以把图像特征向量复制10次输出10个词的预测condition img_feature.unsqueeze(1) # [batch, 1, hidden_size] condition_repeat condition.repeat(1, 10, 1) # [batch, 10, hidden_size] out, (h_n, c_n) lstm(condition_repeat) # out: [batch, 10, hidden_size]方式二在训练时很好写但生成阶段仍然要改成逐步预测因为目标长度不固定。无论哪种方式一对多任务里“输出序列长度”是你自己决定的LSTM不会自动判断。4.4 return_sequences 和 return_state 到底怎么配合在 Keras/TensorFlow 里return_sequences和return_state这两个布尔参数经常把人绕晕。return_sequencesFalse初始默认返回最后一步隐状态形状[batch, hidden_size]return_sequencesTrue返回所有时间步隐状态形状[batch, seq_len, hidden_size]return_stateTrue不管上面那个额外返回最后隐状态h和细胞状态c在 Keras 中LSTM(return_sequencesTrue, return_stateTrue)的返回值是三元组output, h, c。其中output和h在最后一步是重合的但维度不同output包含完整的时间轴h只代表最后一步。这个细节非常容易踩坑我见过不少同事把output和h当成一回事结果后续全连接层维度怎么都对不上。5. 双向和多层LSTM的维度叠加单层单向是基础但实际项目里经常要上双向、上多层。维度这时候会发生变化但规则很清晰。5.1 双向LSTM输出维度直接翻倍双向LSTM用两条独立的LSTM分别处理原始序列和反向序列然后把它们的输出拼接起来。所以不管hidden_size设多少最终每个时间步的输出维度都是2 * hidden_size。在 PyTorch 里lstm nn.LSTM(input_size8, hidden_size16, bidirectionalTrue, batch_firstTrue) out, (h_n, c_n) lstm(x) print(out.shape:, out.shape) # torch.Size([4, 5, 32]) print(h_n.shape:, h_n.shape) # torch.Size([2, 4, 16]) print(c_n.shape:, c_n.shape) # torch.Size([2, 4, 16])out最后一维是32正好是正向16维和反向16维拼起来的结果。h_n的排列要注意单层双向时h_n第一维是2第一个是正向最后时间步的隐状态第二个是反向最后时间步的隐状态。如果你想拿“整个序列的压缩表示”不要把h_n直接抻平更好的做法是把正向和反向分别取出来拼接h_forward h_n[0] # [batch, 16] h_backward h_n[1] # [batch, 16] h_concat torch.cat([h_forward, h_backward], dim-1) # [batch, 32]Keras 里用Bidirectional(LSTM(...))也是一样merge_mode默认是concat所以输出维度是2 * hidden_size。如果不想要翻倍可以把merge_mode设成sum、mul或ave但实际效果要看任务。5.2 多层LSTMh_n按层排布out只表达最后一层多层LSTM也叫堆叠LSTM上一层每个时间步的输出作为下一层的输入。因为每一层的hidden_size通常设成相同值所以out的形状不会随层数变化仍然是[batch, seq_len, hidden_size]。变化的是h_n和c_n。它们的第一维会等于num_layers如果双向则等于num_layers * 2。这意味着每层都有自己独立的最终隐状态互不混杂。lstm nn.LSTM(input_size8, hidden_size16, num_layers2, batch_firstTrue) out, (h_n, c_n) lstm(x) print(out.shape:, out.shape) # torch.Size([4, 5, 16]) print(h_n.shape:, h_n.shape) # torch.Size([2, 4, 16])第一层和第二层的隐状态各有各的含义。取最后一层的最后一时间步可以用out[:, -1, :]或者h_n[-1]。取第一层的最后一时间步只能用h_n[0]out里拿不到。如果你在双层的 h_n 里看到第一维是2别以为那是“方向”它可能是“层”。更复杂的模型里“层”和“方向”同时存在时第一维会是num_layers * num_directions顺序一般是按层排每层内部再按方向排。想准确知道打印验证最稳妥。5.3 常见维度拼接和池化操作实际项目里拿到LSTM的输出后往往不会直接接分类器而是会做各种聚合。这些操作的维度变化也很规律。操作输入形状输出形状说明取最后一步[batch, seq_len, hidden][batch, hidden]适合分类任务全局平均池化[batch, seq_len, hidden][batch, hidden]对时间轴取平均全局最大池化[batch, seq_len, hidden][batch, hidden]突出最强信号拼接正反向最后状态[batch, hidden]两个[batch, 2*hidden]双向表示拼接多层最终状态[num_layers, batch, hidden][batch, num_layers*hidden]不常见但可用接全连接层之前一定要确保张量已经变成二维[batch, feature_dim]。把[batch, seq_len, hidden]直接塞进全连接层是最常见的报错来源。6. 常见维度报错与排查技巧实录最后分享一些实际排查经验。下面这些报错和信息提示是我见过的最高频几类。6.1 五条高频报错信息对照报错提示通常原因解决思路size mismatch/got ... expected ...输入最后一维不等于input_size检查数据和LSTM构造参数是否一致尤其是Embedding输出维度和input_sizeExpected hidden[0] size (..., num_layers, ...)传入初始隐状态h0的层数维度不对确认h0第一维是num_layers或num_layers * num_directionsInput tensor should have 3 dimensions输入不是三维张量把二维[batch, features]改成[batch, seq_len, features]mat1 and mat2 shapes cannot be multiplied全连接层吃到了三维张量先用out[:, -1, :]或池化降到二维再接全连接Given groups1, weight size ...常见于Conv和LSTM混用时维度理解偏差检查卷积层和LSTM层之间是否做过正确的维度调整这些报错里最坑的是第三种。有人把[batch, features]当成LSTM输入以为再加一维就完事结果时间步维度是1模型不报错但效果很差。还有人以“反正模型能跑就行”的心态忽略维度警告结果训练出的模型毫无泛化能力。6.2 用随机输入打印维度的自检法结构越复杂越应该在接真实数据前先用随机输入把维度验证一遍。我自己养成的习惯是写一个小函数import torch import torch.nn as nn def check_lstm(input_size8, hidden_size16, seq_len5, batch4, num_layers1, bidirectionalFalse): lstm nn.LSTM( input_sizeinput_size, hidden_sizehidden_size, num_layersnum_layers, bidirectionalbidirectional, batch_firstTrue, ) x torch.randn(batch, seq_len, input_size) out, (h_n, c_n) lstm(x) print(input :, x.shape) print(out :, out.shape) print(h_n :, h_n.shape) print(c_n :, c_n.shape) check_lstm() check_lstm(bidirectionalTrue) check_lstm(num_layers2)用随机数做验证可以先把“结构错误”和“数据错误”拆开。真实数据里常有填充、掩码、变长序列维度问题混在里面会很难判断。先用随机数跑通结构再套真实数据能省下大量排查时间。6.3 给新手的维度记忆口诀和自查清单我自己平时喜欢用几句口诀快速判断LSTM维度输入永远是三维batch、seq_len、input_size。hidden_size管的是输出向量长度管不了你有多少个时间步。拿“最后一步”用out[:,-1,:]前提是batch_firstTrue。h_n第一维一定是层数不是批量也不是序列长度。双向就是hidden_size翻倍多层就是h_n变厚。接全连接前先降到二维。自查的时候按这个顺序问一遍“我的数据是不是三维三个轴分别是什么batch_first开没开我想要每个时间步的输出还是最后一步如果是双向维度翻倍了吗如果是多层h_n的层数对吗”这套问题过完绝大多数维度问题都能定位到具体那一行。最后再分享一个实操小习惯。我的代码里第一版 forward 一定会加一句print(x.shape, out.shape, h_n.shape)等整个模型结构确认无误再删掉。别小看这个土办法LSTM维度问题在纸面上推十遍不如拿一个随机张量跑一遍打印出来的形状就是最诚实的答案。卡维度不用慌把“时间步、hidden_size、batch”三个数对到具体轴上剩下的都是重复推演。
群里有朋友发来一张截图说“LSTM输出输出维度怎么看都看不懂”。我猜是“输入输出”四个字打重了可问题本身一点都不含糊模型明明能跑但中间张量到底长什么样很多人完全说不清。LSTM的维度问题几乎每个入门者都会卡一下因为它的数据不是一次性算完而是按时间步滚动更新再加上不同框架的默认排列顺序还不一样input_size、hidden_size、seq_len、batch_size几个概念搅在一起确实容易绕晕。这篇文章就用表格、简单示意和几段能直接复制的小代码把LSTM的输入输出维度一层层拆开。从单层到多层从单向到双向从多对一到多对多最后把常见的维度报错也一并解决掉。读过之后你会发现LSTM的维度没那么玄关键是把“时间步”“隐藏层大小”“批大小”这三件事对应到张量的具体轴上。1. 先搞清楚三个数字input_size、hidden_size、seq_lenLSTM的维度问题九成是这三个数字混在一起造成的。它们都叫“大小”但含义完全不同。1.1 input_size 是“每个时间步的特征数”不是序列长度input_size指的是单个时间步里携带的特征数量。比如一段文本经过词嵌入后每个词可能用8维向量表示那input_size8再比如你预测一只股票每个历史时刻只有“收盘价”一个数字那input_size1如果有5个传感器的读数那input_size5。很多从全连接网络转过来的朋友会下意识把input_size理解成“输入神经元个数”这个类比在LSTM里其实不太准确。LSTM每个时间步都是一个小型计算单元它接收的是一整个向量而不是一个标量。这个向量的长度就是input_size。它跟序列长度完全无关。长度是“有多少个时间步”特征数是“每个时间步里有多少个数字”。一个句子有10个词每个词用8维向量表示那么seq_len10input_size8。这两个数字一旦搞反模型肯定报错。1.2 hidden_size 是“内部记忆的宽度”不是层数hidden_size表示LSTM单元内部状态向量的长度你可以把它理解为“这个单元记忆有多宽”。它不是神经元的个数而是每一组状态向量的维度。例如hidden_size16意味着在内部会产生一个16维的隐状态向量h_t和一个16维的细胞状态向量c_t。这两个状态向量会在每个时间步不断被更新用来携带上下文信息。hidden_size和input_size不需要相等。哪怕输入特征只有1维内部状态也可以设成128维。这就像一个人接收到的外部信息可能很简单但他脑子里可以反复琢磨、展开很多内部细节。hidden_size越大表达能力越强但计算量和过拟合风险也更大。1.3 seq_len 是“循环的次数”不是数据维度seq_len是时间步的数量它决定LSTM要按顺序处理多少个输入。它不体现在单个向量的长度上而是体现在张量的一个轴以及内部循环次数上。把这三个数字放回张量里看就清楚多了。一个标准的LSTM输入是三维张量三个轴分别对应轴0批次大小batch_size轴1序列长度seq_len轴2每个时间步的特征数input_size所以一个[batch_size, seq_len, input_size]的输入经过LSTM层之后一般会得到[batch_size, seq_len, hidden_size]的输出。这层变换的本质就是“把每个时间步的特征向量从 input_size 映射到 hidden_size”同时借助内部状态把整个序列的信息累积起来。2. 单层LSTM的维度图示输入输出到底怎么变这一节是全文的基础。搞懂单层单向LSTM后多层、双向、各种变体的维度都是在这个基础上加的。2.1 最常见输入形态是三维张量框架默认顺序不一样LSTM输入一定是三维张量但同一个数据在不同框架里摆放顺序不一样。这是很多新手疑惑的重灾区。框架/参数输入张量形状说明PyTorch 默认[seq_len, batch, input_size]时间轴放在最前面time-majorPyTorch 开启batch_firstTrue[batch, seq_len, input_size]批量轴放最前更直观TensorFlow/Keras[batch, seq_len, input_size]默认就是批量轴在前PyTorch 默认不把 batch 放前面是因为LSTM类最初是从论文习惯里的“时间步优先”风格继承过来的训练时可能在某些并行计算场景下更快。但大多数业务代码里数据读进来通常都是batch在前的所以 PyTorch 也提供了batch_firstTrue来切换。我建议你在写代码时统一加batch_firstTrue至少能少一半轴顺序方面的纠结。注意一点这个参数只影响输入和输出张量中“时间轴和批量轴”的位置不影响隐状态h_n和细胞状态c_n的排列方式。2.2 输出其实有两种全部时间步输出和最终隐状态LSTM层会返回两类东西很多人只盯着其中一类然后就蒙了。第一类是“所有时间步的输出”通常叫output或者out。在 PyTorch 里它的形状是batch_firstTrue[batch, seq_len, hidden_size]batch_firstFalse[seq_len, batch, hidden_size]第二类是“最后一个时间步的隐状态和细胞状态”通常叫h_n和c_n。它们的形状是[num_layers, batch, hidden_size]注意即使你设置batch_firstTrueh_n的形状也不会变成[batch, num_layers, hidden_size]。它的第一维永远是层数。为什么会不一样因为out保存的是“每个时间步的最后一层输出”而h_n保存的是“每一层在最后那个时间步的隐状态”。单层单向时out[:, -1, :]和h_n[-1]在数值上是同一个东西。多层时h_n里面还装着前面层的最终状态out里面则是每一时间步的最后一层输出两者不能直接画等号。2.3 一个可复现的维度打印实验与其空想不如直接打印维度。下面这段代码在 PyTorch 里验证单层单向LSTM的输入输出形状import torch import torch.nn as nn # 输入特征8维隐状态16维batch_firstTrue lstm nn.LSTM(input_size8, hidden_size16, batch_firstTrue) # 4句话每句话5个词每个词8维向量 x torch.randn(4, 5, 8) out, (h_n, c_n) lstm(x) print(out.shape:, out.shape) # torch.Size([4, 5, 16]) print(h_n.shape:, h_n.shape) # torch.Size([1, 4, 16]) print(c_n.shape:, c_n.shape) # torch.Size([1, 4, 16]) # 所有时间步输出里的“最后一步” 和 h_n最后一层数值一致 print(torch.equal(out[:, -1, :], h_n[-1])) # True在 Keras 里对应的参数是return_sequences和return_statefrom tensorflow.keras.layers import LSTM # return_sequencesTrue返回所有时间步输出 [batch, seq_len, hidden_size] # return_stateTrue额外返回最后隐状态 h 和细胞状态 c lstm_layer LSTM(16, return_sequencesTrue, return_stateTrue)Keras 的返回值顺序容易记混依次是output,h_state,c_state。其中h_state的形状是[batch, hidden_size]不是[1, batch, hidden_size]。这就跟 PyTorch 不一样换框架时一定要重新打印一下。3. 维度流动的内部逻辑从 input_size 到 hidden_size知道形状以后还得理解它为什么会这样流动。否则下次遇到[batch, seq_len, input_size]变成什么还是只能靠猜。3.1 时间步是“循环”不是广播LSTM不是像卷积那样在整个序列上一次性滑完而是严格按时间顺序循环处理。理论上LSTM单元在每个时间步只处理一个“长度为input_size”的向量然后更新内部状态。这个过程可以用一个手动展开的循环来理解h torch.zeros(batch, hidden_size) c torch.zeros(batch, hidden_size) for t in range(seq_len): x_t x[:, t, :] # 取出第t个时间步的数据形状 [batch, input_size] h, c lstm_cell(x_t, (h, c)) # 内部状态更新h仍然是 [batch, hidden_size]所以seq_len是循环的次数它决定张量中“时间轴”的长度。每个时间步的输入和输出向量长度分别由input_size和hidden_size决定。循环次数和向量长度是两回事这也是很多人搞混的根源。3.2 权重矩阵把外部特征映射到内部记忆空间LSTM单元内部有一组门控机制输入门、遗忘门、输出门、候选记忆每个门本质上都是一次线性变换加激活函数。线性变换的输入是“当前输入向量”和“上一个隐状态”拼接在一起然后乘上权重矩阵。忽略掉具体门控细节后可以简化理解为input_size 维向量 - 线性变换 - hidden_size 维隐状态input_size和hidden_size不相等完全没问题因为中间有一个hidden_size x (input_size hidden_size)的权重矩阵在做维度转换。换句话说LSTM把“外部世界的特征表达”映射到“内部记忆空间”里。为什么需要这个差异因为外部特征可能很稀疏、很短而内部记忆需要足够宽才能承载长期上下文。比如一个单词的词向量只有8维但句子里的语法角色、情感倾向、指代关系都需要被记忆这就不止8维能装下。3.3 文本分类任务的维度流动全过程用文本分类举个例子。假设要判断4句话的情感句子已经切好了词每句话最多5个词每个词用8维的词向量表示。流程大致是这样原始文本[我 爱 深 度 学 习, 这 部 电 影 好 看, ...] 分词后变成 token id[4, 5] 经过 Embedding(词表大小, 8) 变为[4, 5, 8] 经过 LSTM(input_size8, hidden_size16, batch_firstTrue) 变为[4, 5, 16] 取最后一个时间步 out[:, -1, :] 变为[4, 16] 接 Dense(2) 输出分类概率[4, 2]这里的[4, 5, 8]就是标准三维输入。5是时间步数8是每个词向量维度4是批量大小。LSTM层输出[4, 5, 16]每个词都有一个16维的隐状态表示。如果任务是句子级分类只关心整句话的情感那就取最后一个时间步。如果任务是词性标注需要每个词都输出标签那就直接用[4, 5, 16]接全连接层对每个时间步做分类。3.4 时间序列预测任务的维度流动全过程再举一个完全不同领域的例子用过去10个时刻的传感器数据预测下一时刻的温度。原始数据是一维的总共10000个时刻。为了喂给LSTM需要做滑动窗口切样本。假设每个样本取10个历史时刻每个时刻只有1个温度值批量大小取32。此时输入张量是[32, 10, 1]32是批量大小一次处理32个窗口10是时间步数即过去的10个时刻1是每个时刻的特征数即温度lstm nn.LSTM(input_size1, hidden_size32, batch_firstTrue) out, (h_n, c_n) lstm(x) # out.shape [32, 10, 32] # 预测下一个温度取序列最后一步再接一个全连接层 last_step out[:, -1, :] # [32, 32] pred fc(last_step) # [32, 1]如果每个时刻有多个传感器比如温度、湿度、风速三个值那input_size3输入形状就是[32, 10, 3]。LSTM内部会自动把每个时间步的3维特征映射到hidden_size维空间。4. 不同任务形态下的输出维度变体LSTM的输入输出形态并不只有一种。根据任务需要大体分为多对一、多对多、一对多三类。维度选择完全取决于任务目标。4.1 多对一、多对多、一对多的形状对照表任务形态典型任务输入形状常用输出多对一文本分类、时间序列点预测[batch, seq_len, input_size][batch, hidden_size]取最后一步多对多同步序列标注、逐帧分类[batch, seq_len, input_size][batch, seq_len, hidden_size]多对多异步机器翻译、摘要生成编码器输入[batch, seq_len_enc, input]解码器输入逐个生成解码器输出长度不定一对多图像标题、文本生成条件向量 逐步输入生成seq_len_out步输出“一对多”这个词容易让人误以为LSTM原生支持一个输入、多个输出。实际它并不是一个LSTM层就能完成的而是靠“把同一个条件向量重复送到每个时间步”或者“把条件向量作为初始隐状态”来构造的。4.2 多对一任务取“最后一步”的两个等价方式多对一任务最后都需要把一整条序列压缩成一个向量。最常用的是取序列最后一个时间步的隐状态。在 PyTorch 里有两种写法本质等价# 方式一从 out 里取最后一步 feature out[:, -1, :] # [batch, hidden_size] # 方式二从 h_n 里取最后一层 feature h_n[-1] # [batch, hidden_size]单层单向时这两个结果完全相同。不过有一个小坑如果开了batch_firstTrueout[:, -1, :]是最后一步如果没开就应该是out[-1, :, :]。所以每次写之前都要先确认你的输入轴顺序是什么。多层时更需要注意。out是最后一层在每个时间步的输出h_n是每一层的最终隐状态。如果你要的是“最后一层的最终状态”h_n[-1]是对的如果你要的是“倒数第二层的最终状态”就得用h_n[-2]。只看out时你拿不到中间层的输出。4.3 一对多任务靠“重复输入”和“初始状态”实现一对多任务最常见的是文本生成和图像标题输入一个条件向量输出一串序列。LSTM本身没有“一个输入产生多个时间步输出”的固定接口实际操作中有两种常见构造方式。方式一是把条件向量作为LSTM的初始隐状态然后在每个时间步把上一时间步的输出当作当前输入。这种方式最接近“自回归生成”的逻辑但训练时要费心处理“强制教学”和“自由生成”之间的差异。方式二更简单把同一个条件向量复制seq_len份组成一个[batch, seq_len, condition_dim]的输入送入LSTM。比如训练图像标题时可以把图像特征向量复制10次输出10个词的预测condition img_feature.unsqueeze(1) # [batch, 1, hidden_size] condition_repeat condition.repeat(1, 10, 1) # [batch, 10, hidden_size] out, (h_n, c_n) lstm(condition_repeat) # out: [batch, 10, hidden_size]方式二在训练时很好写但生成阶段仍然要改成逐步预测因为目标长度不固定。无论哪种方式一对多任务里“输出序列长度”是你自己决定的LSTM不会自动判断。4.4 return_sequences 和 return_state 到底怎么配合在 Keras/TensorFlow 里return_sequences和return_state这两个布尔参数经常把人绕晕。return_sequencesFalse初始默认返回最后一步隐状态形状[batch, hidden_size]return_sequencesTrue返回所有时间步隐状态形状[batch, seq_len, hidden_size]return_stateTrue不管上面那个额外返回最后隐状态h和细胞状态c在 Keras 中LSTM(return_sequencesTrue, return_stateTrue)的返回值是三元组output, h, c。其中output和h在最后一步是重合的但维度不同output包含完整的时间轴h只代表最后一步。这个细节非常容易踩坑我见过不少同事把output和h当成一回事结果后续全连接层维度怎么都对不上。5. 双向和多层LSTM的维度叠加单层单向是基础但实际项目里经常要上双向、上多层。维度这时候会发生变化但规则很清晰。5.1 双向LSTM输出维度直接翻倍双向LSTM用两条独立的LSTM分别处理原始序列和反向序列然后把它们的输出拼接起来。所以不管hidden_size设多少最终每个时间步的输出维度都是2 * hidden_size。在 PyTorch 里lstm nn.LSTM(input_size8, hidden_size16, bidirectionalTrue, batch_firstTrue) out, (h_n, c_n) lstm(x) print(out.shape:, out.shape) # torch.Size([4, 5, 32]) print(h_n.shape:, h_n.shape) # torch.Size([2, 4, 16]) print(c_n.shape:, c_n.shape) # torch.Size([2, 4, 16])out最后一维是32正好是正向16维和反向16维拼起来的结果。h_n的排列要注意单层双向时h_n第一维是2第一个是正向最后时间步的隐状态第二个是反向最后时间步的隐状态。如果你想拿“整个序列的压缩表示”不要把h_n直接抻平更好的做法是把正向和反向分别取出来拼接h_forward h_n[0] # [batch, 16] h_backward h_n[1] # [batch, 16] h_concat torch.cat([h_forward, h_backward], dim-1) # [batch, 32]Keras 里用Bidirectional(LSTM(...))也是一样merge_mode默认是concat所以输出维度是2 * hidden_size。如果不想要翻倍可以把merge_mode设成sum、mul或ave但实际效果要看任务。5.2 多层LSTMh_n按层排布out只表达最后一层多层LSTM也叫堆叠LSTM上一层每个时间步的输出作为下一层的输入。因为每一层的hidden_size通常设成相同值所以out的形状不会随层数变化仍然是[batch, seq_len, hidden_size]。变化的是h_n和c_n。它们的第一维会等于num_layers如果双向则等于num_layers * 2。这意味着每层都有自己独立的最终隐状态互不混杂。lstm nn.LSTM(input_size8, hidden_size16, num_layers2, batch_firstTrue) out, (h_n, c_n) lstm(x) print(out.shape:, out.shape) # torch.Size([4, 5, 16]) print(h_n.shape:, h_n.shape) # torch.Size([2, 4, 16])第一层和第二层的隐状态各有各的含义。取最后一层的最后一时间步可以用out[:, -1, :]或者h_n[-1]。取第一层的最后一时间步只能用h_n[0]out里拿不到。如果你在双层的 h_n 里看到第一维是2别以为那是“方向”它可能是“层”。更复杂的模型里“层”和“方向”同时存在时第一维会是num_layers * num_directions顺序一般是按层排每层内部再按方向排。想准确知道打印验证最稳妥。5.3 常见维度拼接和池化操作实际项目里拿到LSTM的输出后往往不会直接接分类器而是会做各种聚合。这些操作的维度变化也很规律。操作输入形状输出形状说明取最后一步[batch, seq_len, hidden][batch, hidden]适合分类任务全局平均池化[batch, seq_len, hidden][batch, hidden]对时间轴取平均全局最大池化[batch, seq_len, hidden][batch, hidden]突出最强信号拼接正反向最后状态[batch, hidden]两个[batch, 2*hidden]双向表示拼接多层最终状态[num_layers, batch, hidden][batch, num_layers*hidden]不常见但可用接全连接层之前一定要确保张量已经变成二维[batch, feature_dim]。把[batch, seq_len, hidden]直接塞进全连接层是最常见的报错来源。6. 常见维度报错与排查技巧实录最后分享一些实际排查经验。下面这些报错和信息提示是我见过的最高频几类。6.1 五条高频报错信息对照报错提示通常原因解决思路size mismatch/got ... expected ...输入最后一维不等于input_size检查数据和LSTM构造参数是否一致尤其是Embedding输出维度和input_sizeExpected hidden[0] size (..., num_layers, ...)传入初始隐状态h0的层数维度不对确认h0第一维是num_layers或num_layers * num_directionsInput tensor should have 3 dimensions输入不是三维张量把二维[batch, features]改成[batch, seq_len, features]mat1 and mat2 shapes cannot be multiplied全连接层吃到了三维张量先用out[:, -1, :]或池化降到二维再接全连接Given groups1, weight size ...常见于Conv和LSTM混用时维度理解偏差检查卷积层和LSTM层之间是否做过正确的维度调整这些报错里最坑的是第三种。有人把[batch, features]当成LSTM输入以为再加一维就完事结果时间步维度是1模型不报错但效果很差。还有人以“反正模型能跑就行”的心态忽略维度警告结果训练出的模型毫无泛化能力。6.2 用随机输入打印维度的自检法结构越复杂越应该在接真实数据前先用随机输入把维度验证一遍。我自己养成的习惯是写一个小函数import torch import torch.nn as nn def check_lstm(input_size8, hidden_size16, seq_len5, batch4, num_layers1, bidirectionalFalse): lstm nn.LSTM( input_sizeinput_size, hidden_sizehidden_size, num_layersnum_layers, bidirectionalbidirectional, batch_firstTrue, ) x torch.randn(batch, seq_len, input_size) out, (h_n, c_n) lstm(x) print(input :, x.shape) print(out :, out.shape) print(h_n :, h_n.shape) print(c_n :, c_n.shape) check_lstm() check_lstm(bidirectionalTrue) check_lstm(num_layers2)用随机数做验证可以先把“结构错误”和“数据错误”拆开。真实数据里常有填充、掩码、变长序列维度问题混在里面会很难判断。先用随机数跑通结构再套真实数据能省下大量排查时间。6.3 给新手的维度记忆口诀和自查清单我自己平时喜欢用几句口诀快速判断LSTM维度输入永远是三维batch、seq_len、input_size。hidden_size管的是输出向量长度管不了你有多少个时间步。拿“最后一步”用out[:,-1,:]前提是batch_firstTrue。h_n第一维一定是层数不是批量也不是序列长度。双向就是hidden_size翻倍多层就是h_n变厚。接全连接前先降到二维。自查的时候按这个顺序问一遍“我的数据是不是三维三个轴分别是什么batch_first开没开我想要每个时间步的输出还是最后一步如果是双向维度翻倍了吗如果是多层h_n的层数对吗”这套问题过完绝大多数维度问题都能定位到具体那一行。最后再分享一个实操小习惯。我的代码里第一版 forward 一定会加一句print(x.shape, out.shape, h_n.shape)等整个模型结构确认无误再删掉。别小看这个土办法LSTM维度问题在纸面上推十遍不如拿一个随机张量跑一遍打印出来的形状就是最诚实的答案。卡维度不用慌把“时间步、hidden_size、batch”三个数对到具体轴上剩下的都是重复推演。
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
