1. 为什么值得亲手推一遍RNN和LSTM的反向传播刚接触序列模型那会儿我和很多人一样觉得反向传播这事儿调包就完了——框架自动求导一行loss.backward()搞定何必手推直到有一次训练一个文本分类的小模型梯度死活不收敛换了优化器、调了学习率、加了梯度裁剪全都不管用。最后逼得没办法把LSTM的BPTT公式从头推了一遍才发现问题出在自己对门控梯度的理解有偏差导致对某个超参的调整方向完全反了。从那以后我就养成了一个习惯凡是序列模型的结构改动先手推一遍反向传播再动手写代码。这篇文章就是把我自己推导RNN和LSTM反向传播的完整思路整理出来包括每一步的来龙去脉、容易踩的坑、以及推导完之后怎么用数值梯度验证。适合已经了解RNN和LSTM前向传播、但对手推反向传播还不太有把握的读者。如果你正在准备面试、写论文需要推导附录、或者想深入理解门控机制到底怎么缓解梯度消失这篇应该能帮上忙。整篇推导我会尽量把每一步的维度变化和中间变量都写清楚不跳步。因为我自己学的时候最烦的就是那种“显然可得”的推导——对写的人显然对看的人未必。2. 推导前的准备工作符号约定与计算图思维2.1 统一符号约定避免维度混乱手推反向传播第一步不是急着求导而是把符号系统定死。我见过太多人推到一半发现维度对不上回头检查发现是某个矩阵转置搞混了。下面这套约定是我自己用着最顺手的后面所有推导都严格遵循。假设序列长度为 ( T )批量大小为 ( N )输入维度为 ( d )隐藏层维度为 ( h )输出维度为 ( o )分类任务中 ( o ) 等于类别数。( x_t \in \mathbb{R}^{N \times d} )第 ( t ) 步的输入( h_t \in \mathbb{R}^{N \times h} )第 ( t ) 步的隐藏状态( y_t \in \mathbb{R}^{N \times o} )第 ( t ) 步的输出( W_{xh} \in \mathbb{R}^{d \times h} )输入到隐藏层的权重( W_{hh} \in \mathbb{R}^{h \times h} )隐藏层到隐藏层的权重( W_{hy} \in \mathbb{R}^{h \times o} )隐藏层到输出层的权重( b_h \in \mathbb{R}^{1 \times h} )( b_y \in \mathbb{R}^{1 \times o} )偏置项损失函数 ( L \sum_{t1}^{T} L_t )其中 ( L_t ) 是第 ( t ) 步的损失。这个求和很关键——它意味着每一步的损失都会通过隐藏状态往回传梯度是累加的。注意批量维度 ( N ) 在推导中通常可以忽略因为每个样本独立计算梯度最后取平均。但写代码时如果忘了对批量维度求平均梯度会大 ( N ) 倍这是新手常踩的坑。2.2 计算图视角把循环展开成链RNN的反向传播之所以叫BPTTBackpropagation Through Time是因为我们需要把循环结构按时间步展开成一条链。展开之后它就是一个深度为 ( T ) 的前馈网络只不过每一层共享同一组权重。这个视角非常重要因为它直接决定了梯度累加的规则共享权重 ( W_{hh} ) 的梯度等于所有时间步上该权重梯度的总和。很多人推的时候只算了一步就收工结果梯度少了一大截。用计算图的话说( W_{hh} ) 在 ( T ) 个时间步上都被使用了所以它对损失的贡献是 ( T ) 条路径的叠加。同理( W_{xh} ) 也是共享的但 ( W_{hy} ) 在每个时间步独立使用不共享所以它的梯度不需要跨时间累加。2.3 为什么要先推RNN再推LSTMRNN的反向传播是LSTM的基础。LSTM无非是在隐藏状态的计算中加入了门控机制和细胞状态反向传播的骨架完全一样只是多了几条分支路径。如果RNN的链式法则没搞明白直接上LSTM只会更晕。我的建议是先把RNN的 ( \frac{\partial L}{\partial h_t} ) 怎么从 ( t1 ) 传到 ( t ) 搞清楚再去看LSTM里细胞状态 ( c_t ) 的那条“高速公路”你会发现LSTM的设计思路一下子就清晰了。3. RNN反向传播公式的完整推导3.1 前向传播回顾与中间变量标记先把前向传播写清楚后面求导才有依据。[ h_t \tanh(x_t W_{xh} h_{t-1} W_{hh} b_h) ] [ y_t h_t W_{hy} b_y ] [ \hat{p}t \text{softmax}(y_t) ] [ L_t -\sum{k} y_{t,k}^{\text{true}} \log \hat{p}_{t,k} ]为了简化求导我习惯引入一个中间变量 ( a_t )[ a_t x_t W_{xh} h_{t-1} W_{hh} b_h ] [ h_t \tanh(a_t) ]这样 ( \frac{\partial h_t}{\partial a_t} 1 - \tanh^2(a_t) 1 - h_t^2 )这个形式很简洁后面会反复用到。3.2 输出层梯度从损失到隐藏状态先从最简单的输出层开始。对于第 ( t ) 步损失 ( L_t ) 对 ( y_t ) 的梯度在softmax交叉熵的组合下有一个非常漂亮的结果[ \frac{\partial L_t}{\partial y_t} \hat{p}_t - y_t^{\text{true}} ]这个结论我建议直接记住推导也不复杂softmax的雅可比矩阵乘以交叉熵的梯度化简后就是预测概率减去真实标签。维度是 ( N \times o )。接下来求 ( W_{hy} ) 和 ( b_y ) 的梯度。因为 ( y_t h_t W_{hy} b_y )所以[ \frac{\partial L}{\partial W_{hy}} \sum_{t1}^{T} h_t^T \cdot \frac{\partial L_t}{\partial y_t} ]维度检查( h_t^T ) 是 ( h \times N )( \frac{\partial L_t}{\partial y_t} ) 是 ( N \times o )乘出来是 ( h \times o )和 ( W_{hy} ) 一致。注意这里要对所有时间步求和因为 ( W_{hy} ) 在每个时间步都被使用。[ \frac{\partial L}{\partial b_y} \sum_{t1}^{T} \sum_{n1}^{N} \frac{\partial L_t}{\partial y_t}[n, :] ]也就是把批量维度也加起来最终得到一个 ( 1 \times o ) 的向量。隐藏状态 ( h_t ) 的梯度来自两个方向一是当前步的输出损失 ( L_t )二是下一步传回来的梯度。所以[ \frac{\partial L}{\partial h_t} \frac{\partial L_t}{\partial h_t} \frac{\partial L}{\partial h_{t1}} \cdot \frac{\partial h_{t1}}{\partial h_t} ]其中第一项 ( \frac{\partial L_t}{\partial h_t} \frac{\partial L_t}{\partial y_t} \cdot W_{hy}^T )维度是 ( N \times h )。第二项就是BPTT的核心我们下一节专门讲。3.3 时间步之间的梯度回传BPTT的核心现在来看 ( \frac{\partial h_{t1}}{\partial h_t} )。因为 ( h_{t1} \tanh(a_{t1}) )而 ( a_{t1} x_{t1} W_{xh} h_t W_{hh} b_h )所以[ \frac{\partial h_{t1}}{\partial h_t} \text{diag}(1 - h_{t1}^2) \cdot W_{hh}^T ]这里 ( \text{diag}(1 - h_{t1}^2) ) 是一个 ( N \times h ) 的矩阵每个样本的每个隐藏单元对应一个导数严格来说应该写成逐元素乘法。在批量情况下这个雅可比是一个对角块矩阵实际计算时用逐元素乘法即可。所以从 ( t1 ) 传回 ( t ) 的梯度是[ \delta_t^{\text{back}} \left( \frac{\partial L}{\partial h_{t1}} \odot (1 - h_{t1}^2) \right) W_{hh}^T ]其中 ( \odot ) 表示逐元素乘法。这个式子是整个RNN反向传播的灵魂。你可以看到梯度每回传一步就要乘以一个 ( W_{hh}^T ) 和一个 ( (1 - h_{t1}^2) ) 的因子。这就是梯度消失/爆炸的根源如果 ( W_{hh} ) 的特征值小于1梯度会指数衰减大于1则指数增长。而 ( \tanh ) 的导数最大只有1在饱和区接近0进一步加剧了衰减。3.4 参数梯度汇总共享权重的累加规则有了 ( \frac{\partial L}{\partial h_t} )就可以求 ( W_{xh} )、( W_{hh} )、( b_h ) 的梯度了。因为 ( a_t x_t W_{xh} h_{t-1} W_{hh} b_h )所以[ \frac{\partial L}{\partial a_t} \frac{\partial L}{\partial h_t} \odot (1 - h_t^2) ]这个 ( \frac{\partial L}{\partial a_t} ) 是 ( N \times h ) 的矩阵我习惯叫它 ( \delta_t )。然后[ \frac{\partial L}{\partial W_{xh}} \sum_{t1}^{T} x_t^T \cdot \delta_t ] [ \frac{\partial L}{\partial W_{hh}} \sum_{t1}^{T} h_{t-1}^T \cdot \delta_t ] [ \frac{\partial L}{\partial b_h} \sum_{t1}^{T} \sum_{n1}^{N} \delta_t[n, :] ]注意 ( h_0 ) 通常初始化为全零向量所以 ( t1 ) 时 ( h_{t-1} h_0 0 )这一项对 ( W_{hh} ) 的梯度贡献为零。维度检查( x_t^T ) 是 ( d \times N )( \delta_t ) 是 ( N \times h )乘出来 ( d \times h )和 ( W_{xh} ) 一致。( h_{t-1}^T ) 是 ( h \times N )乘出来 ( h \times h )和 ( W_{hh} ) 一致。3.5 一个完整的数值例子光看公式容易飘我们用一个极小的例子走一遍。假设 ( T2 )( N1 )( d2 )( h2 )( o2 )。初始权重( W_{xh} [[0.1, 0.2], [0.3, 0.4]] )( W_{hh} [[0.5, 0.6], [0.7, 0.8]] )( W_{hy} [[0.9, 1.0], [1.1, 1.2]] )所有偏置为0输入( x_1 [1.0, 0.5] )( x_2 [0.2, 0.8] )真实标签( y_1^{\text{true}} [1, 0] )( y_2^{\text{true}} [0, 1] )前向传播( a_1 x_1 W_{xh} h_0 W_{hh} [1.0 \times 0.1 0.5 \times 0.3, 1.0 \times 0.2 0.5 \times 0.4] [0.25, 0.4] )( h_1 \tanh([0.25, 0.4]) [0.2449, 0.3799] )( y_1 h_1 W_{hy} [0.2449 \times 0.9 0.3799 \times 1.1, 0.2449 \times 1.0 0.3799 \times 1.2] [0.6383, 0.7007] )( \hat{p}_1 \text{softmax}([0.6383, 0.7007]) [0.4844, 0.5156] )( L_1 -\log(0.4844) 0.7249 )类似地算 ( t2 )( a_2 x_2 W_{xh} h_1 W_{hh} [0.2 \times 0.1 0.8 \times 0.3 0.2449 \times 0.5 0.3799 \times 0.7, 0.2 \times 0.2 0.8 \times 0.4 0.2449 \times 0.6 0.3799 \times 0.8] ) ( [0.02 0.24 0.1225 0.2659, 0.04 0.32 0.1469 0.3039] [0.6484, 0.8108] )( h_2 \tanh([0.6484, 0.8108]) [0.5707, 0.6701] )( y_2 [0.5707 \times 0.9 0.6701 \times 1.1, 0.5707 \times 1.0 0.6701 \times 1.2] [1.2507, 1.3748] )( \hat{p}_2 \text{softmax}([1.2507, 1.3748]) [0.4691, 0.5309] )( L_2 -\log(0.5309) 0.6333 )总损失 ( L 1.3582 )。反向传播先算 ( \frac{\partial L_2}{\partial y_2} [0.4691, 0.5309] - [0, 1] [0.4691, -0.4691] )( \frac{\partial L_2}{\partial h_2} [0.4691, -0.4691] \cdot W_{hy}^T [0.4691 \times 0.9 (-0.4691) \times 1.0, 0.4691 \times 1.1 (-0.4691) \times 1.2] [-0.0469, -0.0469] )( \delta_2 \frac{\partial L_2}{\partial h_2} \odot (1 - h_2^2) [-0.0469 \times (1-0.3257), -0.0469 \times (1-0.4490)] [-0.0316, -0.0258] )回传到 ( t1 )( \frac{\partial L}{\partial h_1} \frac{\partial L_1}{\partial h_1} \delta_2 W_{hh}^T )( \frac{\partial L_1}{\partial y_1} [0.4844, 0.5156] - [1, 0] [-0.5156, 0.5156] )( \frac{\partial L_1}{\partial h_1} [-0.5156, 0.5156] \cdot W_{hy}^T [-0.5156 \times 0.9 0.5156 \times 1.0, -0.5156 \times 1.1 0.5156 \times 1.2] [0.0516, 0.0516] )( \delta_2 W_{hh}^T [-0.0316 \times 0.5 (-0.0258) \times 0.7, -0.0316 \times 0.6 (-0.0258) \times 0.8] [-0.0339, -0.0396] )所以 ( \frac{\partial L}{\partial h_1} [0.0516 - 0.0339, 0.0516 - 0.0396] [0.0177, 0.0120] )( \delta_1 [0.0177 \times (1-0.06), 0.0120 \times (1-0.1443)] [0.0166, 0.0103] )参数梯度( \frac{\partial L}{\partial W_{hy}} h_1^T \cdot \frac{\partial L_1}{\partial y_1} h_2^T \cdot \frac{\partial L_2}{\partial y_2} ) ( [[0.2449], [0.3799]] \cdot [[-0.5156, 0.5156]] [[0.5707], [0.6701]] \cdot [[0.4691, -0.4691]] ) ( [[-0.1263, 0.1263], [-0.1959, 0.1959]] [[0.2677, -0.2677], [0.3144, -0.3144]] ) ( [[0.1414, -0.1414], [0.1185, -0.1185]] )( \frac{\partial L}{\partial W_{xh}} x_1^T \delta_1 x_2^T \delta_2 ) ( [[1.0], [0.5]] \cdot [[0.0166, 0.0103]] [[0.2], [0.8]] \cdot [[-0.0316, -0.0258]] ) ( [[0.0166, 0.0103], [0.0083, 0.0052]] [[-0.0063, -0.0052], [-0.0253, -0.0206]] ) ( [[0.0103, 0.0051], [-0.0170, -0.0154]] )( \frac{\partial L}{\partial W_{hh}} h_0^T \delta_1 h_1^T \delta_2 0 [[0.2449], [0.3799]] \cdot [[-0.0316, -0.0258]] ) ( [[-0.0077, -0.0063], [-0.0120, -0.0098]] )这个例子虽然小但把整个流程走通了。你可以用PyTorch的自动求导验证一下结果应该一致。4. LSTM反向传播门控机制下的梯度流动4.1 LSTM前向传播的完整公式梳理LSTM比RNN多了三个门和一个细胞状态。先把前向公式列全[ f_t \sigma(x_t W_{xf} h_{t-1} W_{hf} b_f) ] [ i_t \sigma(x_t W_{xi} h_{t-1} W_{hi} b_i) ] [ o_t \sigma(x_t W_{xo} h_{t-1} W_{ho} b_o) ] [ \tilde{c}t \tanh(x_t W{xc} h_{t-1} W_{hc} b_c) ] [ c_t f_t \odot c_{t-1} i_t \odot \tilde{c}_t ] [ h_t o_t \odot \tanh(c_t) ]其中 ( \sigma ) 是sigmoid函数( \odot ) 是逐元素乘法。所有门和候选状态的维度都是 ( N \times h )。为了简化我习惯把输入和隐藏状态拼接起来( z_t [x_t, h_{t-1}] )然后所有权重合并成一个大矩阵。但推导时分开写更清晰因为每个门的梯度路径不同。4.2 细胞状态梯度LSTM的梯度高速公路LSTM反向传播最关键的一点是细胞状态 ( c_t ) 的梯度有一条几乎无阻碍的路径回传。从 ( c_t f_t \odot c_{t-1} i_t \odot \tilde{c}t ) 可以看出( c_t ) 对 ( c{t-1} ) 的偏导就是 ( f_t )[ \frac{\partial c_t}{\partial c_{t-1}} f_t ]这意味着梯度从 ( c_t ) 回传到 ( c_{t-1} ) 时只需要乘以遗忘门 ( f_t )。如果 ( f_t ) 接近1梯度几乎无损地传回去如果接近0则丢弃。这就是LSTM缓解梯度消失的核心机制——它把连乘的 ( W_{hh}^T ) 换成了逐元素的 ( f_t )而且 ( f_t ) 是由网络自己学习的。相比之下RNN中梯度回传要乘以 ( \text{diag}(1-h^2) W_{hh}^T )这个矩阵的谱半径很容易小于1导致指数衰减。4.3 门控参数的梯度推导现在从 ( \frac{\partial L}{\partial h_t} ) 和 ( \frac{\partial L}{\partial c_t} ) 出发推导各个门的梯度。首先( h_t o_t \odot \tanh(c_t) )所以[ \frac{\partial L}{\partial o_t} \frac{\partial L}{\partial h_t} \odot \tanh(c_t) ] [ \frac{\partial L}{\partial c_t} \frac{\partial L}{\partial h_t} \odot o_t \odot (1 - \tanh^2(c_t)) \frac{\partial L}{\partial c_{t1}} \odot f_{t1} ]注意第二项就是从未来时间步传回来的细胞状态梯度。这个式子是LSTM反向传播的核心它说明 ( c_t ) 的梯度有两个来源当前步的隐藏状态以及下一步的细胞状态。然后 ( c_t f_t \odot c_{t-1} i_t \odot \tilde{c}_t )所以[ \frac{\partial L}{\partial f_t} \frac{\partial L}{\partial c_t} \odot c_{t-1} ] [ \frac{\partial L}{\partial i_t} \frac{\partial L}{\partial c_t} \odot \tilde{c}_t ] [ \frac{\partial L}{\partial \tilde{c}_t} \frac{\partial L}{\partial c_t} \odot i_t ]接下来过激活函数。对于sigmoid门[ \frac{\partial L}{\partial a_t^f} \frac{\partial L}{\partial f_t} \odot f_t \odot (1 - f_t) ]其中 ( a_t^f x_t W_{xf} h_{t-1} W_{hf} b_f )。类似地处理 ( i_t ) 和 ( o_t )。对于 ( \tilde{c}_t ) 的tanh[ \frac{\partial L}{\partial a_t^c} \frac{\partial L}{\partial \tilde{c}_t} \odot (1 - \tilde{c}_t^2) ]有了这些 ( \delta_t^f, \delta_t^i, \delta_t^o, \delta_t^c )就可以求权重梯度了[ \frac{\partial L}{\partial W_{xf}} \sum_{t1}^{T} x_t^T \delta_t^f ] [ \frac{\partial L}{\partial W_{hf}} \sum_{t1}^{T} h_{t-1}^T \delta_t^f ]其他门同理。偏置的梯度和RNN一样对所有时间步和批量求和。4.4 回传到上一步隐藏状态的梯度最后还需要把梯度从 ( h_t ) 回传到 ( h_{t-1} )因为 ( h_{t-1} ) 参与了所有门的计算[ \frac{\partial L}{\partial h_{t-1}} \delta_t^f W_{hf}^T \delta_t^i W_{hi}^T \delta_t^o W_{ho}^T \delta_t^c W_{hc}^T ]这个式子是四个分支的叠加。注意这里没有 ( W_{hh}^T ) 那种矩阵连乘而是四个门各自的权重矩阵分别作用后相加。这种结构让梯度流动更加分散不容易出现单一矩阵导致的爆炸或消失。4.5 LSTM反向传播的实操验证方法推完之后一定要验证。我最常用的方法是数值梯度检验def numerical_gradient(f, x, eps1e-5): grad np.zeros_like(x) it np.nditer(x, flags[multi_index]) while not it.finished: idx it.multi_index old x[idx] x[idx] old eps fx1 f(x) x[idx] old - eps fx2 f(x) x[idx] old grad[idx] (fx1 - fx2) / (2 * eps) it.iternext() return grad把解析梯度算出来和数值梯度对比相对误差小于 ( 10^{-6} ) 才算通过。我试过好几次都是因为某个门的梯度忘了加或者符号搞反数值检验一跑就露馅。提示数值梯度检验时记得关掉dropout否则随机性会导致对比失败。另外批量大小设为1或2就够了太大跑得慢。5. 推导过程中最容易踩的五个坑5.1 忘记对时间步求和这是最高频的错误。( W_{hh} ) 在所有时间步共享所以它的梯度必须是 ( \sum_{t1}^{T} \frac{\partial L_t}{\partial W_{hh}} )。很多人只算了最后一步或者只算了当前步结果梯度小得可怜训练几乎不动。我自己的检查方法如果某个共享权重的梯度范数比非共享权重的梯度小一个数量级大概率是漏了时间步求和。5.2 混淆逐元素乘法与矩阵乘法LSTM里到处都是 ( \odot )但权重乘法是矩阵乘法。推的时候一定要分清门控信号之间的运算是逐元素的输入到门的线性变换是矩阵乘法。写代码时如果该用*的地方用了维度可能碰巧对得上但结果是错的。5.3 忽略批量维度的处理批量维度 ( N ) 在推导中经常被省略但写代码时不能忘。所有对 ( N ) 求和的梯度比如偏置最后要除以 ( N ) 取平均否则梯度会随批量大小线性增长。而权重梯度中的 ( x_t^T \delta_t ) 已经隐含了对批量的求和所以也需要除以 ( N )。5.4 初始隐藏状态的梯度处理( h_0 ) 通常是零向量但它仍然参与 ( t1 ) 的计算。反向传播时( \frac{\partial L}{\partial h_0} ) 会被算出来但通常不需要用它更新任何参数除非你对初始状态也做了学习。不过如果忘了把 ( h_0 ) 的梯度置零或断开可能会在多次迭代中累积错误。5.5 梯度爆炸的数值表现推完公式后如果你发现梯度里出现inf或nan先检查是不是梯度爆炸。RNN的BPTT中梯度回传要连乘 ( T ) 次 ( W_{hh}^T )如果 ( W_{hh} ) 的谱半径略大于1( T100 ) 时梯度就会溢出。解决办法是梯度裁剪torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm5.0)这个操作在LSTM中同样需要虽然LSTM的细胞状态路径缓解了消失但隐藏状态路径仍然可能爆炸。6. 从公式到代码手写一个最小BPTT实现6.1 纯NumPy实现RNN反向传播光推公式不够我习惯用NumPy手写一遍前向和反向确保每个梯度都能对上。下面是一个最小实现的核心部分import numpy as np def rnn_forward(x, h0, Wxh, Whh, Why, bh, by): T, N, d x.shape h np.zeros((T1, N, h0.shape[1])) h[0] h0 y np.zeros((T, N, Why.shape[1])) for t in range(T): a x[t] Wxh h[t] Whh bh h[t1] np.tanh(a) y[t] h[t1] Why by return h, y def rnn_backward(x, h, y, dy, Wxh, Whh, Why): T, N, d x.shape dh np.zeros_like(h) dWxh np.zeros_like(Wxh) dWhh np.zeros_like(Whh) dWhy np.zeros_like(Why) dbh np.zeros_like(bh) dby np.zeros_like(by) dh[T] 0 for t in range(T-1, -1, -1): dWhy h[t1].T dy[t] dby dy[t].sum(axis0, keepdimsTrue) dh[t1] dy[t] Why.T da dh[t1] * (1 - h[t1]**2) dbh da.sum(axis0, keepdimsTrue) dWxh x[t].T da dWhh h[t].T da dh[t] da Whh.T return dWxh, dWhh, dWhy, dbh, dby这段代码和上面的公式一一对应。你可以用数值梯度检验每个参数的梯度确保实现正确。6.2 PyTorch自动求导的对照验证手写完之后用PyTorch搭同样的结构对比梯度import torch import torch.nn as nn rnn nn.RNN(input_sized, hidden_sizeh, batch_firstTrue) # 手动设置权重和手写实现一致 rnn.weight_ih_l0.data torch.tensor(Wxh.T) rnn.weight_hh_l0.data torch.tensor(Whh.T) rnn.bias_ih_l0.data torch.tensor(bh.flatten()) rnn.bias_hh_l0.data torch.zeros_like(rnn.bias_hh_l0) output, hn rnn(torch.tensor(x)) loss criterion(output, target) loss.backward() # 对比 rnn.weight_ih_l0.grad 和手写的 dWxh.T如果两者相对误差在 ( 10^{-6} ) 以内说明推导和实现都对了。我每次改结构都会跑一遍这个对照比肉眼检查靠谱得多。6.3 梯度裁剪与学习率的选择经验推完公式你会发现RNN的梯度对学习率非常敏感。我的经验是RNN的学习率通常要比LSTM小一个数量级。比如LSTM用 ( 10^{-3} )RNN可能要用 ( 10^{-4} ) 甚至更小。因为RNN的梯度连乘效应更严重稍大一点就爆炸。梯度裁剪的阈值我一般设在1到5之间。太小会截断正常梯度太大会失去保护作用。可以先跑几个batch打印梯度范数观察正常范围再定阈值。7. 推导之后这些公式在实际调参中怎么用7.1 从梯度公式理解梯度消失的本质推完RNN的BPTT你应该能一眼看出梯度消失的原因( \frac{\partial L}{\partial h_t} ) 中包含 ( \prod_{kt1}^{T} \text{diag}(1-h_k^2) W_{hh}^T )。这个连乘中每个因子 ( \text{diag}(1-h_k^2) ) 的最大值是1当 ( h_k0 ) 时而 ( W_{hh}^T ) 的谱半径通常小于1。两者相乘梯度随 ( T-t ) 指数衰减。LSTM的细胞状态路径把这个连乘换成了 ( \prod f_k )。遗忘门 ( f_k ) 可以接近1而且它是网络自己学的所以梯度可以传得更远。这就是为什么LSTM能处理更长的序列。7.2 门控初始化对梯度的影响从LSTM的梯度公式可以看出遗忘门 ( f_t ) 直接控制细胞状态梯度的衰减。如果初始化时把 ( b_f ) 设得偏大比如1或2sigmoid输出接近1梯度就能传得更远。这就是“遗忘门偏置初始化”技巧的来源。我自己的习惯是把 ( b_f ) 初始化为1其他门偏置为0。实测下来这样训练初期梯度更稳定收敛也快一些。当然这不是万能的具体任务还要调。7.3 什么时候该用梯度检查以下情况我强烈建议跑一遍梯度检查自己实现了新的RNN变体比如加了注意力、改了门控训练loss不下降但找不到原因梯度范数异常大或异常小从论文复现模型结果对不上梯度检查虽然慢但能排除掉最底层的实现错误。我一般只在调试阶段跑确认无误后就关掉。8. 常见问题速查问题现象可能原因排查方法梯度为0忘记对时间步求和检查共享权重的梯度是否累加了所有 ( t )梯度为nan梯度爆炸打印梯度范数加梯度裁剪loss不下降学习率太大或太小对比手写梯度和自动求导梯度梯度检查不通过符号错误或漏项逐项对比公式和代码LSTM比RNN还差门控初始化不当尝试遗忘门偏置设为1长序列训练不动梯度消失检查遗忘门值考虑用梯度裁剪提示梯度检查时用双精度浮点数float64单精度下数值误差可能掩盖真实问题。9. 我个人的推导心得手推RNN和LSTM的反向传播第一遍肯定晕第二遍开始有感觉第三遍才能不看资料推出来。我的建议是不要追求一次推完美先跟着公式走一遍然后合上资料自己推卡住了再回头看。推完之后一定要写代码验证数值梯度不会骗人。另外推LSTM的时候不要被四个门吓到。先把细胞状态 ( c_t ) 的梯度路径搞清楚这是LSTM最核心的设计。其他门的梯度都是从这个路径分出去的。理解了 ( \frac{\partial c_t}{\partial c_{t-1}} f_t ) 这个式子LSTM为什么能缓解梯度消失就一目了然了。最后分享一个我常用的检查方法推完公式后把 ( T ) 设为1此时RNN退化成普通的前馈网络LSTM也退化成类似的结构。如果 ( T1 ) 时公式对不上普通反向传播的结果那肯定有地方推错了。这个边界情况检查能快速定位大部分错误。
1. 为什么值得亲手推一遍RNN和LSTM的反向传播刚接触序列模型那会儿我和很多人一样觉得反向传播这事儿调包就完了——框架自动求导一行loss.backward()搞定何必手推直到有一次训练一个文本分类的小模型梯度死活不收敛换了优化器、调了学习率、加了梯度裁剪全都不管用。最后逼得没办法把LSTM的BPTT公式从头推了一遍才发现问题出在自己对门控梯度的理解有偏差导致对某个超参的调整方向完全反了。从那以后我就养成了一个习惯凡是序列模型的结构改动先手推一遍反向传播再动手写代码。这篇文章就是把我自己推导RNN和LSTM反向传播的完整思路整理出来包括每一步的来龙去脉、容易踩的坑、以及推导完之后怎么用数值梯度验证。适合已经了解RNN和LSTM前向传播、但对手推反向传播还不太有把握的读者。如果你正在准备面试、写论文需要推导附录、或者想深入理解门控机制到底怎么缓解梯度消失这篇应该能帮上忙。整篇推导我会尽量把每一步的维度变化和中间变量都写清楚不跳步。因为我自己学的时候最烦的就是那种“显然可得”的推导——对写的人显然对看的人未必。2. 推导前的准备工作符号约定与计算图思维2.1 统一符号约定避免维度混乱手推反向传播第一步不是急着求导而是把符号系统定死。我见过太多人推到一半发现维度对不上回头检查发现是某个矩阵转置搞混了。下面这套约定是我自己用着最顺手的后面所有推导都严格遵循。假设序列长度为 ( T )批量大小为 ( N )输入维度为 ( d )隐藏层维度为 ( h )输出维度为 ( o )分类任务中 ( o ) 等于类别数。( x_t \in \mathbb{R}^{N \times d} )第 ( t ) 步的输入( h_t \in \mathbb{R}^{N \times h} )第 ( t ) 步的隐藏状态( y_t \in \mathbb{R}^{N \times o} )第 ( t ) 步的输出( W_{xh} \in \mathbb{R}^{d \times h} )输入到隐藏层的权重( W_{hh} \in \mathbb{R}^{h \times h} )隐藏层到隐藏层的权重( W_{hy} \in \mathbb{R}^{h \times o} )隐藏层到输出层的权重( b_h \in \mathbb{R}^{1 \times h} )( b_y \in \mathbb{R}^{1 \times o} )偏置项损失函数 ( L \sum_{t1}^{T} L_t )其中 ( L_t ) 是第 ( t ) 步的损失。这个求和很关键——它意味着每一步的损失都会通过隐藏状态往回传梯度是累加的。注意批量维度 ( N ) 在推导中通常可以忽略因为每个样本独立计算梯度最后取平均。但写代码时如果忘了对批量维度求平均梯度会大 ( N ) 倍这是新手常踩的坑。2.2 计算图视角把循环展开成链RNN的反向传播之所以叫BPTTBackpropagation Through Time是因为我们需要把循环结构按时间步展开成一条链。展开之后它就是一个深度为 ( T ) 的前馈网络只不过每一层共享同一组权重。这个视角非常重要因为它直接决定了梯度累加的规则共享权重 ( W_{hh} ) 的梯度等于所有时间步上该权重梯度的总和。很多人推的时候只算了一步就收工结果梯度少了一大截。用计算图的话说( W_{hh} ) 在 ( T ) 个时间步上都被使用了所以它对损失的贡献是 ( T ) 条路径的叠加。同理( W_{xh} ) 也是共享的但 ( W_{hy} ) 在每个时间步独立使用不共享所以它的梯度不需要跨时间累加。2.3 为什么要先推RNN再推LSTMRNN的反向传播是LSTM的基础。LSTM无非是在隐藏状态的计算中加入了门控机制和细胞状态反向传播的骨架完全一样只是多了几条分支路径。如果RNN的链式法则没搞明白直接上LSTM只会更晕。我的建议是先把RNN的 ( \frac{\partial L}{\partial h_t} ) 怎么从 ( t1 ) 传到 ( t ) 搞清楚再去看LSTM里细胞状态 ( c_t ) 的那条“高速公路”你会发现LSTM的设计思路一下子就清晰了。3. RNN反向传播公式的完整推导3.1 前向传播回顾与中间变量标记先把前向传播写清楚后面求导才有依据。[ h_t \tanh(x_t W_{xh} h_{t-1} W_{hh} b_h) ] [ y_t h_t W_{hy} b_y ] [ \hat{p}t \text{softmax}(y_t) ] [ L_t -\sum{k} y_{t,k}^{\text{true}} \log \hat{p}_{t,k} ]为了简化求导我习惯引入一个中间变量 ( a_t )[ a_t x_t W_{xh} h_{t-1} W_{hh} b_h ] [ h_t \tanh(a_t) ]这样 ( \frac{\partial h_t}{\partial a_t} 1 - \tanh^2(a_t) 1 - h_t^2 )这个形式很简洁后面会反复用到。3.2 输出层梯度从损失到隐藏状态先从最简单的输出层开始。对于第 ( t ) 步损失 ( L_t ) 对 ( y_t ) 的梯度在softmax交叉熵的组合下有一个非常漂亮的结果[ \frac{\partial L_t}{\partial y_t} \hat{p}_t - y_t^{\text{true}} ]这个结论我建议直接记住推导也不复杂softmax的雅可比矩阵乘以交叉熵的梯度化简后就是预测概率减去真实标签。维度是 ( N \times o )。接下来求 ( W_{hy} ) 和 ( b_y ) 的梯度。因为 ( y_t h_t W_{hy} b_y )所以[ \frac{\partial L}{\partial W_{hy}} \sum_{t1}^{T} h_t^T \cdot \frac{\partial L_t}{\partial y_t} ]维度检查( h_t^T ) 是 ( h \times N )( \frac{\partial L_t}{\partial y_t} ) 是 ( N \times o )乘出来是 ( h \times o )和 ( W_{hy} ) 一致。注意这里要对所有时间步求和因为 ( W_{hy} ) 在每个时间步都被使用。[ \frac{\partial L}{\partial b_y} \sum_{t1}^{T} \sum_{n1}^{N} \frac{\partial L_t}{\partial y_t}[n, :] ]也就是把批量维度也加起来最终得到一个 ( 1 \times o ) 的向量。隐藏状态 ( h_t ) 的梯度来自两个方向一是当前步的输出损失 ( L_t )二是下一步传回来的梯度。所以[ \frac{\partial L}{\partial h_t} \frac{\partial L_t}{\partial h_t} \frac{\partial L}{\partial h_{t1}} \cdot \frac{\partial h_{t1}}{\partial h_t} ]其中第一项 ( \frac{\partial L_t}{\partial h_t} \frac{\partial L_t}{\partial y_t} \cdot W_{hy}^T )维度是 ( N \times h )。第二项就是BPTT的核心我们下一节专门讲。3.3 时间步之间的梯度回传BPTT的核心现在来看 ( \frac{\partial h_{t1}}{\partial h_t} )。因为 ( h_{t1} \tanh(a_{t1}) )而 ( a_{t1} x_{t1} W_{xh} h_t W_{hh} b_h )所以[ \frac{\partial h_{t1}}{\partial h_t} \text{diag}(1 - h_{t1}^2) \cdot W_{hh}^T ]这里 ( \text{diag}(1 - h_{t1}^2) ) 是一个 ( N \times h ) 的矩阵每个样本的每个隐藏单元对应一个导数严格来说应该写成逐元素乘法。在批量情况下这个雅可比是一个对角块矩阵实际计算时用逐元素乘法即可。所以从 ( t1 ) 传回 ( t ) 的梯度是[ \delta_t^{\text{back}} \left( \frac{\partial L}{\partial h_{t1}} \odot (1 - h_{t1}^2) \right) W_{hh}^T ]其中 ( \odot ) 表示逐元素乘法。这个式子是整个RNN反向传播的灵魂。你可以看到梯度每回传一步就要乘以一个 ( W_{hh}^T ) 和一个 ( (1 - h_{t1}^2) ) 的因子。这就是梯度消失/爆炸的根源如果 ( W_{hh} ) 的特征值小于1梯度会指数衰减大于1则指数增长。而 ( \tanh ) 的导数最大只有1在饱和区接近0进一步加剧了衰减。3.4 参数梯度汇总共享权重的累加规则有了 ( \frac{\partial L}{\partial h_t} )就可以求 ( W_{xh} )、( W_{hh} )、( b_h ) 的梯度了。因为 ( a_t x_t W_{xh} h_{t-1} W_{hh} b_h )所以[ \frac{\partial L}{\partial a_t} \frac{\partial L}{\partial h_t} \odot (1 - h_t^2) ]这个 ( \frac{\partial L}{\partial a_t} ) 是 ( N \times h ) 的矩阵我习惯叫它 ( \delta_t )。然后[ \frac{\partial L}{\partial W_{xh}} \sum_{t1}^{T} x_t^T \cdot \delta_t ] [ \frac{\partial L}{\partial W_{hh}} \sum_{t1}^{T} h_{t-1}^T \cdot \delta_t ] [ \frac{\partial L}{\partial b_h} \sum_{t1}^{T} \sum_{n1}^{N} \delta_t[n, :] ]注意 ( h_0 ) 通常初始化为全零向量所以 ( t1 ) 时 ( h_{t-1} h_0 0 )这一项对 ( W_{hh} ) 的梯度贡献为零。维度检查( x_t^T ) 是 ( d \times N )( \delta_t ) 是 ( N \times h )乘出来 ( d \times h )和 ( W_{xh} ) 一致。( h_{t-1}^T ) 是 ( h \times N )乘出来 ( h \times h )和 ( W_{hh} ) 一致。3.5 一个完整的数值例子光看公式容易飘我们用一个极小的例子走一遍。假设 ( T2 )( N1 )( d2 )( h2 )( o2 )。初始权重( W_{xh} [[0.1, 0.2], [0.3, 0.4]] )( W_{hh} [[0.5, 0.6], [0.7, 0.8]] )( W_{hy} [[0.9, 1.0], [1.1, 1.2]] )所有偏置为0输入( x_1 [1.0, 0.5] )( x_2 [0.2, 0.8] )真实标签( y_1^{\text{true}} [1, 0] )( y_2^{\text{true}} [0, 1] )前向传播( a_1 x_1 W_{xh} h_0 W_{hh} [1.0 \times 0.1 0.5 \times 0.3, 1.0 \times 0.2 0.5 \times 0.4] [0.25, 0.4] )( h_1 \tanh([0.25, 0.4]) [0.2449, 0.3799] )( y_1 h_1 W_{hy} [0.2449 \times 0.9 0.3799 \times 1.1, 0.2449 \times 1.0 0.3799 \times 1.2] [0.6383, 0.7007] )( \hat{p}_1 \text{softmax}([0.6383, 0.7007]) [0.4844, 0.5156] )( L_1 -\log(0.4844) 0.7249 )类似地算 ( t2 )( a_2 x_2 W_{xh} h_1 W_{hh} [0.2 \times 0.1 0.8 \times 0.3 0.2449 \times 0.5 0.3799 \times 0.7, 0.2 \times 0.2 0.8 \times 0.4 0.2449 \times 0.6 0.3799 \times 0.8] ) ( [0.02 0.24 0.1225 0.2659, 0.04 0.32 0.1469 0.3039] [0.6484, 0.8108] )( h_2 \tanh([0.6484, 0.8108]) [0.5707, 0.6701] )( y_2 [0.5707 \times 0.9 0.6701 \times 1.1, 0.5707 \times 1.0 0.6701 \times 1.2] [1.2507, 1.3748] )( \hat{p}_2 \text{softmax}([1.2507, 1.3748]) [0.4691, 0.5309] )( L_2 -\log(0.5309) 0.6333 )总损失 ( L 1.3582 )。反向传播先算 ( \frac{\partial L_2}{\partial y_2} [0.4691, 0.5309] - [0, 1] [0.4691, -0.4691] )( \frac{\partial L_2}{\partial h_2} [0.4691, -0.4691] \cdot W_{hy}^T [0.4691 \times 0.9 (-0.4691) \times 1.0, 0.4691 \times 1.1 (-0.4691) \times 1.2] [-0.0469, -0.0469] )( \delta_2 \frac{\partial L_2}{\partial h_2} \odot (1 - h_2^2) [-0.0469 \times (1-0.3257), -0.0469 \times (1-0.4490)] [-0.0316, -0.0258] )回传到 ( t1 )( \frac{\partial L}{\partial h_1} \frac{\partial L_1}{\partial h_1} \delta_2 W_{hh}^T )( \frac{\partial L_1}{\partial y_1} [0.4844, 0.5156] - [1, 0] [-0.5156, 0.5156] )( \frac{\partial L_1}{\partial h_1} [-0.5156, 0.5156] \cdot W_{hy}^T [-0.5156 \times 0.9 0.5156 \times 1.0, -0.5156 \times 1.1 0.5156 \times 1.2] [0.0516, 0.0516] )( \delta_2 W_{hh}^T [-0.0316 \times 0.5 (-0.0258) \times 0.7, -0.0316 \times 0.6 (-0.0258) \times 0.8] [-0.0339, -0.0396] )所以 ( \frac{\partial L}{\partial h_1} [0.0516 - 0.0339, 0.0516 - 0.0396] [0.0177, 0.0120] )( \delta_1 [0.0177 \times (1-0.06), 0.0120 \times (1-0.1443)] [0.0166, 0.0103] )参数梯度( \frac{\partial L}{\partial W_{hy}} h_1^T \cdot \frac{\partial L_1}{\partial y_1} h_2^T \cdot \frac{\partial L_2}{\partial y_2} ) ( [[0.2449], [0.3799]] \cdot [[-0.5156, 0.5156]] [[0.5707], [0.6701]] \cdot [[0.4691, -0.4691]] ) ( [[-0.1263, 0.1263], [-0.1959, 0.1959]] [[0.2677, -0.2677], [0.3144, -0.3144]] ) ( [[0.1414, -0.1414], [0.1185, -0.1185]] )( \frac{\partial L}{\partial W_{xh}} x_1^T \delta_1 x_2^T \delta_2 ) ( [[1.0], [0.5]] \cdot [[0.0166, 0.0103]] [[0.2], [0.8]] \cdot [[-0.0316, -0.0258]] ) ( [[0.0166, 0.0103], [0.0083, 0.0052]] [[-0.0063, -0.0052], [-0.0253, -0.0206]] ) ( [[0.0103, 0.0051], [-0.0170, -0.0154]] )( \frac{\partial L}{\partial W_{hh}} h_0^T \delta_1 h_1^T \delta_2 0 [[0.2449], [0.3799]] \cdot [[-0.0316, -0.0258]] ) ( [[-0.0077, -0.0063], [-0.0120, -0.0098]] )这个例子虽然小但把整个流程走通了。你可以用PyTorch的自动求导验证一下结果应该一致。4. LSTM反向传播门控机制下的梯度流动4.1 LSTM前向传播的完整公式梳理LSTM比RNN多了三个门和一个细胞状态。先把前向公式列全[ f_t \sigma(x_t W_{xf} h_{t-1} W_{hf} b_f) ] [ i_t \sigma(x_t W_{xi} h_{t-1} W_{hi} b_i) ] [ o_t \sigma(x_t W_{xo} h_{t-1} W_{ho} b_o) ] [ \tilde{c}t \tanh(x_t W{xc} h_{t-1} W_{hc} b_c) ] [ c_t f_t \odot c_{t-1} i_t \odot \tilde{c}_t ] [ h_t o_t \odot \tanh(c_t) ]其中 ( \sigma ) 是sigmoid函数( \odot ) 是逐元素乘法。所有门和候选状态的维度都是 ( N \times h )。为了简化我习惯把输入和隐藏状态拼接起来( z_t [x_t, h_{t-1}] )然后所有权重合并成一个大矩阵。但推导时分开写更清晰因为每个门的梯度路径不同。4.2 细胞状态梯度LSTM的梯度高速公路LSTM反向传播最关键的一点是细胞状态 ( c_t ) 的梯度有一条几乎无阻碍的路径回传。从 ( c_t f_t \odot c_{t-1} i_t \odot \tilde{c}t ) 可以看出( c_t ) 对 ( c{t-1} ) 的偏导就是 ( f_t )[ \frac{\partial c_t}{\partial c_{t-1}} f_t ]这意味着梯度从 ( c_t ) 回传到 ( c_{t-1} ) 时只需要乘以遗忘门 ( f_t )。如果 ( f_t ) 接近1梯度几乎无损地传回去如果接近0则丢弃。这就是LSTM缓解梯度消失的核心机制——它把连乘的 ( W_{hh}^T ) 换成了逐元素的 ( f_t )而且 ( f_t ) 是由网络自己学习的。相比之下RNN中梯度回传要乘以 ( \text{diag}(1-h^2) W_{hh}^T )这个矩阵的谱半径很容易小于1导致指数衰减。4.3 门控参数的梯度推导现在从 ( \frac{\partial L}{\partial h_t} ) 和 ( \frac{\partial L}{\partial c_t} ) 出发推导各个门的梯度。首先( h_t o_t \odot \tanh(c_t) )所以[ \frac{\partial L}{\partial o_t} \frac{\partial L}{\partial h_t} \odot \tanh(c_t) ] [ \frac{\partial L}{\partial c_t} \frac{\partial L}{\partial h_t} \odot o_t \odot (1 - \tanh^2(c_t)) \frac{\partial L}{\partial c_{t1}} \odot f_{t1} ]注意第二项就是从未来时间步传回来的细胞状态梯度。这个式子是LSTM反向传播的核心它说明 ( c_t ) 的梯度有两个来源当前步的隐藏状态以及下一步的细胞状态。然后 ( c_t f_t \odot c_{t-1} i_t \odot \tilde{c}_t )所以[ \frac{\partial L}{\partial f_t} \frac{\partial L}{\partial c_t} \odot c_{t-1} ] [ \frac{\partial L}{\partial i_t} \frac{\partial L}{\partial c_t} \odot \tilde{c}_t ] [ \frac{\partial L}{\partial \tilde{c}_t} \frac{\partial L}{\partial c_t} \odot i_t ]接下来过激活函数。对于sigmoid门[ \frac{\partial L}{\partial a_t^f} \frac{\partial L}{\partial f_t} \odot f_t \odot (1 - f_t) ]其中 ( a_t^f x_t W_{xf} h_{t-1} W_{hf} b_f )。类似地处理 ( i_t ) 和 ( o_t )。对于 ( \tilde{c}_t ) 的tanh[ \frac{\partial L}{\partial a_t^c} \frac{\partial L}{\partial \tilde{c}_t} \odot (1 - \tilde{c}_t^2) ]有了这些 ( \delta_t^f, \delta_t^i, \delta_t^o, \delta_t^c )就可以求权重梯度了[ \frac{\partial L}{\partial W_{xf}} \sum_{t1}^{T} x_t^T \delta_t^f ] [ \frac{\partial L}{\partial W_{hf}} \sum_{t1}^{T} h_{t-1}^T \delta_t^f ]其他门同理。偏置的梯度和RNN一样对所有时间步和批量求和。4.4 回传到上一步隐藏状态的梯度最后还需要把梯度从 ( h_t ) 回传到 ( h_{t-1} )因为 ( h_{t-1} ) 参与了所有门的计算[ \frac{\partial L}{\partial h_{t-1}} \delta_t^f W_{hf}^T \delta_t^i W_{hi}^T \delta_t^o W_{ho}^T \delta_t^c W_{hc}^T ]这个式子是四个分支的叠加。注意这里没有 ( W_{hh}^T ) 那种矩阵连乘而是四个门各自的权重矩阵分别作用后相加。这种结构让梯度流动更加分散不容易出现单一矩阵导致的爆炸或消失。4.5 LSTM反向传播的实操验证方法推完之后一定要验证。我最常用的方法是数值梯度检验def numerical_gradient(f, x, eps1e-5): grad np.zeros_like(x) it np.nditer(x, flags[multi_index]) while not it.finished: idx it.multi_index old x[idx] x[idx] old eps fx1 f(x) x[idx] old - eps fx2 f(x) x[idx] old grad[idx] (fx1 - fx2) / (2 * eps) it.iternext() return grad把解析梯度算出来和数值梯度对比相对误差小于 ( 10^{-6} ) 才算通过。我试过好几次都是因为某个门的梯度忘了加或者符号搞反数值检验一跑就露馅。提示数值梯度检验时记得关掉dropout否则随机性会导致对比失败。另外批量大小设为1或2就够了太大跑得慢。5. 推导过程中最容易踩的五个坑5.1 忘记对时间步求和这是最高频的错误。( W_{hh} ) 在所有时间步共享所以它的梯度必须是 ( \sum_{t1}^{T} \frac{\partial L_t}{\partial W_{hh}} )。很多人只算了最后一步或者只算了当前步结果梯度小得可怜训练几乎不动。我自己的检查方法如果某个共享权重的梯度范数比非共享权重的梯度小一个数量级大概率是漏了时间步求和。5.2 混淆逐元素乘法与矩阵乘法LSTM里到处都是 ( \odot )但权重乘法是矩阵乘法。推的时候一定要分清门控信号之间的运算是逐元素的输入到门的线性变换是矩阵乘法。写代码时如果该用*的地方用了维度可能碰巧对得上但结果是错的。5.3 忽略批量维度的处理批量维度 ( N ) 在推导中经常被省略但写代码时不能忘。所有对 ( N ) 求和的梯度比如偏置最后要除以 ( N ) 取平均否则梯度会随批量大小线性增长。而权重梯度中的 ( x_t^T \delta_t ) 已经隐含了对批量的求和所以也需要除以 ( N )。5.4 初始隐藏状态的梯度处理( h_0 ) 通常是零向量但它仍然参与 ( t1 ) 的计算。反向传播时( \frac{\partial L}{\partial h_0} ) 会被算出来但通常不需要用它更新任何参数除非你对初始状态也做了学习。不过如果忘了把 ( h_0 ) 的梯度置零或断开可能会在多次迭代中累积错误。5.5 梯度爆炸的数值表现推完公式后如果你发现梯度里出现inf或nan先检查是不是梯度爆炸。RNN的BPTT中梯度回传要连乘 ( T ) 次 ( W_{hh}^T )如果 ( W_{hh} ) 的谱半径略大于1( T100 ) 时梯度就会溢出。解决办法是梯度裁剪torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm5.0)这个操作在LSTM中同样需要虽然LSTM的细胞状态路径缓解了消失但隐藏状态路径仍然可能爆炸。6. 从公式到代码手写一个最小BPTT实现6.1 纯NumPy实现RNN反向传播光推公式不够我习惯用NumPy手写一遍前向和反向确保每个梯度都能对上。下面是一个最小实现的核心部分import numpy as np def rnn_forward(x, h0, Wxh, Whh, Why, bh, by): T, N, d x.shape h np.zeros((T1, N, h0.shape[1])) h[0] h0 y np.zeros((T, N, Why.shape[1])) for t in range(T): a x[t] Wxh h[t] Whh bh h[t1] np.tanh(a) y[t] h[t1] Why by return h, y def rnn_backward(x, h, y, dy, Wxh, Whh, Why): T, N, d x.shape dh np.zeros_like(h) dWxh np.zeros_like(Wxh) dWhh np.zeros_like(Whh) dWhy np.zeros_like(Why) dbh np.zeros_like(bh) dby np.zeros_like(by) dh[T] 0 for t in range(T-1, -1, -1): dWhy h[t1].T dy[t] dby dy[t].sum(axis0, keepdimsTrue) dh[t1] dy[t] Why.T da dh[t1] * (1 - h[t1]**2) dbh da.sum(axis0, keepdimsTrue) dWxh x[t].T da dWhh h[t].T da dh[t] da Whh.T return dWxh, dWhh, dWhy, dbh, dby这段代码和上面的公式一一对应。你可以用数值梯度检验每个参数的梯度确保实现正确。6.2 PyTorch自动求导的对照验证手写完之后用PyTorch搭同样的结构对比梯度import torch import torch.nn as nn rnn nn.RNN(input_sized, hidden_sizeh, batch_firstTrue) # 手动设置权重和手写实现一致 rnn.weight_ih_l0.data torch.tensor(Wxh.T) rnn.weight_hh_l0.data torch.tensor(Whh.T) rnn.bias_ih_l0.data torch.tensor(bh.flatten()) rnn.bias_hh_l0.data torch.zeros_like(rnn.bias_hh_l0) output, hn rnn(torch.tensor(x)) loss criterion(output, target) loss.backward() # 对比 rnn.weight_ih_l0.grad 和手写的 dWxh.T如果两者相对误差在 ( 10^{-6} ) 以内说明推导和实现都对了。我每次改结构都会跑一遍这个对照比肉眼检查靠谱得多。6.3 梯度裁剪与学习率的选择经验推完公式你会发现RNN的梯度对学习率非常敏感。我的经验是RNN的学习率通常要比LSTM小一个数量级。比如LSTM用 ( 10^{-3} )RNN可能要用 ( 10^{-4} ) 甚至更小。因为RNN的梯度连乘效应更严重稍大一点就爆炸。梯度裁剪的阈值我一般设在1到5之间。太小会截断正常梯度太大会失去保护作用。可以先跑几个batch打印梯度范数观察正常范围再定阈值。7. 推导之后这些公式在实际调参中怎么用7.1 从梯度公式理解梯度消失的本质推完RNN的BPTT你应该能一眼看出梯度消失的原因( \frac{\partial L}{\partial h_t} ) 中包含 ( \prod_{kt1}^{T} \text{diag}(1-h_k^2) W_{hh}^T )。这个连乘中每个因子 ( \text{diag}(1-h_k^2) ) 的最大值是1当 ( h_k0 ) 时而 ( W_{hh}^T ) 的谱半径通常小于1。两者相乘梯度随 ( T-t ) 指数衰减。LSTM的细胞状态路径把这个连乘换成了 ( \prod f_k )。遗忘门 ( f_k ) 可以接近1而且它是网络自己学的所以梯度可以传得更远。这就是为什么LSTM能处理更长的序列。7.2 门控初始化对梯度的影响从LSTM的梯度公式可以看出遗忘门 ( f_t ) 直接控制细胞状态梯度的衰减。如果初始化时把 ( b_f ) 设得偏大比如1或2sigmoid输出接近1梯度就能传得更远。这就是“遗忘门偏置初始化”技巧的来源。我自己的习惯是把 ( b_f ) 初始化为1其他门偏置为0。实测下来这样训练初期梯度更稳定收敛也快一些。当然这不是万能的具体任务还要调。7.3 什么时候该用梯度检查以下情况我强烈建议跑一遍梯度检查自己实现了新的RNN变体比如加了注意力、改了门控训练loss不下降但找不到原因梯度范数异常大或异常小从论文复现模型结果对不上梯度检查虽然慢但能排除掉最底层的实现错误。我一般只在调试阶段跑确认无误后就关掉。8. 常见问题速查问题现象可能原因排查方法梯度为0忘记对时间步求和检查共享权重的梯度是否累加了所有 ( t )梯度为nan梯度爆炸打印梯度范数加梯度裁剪loss不下降学习率太大或太小对比手写梯度和自动求导梯度梯度检查不通过符号错误或漏项逐项对比公式和代码LSTM比RNN还差门控初始化不当尝试遗忘门偏置设为1长序列训练不动梯度消失检查遗忘门值考虑用梯度裁剪提示梯度检查时用双精度浮点数float64单精度下数值误差可能掩盖真实问题。9. 我个人的推导心得手推RNN和LSTM的反向传播第一遍肯定晕第二遍开始有感觉第三遍才能不看资料推出来。我的建议是不要追求一次推完美先跟着公式走一遍然后合上资料自己推卡住了再回头看。推完之后一定要写代码验证数值梯度不会骗人。另外推LSTM的时候不要被四个门吓到。先把细胞状态 ( c_t ) 的梯度路径搞清楚这是LSTM最核心的设计。其他门的梯度都是从这个路径分出去的。理解了 ( \frac{\partial c_t}{\partial c_{t-1}} f_t ) 这个式子LSTM为什么能缓解梯度消失就一目了然了。最后分享一个我常用的检查方法推完公式后把 ( T ) 设为1此时RNN退化成普通的前馈网络LSTM也退化成类似的结构。如果 ( T1 ) 时公式对不上普通反向传播的结果那肯定有地方推错了。这个边界情况检查能快速定位大部分错误。
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
