做技术这几年被人问得最多的问题之一就是“Transformer到底怎么理解”尤其这两年从NLP到CV从语言模型到多模态几乎处处都有Transformer的身影。很多同学一开始兴冲冲去读《Attention Is All You Need》结果被Q、K、V、多头注意力、位置编码这些术语劝退。今天这篇就按我自己的理解方式把Transformer从设计思想到张量流动再到代码实现重新过一遍尽量做到“图解级”。适合刚入门Transformer或者已经在项目里用它但总觉得哪里没吃透的读者。1. 先说清楚Transformer到底解决了什么问题1.1 循环神经网络的死穴在Transformer出现之前序列建模的主流工具是RNN以及它的改良版LSTM、GRU。RNN的思路很直观按时间步一个一个处理输入把上一个时间步的隐藏状态传递给下一个。就像一条传送带每个时刻的处理都要依赖前一个时刻的输出天然是串行的。这个设计有两个很要命的问题。第一个是长期依赖。传送带传得越久信息越容易损耗。虽然LSTM、GRU通过门控机制缓解了梯度消失问题但本质上还是要靠一步一步“接力”最早的词想影响到很后面的位置中间要穿越很长的路径信息多多少少会被“稀释”。第二个是没法并行。因为每一步依赖前一步GPU再强也只能干瞪眼。当年我在实验室训练一个中英文翻译模型一个batch的句子长度三四十个词速度和蜗牛一样。数据量一大训练周期直接按周算。你可能会想既然串行不行那能不能并行这就是Transformer给出的答案。1.2 注意力机制的登场注意力机制并不是Transformer首创。在2014年、2015年左右神经机器翻译已经开始用attention机制来改善翻译质量。它的大致思路是解码器生成每个词的时候不是只看编码器最后那个输出向量而是回头看编码器所有位置的输出然后按相关程度做一个加权求和。这个“相关程度”是关键。它允许模型在生成某个词时直接跳回输入序列的任意位置取信息路径长度直接变成1。这就像查字典你想知道某个词的意思不再从第一页翻到最后一页而是直接根据索引跳到对应页。Transformer这篇论文做的事就是把注意力从“辅助机制”提升成了“绝对主角”。整篇论文的题目本身就是宣言Attention Is All You Need。模型里完全不需要循环结构全部靠注意力机制来捕捉序列内部的关系。1.3 一个“完全抛弃循环”的架构2017年Google提出的这个工作给业界带来的最大冲击是原来一个全是注意力层的网络不仅效果好而且训练速度还更快。为什么快因为注意力矩阵的各个位置之间没有依赖关系可以高度并行计算。在GPU上矩阵乘法恰恰是最擅长并行的那类操作。所以同样的时间Transformer能比RNN做更多的训练步数叠更多的参数。我对Transformer的第一个感受是“反直觉”。以前学序列模型总觉得“顺序”必须靠时间步来建模但Transformer证明了顺序信息可以单独编码作为位置向量加进去词与词之间的关系可以靠注意力权重直接学出来。这个思路的简洁性和爆发力至今仍然影响着后续几乎所有大模型的设计。2. 整体架构拆解看懂一张架构图的关键2.1 Encoder-Decoder是怎么分工的Transformer原版论文提出的结构是Encoder-Decoder编码器-解码器主要用于机器翻译这类seq2seq任务。Encoder部分负责把输入序列理解成语义表示Decoder部分负责根据这个表示一步步生成输出序列。Encoder和Decoder都是由若干个相同的层堆叠起来的。原论文里用的是6层。每一层Encoder内部有两个子层一个是多头自注意力层一个是前馈神经网络层。Decoder内部则在两个子层之间额外插了一个“交叉注意力层”专门用来“看”Encoder的输出。这里有个特别容易搞混的点Self-Attention自注意力和Cross-Attention交叉注意力。在Encoder的自注意力中Q、K、V都来自同一份输入序列模型负责理解“这句话内部哪些词之间有关联”。例如“它”这个词指代的是“猫”还是“狗”就是靠自注意力去捕捉的。在Decoder的交叉注意力中Q来自Decoder自己的上一时刻输出K和V则来自Encoder的最终输出。也就是说模型在生成下一个词的时候要不断回头“查”输入句子的哪些部分和当前生成内容最相关。这个设计逻辑其实很朴素先读懂原文再看原文写译文一边写一边回顾。2.2 数据流与张量形状变化看Transformer论文时很多人被那张架构图搞晕。其实把它想象成“数据在管道里流动”就清晰多了。我列一个典型的张量形状流转过程默认batch size为B序列长度为L模型维度d_model512。输入序列token ids形状是[B, L]比如一句话“我 爱 学习”被分词后变成3个id。经过Embedding层后形状变成[B, L, 512]每个token变成一个512维的向量。加上位置编码Positional Encoding形状不变仍然是[B, L, 512]但向量里融入了位置信息。进入第一层Encoder经过多头注意力、残差连接、LayerNorm、前馈网络输出形状依然是[B, L, 512]。6层Encoder依次串下去中间形状都不变最后一层Encoder的输出还是[B, L, 512]。Decoder侧输入是目标语言序列训练时有teacher forcing同样先Embedding加位置编码然后过Masked自注意力、交叉注意力、前馈网络输出形状[B, L_out, 512]。最后接一个线性层把512维映射到词表大小V形状变成[B, L_out, V]再过softmax得到每个位置的概率分布。很多人学Transformer时容易忽略它从头到尾其实一直都在做“张量形状不变的特征变换”。所谓深层模型就是不断在“让每个位置的向量去和其他位置交换信息再经过MLP做非线性变换”这两个操作之间交替。3. 六大核心组件逐个拆3.1 Embedding与位置编码Embedding的作用很好理解把离散的token变成稠密的语义向量。原论文里d_model取的是512。但光有Embedding还不够因为自注意力本身对位置不敏感。它对“我爱你”和“你爱我”这两句话如果没有位置信息算出来的每个词和“爱”的相关度是完全一样的。这显然不行。原论文用了一个很巧妙的正弦位置编码方案公式如下PE(pos, 2i) sin(pos / 10000^(2i/d_model)) PE(pos, 2i1) cos(pos / 10000^(2i/d_model))其中pos是token在序列中的位置i是维度下标。每个位置的编码向量就是一个由不同频率的正弦、余弦波组成的“坐标”。用正弦函数做位置编码有个额外的好处模型可以通过线性变换表达两个位置的相对位置关系。因为三角函数本身就满足sin(ab) sin(a)cos(b) cos(a)sin(b)这意味着位置1和位置3的编码差异可以表示成位置0和位置2的编码差异的线性组合。对一些需要捕捉相对距离的任务这种性质可太有用了。我在实践中确实发现对于长度适中的序列比如几百个token正弦位置编码和可学习位置编码效果差别不大。但要对长度超过训练时见过的序列做泛化正弦编码天然更稳。3.2 自注意力机制Q、K、V是怎么算的自注意力是整个Transformer的心脏。理解它的最简单方式是类比“查表”。假设你要在图书馆找一本书你会有一个搜索词Query图书馆每本书有它的索引编号Key你根据标题和摘要匹配Query和Key算相关度然后把最匹配的几本书Value取出来整合内容。Query、Key、Value这三个概念就这么来的。在Transformer里每个token都会有自己对应的Q、K、V向量。它们是怎么来的是用原始输入向量和三个可学习的权重矩阵做矩阵乘法得到的Q X · W_Q K X · W_K V X · W_V这里的X是当前层的输入形状是[L, d_model]W_Q、W_K、W_V的形状都是[d_model, d_k]其中d_k通常是64。注意力分数的计算分三步计算Query和Key的点积score_ij Q_i · K_j。这个分数代表第i个位置对第j个位置的关注程度。除以缩放因子√d_k防止点积结果过大导致softmax梯度消失。做softmax归一化让所有分数的和为1然后乘以Value并累加。写成公式就是Attention(Q, K, V) softmax(QK^T / √d_k) · V每个位置的输出都是所有位置Value的加权平均权重就是它与各位置的注意力分数。这个过程相当于每个token都“看到”了整个序列的全部信息然后根据相关性做聚合。3.3 多头注意力为什么要“多头”一个注意力头学到的关系可能比较单一就像一个人看问题往往只有一个角度。Transformer的做法是并行用8个头原论文里h8各自做注意力每个头在自己的子空间里捕捉不同维度的关系最后拼接起来再投影回去。具体流程是把Q、K、V分别切分成8个子向量每个子向量的维度是64。每个子空间独立计算Attention。把8个头的输出拼接起来得到一个512维的向量。乘上一个输出投影矩阵W_O得到最终结果。我习惯用一个例子来说明多头的作用。假设有一句话“小明因为下雨没带伞所以迟到了”。一个注意力头可能关注“小明”和“迟到”之间的语法依赖另一个头可能关注“下雨”和“没带伞”之间的因果关系还有一个头可能关注“因为”和“所以”之间的逻辑连接。每个头各司其职最后拼在一起模型对整句话的理解就立体了。实际应用中有人会做注意力可视化你会看到不同头确实会关注不同的区域比如有的头集中关注相邻词有的头关注远端词。这就是多头表达能力的来源。3.4 残差连接与LayerNormTransformer每个子层外面都包了一层“Add Norm”。Add就是残差连接Norm就是LayerNorm。残差连接很好理解输出 子层输入 子层输出。这来自ResNet的经验它可以有效缓解深层网络训练中的梯度消失问题让梯度能直接流过“高速公路”传到更浅的层。Transformer深度加深到几十层甚至上百层之后没有残差连接基本训练不起来。LayerNorm是另一种容易被忽略但至关重要的操作。它的做法是对每个token的特征向量独立做归一化即把当前token的512个数值减去均值除以标准差然后再缩放和平移。为什么用LayerNorm而不是BatchNorm这里我多说两句。BatchNorm是在batch维度上做归一化它要求同一个batch内不同样本的特征分布比较稳定。但NLP任务里不同句子的长度不一样batch内部方差波动很大而且一个样本出现在不同batch里归一化结果还不一样这会给序列模型带来额外噪声。LayerNorm则天然适合变长数据因为它是针对单个token做归一化跟batch里其他样本没关系。3.5 前馈网络FFN注意力层负责让不同位置的token交换信息前馈网络则负责对每个位置做“独立思考”。FFN的结构非常简单就是两个全连接层夹一个ReLU激活函数FFN(x) max(0, xW_1 b_1) W_2 b_2第一层把512维映射到2048维d_ff2048是d_model的4倍用ReLU做非线性变换第二层再映射回512维。你可以把FFN理解成每个token在“融合”了其他位置的信息之后对自己做一次特征变换。它跟卷积网络里的1x1卷积有点像在保持序列长度不变的前提下逐位置改变特征维度空间。这个两层MLP虽然结构简单但占了Transformer绝大多数的参数量模型的核心记忆和模式特征主要就存在这里。3.6 Padding Mask与Look-Ahead MaskMask机制是Transformer里最容易踩坑的部分。Transformer里有两种Mask作用完全不同。Padding Mask真实句子的长度参差不齐训练时我们会把短句子用特殊的占位符补齐到固定长度。但这些padding位置是没有意义的注意力不该分给它。做法是在softmax之前把这些位置的分数设成一个非常小的负数比如-1e9这样softmax后的权重趋近于0。Look-Ahead MaskDecoder生成某个位置的时候不能“偷看”后面的内容。比如翻译“I love you”到“我爱你”时生成“我”的时候模型不能看到“爱”和“你”。实现上我们把QK^T矩阵上三角部分都mask掉让每个位置只保留它自己和它之前的位置的信息。这个“因果mask”是Decoder自回归生成的关键。它保证了训练和推理时模型看到的信息范围是一致的。我在初学的时候总把这两种mask混在一起后来理清楚后发现其实很简单padding mask是让模型忽略无效位置look-ahead mask是让模型看不见未来位置。两者可以叠加使用先把上三角mask掉再把padding位置用-1e9填上一举两得。4. 藏在细节里的数学那些“为什么”的答案4.1 为什么Q/K/V要分别用三个矩阵有些同学会问为什么不直接拿输入向量X和X做点积算相似度还要额外乘三个矩阵直接拿X算相似度的确能算但表达能力有限。因为X是Embedding加完位置编码后的原始表示它要同时承担“我是谁”和“我要找谁”两个任务一个向量往往分身乏术。Q、K、V矩阵把原始向量投射到不同的语义空间。Q告诉你“我正在找什么样的信息”K告诉你“我包含什么样的信息”V则承载了“如果匹配上我要传递什么样的内容”。通过训练这三个空间可以被优化到各自合适的形态。这有点像公司里的三角流程销售Q负责表达需求候选人简历K负责展示条件一旦匹配上面试官V才会提供详细的能力证明。如果都挤在一个环节里效率会低很多。4.2 缩放因子为什么是根号d_k这是很多人忽略但论文里专门解释过的细节。Q和K的点积结果会随维度d_k增大而变大。假设Q和K的每个分量都是均值为0、方差为1的独立随机变量那么它们的点积的均值是0方差是d_k。这意味着点积结果的分布会随着d_k增大变得更加“尖锐”——有些值非常大有些非常小。值太大的后果是softmax函数在输入值很大的区域梯度非常小几乎为0。梯度一旦消失模型就很难学到东西。除以√d_k之后点积结果的方差就变回1分布被压回到softmax比较敏感的区域梯度可以有效传播。这就是论文里那个看似随意的除法的真正原因。4.3 为什么用LayerNorm而不用BatchNorm我在前面讲到LayerNorm适合变长序列这里再从计算角度展开一下。BatchNorm的核心是沿着batch维度统计均值、方差。但机器翻译、文本分类这类任务里一个batch内每条样本的长度差异很大统计出来的均值和方差会被长句子主导而且每个step的统计值变化剧烈训练很不稳定。另外还有个更实际的坑BatchNorm在推理时需要维护一个全局的running_mean和running_var这在变长输入下实现起来很麻烦。你就得针对每个长度分别维护统计量逻辑绕得很。LayerNorm则完全没有这些问题。它归一化时只依赖当前token自己的特征均值、方差不关心batch里其他样本。每个token独立处理长度随便变训练和推理行为一致。而且Transformer架构里输入数据在batch维度是并行处理的LayerNorm计算起来也更高效。4.4 位置编码能不能学到原论文用的正弦位置编码是固定的不参与训练。但后续的BERT、GPT这些模型用的反而是可学习的位置编码。你可能会好奇这两种方案谁更好我自己的经验是对于固定最大长度比如BERT的512可学习位置编码效果完全不输甚至在小数据集上还会略胜一点因为它可以针对任务自适应地调整位置表示。但它的泛化极限很死板一旦测试时序列长度超过训练长度模型就容易懵。正弦编码的优势在长度外推。因为它的公式本身就有周期性即使遇到比训练时长更长的序列也能给出一个合理的位置向量。所以在设计那些需要处理超长文本或高分辨率图片的模型时很多人会偏向固定编码或者相对位置编码方案。现在更流行的其实是RoPE、ALiBi这类相对位置编码。它们的思想是让注意力分数直接依赖两个位置之间的距离而不是把位置信息加到Embedding里。效果上这类方法在长文本场景通常比绝对位置编码更稳。5. 从零手写一个Transformer实操要点5.1 最小可用实现的代码骨架下面这个代码框架我删掉了不少细节但保留了完整的数据流。推荐你先把它跑通再一步步往里面加训练逻辑、mask等复杂度。import torch import torch.nn as nn import math class MultiHeadAttention(nn.Module): def __init__(self, d_model, n_heads, dropout0.1): super().__init__() assert d_model % n_heads 0 self.d_k d_model // n_heads self.n_heads n_heads self.W_Q nn.Linear(d_model, d_model) self.W_K nn.Linear(d_model, d_model) self.W_V nn.Linear(d_model, d_model) self.W_O nn.Linear(d_model, d_model) self.dropout nn.Dropout(dropout) def forward(self, Q, K, V, maskNone): batch_size Q.size(0) # 1. 线性投影并拆分成多头 # 输出形状变为 [B, n_heads, L, d_k] Q self.W_Q(Q).view(batch_size, -1, self.n_heads, self.d_k).transpose(1, 2) K self.W_K(K).view(batch_size, -1, self.n_heads, self.d_k).transpose(1, 2) V self.W_V(V).view(batch_size, -1, self.n_heads, self.d_k).transpose(1, 2) # 2. 计算缩放点积注意力 scores torch.matmul(Q, K.transpose(-2, -1)) / math.sqrt(self.d_k) if mask is not None: scores scores.masked_fill(mask 0, -1e9) attn torch.softmax(scores, dim-1) attn self.dropout(attn) context torch.matmul(attn, V) # 3. 多头拼接并投影 context context.transpose(1, 2).contiguous().view(batch_size, -1, self.n_heads * self.d_k) output self.W_O(context) return output class FeedForward(nn.Module): def __init__(self, d_model, d_ff, dropout0.1): super().__init__() self.linear1 nn.Linear(d_model, d_ff) self.linear2 nn.Linear(d_ff, d_model) self.dropout nn.Dropout(dropout) def forward(self, x): return self.linear2(self.dropout(torch.relu(self.linear1(x))))对于一个可运行的训练脚本你还需要实现位置编码、EncoderLayer、DecoderLayer、以及完整的EncoderDecoder类。这些模块的代码量不长但和上面类似核心就是把线性层、attention、FFN、LayerNorm按顺序串起来注意每个子层后面都要接残差连接和LayerNorm。5.2 训练策略与超参数选择论文里Transformer的训练配置很值得参考照着设置基本不会翻车优化器用Adambetas设置成(0.9, 0.98)epsilon为1e-9。这个配置比默认的(0.9, 0.999)在Transformer任务上更稳因为学习率调度本身就偏激进需要一个更平滑的二阶矩估计。学习率不是固定值而是先用warmup把学习率线性升高再按步数的平方根倒数衰减。公式是lr d_model^(-0.5) · min(step^(-0.5), step · warmup_steps^(-1.5))warmup_steps在论文里取4000。这个策略的直觉是训练前期参数还没稳定小的学习率防止震荡等模型有一定基础后再加大步长快速收敛后面再逐步衰减细细收敛。Label Smoothing可以设0.1会让模型不那么“自信”缓解过拟合。batch按token数而不是句子数来算。因为句子长度差异大按整句算batch容易导致短的batch浪费算力长的batch显存爆炸。业内习惯先按token数排序再打包。我自己第一次训练时因为没有warmup直接用了0.001的学习率loss在前几百步疯狂震荡一度以为代码写错了。后来加了warmup才顺利跑下去。这个坑很多人会踩。5.3 显存与计算量怎么估算Transformer的计算复杂度主要看自注意力那一层。它的复杂度是O(n^2 · d)其中n是序列长度d是特征维度。平方项意味着序列长度翻倍计算量翻4倍显存消耗也是类似的增长趋势。具体到显存上原因是QK^T这个矩阵的形状是 [B, n_heads, L, L]要显式存下来。长度512、8个head、batch为32时这个矩阵的大小是32·8·512·512 ≈ 6700万个元素仅这一个中间变量就要占几百MB。当年的Transformer论文是在8块GPU上训练的batch大约25000个token。现在做个人实验一个batch放4096或者8192个token已经比较常见了。如果序列特别长可以尝试这几条路用梯度累积模拟大batch减少单step的显存需求。用混合精度训练半精度能减少接近一半显存。换用稀疏注意力或者序列压缩的方案把O(n^2)变成近似线性。如果你只是做文本分类或者短序列任务说实话不用太焦虑显存。但一旦要跑长文本模型或高分辨率图像这个平方复杂度立刻就会成为瓶颈。6. 常见问题与排查技巧实录6.1 训练不收敛、Loss震荡怎么办如果你照着Transformer原论文的配置训练还是出现loss震荡大多数时候问题出在这几个地方学习率太大换warmup策略或者降低峰值的learning rate。没有做padding mask这会导致模型去关注padding位置学出无意义的注意力模式。表现在loss上就是训练久了下不去。Embedding初始化不好可以把Embedding的std设小一点或者用Xavier初始化。数据长度分布不均一个batch里长句子太多时模型梯度会被长句子主导短句子反而学不好。建议按长度排序构造batch。还有一个很容易被忽略的点loss一直不降可能是输出层和Embedding没有做权重共享。Transformer论文里Decoder的输出层和Encoder、Decoder的Embedding层是可以共享权重的能显著减少参数量同时加快收敛。如果模型很小共享权重带来的正则化效果还挺明显。6.2 注意力权重可视化总像“对角线”做特征分析时很多人会画注意力热力图结果发现大部分头的注意力都集中在对角线附近也就是每个token主要注意力集中在自己和邻近的token上。先别慌这不一定是模型出了问题。邻词注意力本身就是有意义的尤其在句法分析里词和相邻词的关系本来就很紧密。只不过如果你的目标是观察长距离依赖看到对角线确实需要多训练几个step再看。真正常见的坑是padding mask没加上导致模型把大量注意力分配给末尾的padding token。热力图上会出现明显的竖条或横条。处理方式就是在softmax之前把mask位置的分数设为-1e9这一步很容易漏。另外不同层的注意力模式差异很大。浅层通常关注局部语法关系深层才开始关注语义相关和长距离依赖。所以分析的时候最好分层看不要只看最后一层。6.3 可学习位置编码与正弦编码选哪个这个选择题我踩过坑。在小规模数据集上做文本生成可学习位置编码通常收敛更快、效果略好。但一旦数据量大了或者测试时序列长度有变化正弦编码的优势就出来了。如果你用的是HuggingFace的BERT、GPT系列模型默认就是可学习位置编码不必特意换。如果是自己从头搭模型我建议优先用RoPE或ALiBi这类相对位置编码。它们在长度外推上的表现比绝对位置编码靠谱很多Llama系列和很多开源大模型都用的是RoPE。6.4 从Transformer到Swin Transformer、Hypergraph Transformer变体怎么演进Transformer并不只是NLP的专属架构。2020年ViT把Transformer搬到图像分类后视觉Transformer迎来了一波爆发。Swin Transformer就是其中的代表它引入了窗口自注意力和移动窗口机制把全局注意力限制在局部窗口内计算复杂度从O(n^2)降到了线性级别同时通过窗口移动让不同窗口之间的信息能交互。Hypergraph Transformer则走的是另一条路。它用超图学习的思想把原本两两token之间的关联扩展成高阶关系。普通图结构只能描述两个节点之间的边超图却能用一条超边连接多个节点天然适合建模那些“不只两两相关”的复杂结构数据比如多人交互、多模态融合、社交网络等场景。Vison Transformer和Hypergraph的结合能在处理拓扑结构复杂的视觉任务时保留Transformer的全局建模能力又加入结构化关系的归纳偏置。这些变体给我的启发是Transformer本身是个骨架真正决定模型上限的是你往里塞了什么样的归纳偏置。语言靠位置编码图像靠局部窗口多模态靠跨模态注意力每个领域都能找到和Transformer结合的最佳姿势。7. 最后说几句我的个人体会如果你准备认真啃Transformer我建议不要一上来就看复杂的实现源码。先把输入到输出的张量形状自己推一遍把Q、K、V三个矩阵的维度变化在纸上画一遍再去看代码瞬间会清晰很多。我自己当年学这个花了很长时间因为总试图“一步到位”结果卡在多头注意力那里很久。后来静下心只写一个Encoder、一个Decoder、一个注意力头在玩具数据集上跑通翻译任务整个模型才真正“长在脑子里”。如果你也在学不妨试试“先小后大”先理解单元模块再组装整体最后再考虑性能优化。另外注意力权重可视化真的是理解模型的绝佳工具建议你抽出半天时间把训练好的模型在几个例子上画一画热力图。你亲眼看到某个head专门关注代词和指代对象时那种顿悟感比我在这里写一万字都管用。
做技术这几年被人问得最多的问题之一就是“Transformer到底怎么理解”尤其这两年从NLP到CV从语言模型到多模态几乎处处都有Transformer的身影。很多同学一开始兴冲冲去读《Attention Is All You Need》结果被Q、K、V、多头注意力、位置编码这些术语劝退。今天这篇就按我自己的理解方式把Transformer从设计思想到张量流动再到代码实现重新过一遍尽量做到“图解级”。适合刚入门Transformer或者已经在项目里用它但总觉得哪里没吃透的读者。1. 先说清楚Transformer到底解决了什么问题1.1 循环神经网络的死穴在Transformer出现之前序列建模的主流工具是RNN以及它的改良版LSTM、GRU。RNN的思路很直观按时间步一个一个处理输入把上一个时间步的隐藏状态传递给下一个。就像一条传送带每个时刻的处理都要依赖前一个时刻的输出天然是串行的。这个设计有两个很要命的问题。第一个是长期依赖。传送带传得越久信息越容易损耗。虽然LSTM、GRU通过门控机制缓解了梯度消失问题但本质上还是要靠一步一步“接力”最早的词想影响到很后面的位置中间要穿越很长的路径信息多多少少会被“稀释”。第二个是没法并行。因为每一步依赖前一步GPU再强也只能干瞪眼。当年我在实验室训练一个中英文翻译模型一个batch的句子长度三四十个词速度和蜗牛一样。数据量一大训练周期直接按周算。你可能会想既然串行不行那能不能并行这就是Transformer给出的答案。1.2 注意力机制的登场注意力机制并不是Transformer首创。在2014年、2015年左右神经机器翻译已经开始用attention机制来改善翻译质量。它的大致思路是解码器生成每个词的时候不是只看编码器最后那个输出向量而是回头看编码器所有位置的输出然后按相关程度做一个加权求和。这个“相关程度”是关键。它允许模型在生成某个词时直接跳回输入序列的任意位置取信息路径长度直接变成1。这就像查字典你想知道某个词的意思不再从第一页翻到最后一页而是直接根据索引跳到对应页。Transformer这篇论文做的事就是把注意力从“辅助机制”提升成了“绝对主角”。整篇论文的题目本身就是宣言Attention Is All You Need。模型里完全不需要循环结构全部靠注意力机制来捕捉序列内部的关系。1.3 一个“完全抛弃循环”的架构2017年Google提出的这个工作给业界带来的最大冲击是原来一个全是注意力层的网络不仅效果好而且训练速度还更快。为什么快因为注意力矩阵的各个位置之间没有依赖关系可以高度并行计算。在GPU上矩阵乘法恰恰是最擅长并行的那类操作。所以同样的时间Transformer能比RNN做更多的训练步数叠更多的参数。我对Transformer的第一个感受是“反直觉”。以前学序列模型总觉得“顺序”必须靠时间步来建模但Transformer证明了顺序信息可以单独编码作为位置向量加进去词与词之间的关系可以靠注意力权重直接学出来。这个思路的简洁性和爆发力至今仍然影响着后续几乎所有大模型的设计。2. 整体架构拆解看懂一张架构图的关键2.1 Encoder-Decoder是怎么分工的Transformer原版论文提出的结构是Encoder-Decoder编码器-解码器主要用于机器翻译这类seq2seq任务。Encoder部分负责把输入序列理解成语义表示Decoder部分负责根据这个表示一步步生成输出序列。Encoder和Decoder都是由若干个相同的层堆叠起来的。原论文里用的是6层。每一层Encoder内部有两个子层一个是多头自注意力层一个是前馈神经网络层。Decoder内部则在两个子层之间额外插了一个“交叉注意力层”专门用来“看”Encoder的输出。这里有个特别容易搞混的点Self-Attention自注意力和Cross-Attention交叉注意力。在Encoder的自注意力中Q、K、V都来自同一份输入序列模型负责理解“这句话内部哪些词之间有关联”。例如“它”这个词指代的是“猫”还是“狗”就是靠自注意力去捕捉的。在Decoder的交叉注意力中Q来自Decoder自己的上一时刻输出K和V则来自Encoder的最终输出。也就是说模型在生成下一个词的时候要不断回头“查”输入句子的哪些部分和当前生成内容最相关。这个设计逻辑其实很朴素先读懂原文再看原文写译文一边写一边回顾。2.2 数据流与张量形状变化看Transformer论文时很多人被那张架构图搞晕。其实把它想象成“数据在管道里流动”就清晰多了。我列一个典型的张量形状流转过程默认batch size为B序列长度为L模型维度d_model512。输入序列token ids形状是[B, L]比如一句话“我 爱 学习”被分词后变成3个id。经过Embedding层后形状变成[B, L, 512]每个token变成一个512维的向量。加上位置编码Positional Encoding形状不变仍然是[B, L, 512]但向量里融入了位置信息。进入第一层Encoder经过多头注意力、残差连接、LayerNorm、前馈网络输出形状依然是[B, L, 512]。6层Encoder依次串下去中间形状都不变最后一层Encoder的输出还是[B, L, 512]。Decoder侧输入是目标语言序列训练时有teacher forcing同样先Embedding加位置编码然后过Masked自注意力、交叉注意力、前馈网络输出形状[B, L_out, 512]。最后接一个线性层把512维映射到词表大小V形状变成[B, L_out, V]再过softmax得到每个位置的概率分布。很多人学Transformer时容易忽略它从头到尾其实一直都在做“张量形状不变的特征变换”。所谓深层模型就是不断在“让每个位置的向量去和其他位置交换信息再经过MLP做非线性变换”这两个操作之间交替。3. 六大核心组件逐个拆3.1 Embedding与位置编码Embedding的作用很好理解把离散的token变成稠密的语义向量。原论文里d_model取的是512。但光有Embedding还不够因为自注意力本身对位置不敏感。它对“我爱你”和“你爱我”这两句话如果没有位置信息算出来的每个词和“爱”的相关度是完全一样的。这显然不行。原论文用了一个很巧妙的正弦位置编码方案公式如下PE(pos, 2i) sin(pos / 10000^(2i/d_model)) PE(pos, 2i1) cos(pos / 10000^(2i/d_model))其中pos是token在序列中的位置i是维度下标。每个位置的编码向量就是一个由不同频率的正弦、余弦波组成的“坐标”。用正弦函数做位置编码有个额外的好处模型可以通过线性变换表达两个位置的相对位置关系。因为三角函数本身就满足sin(ab) sin(a)cos(b) cos(a)sin(b)这意味着位置1和位置3的编码差异可以表示成位置0和位置2的编码差异的线性组合。对一些需要捕捉相对距离的任务这种性质可太有用了。我在实践中确实发现对于长度适中的序列比如几百个token正弦位置编码和可学习位置编码效果差别不大。但要对长度超过训练时见过的序列做泛化正弦编码天然更稳。3.2 自注意力机制Q、K、V是怎么算的自注意力是整个Transformer的心脏。理解它的最简单方式是类比“查表”。假设你要在图书馆找一本书你会有一个搜索词Query图书馆每本书有它的索引编号Key你根据标题和摘要匹配Query和Key算相关度然后把最匹配的几本书Value取出来整合内容。Query、Key、Value这三个概念就这么来的。在Transformer里每个token都会有自己对应的Q、K、V向量。它们是怎么来的是用原始输入向量和三个可学习的权重矩阵做矩阵乘法得到的Q X · W_Q K X · W_K V X · W_V这里的X是当前层的输入形状是[L, d_model]W_Q、W_K、W_V的形状都是[d_model, d_k]其中d_k通常是64。注意力分数的计算分三步计算Query和Key的点积score_ij Q_i · K_j。这个分数代表第i个位置对第j个位置的关注程度。除以缩放因子√d_k防止点积结果过大导致softmax梯度消失。做softmax归一化让所有分数的和为1然后乘以Value并累加。写成公式就是Attention(Q, K, V) softmax(QK^T / √d_k) · V每个位置的输出都是所有位置Value的加权平均权重就是它与各位置的注意力分数。这个过程相当于每个token都“看到”了整个序列的全部信息然后根据相关性做聚合。3.3 多头注意力为什么要“多头”一个注意力头学到的关系可能比较单一就像一个人看问题往往只有一个角度。Transformer的做法是并行用8个头原论文里h8各自做注意力每个头在自己的子空间里捕捉不同维度的关系最后拼接起来再投影回去。具体流程是把Q、K、V分别切分成8个子向量每个子向量的维度是64。每个子空间独立计算Attention。把8个头的输出拼接起来得到一个512维的向量。乘上一个输出投影矩阵W_O得到最终结果。我习惯用一个例子来说明多头的作用。假设有一句话“小明因为下雨没带伞所以迟到了”。一个注意力头可能关注“小明”和“迟到”之间的语法依赖另一个头可能关注“下雨”和“没带伞”之间的因果关系还有一个头可能关注“因为”和“所以”之间的逻辑连接。每个头各司其职最后拼在一起模型对整句话的理解就立体了。实际应用中有人会做注意力可视化你会看到不同头确实会关注不同的区域比如有的头集中关注相邻词有的头关注远端词。这就是多头表达能力的来源。3.4 残差连接与LayerNormTransformer每个子层外面都包了一层“Add Norm”。Add就是残差连接Norm就是LayerNorm。残差连接很好理解输出 子层输入 子层输出。这来自ResNet的经验它可以有效缓解深层网络训练中的梯度消失问题让梯度能直接流过“高速公路”传到更浅的层。Transformer深度加深到几十层甚至上百层之后没有残差连接基本训练不起来。LayerNorm是另一种容易被忽略但至关重要的操作。它的做法是对每个token的特征向量独立做归一化即把当前token的512个数值减去均值除以标准差然后再缩放和平移。为什么用LayerNorm而不是BatchNorm这里我多说两句。BatchNorm是在batch维度上做归一化它要求同一个batch内不同样本的特征分布比较稳定。但NLP任务里不同句子的长度不一样batch内部方差波动很大而且一个样本出现在不同batch里归一化结果还不一样这会给序列模型带来额外噪声。LayerNorm则天然适合变长数据因为它是针对单个token做归一化跟batch里其他样本没关系。3.5 前馈网络FFN注意力层负责让不同位置的token交换信息前馈网络则负责对每个位置做“独立思考”。FFN的结构非常简单就是两个全连接层夹一个ReLU激活函数FFN(x) max(0, xW_1 b_1) W_2 b_2第一层把512维映射到2048维d_ff2048是d_model的4倍用ReLU做非线性变换第二层再映射回512维。你可以把FFN理解成每个token在“融合”了其他位置的信息之后对自己做一次特征变换。它跟卷积网络里的1x1卷积有点像在保持序列长度不变的前提下逐位置改变特征维度空间。这个两层MLP虽然结构简单但占了Transformer绝大多数的参数量模型的核心记忆和模式特征主要就存在这里。3.6 Padding Mask与Look-Ahead MaskMask机制是Transformer里最容易踩坑的部分。Transformer里有两种Mask作用完全不同。Padding Mask真实句子的长度参差不齐训练时我们会把短句子用特殊的占位符补齐到固定长度。但这些padding位置是没有意义的注意力不该分给它。做法是在softmax之前把这些位置的分数设成一个非常小的负数比如-1e9这样softmax后的权重趋近于0。Look-Ahead MaskDecoder生成某个位置的时候不能“偷看”后面的内容。比如翻译“I love you”到“我爱你”时生成“我”的时候模型不能看到“爱”和“你”。实现上我们把QK^T矩阵上三角部分都mask掉让每个位置只保留它自己和它之前的位置的信息。这个“因果mask”是Decoder自回归生成的关键。它保证了训练和推理时模型看到的信息范围是一致的。我在初学的时候总把这两种mask混在一起后来理清楚后发现其实很简单padding mask是让模型忽略无效位置look-ahead mask是让模型看不见未来位置。两者可以叠加使用先把上三角mask掉再把padding位置用-1e9填上一举两得。4. 藏在细节里的数学那些“为什么”的答案4.1 为什么Q/K/V要分别用三个矩阵有些同学会问为什么不直接拿输入向量X和X做点积算相似度还要额外乘三个矩阵直接拿X算相似度的确能算但表达能力有限。因为X是Embedding加完位置编码后的原始表示它要同时承担“我是谁”和“我要找谁”两个任务一个向量往往分身乏术。Q、K、V矩阵把原始向量投射到不同的语义空间。Q告诉你“我正在找什么样的信息”K告诉你“我包含什么样的信息”V则承载了“如果匹配上我要传递什么样的内容”。通过训练这三个空间可以被优化到各自合适的形态。这有点像公司里的三角流程销售Q负责表达需求候选人简历K负责展示条件一旦匹配上面试官V才会提供详细的能力证明。如果都挤在一个环节里效率会低很多。4.2 缩放因子为什么是根号d_k这是很多人忽略但论文里专门解释过的细节。Q和K的点积结果会随维度d_k增大而变大。假设Q和K的每个分量都是均值为0、方差为1的独立随机变量那么它们的点积的均值是0方差是d_k。这意味着点积结果的分布会随着d_k增大变得更加“尖锐”——有些值非常大有些非常小。值太大的后果是softmax函数在输入值很大的区域梯度非常小几乎为0。梯度一旦消失模型就很难学到东西。除以√d_k之后点积结果的方差就变回1分布被压回到softmax比较敏感的区域梯度可以有效传播。这就是论文里那个看似随意的除法的真正原因。4.3 为什么用LayerNorm而不用BatchNorm我在前面讲到LayerNorm适合变长序列这里再从计算角度展开一下。BatchNorm的核心是沿着batch维度统计均值、方差。但机器翻译、文本分类这类任务里一个batch内每条样本的长度差异很大统计出来的均值和方差会被长句子主导而且每个step的统计值变化剧烈训练很不稳定。另外还有个更实际的坑BatchNorm在推理时需要维护一个全局的running_mean和running_var这在变长输入下实现起来很麻烦。你就得针对每个长度分别维护统计量逻辑绕得很。LayerNorm则完全没有这些问题。它归一化时只依赖当前token自己的特征均值、方差不关心batch里其他样本。每个token独立处理长度随便变训练和推理行为一致。而且Transformer架构里输入数据在batch维度是并行处理的LayerNorm计算起来也更高效。4.4 位置编码能不能学到原论文用的正弦位置编码是固定的不参与训练。但后续的BERT、GPT这些模型用的反而是可学习的位置编码。你可能会好奇这两种方案谁更好我自己的经验是对于固定最大长度比如BERT的512可学习位置编码效果完全不输甚至在小数据集上还会略胜一点因为它可以针对任务自适应地调整位置表示。但它的泛化极限很死板一旦测试时序列长度超过训练长度模型就容易懵。正弦编码的优势在长度外推。因为它的公式本身就有周期性即使遇到比训练时长更长的序列也能给出一个合理的位置向量。所以在设计那些需要处理超长文本或高分辨率图片的模型时很多人会偏向固定编码或者相对位置编码方案。现在更流行的其实是RoPE、ALiBi这类相对位置编码。它们的思想是让注意力分数直接依赖两个位置之间的距离而不是把位置信息加到Embedding里。效果上这类方法在长文本场景通常比绝对位置编码更稳。5. 从零手写一个Transformer实操要点5.1 最小可用实现的代码骨架下面这个代码框架我删掉了不少细节但保留了完整的数据流。推荐你先把它跑通再一步步往里面加训练逻辑、mask等复杂度。import torch import torch.nn as nn import math class MultiHeadAttention(nn.Module): def __init__(self, d_model, n_heads, dropout0.1): super().__init__() assert d_model % n_heads 0 self.d_k d_model // n_heads self.n_heads n_heads self.W_Q nn.Linear(d_model, d_model) self.W_K nn.Linear(d_model, d_model) self.W_V nn.Linear(d_model, d_model) self.W_O nn.Linear(d_model, d_model) self.dropout nn.Dropout(dropout) def forward(self, Q, K, V, maskNone): batch_size Q.size(0) # 1. 线性投影并拆分成多头 # 输出形状变为 [B, n_heads, L, d_k] Q self.W_Q(Q).view(batch_size, -1, self.n_heads, self.d_k).transpose(1, 2) K self.W_K(K).view(batch_size, -1, self.n_heads, self.d_k).transpose(1, 2) V self.W_V(V).view(batch_size, -1, self.n_heads, self.d_k).transpose(1, 2) # 2. 计算缩放点积注意力 scores torch.matmul(Q, K.transpose(-2, -1)) / math.sqrt(self.d_k) if mask is not None: scores scores.masked_fill(mask 0, -1e9) attn torch.softmax(scores, dim-1) attn self.dropout(attn) context torch.matmul(attn, V) # 3. 多头拼接并投影 context context.transpose(1, 2).contiguous().view(batch_size, -1, self.n_heads * self.d_k) output self.W_O(context) return output class FeedForward(nn.Module): def __init__(self, d_model, d_ff, dropout0.1): super().__init__() self.linear1 nn.Linear(d_model, d_ff) self.linear2 nn.Linear(d_ff, d_model) self.dropout nn.Dropout(dropout) def forward(self, x): return self.linear2(self.dropout(torch.relu(self.linear1(x))))对于一个可运行的训练脚本你还需要实现位置编码、EncoderLayer、DecoderLayer、以及完整的EncoderDecoder类。这些模块的代码量不长但和上面类似核心就是把线性层、attention、FFN、LayerNorm按顺序串起来注意每个子层后面都要接残差连接和LayerNorm。5.2 训练策略与超参数选择论文里Transformer的训练配置很值得参考照着设置基本不会翻车优化器用Adambetas设置成(0.9, 0.98)epsilon为1e-9。这个配置比默认的(0.9, 0.999)在Transformer任务上更稳因为学习率调度本身就偏激进需要一个更平滑的二阶矩估计。学习率不是固定值而是先用warmup把学习率线性升高再按步数的平方根倒数衰减。公式是lr d_model^(-0.5) · min(step^(-0.5), step · warmup_steps^(-1.5))warmup_steps在论文里取4000。这个策略的直觉是训练前期参数还没稳定小的学习率防止震荡等模型有一定基础后再加大步长快速收敛后面再逐步衰减细细收敛。Label Smoothing可以设0.1会让模型不那么“自信”缓解过拟合。batch按token数而不是句子数来算。因为句子长度差异大按整句算batch容易导致短的batch浪费算力长的batch显存爆炸。业内习惯先按token数排序再打包。我自己第一次训练时因为没有warmup直接用了0.001的学习率loss在前几百步疯狂震荡一度以为代码写错了。后来加了warmup才顺利跑下去。这个坑很多人会踩。5.3 显存与计算量怎么估算Transformer的计算复杂度主要看自注意力那一层。它的复杂度是O(n^2 · d)其中n是序列长度d是特征维度。平方项意味着序列长度翻倍计算量翻4倍显存消耗也是类似的增长趋势。具体到显存上原因是QK^T这个矩阵的形状是 [B, n_heads, L, L]要显式存下来。长度512、8个head、batch为32时这个矩阵的大小是32·8·512·512 ≈ 6700万个元素仅这一个中间变量就要占几百MB。当年的Transformer论文是在8块GPU上训练的batch大约25000个token。现在做个人实验一个batch放4096或者8192个token已经比较常见了。如果序列特别长可以尝试这几条路用梯度累积模拟大batch减少单step的显存需求。用混合精度训练半精度能减少接近一半显存。换用稀疏注意力或者序列压缩的方案把O(n^2)变成近似线性。如果你只是做文本分类或者短序列任务说实话不用太焦虑显存。但一旦要跑长文本模型或高分辨率图像这个平方复杂度立刻就会成为瓶颈。6. 常见问题与排查技巧实录6.1 训练不收敛、Loss震荡怎么办如果你照着Transformer原论文的配置训练还是出现loss震荡大多数时候问题出在这几个地方学习率太大换warmup策略或者降低峰值的learning rate。没有做padding mask这会导致模型去关注padding位置学出无意义的注意力模式。表现在loss上就是训练久了下不去。Embedding初始化不好可以把Embedding的std设小一点或者用Xavier初始化。数据长度分布不均一个batch里长句子太多时模型梯度会被长句子主导短句子反而学不好。建议按长度排序构造batch。还有一个很容易被忽略的点loss一直不降可能是输出层和Embedding没有做权重共享。Transformer论文里Decoder的输出层和Encoder、Decoder的Embedding层是可以共享权重的能显著减少参数量同时加快收敛。如果模型很小共享权重带来的正则化效果还挺明显。6.2 注意力权重可视化总像“对角线”做特征分析时很多人会画注意力热力图结果发现大部分头的注意力都集中在对角线附近也就是每个token主要注意力集中在自己和邻近的token上。先别慌这不一定是模型出了问题。邻词注意力本身就是有意义的尤其在句法分析里词和相邻词的关系本来就很紧密。只不过如果你的目标是观察长距离依赖看到对角线确实需要多训练几个step再看。真正常见的坑是padding mask没加上导致模型把大量注意力分配给末尾的padding token。热力图上会出现明显的竖条或横条。处理方式就是在softmax之前把mask位置的分数设为-1e9这一步很容易漏。另外不同层的注意力模式差异很大。浅层通常关注局部语法关系深层才开始关注语义相关和长距离依赖。所以分析的时候最好分层看不要只看最后一层。6.3 可学习位置编码与正弦编码选哪个这个选择题我踩过坑。在小规模数据集上做文本生成可学习位置编码通常收敛更快、效果略好。但一旦数据量大了或者测试时序列长度有变化正弦编码的优势就出来了。如果你用的是HuggingFace的BERT、GPT系列模型默认就是可学习位置编码不必特意换。如果是自己从头搭模型我建议优先用RoPE或ALiBi这类相对位置编码。它们在长度外推上的表现比绝对位置编码靠谱很多Llama系列和很多开源大模型都用的是RoPE。6.4 从Transformer到Swin Transformer、Hypergraph Transformer变体怎么演进Transformer并不只是NLP的专属架构。2020年ViT把Transformer搬到图像分类后视觉Transformer迎来了一波爆发。Swin Transformer就是其中的代表它引入了窗口自注意力和移动窗口机制把全局注意力限制在局部窗口内计算复杂度从O(n^2)降到了线性级别同时通过窗口移动让不同窗口之间的信息能交互。Hypergraph Transformer则走的是另一条路。它用超图学习的思想把原本两两token之间的关联扩展成高阶关系。普通图结构只能描述两个节点之间的边超图却能用一条超边连接多个节点天然适合建模那些“不只两两相关”的复杂结构数据比如多人交互、多模态融合、社交网络等场景。Vison Transformer和Hypergraph的结合能在处理拓扑结构复杂的视觉任务时保留Transformer的全局建模能力又加入结构化关系的归纳偏置。这些变体给我的启发是Transformer本身是个骨架真正决定模型上限的是你往里塞了什么样的归纳偏置。语言靠位置编码图像靠局部窗口多模态靠跨模态注意力每个领域都能找到和Transformer结合的最佳姿势。7. 最后说几句我的个人体会如果你准备认真啃Transformer我建议不要一上来就看复杂的实现源码。先把输入到输出的张量形状自己推一遍把Q、K、V三个矩阵的维度变化在纸上画一遍再去看代码瞬间会清晰很多。我自己当年学这个花了很长时间因为总试图“一步到位”结果卡在多头注意力那里很久。后来静下心只写一个Encoder、一个Decoder、一个注意力头在玩具数据集上跑通翻译任务整个模型才真正“长在脑子里”。如果你也在学不妨试试“先小后大”先理解单元模块再组装整体最后再考虑性能优化。另外注意力权重可视化真的是理解模型的绝佳工具建议你抽出半天时间把训练好的模型在几个例子上画一画热力图。你亲眼看到某个head专门关注代词和指代对象时那种顿悟感比我在这里写一万字都管用。
