如果你最近在做任何和自然语言处理NLP沾边的事情不管是文本分类、情感分析、机器翻译还是智能问答应该都绕不开一个词Transformer。我第一次真正认真研究 Transformer是在文本分类任务上发现 LSTM 的效果怎么调都上不去而同期同事用基于 Transformer 的预训练模型轻松刷掉了我的准确率。从那以后我就明白这东西不是热点炒作它是 NLP 基础结构的全面换代。这篇是 Transformer 自然语言处理系列的第一篇我会把最核心的架构原理拆开讲清楚为什么要有自注意力机制、位置编码在解决什么问题、完整模型是怎么拼起来的最后附一个可以自己跑起来的极小实现。内容尽量做到不读原论文也能听懂适合刚接触 Transformer、或者学了很久原理但一直零散不系统的读者。这一篇不扯哲学、不做过度包装只讲清楚模型到底做了什么、为什么这样做。1. 为什么必须告别 RNN/LSTMTransformer 诞生的直接原因1.1 序列建模的旧思路隐状态串联的困境在 Transformer 出现之前处理文本的主流结构是循环神经网络RNN及它的变体 LSTM、GRU。RNN 处理一个句子的方式可以形象地理解成从头到尾依次阅读读第一个词更新一个记忆状态读第二个词基于上一个状态和当前词再更新如此往复。每一步的输出都依赖于上一步的状态这意味着第 t 个词的计算必须等第 t-1 个词算完整条链路是一条严格串行的流水线。这个设计思路本身很符合人类阅读的直觉但在工程实现上有一个绕不开的麻烦串行计算导致训练速度极慢。一个 50 个词的句子RNN 要顺序执行 50 步每步之间是强依赖关系GPU 的并行能力几乎被浪费掉了。这是 RNN 的第一块短板。第二块短板是长距离依赖问题。句子里的关键信息往往隔得很远比如那个穿着红色外套、站在门口等了很久的人最后走进了教室这句话里人和走进教室之间隔了十几个词。RNN 把信息压进一个固定维度的隐状态里经过多步传递后早期信息会被稀释甚至遗忘。虽然 LSTM 通过门控机制缓解了梯度消失问题但它的记忆容量依然是有限的句子稍长效果就会明显下降。1.2 长距离依赖与并行化两个无法绕开的硬问题为了同时解决长距离依赖和并行化研究者尝试过很多方案。CNN 可以用来做局部特征提取但卷积核的感受野有限要覆盖长距离信息就得堆很深的层或者用膨胀卷积效果勉强但不优雅。还有人尝试过双向 RNN 拼接来让模型同时看到前后文但这也只是缓解没有根治串行依赖的问题。真正让问题迎刃而解的是 2017 年产业界发表的一篇机器翻译领域论文题目叫《Attention Is All You Need》。这篇论文的核心理念非常大胆我不要循环结构不要一步步地传递隐状态我直接让序列中任意两个位置之间建立直接的关联。这样有两个直接好处一是在计算时所有位置可以同时处理完美利用 GPU 并行二是无论两个词相距多远它们之间的交互路径都只有一步不存在隔了很多步导致信息丢失的问题。这个思想就是 Transformer 架构的基础。1.3 Transformer 给出的答案一句话总结核心思路如果你要用一句话向别人解释 Transformer我会这么说它是一个完全基于注意力机制构建的序列模型通过让每一个词直接观察整句话中的所有词并结合各自的位置信息来更新自己的表示因此既并行又全局能高效捕捉任意距离的依赖关系。这个架构有两个容易被忽视的常识点。第一注意力机制并不是 Transformer 原创的早在前几年就已经有研究者把注意力用在机器翻译的对齐上但那时它只是 RNN 的一个辅助组件。Transformer 的贡献在于把注意力从辅助工具升级成唯一引擎彻底去掉了循环结构。第二Transformer 的信息流动其实是双向的在编码器里每一个词在更新自己时可以看到整句话左侧和右侧的内容。如果你想的是它是不是像从左往右那样读那就理解偏了。作为系列第一篇我先把这种宏观视角放在前面。下面的内容我们聚焦到这个架构最核心的组件——自注意力机制上。2. 自注意力机制从直觉到公式2.1 注意力机制的原始形态键值检索的直觉要理解自注意力最好先理解一个更通用的概念注意力就是根据需求去信息库中挑选相关信息的过程。我常用一个生活化类比你在图书馆想找一本关于深度学习在医疗影像中的应用的书你会先在大脑里形成一个查询Query然后去书架上扫描每本书的标签Key找到最匹配的几本再重点翻看这些书的内容Value。把图书馆换成文本序列就有了一一对应关系序列中每个词的表示向量都可以同时扮演三种角色查询Query、键Key、和值Value。对于当前要更新的这个词我们用它的 Query 去和序列中所有词的 Key 做匹配得到一组权重分数再用这组分数对所有词的 Value 做加权求和结果就是这个词在当前语境下的新表示。因为序列中每个词都在同时扮演检索者和被检索对象这种结构就叫自注意力Self-Attention自指的就是自己和自己做注意力。2.2 缩放点积注意力的完整推导自注意力最简单的形式是点积注意力。假设输入序列被表示为一个矩阵 X每一行是一个词的向量。我们引入三组可学习的权重矩阵 WQ、WK、WV将 X 分别映射为 Q、K、VQ X · WQK X · WKV X · WV然后计算注意力矩阵首先用 Q 和 K 做点积得到每个词对其他词的匹配分数这个分数反映了词与词之间的关联强度。为了防止点积结果过大导致后续 Softmax 梯度消失论文里额外除了一个缩放因子 √dkdk 是 Key 向量的维度。这一步就是缩放点积注意力这个名称的由来。最终的完整公式是Attention(Q, K, V) Softmax( QK^T / √dk ) V我们来拆解一遍计算过程。假设句子里有 n 个词每个词向量维度是 d那么 Q 和 K 都是 n×d 的矩阵QK^T 得到 n×n 的注意力分数方阵每一行代表某个词对整句话中所有词的原始注意力打分。第二步对每一行做 Softmax 归一化让权重之和为 1。第三步用这个归一化矩阵去加权 V 矩阵的每一行得到最终的输出。这里有个小细节很值得展开为什么要除以 √dk假设 Q 和 K 的每个元素都是独立随机变量且均值 0、方差 1那么两个 d 维向量做点积后结果近似均值为 0、方差为 d 的正态分布。也就是说维度越高点积结果的方差越大数值可能越分散。如果直接送入 Softmaxsoftmax 函数在输入差距过大时输出分布会非常尖锐几乎接近 one-hot导致梯度极小甚至为 0模型难以学习。除以 √dk 相当于把方差重新缩回 1让 Softmax 都能分配到合适的梯度。这个归一化操作是整个训练稳定的重要保证新手学 Transformer 时往往不会留意到这一点。2.3 Q/K/V 到底是什么一句话解释给新人听我给新人的解释通常是Query 像我关心什么Key 像我能提供什么Value 像我实际给出的信息。先用自己的 Query 去匹配别人的 Key匹配上以后就把别人的 Value 加权提取过来。这个机制真正强大之处在于Q、K、V 都是可学习的模型在训练中会逐渐调整 WQ、WK、WV让匹配本身变成任务导向。比如在做情感分析时模型可以让糟糕这个词的 Query 高度匹配服务体验等词的 Key于是糟糕的新表示里就会带着服务和体验的语义信息下游任务拿到这个表示自然更容易判断情感极性。你可以把学习后的注意力矩阵可视化出来经常能看到模型自动学到了语法和语义层面的关联例如代词指向先行词、修饰词指向被修饰词这种无监督涌现是自注意力最迷人的地方。要特别强调一点在上面这个自注意力计算里所有词的信息是同时交互的没有先后顺序。也正因如此我们必须给序列主动注入位置信息否则模型看到的词语顺序就和打乱顺序毫无区别。这就是下一节要聊的位置编码。3. 位置信息与多头机制两个容易被低估的设计3.1 位置编码为什么顺序敏感要单独建模RNN 不需要额外的位置编码因为它的每一步天然带有顺序信息。但 Transformer 里所有词并行处理、无先后之分所以如果不做任何处理我爱你和你爱我对模型来说是完全相同的输入。为了解决这个问题论文引入了一个名为位置编码Positional Encoding的模块把词语在句子中的位置也编码成向量加到词向量上。最经典的做法是用不同频率的正弦和余弦函数来生成位置向量。对位置 pos 和维度 i编码公式是PE(pos, 2i) sin(pos / 10000^(2i/d) )PE(pos, 2i1) cos(pos / 10000^(2i/d) )这里 d 是向量维度i 表示维度的下标。为什么用正弦余弦而不是直接给位置标一个整数原因有两点。第一函数值是有界的始终在 [-1, 1] 之间不会像整数编码那样出现数值尺度失衡。第二正弦余弦公式本身包含相对位置的线性关系模型可以借助三角恒等式轻松学到位置 i 和位置 j 的相对距离这种特性对捕捉局部语序很有用。实际工程中还有一个更常见的做法直接把这个公式计算出来的向量看成固定的嵌入把它和词向量相加。相加而不拼接的原因也很实际如果拼接输入维度会翻倍后续的参数量会急剧膨胀而相加本质上是在原向量上施加一个位置偏移让模型在训练中自动学会如何利用这些偏移信号运算开销没有增加效果也不错。后来的一些变体模型比如用可学习位置嵌入的 BERT更倾向于直接训练一组位置向量而不是用固定公式。这个做法在数据量足够大时通常表现更稳。我的建议是原理推导以正弦余弦版为理解起点实际构建模型时优先尝试可学习位置嵌入。3.2 多头注意力把一句话同时从多个角度理解有了自注意力模型已经能进行全局交互了。但论文里还加了一个重要结构——多头注意力Multi-Head Attention。所谓多头就是不是只做一次注意力计算而是把 Q、K、V 在维度方向上切成 h 份每份独立做一次缩放点积注意力再把结果拼接起来做一次线性变换。为什么要这样设计你可以把单头注意力理解成一个人只从一个视角读句子。这个人的检索策略是固定的要么过于关注实词、要么过于关注虚词。而多头注意力相当于同时雇了 h 个人每个人从不同视角提取信息有的头专门捕捉语法依赖比如主语和谓语有的头专门捕捉指代关系比如代词和名词还有的头可能捕捉整体语义区域。最后把大家的发现拼接起来模型对句子的理解自然更立体。在参数设置上一个常见做法是假如模型总维度 d_model 512头数 h 8那么每头的维度 d_k d_v 64。这 8 个头并行计算参数总量和一个完整的 512 维单头注意力几乎一样但表达能力显著增强。这个拆分-并行-拼接的模式很像卷积神经网络里的多通道卷积本质上都是让模型在多个子空间中学习特征。有一个实践细节值得注意头数不是越大越好。头数过多会导致每头可用维度变小信息容量不足头数太少又可能学不到足够丰富的关联模式。经验上中小模型的头数在 8 到 16 之间比较常见具体需要结合数据规模调整。在后续进阶篇讲模型压缩时我们还会提到剪枝哪些头影响不大这类分析这里先不做展开。4. 完整架构拆解编码器-解码器与训练细节4.1 编码器层里到底发生了什么讲完核心组件我们得看看它们如何组装成真正的 Transformer。完整的 Transformer 是典型的编码器-解码器结构编码器负责把输入句子转成语义表示解码器负责基于语义表示生成输出句子。一个编码器层由两个子层组成第一个子层是多头自注意力第二个子层是逐位置的前馈网络FFN。每个子层之后都跟着残差连接和层归一化LayerNorm。这里的逐位置意思是前馈网络对序列中每个位置独立地应用同一个两层全连接网络公式是FFN(x) max(0, xW1 b1) W2 b2中间层维度通常比输入维度大很多经典设置是 d_model 512中间层维度为 2048。激活函数用的是 ReLU。这个前馈网络的作用常被视作对每个词做一次非线性特征变换把注意力层提取到的关联信息加工成语义空间中的可区分特征。注意力的作用是建立词与词之间的沟通FFN 则是站在单个词的位置上做内部消化两者缺一不可。多个这样的编码器层堆叠起来每一层都对前一层的结果做进一步的抽象。层数越深模型能捕捉的关系就越复杂。经典 Transformer 用了 6 层而现代预训练模型动辄 12 到 24 层甚至更多。理解了单层结构多层只是在重复这个过程时堆叠出层次并没有引入新的范式。4.2 解码器的掩码与自回归生成解码器和编码器的结构大致对称但多了两个关键设计。第一个设计解码器里的第一个多头自注意力带有一个掩码Mask叫未来信息掩码。具体做法是在计算注意力分数 QK^T 时把右上三角区域的分数设为一个极大的负数Softmax 之后这些位置的权重就接近 0。换句话说在解码第 t 个词时模型只允许看到位置 1 到 t 的词语不允许偷看未来的词。这样做的原因很直观解码器是逐词生成的。假设我们要从 I love you 翻译成我爱你生成爱这个字的时候模型只能根据已经生成的我和历史输入来预测绝对不能先看到你再输出爱否则就是作弊。这种只能看到过去、不能看到未来的性质叫自回归它在训练阶段和推理阶段有明显不同的实现形式。第二个设计是编码器-解码器注意力子层。在这个子层里Query 来自解码器的上一输出Key 和 Value 来自编码器的最终输出。这样解码器在生成每一个词的时候都能回头查阅源语句的相关信息。你可以这么理解解码器不仅要知道自己已经说了什么还要时刻惦记着源语句的内容交叉注意力就是连接这两者的桥梁。这里有一个训练与推理的差异值得点出来训练阶段采用教师强制Teacher Forcing就是不管模型上一步生成得多差下一步都直接喂给它真实的目标词并把每一步的预测结果和真实词做交叉熵损失这样可以充分并行训练。而推理阶段是真正的逐词生成先给一个起始符号模型生成第一个词把第一个词拼在输入后继续生成第二个词直到遇到终止符号。正因为在训练和推理时解码器的输入来源不同带掩码的多头注意力才成为一种必要的设计。4.3 残差连接和层归一化为什么不可省很多初学者会觉得残差连接和 LayerNorm 是两个人人都加、但不知为何要加的组件。我单独拎出来讲一下因为它们对训练能否成功至关重要。残差连接的核心作用是解决深层网络的梯度传播问题。它的形式是输出 子层(x) x把原始输入直接跨层接到输出上。这样反向传播的时候梯度可以通过这条捷径直接流到浅层深度增加不会导致梯度剧烈衰减。从信息流角度看残差连接还保证了即使某一层学到的变换不够好原始信息也始终保留在表示里模型可以渐进微调而非推倒重来。层归一化则是对特征维度做归一化操作。它对每个样本的所有特征列计算均值和方差然后进行归一化再加回两个可学习的缩放和偏移参数。这个操作的意义在于让每层输入的分布保持稳定大幅缓解训练过程中的内部协变量偏移提升收敛速度。需要注意的是Transformer 用的是 LayerNorm 而不是 BatchNorm因为在 NLP 任务里一个批次内句子的长度往往不同BatchNorm 容易被长短不一地填充影响统计量而 LayerNorm 不受批次内样本间的干扰天然适配序列模型。如果把 Transformer 看成一条装配线那么注意力、FFN 是加工环节残差连接是传输带LayerNorm 则是质检环节。三者配合才能保证加工链条又深又稳缺任何一环训练都容易出现不收敛或者收敛极慢的问题。下节我就带大家真正动手把编码器部分写出来看效果。5. 从零实现一个极小 Transformer 分类器5.1 环境与选型用什么框架最省力如果目的是理解原理不建议一上来就加载动辄几亿参数的预训练模型那样反而把核心逻辑包在框架里看不清。我建议用 PyTorch 从零手写一个极小的单层编码器做情感分类任务。你只需要一个带 GPU 或不带 GPU 的 Python 环境、PyTorch 和若干公开可用的中文情感分类数据集就可以完成。为什么选 PyTorch它的 API 比较贴近张量运算本身适合把数据流拆开看更重要的是我下面给的代码不会超过 90 行你甚至可以手动把每一行都推一遍。当你真正敲过一遍后那些头怎么拆向量维度怎么变的模糊感会瞬间消失。5.2 核心代码编码器层、位置编码、分类头下面这段代码刻意做得简洁只实现一个单层 Transformer 编码器省略了解码器因为单做分类任务时只需要编码器就够了。核心组件有三个位置编码、多头注意力、前馈网络。import torch import torch.nn as nn import math class PositionalEncoding(nn.Module): def __init__(self, d_model, max_len512): super().__init__() pe torch.zeros(max_len, d_model) position torch.arange(0, max_len).unsqueeze(1).float() div_term torch.exp(torch.arange(0, d_model, 2).float() * (-math.log(10000.0) / d_model)) pe[:, 0::2] torch.sin(position * div_term) pe[:, 1::2] torch.cos(position * div_term) pe pe.unsqueeze(0) # 形状 [1, max_len, d_model] self.register_buffer(pe, pe) def forward(self, x): return x self.pe[:, :x.size(1), :] class SelfAttention(nn.Module): def __init__(self, d_model, num_heads): super().__init__() self.d_model d_model self.num_heads num_heads self.d_k d_model // num_heads self.wq nn.Linear(d_model, d_model) self.wk nn.Linear(d_model, d_model) self.wv nn.Linear(d_model, d_model) self.fc nn.Linear(d_model, d_model) def forward(self, x, maskNone): batch, seq_len, _ x.size() q self.wq(x).view(batch, seq_len, self.num_heads, self.d_k).transpose(1, 2) k self.wk(x).view(batch, seq_len, self.num_heads, self.d_k).transpose(1, 2) v self.wv(x).view(batch, seq_len, self.num_heads, self.d_k).transpose(1, 2) scores q k.transpose(-2, -1) / math.sqrt(self.d_k) if mask is not None: scores scores.masked_fill(mask 0, float(-inf)) attn torch.softmax(scores, dim-1) out attn v out out.transpose(1, 2).contiguous().view(batch, seq_len, self.d_model) return self.fc(out) class TransformerEncoderLayer(nn.Module): def __init__(self, d_model, num_heads, dim_ff, dropout0.1): super().__init__() self.attn SelfAttention(d_model, num_heads) self.ff nn.Sequential(nn.Linear(d_model, dim_ff), nn.ReLU(), nn.Linear(dim_ff, d_model)) self.norm1 nn.LayerNorm(d_model) self.norm2 nn.LayerNorm(d_model) self.dropout nn.Dropout(dropout) def forward(self, x): x x self.dropout(self.attn(self.norm1(x))) x x self.dropout(self.ff(self.norm2(x))) return x class MiniTransformerClassifier(nn.Module): def __init__(self, vocab_size, d_model64, num_heads4, dim_ff128, num_layers2, num_classes2): super().__init__() self.embed nn.Embedding(vocab_size, d_model) self.pos PositionalEncoding(d_model) self.layers nn.ModuleList([TransformerEncoderLayer(d_model, num_heads, dim_ff) for _ in range(num_layers)]) self.pooler nn.AdaptiveAvgPool1d(1) self.classifier nn.Linear(d_model, num_classes) def forward(self, input_ids): x self.embed(input_ids) x self.pos(x) for layer in self.layers: x layer(x) x x.transpose(1, 2) # [batch, d_model, seq_len] x self.pooler(x).squeeze(-1) # 平均池化得到句向量 return self.classifier(x)有几个实现细节我想额外说明。第一注意力模块里我用了view再transpose的手法把 [batch, seq_len, d_model] 变成 [batch, num_heads, seq_len, d_k]这样每个头在最后两个维度上独立做矩阵乘PyTorch 的广播机制会自动完成并行多头的计算。第二我没有在自注意力内部单独做掩码因为编码器分类任务不需要未来信息掩码真正需要掩码的解码器实现只需要在 scores 上加一个上三角 mask逻辑同上面代码里的 mask 分支一样。第三我选择对整句话做平均池化得到固定长度的句向量再送入分类层。对于分类任务这种做法简单稳定不必像序列生成那样取最后一个词作为输出。5.3 训练过程中要盯的几个指标用这个模型跑情感分类我建议把学习率初始设置在 1e-4 到 5e-4 之间。这类极小的 Transformer 相对容易过拟合所以 dropout 不要省至少设为 0.1。训练时盯着两个关键信号训练集 loss 是否下降验证集准确率是否同步上升。如果训练 loss 持续下降但验证集指标不动甚至下降说明过拟合了可以加大 dropout、减小模型层数或者增加数据量。另外Transformer 对学习率比较敏感。它不像 LSTM 那样随便调个 1e-3 也能跌跌撞撞跑起来学习率偏大时 loss 经常会出现突然飞升的情况。我踩过的坑是学习率设成 5e-3 后前几步 loss 下降得飞快随后一个 batch 直接变成 NaN。后来我都是固定加一个学习率预热warmup前几百步让学习率从极小值逐步升到目标值再用余弦退火慢慢降低。虽然这个技巧在小模型上不是必须的但你一旦开始用更大规模模型warmup 几乎成了标配。6. 第一批学习者最容易踩的坑与学习路线建议6.1 概念混淆注意力、自注意力、多头注意力我在指导新人时发现很多人会卡在一组近义词上注意力、自注意力、多头注意力、交叉注意力。这里统一梳理清楚。注意力Attention是通用机制泛指用 Query 去匹配 Key、加权求 Value 的过程。自注意力Self-Attention特指 Query、Key、Value 都来自同一个序列的情况比如编码器里每个词既是谁在查、也是被查的对象。多头注意力Multi-Head Attention是加了一种结构设计把一次注意力拆成多次并行本质是增强表达不是新的机制。交叉注意力Cross-Attention则指 Query 来自一个序列Key 和 Value 来自另一个序列比如解码器里的编码器-解码器注意力子层。还有一个普遍误解以为多头注意力里的每个头是在处理句子的不同片段。其实不是每一个头都看整句话的所有位置只是使用不同子空间来编码匹配关系。这一点没想通的话看注意力可视化时会一头雾水。6.2 学习路线从原理到源码再到预训练模型给刚入门的读者提个学习路线建议。第一步先把这篇里的自注意力、位置编码、多头机制彻底吃透用笔手推一遍维度变化。第二步读原论文的编码器部分把结构图对着看弄清每个箭头代表什么。第三步打开我上面这种最小实现打断点一步一步看张量的形状变化。第四步再去看预训练模型源码和实际任务你会发现一切都顺了。接下来是系列的核心推进方向。下一篇我会讲注意力计算在工程实现上的复杂度问题、以及如何用 KV Cache 技术让自回归生成阶段快起来还会对比 BERT 和 GPT 这两大流派在架构使用上的区别。如果大家想让我再写一个手写完整 Transformer 翻译器的实战篇可以留言告诉我。最后分享一个我在实际项目中反复验证的体会学 Transformer 千万不要一开始就陷入乱七八糟的推导细节。先抓住并行和全局交互这两个核心动机再逐步扩展到位置编码、多头、掩码这些零件最后落到代码里你的整个知识体系才会是扎实的。
如果你最近在做任何和自然语言处理NLP沾边的事情不管是文本分类、情感分析、机器翻译还是智能问答应该都绕不开一个词Transformer。我第一次真正认真研究 Transformer是在文本分类任务上发现 LSTM 的效果怎么调都上不去而同期同事用基于 Transformer 的预训练模型轻松刷掉了我的准确率。从那以后我就明白这东西不是热点炒作它是 NLP 基础结构的全面换代。这篇是 Transformer 自然语言处理系列的第一篇我会把最核心的架构原理拆开讲清楚为什么要有自注意力机制、位置编码在解决什么问题、完整模型是怎么拼起来的最后附一个可以自己跑起来的极小实现。内容尽量做到不读原论文也能听懂适合刚接触 Transformer、或者学了很久原理但一直零散不系统的读者。这一篇不扯哲学、不做过度包装只讲清楚模型到底做了什么、为什么这样做。1. 为什么必须告别 RNN/LSTMTransformer 诞生的直接原因1.1 序列建模的旧思路隐状态串联的困境在 Transformer 出现之前处理文本的主流结构是循环神经网络RNN及它的变体 LSTM、GRU。RNN 处理一个句子的方式可以形象地理解成从头到尾依次阅读读第一个词更新一个记忆状态读第二个词基于上一个状态和当前词再更新如此往复。每一步的输出都依赖于上一步的状态这意味着第 t 个词的计算必须等第 t-1 个词算完整条链路是一条严格串行的流水线。这个设计思路本身很符合人类阅读的直觉但在工程实现上有一个绕不开的麻烦串行计算导致训练速度极慢。一个 50 个词的句子RNN 要顺序执行 50 步每步之间是强依赖关系GPU 的并行能力几乎被浪费掉了。这是 RNN 的第一块短板。第二块短板是长距离依赖问题。句子里的关键信息往往隔得很远比如那个穿着红色外套、站在门口等了很久的人最后走进了教室这句话里人和走进教室之间隔了十几个词。RNN 把信息压进一个固定维度的隐状态里经过多步传递后早期信息会被稀释甚至遗忘。虽然 LSTM 通过门控机制缓解了梯度消失问题但它的记忆容量依然是有限的句子稍长效果就会明显下降。1.2 长距离依赖与并行化两个无法绕开的硬问题为了同时解决长距离依赖和并行化研究者尝试过很多方案。CNN 可以用来做局部特征提取但卷积核的感受野有限要覆盖长距离信息就得堆很深的层或者用膨胀卷积效果勉强但不优雅。还有人尝试过双向 RNN 拼接来让模型同时看到前后文但这也只是缓解没有根治串行依赖的问题。真正让问题迎刃而解的是 2017 年产业界发表的一篇机器翻译领域论文题目叫《Attention Is All You Need》。这篇论文的核心理念非常大胆我不要循环结构不要一步步地传递隐状态我直接让序列中任意两个位置之间建立直接的关联。这样有两个直接好处一是在计算时所有位置可以同时处理完美利用 GPU 并行二是无论两个词相距多远它们之间的交互路径都只有一步不存在隔了很多步导致信息丢失的问题。这个思想就是 Transformer 架构的基础。1.3 Transformer 给出的答案一句话总结核心思路如果你要用一句话向别人解释 Transformer我会这么说它是一个完全基于注意力机制构建的序列模型通过让每一个词直接观察整句话中的所有词并结合各自的位置信息来更新自己的表示因此既并行又全局能高效捕捉任意距离的依赖关系。这个架构有两个容易被忽视的常识点。第一注意力机制并不是 Transformer 原创的早在前几年就已经有研究者把注意力用在机器翻译的对齐上但那时它只是 RNN 的一个辅助组件。Transformer 的贡献在于把注意力从辅助工具升级成唯一引擎彻底去掉了循环结构。第二Transformer 的信息流动其实是双向的在编码器里每一个词在更新自己时可以看到整句话左侧和右侧的内容。如果你想的是它是不是像从左往右那样读那就理解偏了。作为系列第一篇我先把这种宏观视角放在前面。下面的内容我们聚焦到这个架构最核心的组件——自注意力机制上。2. 自注意力机制从直觉到公式2.1 注意力机制的原始形态键值检索的直觉要理解自注意力最好先理解一个更通用的概念注意力就是根据需求去信息库中挑选相关信息的过程。我常用一个生活化类比你在图书馆想找一本关于深度学习在医疗影像中的应用的书你会先在大脑里形成一个查询Query然后去书架上扫描每本书的标签Key找到最匹配的几本再重点翻看这些书的内容Value。把图书馆换成文本序列就有了一一对应关系序列中每个词的表示向量都可以同时扮演三种角色查询Query、键Key、和值Value。对于当前要更新的这个词我们用它的 Query 去和序列中所有词的 Key 做匹配得到一组权重分数再用这组分数对所有词的 Value 做加权求和结果就是这个词在当前语境下的新表示。因为序列中每个词都在同时扮演检索者和被检索对象这种结构就叫自注意力Self-Attention自指的就是自己和自己做注意力。2.2 缩放点积注意力的完整推导自注意力最简单的形式是点积注意力。假设输入序列被表示为一个矩阵 X每一行是一个词的向量。我们引入三组可学习的权重矩阵 WQ、WK、WV将 X 分别映射为 Q、K、VQ X · WQK X · WKV X · WV然后计算注意力矩阵首先用 Q 和 K 做点积得到每个词对其他词的匹配分数这个分数反映了词与词之间的关联强度。为了防止点积结果过大导致后续 Softmax 梯度消失论文里额外除了一个缩放因子 √dkdk 是 Key 向量的维度。这一步就是缩放点积注意力这个名称的由来。最终的完整公式是Attention(Q, K, V) Softmax( QK^T / √dk ) V我们来拆解一遍计算过程。假设句子里有 n 个词每个词向量维度是 d那么 Q 和 K 都是 n×d 的矩阵QK^T 得到 n×n 的注意力分数方阵每一行代表某个词对整句话中所有词的原始注意力打分。第二步对每一行做 Softmax 归一化让权重之和为 1。第三步用这个归一化矩阵去加权 V 矩阵的每一行得到最终的输出。这里有个小细节很值得展开为什么要除以 √dk假设 Q 和 K 的每个元素都是独立随机变量且均值 0、方差 1那么两个 d 维向量做点积后结果近似均值为 0、方差为 d 的正态分布。也就是说维度越高点积结果的方差越大数值可能越分散。如果直接送入 Softmaxsoftmax 函数在输入差距过大时输出分布会非常尖锐几乎接近 one-hot导致梯度极小甚至为 0模型难以学习。除以 √dk 相当于把方差重新缩回 1让 Softmax 都能分配到合适的梯度。这个归一化操作是整个训练稳定的重要保证新手学 Transformer 时往往不会留意到这一点。2.3 Q/K/V 到底是什么一句话解释给新人听我给新人的解释通常是Query 像我关心什么Key 像我能提供什么Value 像我实际给出的信息。先用自己的 Query 去匹配别人的 Key匹配上以后就把别人的 Value 加权提取过来。这个机制真正强大之处在于Q、K、V 都是可学习的模型在训练中会逐渐调整 WQ、WK、WV让匹配本身变成任务导向。比如在做情感分析时模型可以让糟糕这个词的 Query 高度匹配服务体验等词的 Key于是糟糕的新表示里就会带着服务和体验的语义信息下游任务拿到这个表示自然更容易判断情感极性。你可以把学习后的注意力矩阵可视化出来经常能看到模型自动学到了语法和语义层面的关联例如代词指向先行词、修饰词指向被修饰词这种无监督涌现是自注意力最迷人的地方。要特别强调一点在上面这个自注意力计算里所有词的信息是同时交互的没有先后顺序。也正因如此我们必须给序列主动注入位置信息否则模型看到的词语顺序就和打乱顺序毫无区别。这就是下一节要聊的位置编码。3. 位置信息与多头机制两个容易被低估的设计3.1 位置编码为什么顺序敏感要单独建模RNN 不需要额外的位置编码因为它的每一步天然带有顺序信息。但 Transformer 里所有词并行处理、无先后之分所以如果不做任何处理我爱你和你爱我对模型来说是完全相同的输入。为了解决这个问题论文引入了一个名为位置编码Positional Encoding的模块把词语在句子中的位置也编码成向量加到词向量上。最经典的做法是用不同频率的正弦和余弦函数来生成位置向量。对位置 pos 和维度 i编码公式是PE(pos, 2i) sin(pos / 10000^(2i/d) )PE(pos, 2i1) cos(pos / 10000^(2i/d) )这里 d 是向量维度i 表示维度的下标。为什么用正弦余弦而不是直接给位置标一个整数原因有两点。第一函数值是有界的始终在 [-1, 1] 之间不会像整数编码那样出现数值尺度失衡。第二正弦余弦公式本身包含相对位置的线性关系模型可以借助三角恒等式轻松学到位置 i 和位置 j 的相对距离这种特性对捕捉局部语序很有用。实际工程中还有一个更常见的做法直接把这个公式计算出来的向量看成固定的嵌入把它和词向量相加。相加而不拼接的原因也很实际如果拼接输入维度会翻倍后续的参数量会急剧膨胀而相加本质上是在原向量上施加一个位置偏移让模型在训练中自动学会如何利用这些偏移信号运算开销没有增加效果也不错。后来的一些变体模型比如用可学习位置嵌入的 BERT更倾向于直接训练一组位置向量而不是用固定公式。这个做法在数据量足够大时通常表现更稳。我的建议是原理推导以正弦余弦版为理解起点实际构建模型时优先尝试可学习位置嵌入。3.2 多头注意力把一句话同时从多个角度理解有了自注意力模型已经能进行全局交互了。但论文里还加了一个重要结构——多头注意力Multi-Head Attention。所谓多头就是不是只做一次注意力计算而是把 Q、K、V 在维度方向上切成 h 份每份独立做一次缩放点积注意力再把结果拼接起来做一次线性变换。为什么要这样设计你可以把单头注意力理解成一个人只从一个视角读句子。这个人的检索策略是固定的要么过于关注实词、要么过于关注虚词。而多头注意力相当于同时雇了 h 个人每个人从不同视角提取信息有的头专门捕捉语法依赖比如主语和谓语有的头专门捕捉指代关系比如代词和名词还有的头可能捕捉整体语义区域。最后把大家的发现拼接起来模型对句子的理解自然更立体。在参数设置上一个常见做法是假如模型总维度 d_model 512头数 h 8那么每头的维度 d_k d_v 64。这 8 个头并行计算参数总量和一个完整的 512 维单头注意力几乎一样但表达能力显著增强。这个拆分-并行-拼接的模式很像卷积神经网络里的多通道卷积本质上都是让模型在多个子空间中学习特征。有一个实践细节值得注意头数不是越大越好。头数过多会导致每头可用维度变小信息容量不足头数太少又可能学不到足够丰富的关联模式。经验上中小模型的头数在 8 到 16 之间比较常见具体需要结合数据规模调整。在后续进阶篇讲模型压缩时我们还会提到剪枝哪些头影响不大这类分析这里先不做展开。4. 完整架构拆解编码器-解码器与训练细节4.1 编码器层里到底发生了什么讲完核心组件我们得看看它们如何组装成真正的 Transformer。完整的 Transformer 是典型的编码器-解码器结构编码器负责把输入句子转成语义表示解码器负责基于语义表示生成输出句子。一个编码器层由两个子层组成第一个子层是多头自注意力第二个子层是逐位置的前馈网络FFN。每个子层之后都跟着残差连接和层归一化LayerNorm。这里的逐位置意思是前馈网络对序列中每个位置独立地应用同一个两层全连接网络公式是FFN(x) max(0, xW1 b1) W2 b2中间层维度通常比输入维度大很多经典设置是 d_model 512中间层维度为 2048。激活函数用的是 ReLU。这个前馈网络的作用常被视作对每个词做一次非线性特征变换把注意力层提取到的关联信息加工成语义空间中的可区分特征。注意力的作用是建立词与词之间的沟通FFN 则是站在单个词的位置上做内部消化两者缺一不可。多个这样的编码器层堆叠起来每一层都对前一层的结果做进一步的抽象。层数越深模型能捕捉的关系就越复杂。经典 Transformer 用了 6 层而现代预训练模型动辄 12 到 24 层甚至更多。理解了单层结构多层只是在重复这个过程时堆叠出层次并没有引入新的范式。4.2 解码器的掩码与自回归生成解码器和编码器的结构大致对称但多了两个关键设计。第一个设计解码器里的第一个多头自注意力带有一个掩码Mask叫未来信息掩码。具体做法是在计算注意力分数 QK^T 时把右上三角区域的分数设为一个极大的负数Softmax 之后这些位置的权重就接近 0。换句话说在解码第 t 个词时模型只允许看到位置 1 到 t 的词语不允许偷看未来的词。这样做的原因很直观解码器是逐词生成的。假设我们要从 I love you 翻译成我爱你生成爱这个字的时候模型只能根据已经生成的我和历史输入来预测绝对不能先看到你再输出爱否则就是作弊。这种只能看到过去、不能看到未来的性质叫自回归它在训练阶段和推理阶段有明显不同的实现形式。第二个设计是编码器-解码器注意力子层。在这个子层里Query 来自解码器的上一输出Key 和 Value 来自编码器的最终输出。这样解码器在生成每一个词的时候都能回头查阅源语句的相关信息。你可以这么理解解码器不仅要知道自己已经说了什么还要时刻惦记着源语句的内容交叉注意力就是连接这两者的桥梁。这里有一个训练与推理的差异值得点出来训练阶段采用教师强制Teacher Forcing就是不管模型上一步生成得多差下一步都直接喂给它真实的目标词并把每一步的预测结果和真实词做交叉熵损失这样可以充分并行训练。而推理阶段是真正的逐词生成先给一个起始符号模型生成第一个词把第一个词拼在输入后继续生成第二个词直到遇到终止符号。正因为在训练和推理时解码器的输入来源不同带掩码的多头注意力才成为一种必要的设计。4.3 残差连接和层归一化为什么不可省很多初学者会觉得残差连接和 LayerNorm 是两个人人都加、但不知为何要加的组件。我单独拎出来讲一下因为它们对训练能否成功至关重要。残差连接的核心作用是解决深层网络的梯度传播问题。它的形式是输出 子层(x) x把原始输入直接跨层接到输出上。这样反向传播的时候梯度可以通过这条捷径直接流到浅层深度增加不会导致梯度剧烈衰减。从信息流角度看残差连接还保证了即使某一层学到的变换不够好原始信息也始终保留在表示里模型可以渐进微调而非推倒重来。层归一化则是对特征维度做归一化操作。它对每个样本的所有特征列计算均值和方差然后进行归一化再加回两个可学习的缩放和偏移参数。这个操作的意义在于让每层输入的分布保持稳定大幅缓解训练过程中的内部协变量偏移提升收敛速度。需要注意的是Transformer 用的是 LayerNorm 而不是 BatchNorm因为在 NLP 任务里一个批次内句子的长度往往不同BatchNorm 容易被长短不一地填充影响统计量而 LayerNorm 不受批次内样本间的干扰天然适配序列模型。如果把 Transformer 看成一条装配线那么注意力、FFN 是加工环节残差连接是传输带LayerNorm 则是质检环节。三者配合才能保证加工链条又深又稳缺任何一环训练都容易出现不收敛或者收敛极慢的问题。下节我就带大家真正动手把编码器部分写出来看效果。5. 从零实现一个极小 Transformer 分类器5.1 环境与选型用什么框架最省力如果目的是理解原理不建议一上来就加载动辄几亿参数的预训练模型那样反而把核心逻辑包在框架里看不清。我建议用 PyTorch 从零手写一个极小的单层编码器做情感分类任务。你只需要一个带 GPU 或不带 GPU 的 Python 环境、PyTorch 和若干公开可用的中文情感分类数据集就可以完成。为什么选 PyTorch它的 API 比较贴近张量运算本身适合把数据流拆开看更重要的是我下面给的代码不会超过 90 行你甚至可以手动把每一行都推一遍。当你真正敲过一遍后那些头怎么拆向量维度怎么变的模糊感会瞬间消失。5.2 核心代码编码器层、位置编码、分类头下面这段代码刻意做得简洁只实现一个单层 Transformer 编码器省略了解码器因为单做分类任务时只需要编码器就够了。核心组件有三个位置编码、多头注意力、前馈网络。import torch import torch.nn as nn import math class PositionalEncoding(nn.Module): def __init__(self, d_model, max_len512): super().__init__() pe torch.zeros(max_len, d_model) position torch.arange(0, max_len).unsqueeze(1).float() div_term torch.exp(torch.arange(0, d_model, 2).float() * (-math.log(10000.0) / d_model)) pe[:, 0::2] torch.sin(position * div_term) pe[:, 1::2] torch.cos(position * div_term) pe pe.unsqueeze(0) # 形状 [1, max_len, d_model] self.register_buffer(pe, pe) def forward(self, x): return x self.pe[:, :x.size(1), :] class SelfAttention(nn.Module): def __init__(self, d_model, num_heads): super().__init__() self.d_model d_model self.num_heads num_heads self.d_k d_model // num_heads self.wq nn.Linear(d_model, d_model) self.wk nn.Linear(d_model, d_model) self.wv nn.Linear(d_model, d_model) self.fc nn.Linear(d_model, d_model) def forward(self, x, maskNone): batch, seq_len, _ x.size() q self.wq(x).view(batch, seq_len, self.num_heads, self.d_k).transpose(1, 2) k self.wk(x).view(batch, seq_len, self.num_heads, self.d_k).transpose(1, 2) v self.wv(x).view(batch, seq_len, self.num_heads, self.d_k).transpose(1, 2) scores q k.transpose(-2, -1) / math.sqrt(self.d_k) if mask is not None: scores scores.masked_fill(mask 0, float(-inf)) attn torch.softmax(scores, dim-1) out attn v out out.transpose(1, 2).contiguous().view(batch, seq_len, self.d_model) return self.fc(out) class TransformerEncoderLayer(nn.Module): def __init__(self, d_model, num_heads, dim_ff, dropout0.1): super().__init__() self.attn SelfAttention(d_model, num_heads) self.ff nn.Sequential(nn.Linear(d_model, dim_ff), nn.ReLU(), nn.Linear(dim_ff, d_model)) self.norm1 nn.LayerNorm(d_model) self.norm2 nn.LayerNorm(d_model) self.dropout nn.Dropout(dropout) def forward(self, x): x x self.dropout(self.attn(self.norm1(x))) x x self.dropout(self.ff(self.norm2(x))) return x class MiniTransformerClassifier(nn.Module): def __init__(self, vocab_size, d_model64, num_heads4, dim_ff128, num_layers2, num_classes2): super().__init__() self.embed nn.Embedding(vocab_size, d_model) self.pos PositionalEncoding(d_model) self.layers nn.ModuleList([TransformerEncoderLayer(d_model, num_heads, dim_ff) for _ in range(num_layers)]) self.pooler nn.AdaptiveAvgPool1d(1) self.classifier nn.Linear(d_model, num_classes) def forward(self, input_ids): x self.embed(input_ids) x self.pos(x) for layer in self.layers: x layer(x) x x.transpose(1, 2) # [batch, d_model, seq_len] x self.pooler(x).squeeze(-1) # 平均池化得到句向量 return self.classifier(x)有几个实现细节我想额外说明。第一注意力模块里我用了view再transpose的手法把 [batch, seq_len, d_model] 变成 [batch, num_heads, seq_len, d_k]这样每个头在最后两个维度上独立做矩阵乘PyTorch 的广播机制会自动完成并行多头的计算。第二我没有在自注意力内部单独做掩码因为编码器分类任务不需要未来信息掩码真正需要掩码的解码器实现只需要在 scores 上加一个上三角 mask逻辑同上面代码里的 mask 分支一样。第三我选择对整句话做平均池化得到固定长度的句向量再送入分类层。对于分类任务这种做法简单稳定不必像序列生成那样取最后一个词作为输出。5.3 训练过程中要盯的几个指标用这个模型跑情感分类我建议把学习率初始设置在 1e-4 到 5e-4 之间。这类极小的 Transformer 相对容易过拟合所以 dropout 不要省至少设为 0.1。训练时盯着两个关键信号训练集 loss 是否下降验证集准确率是否同步上升。如果训练 loss 持续下降但验证集指标不动甚至下降说明过拟合了可以加大 dropout、减小模型层数或者增加数据量。另外Transformer 对学习率比较敏感。它不像 LSTM 那样随便调个 1e-3 也能跌跌撞撞跑起来学习率偏大时 loss 经常会出现突然飞升的情况。我踩过的坑是学习率设成 5e-3 后前几步 loss 下降得飞快随后一个 batch 直接变成 NaN。后来我都是固定加一个学习率预热warmup前几百步让学习率从极小值逐步升到目标值再用余弦退火慢慢降低。虽然这个技巧在小模型上不是必须的但你一旦开始用更大规模模型warmup 几乎成了标配。6. 第一批学习者最容易踩的坑与学习路线建议6.1 概念混淆注意力、自注意力、多头注意力我在指导新人时发现很多人会卡在一组近义词上注意力、自注意力、多头注意力、交叉注意力。这里统一梳理清楚。注意力Attention是通用机制泛指用 Query 去匹配 Key、加权求 Value 的过程。自注意力Self-Attention特指 Query、Key、Value 都来自同一个序列的情况比如编码器里每个词既是谁在查、也是被查的对象。多头注意力Multi-Head Attention是加了一种结构设计把一次注意力拆成多次并行本质是增强表达不是新的机制。交叉注意力Cross-Attention则指 Query 来自一个序列Key 和 Value 来自另一个序列比如解码器里的编码器-解码器注意力子层。还有一个普遍误解以为多头注意力里的每个头是在处理句子的不同片段。其实不是每一个头都看整句话的所有位置只是使用不同子空间来编码匹配关系。这一点没想通的话看注意力可视化时会一头雾水。6.2 学习路线从原理到源码再到预训练模型给刚入门的读者提个学习路线建议。第一步先把这篇里的自注意力、位置编码、多头机制彻底吃透用笔手推一遍维度变化。第二步读原论文的编码器部分把结构图对着看弄清每个箭头代表什么。第三步打开我上面这种最小实现打断点一步一步看张量的形状变化。第四步再去看预训练模型源码和实际任务你会发现一切都顺了。接下来是系列的核心推进方向。下一篇我会讲注意力计算在工程实现上的复杂度问题、以及如何用 KV Cache 技术让自回归生成阶段快起来还会对比 BERT 和 GPT 这两大流派在架构使用上的区别。如果大家想让我再写一个手写完整 Transformer 翻译器的实战篇可以留言告诉我。最后分享一个我在实际项目中反复验证的体会学 Transformer 千万不要一开始就陷入乱七八糟的推导细节。先抓住并行和全局交互这两个核心动机再逐步扩展到位置编码、多头、掩码这些零件最后落到代码里你的整个知识体系才会是扎实的。
 训练实操手册：从一条 DI 录音到可用音箱模拟模型的完整路径)
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
