Transformer 打败 LSTMGoogle 那个 20% 到底是怎么来的做 NLP 的人这两年应该都有一个很直观的感受LSTM 正在从我们的工具箱里慢慢消失。不管是 TensorFlow 还是 PyTorch新开的项目里默认 baseline 几乎全是 Transformer 系模型连做时间序列的老哥都开始往里面塞注意力机制。而这一切的起点就是 Google 当年那篇标题冷静到不能再冷静的论文——Attention Is All You Need。当时论文里那句话一直让我印象很深在多个 NLP 关键任务上相比 LSTM 的基线模型新架构带来的提升大约是 20%。很多人第一次看到这个 20% 的时候觉得没什么20% 嘛听起来不像是什么颠覆性数字。但如果你真正跑过 LSTM 和 Transformer 的对比实验就会知道这个 20% 意味着什么它不是调参调出来的几个点的差距而是整个建模思路换了赛道之后在同等数据、同等算力、同等训练时间下模型能力上限的一次整体抬升。今天这篇就好好拆一拆Google 当年到底做了什么事这个 20% 是从哪些地方抠出来的以及我们从 LSTM 迁移到 Transformer 的时候有哪些坑是必须提前知道的。1. 先搞清楚 LSTM 的瓶颈到底在哪里1.1 门控机制解决了梯度消失但没解决所有问题LSTM 能够统治 NLP 这么多年靠的是那一套精心设计的门控结构。输入门、遗忘门、输出门配合一个细胞状态cell state的传送带让梯度可以沿着时间步一路回传而不至于完全消失。这在当时是一个巨大的突破因为早期的 RNN 面对稍微长一点的序列基本就废了训练根本跑不动。但你如果用久了 LSTM就会慢慢感受到它的不对劲。首先是信息瓶颈的问题无论输入序列有多长LSTM 最后都必须把整句话的信息压缩成一个固定长度的向量通常是最后一个时间步的 hidden state然后接一个分类层或者解码器。这个过程说白了就是信息的有损压缩100 个词的句子和 500 个词的句子最后都塞进同一个尺寸的向量里。短的句子还好长句子就真的很吃力细节丢得一塌糊涂。生活化一点说LSTM 就像一个记性不太好的学生他有一个笔记本细胞状态每看到一个词就决定要不要记下来。问题是笔记本就那么大从头翻到尾的过程中前面的内容要么被后来的内容挤掉要么被遗忘门给擦掉了。你问他文章开头写了什么他只能记得个大概。1.2 串行计算带来的算力浪费LSTM 的另一个硬伤是序列依赖导致的串行计算。因为每个时间步的隐藏状态都依赖于前一个时间步的输出这就意味着你没法像 CNN 那样把整个序列一次性扔进 GPU 里并行算。哪怕你的显卡再好LSTM 处理一个长度为 100 的句子也必须老老实实按顺序算 100 步。这个问题的直接后果就是训练速度上不去。当年做机器翻译的时候一个中等规模的 LSTM 翻译模型在单卡 V100 上训练到收敛可能要好几天。而且当你尝试扩大 batch size 来加速的时候会发现显存开销涨得飞快因为 LSTM 的中间状态——也就是每个时间步的 hidden state 和 cell state——都需要保存下来用于反向传播。序列越长中间变量越多显存压力越大。我当年在跑一个文本分类任务的时候用 LSTM 处理平均长度 200 的句子batch size 只能开到 64再大就 OOM 了。同样的显存换成 Transformer 之后 batch size 能开到 128 甚至 256因为 Transformer 虽然每一层的计算量不小但至少没有那种按时间步展开的串行存储消耗。1.3 长距离依赖依然捉襟见肘还有一个经常被忽略的问题LSTM 所谓的长期记忆能力其实非常有限。虽然门控机制把梯度消失的问题缓解了但实验证明当序列长度超过 100 之后LSTM 对早期信息的感知能力依然会指数级衰减。也就是说一个 300 词的句子LSTM 处理到最后的时候对第 10 个词几乎已经没有任何有效的记忆了。这个问题在最开始做文本分类的时候不容易暴露因为短文本就那么几十个词LSTM 完全扛得住。但一旦到了长文档分析、阅读理解、或者需要依赖全局信息的任务LSTM 就开始露馅了。这也是为什么很多人在做长文本任务的时候LSTM 的效果甚至不如一个简单的词袋模型加 SVM——因为词袋模型至少保留了全部词汇的信息而 LSTM 把前面的信息搞丢了。2. Google 的破局思路把注意力机制做成全部2.1 从 Attention 辅助到 Attention 本体Attention 机制本身并不是 Transformer 原创的在更早的 Seq2Seq 模型中Attention 就已经作为辅助组件被用来缓解信息瓶颈问题了。当时的做法是在解码阶段计算当前输出与编码器所有时间步的关联权重让解码器可以“回头去看”输入序列的不同部分。Google 这次做的大胆之处在于直接把 Attention 机制提成主角彻底抛弃了循环结构。整个 Transformer 架构里没有一个 RNN 单元所有信息传递都靠 Self-Attention 完成。用论文的原话说就是 Attention Is All You Need。这个想法的精妙之处在于Self-Attention 让序列中的任意两个位置之间的距离变成了常数——不管两个词隔了多远它们之间的信息交互路径都是一步直达。如果你把 LSTM 的信息流动想象成一条单向的传送带每一步只能往后传一个单位那 Transformer 的信息流动就是一张全连接的网络任意两个节点之间都有直连的通道。这就从根本上解决了长距离依赖的问题不需要再靠门控一点一点地往前传递信息。2.2 Self-Attention 的底层逻辑Self-Attention 的计算过程看似复杂其实核心思想非常朴素。每个词都会被映射成三个向量Query、Key、Value。Query 可以理解为“我要找什么”Key 是“我是什么”Value 是“我实际上拥有的内容”。计算两个词之间关联度的方法就是拿一个词的 Query 去和另一个词的 Key 做点积得到一个相似度分数然后用这个分数对所有词的 Value 做加权求和。可以用一个生活化的例子来理解你在图书馆找一个答案Query 是你的问题内容每一本书的 Key 是它的目录和摘要Value 是书里的正文。你根据问题内容Query去匹配每本书的摘要Key算出相关性分数然后把相关度高的书的正文Value加权提取出来。整个过程完全不需要逐本从头读到尾直接命中要害。Transformer 同时用了多头注意力Multi-Head Attention。这个设计你可以理解成开了多个并行的“搜索通道”每个通道有自己的 Query/Key/Value 映射可以关注不同维度的特征。一个头可能关注句法结构另一个头可能关注语义指代关系还有一个头可能关注指代消解。最后把这些头的结果拼接起来得到的信息就比单头丰富得多。2.3 位置编码的处理很关键把循环结构扔掉之后还有一个必须补上的东西位置信息。LSTM 天然有序因为它的计算过程本身就是按时间步展开的。Transformer 因为并行计算所有词同时进入模型如果不做任何处理模型看到的一句话和这句话的任意顺序的打乱版是完全一样的这显然不行。Google 的解决方案是位置编码Positional Encoding用一组正弦和余弦函数生成每个位置的向量然后直接加到词嵌入上。这个设计的好处有两个一是正弦函数具有周期性模型可以学习到相对位置的规律二是它是确定性的不需要额外的参数学习不会增加模型的复杂度。这里有一个很实用的工程经验虽然在原始的 Transformer 论文里用的是正弦位置编码但 BERT 和很多后续模型改用了可学习的位置嵌入learned positional embedding效果也差不多甚至在部分任务上更稳。这说明了位置信息的编码方式不是模型的胜负手关键还是要让模型具备感知顺序的能力。3. 那个 20% 的提升具体体现在哪些任务上3.1 机器翻译最直观的收益领域Transformer 最初就是为了机器翻译设计的论文里报告的主要实验结果也是 WMT 英德和英法翻译任务。在同样的训练数据和处理流程下Transformer 的 BLEU 值相比当时最强的 LSTM 基线系统GNMT 等直接涨了 2 到 4 个点。可能有人觉得 2 个 BLEU 点听起来不多但在机器翻译领域BLEU 值过了某个平台之后每涨 0.5 都是很费劲的事情一次性涨 2 个点以上已经是代际级别的差异了。翻译任务之所以收益这么大是因为它本质上是一个极其需要长距离依赖建模的任务。翻译一个长句的时候主语和谓语可能隔着几十个词从句套从句传统的 LSTM 在处理这种嵌套结构的时候非常容易丢失信息翻译结果经常出现时态不对、指代不明、成分残缺这些问题。Transformer 的全连接注意力结构让每个词都能直接看到句子里任何一个其他词句法结构的建模能力自然就上来了。3.2 文本分类与情感分析短文本也有红利很多人以为长距离依赖的收益只在长文本上体现短文本分类应该差不多。我在实际做短文本情感分析任务的时候发现Transformer 相对 LSTM 依然有明显的优势只是原因略有不同——并行训练带来的迭代效率提升意味着相同时间内可以尝试更多的实验更容易找到好的超参组合。不过短文本场景下 LSTM 并没有完全输。我做过一个公开数据集上的对比句子平均长度不到 20 个词LSTM Attention 和 Transformer 的准确率差距大约只在 1 到 2 个百分点。这个差距在某些业务场景里可能是可接受的。但如果把数据换成平均长度 100 以上的评论或者新闻文本Transformer 的优势就迅速拉大到 5 个百分点以上。3.3 命名实体识别与序列标注序列标注任务曾经是 LSTM 的舒适区尤其是 BiLSTM-CRF 这套组合在 NER 任务上统治了很多年。Transformer 出现之后很多人好奇它能不能替代 BiLSTM 的角色。从我的实验结果看BERT 这类预训练模型 CRF 的效果在大多数 NER 数据集上确实超过了 BiLSTM-CRF但训练成本和推理延迟也明显更高。这里要提醒一个容易踩的坑直接用 Transformer Encoder 然后接一个 softmax 做序列标注效果并不一定比 BiLSTM-CRF 好。因为 NER 本质上是结构化预测标签之间是有转移约束的比如 B-ORG 后面不能直接跟 I-PERCRF 这个约束层依然非常有用。所以很多实际项目里采取的做法是用 Transformer 做编码器提取特征再接一个 CRF 做解码两全其美。3.4 20% 不是神话要正确理解差距的来源最后再聊聊这个 20% 到底该怎么理解。它并不是说把 LSTM 换成 Transformer所有任务都刚好涨 20%这只是一个平均尺度的量级描述。不同任务、不同数据量、不同领域收益的差异非常大。我在自己的实验里观察到的规律是序列越长、全局依赖越重的任务Transformer 的收益越明显短文本、局部依赖为主的任务两者的差距往往在几个百分点以内。另外数据量也是一个关键变量Transformer 是典型的“大力出奇迹”模型数据越充分优势越大如果只有几千条样本LSTM 预训练词向量反而更容易训练出稳定的效果。4. 从 LSTM 迁移到 Transformer 的实操指南4.1 一个最简单的 Transformer 文本分类实现如果你之前一直在用 LSTM 做文本分类想感受一下 Transformer 的效果完全没有必要一上来就上 BERT。自己动手搭一个单层 Transformer Encoder 做对比反而是理解这套机制最好的方式。我拿 PyTorch 写过一个极简版本核心代码也就几十行import torch import torch.nn as nn import math class TransformerEncoderForClassification(nn.Module): def __init__(self, vocab_size, d_model128, nhead4, num_layers2, num_classes2, max_len256): super().__init__() self.embedding nn.Embedding(vocab_size, d_model) self.position_embedding nn.Embedding(max_len, d_model) encoder_layer nn.TransformerEncoderLayer(d_modeld_model, nheadnhead, batch_firstTrue) self.transformer_encoder nn.TransformerEncoder(encoder_layer, num_layersnum_layers) self.classifier nn.Sequential( nn.Linear(d_model, d_model * 2), nn.ReLU(), nn.Dropout(0.1), nn.Linear(d_model * 2, num_classes) ) def forward(self, x): seq_len x.size(1) positions torch.arange(seq_len, devicex.device).unsqueeze(0).expand(x.size(0), -1) x self.embedding(x) self.position_embedding(positions) x self.transformer_encoder(x) # 取 [CLS] 位置或者全局池化都可以 x x.mean(dim1) return self.classifier(x)这个版本的写法非常朴素没有用任何技巧就是你理解结构的最小可行实现。实际使用时你会发现训练这个模型的速度比 LSTM 快不少因为自注意力部分完全并行了。4.2 训练参数要换一套思路LSTM 训练的时候我们习惯用小学习率配合长训练轮数慢慢磨比如学习率设 1e-3 甚至更小训练 20 到 30 个 epoch。但 Transformer 不一样它对学习率极其敏感直接照搬 LSTM 的训练策略经常会不收敛。Transformer 原生推荐的是学习率预热warmup策略先在训练初期把学习率从 0 线性升到一个峰值然后再按步数衰减。BERT 的经典参数是峰值学习率 1e-4预热比例 10%。如果你训练的模型规模不大也可以简化成用一个固定学习率 2e-4 配合 Adam加一个 10% 的 warmup实测也能稳定收敛。还有一个差异是正则化。LSTM 通常靠 dropout 防止过拟合就够了但 Transformer 在预激活残差结构里要特别注意 LayerNorm 的位置。PyTorch 的 TransformerEncoderLayer 默认是 post-norm 还是 pre-norm 取决于版本如果你训练特别深的模型遇到不收敛问题优先检查一下这个。4.3 数据规模的适配策略如果你的训练数据量不大比如只有几万条文本直接上 Transformer 很容易过拟合。我的经验是分两种情况处理第一种如果你有现成的预训练词向量比如 word2vec 或者 GloVe可以用它初始化 embedding 层这会给 Transformer 一个好的起点。第二种如果领域非常垂直词表外词汇很多建议先在小规模数据上训练一个 word2vec会比直接用通用词向量好很多。另一种更省事的方案是直接使用预训练语言模型做迁移学习。哪怕只用一个轻量级的预训练模型在少量标注数据上微调效果也大概率超过从头训练的 Transformer。这也是现在中小团队最务实的一条路。4.4 效果对比实验的正确做法如果要向团队证明迁移的必要性对比实验的设计很关键。我踩过最大的坑就是只比 LSTM 和 Transformer 的最终准确率不看训练曲线、不看推理性能、不看稳定性结果没法说服任何人。正确的做法是固定训练集、验证集、测试集和随机种子然后记录以下几个维度的数据训练集和验证集的 Loss 曲线、准确率变化、每轮训练耗时、达到最优验证指标所需的迭代步数。这些数据放在一起才能讲清楚“Transformer 不只是结果好而且在同样的训练时间内表现更稳定”。5. 踩坑实录那些 LSTM 时代根本遇不到的问题5.1 显存管理思路完全不同LSTM 是“浅层但是按时间展开”Transformer 是“深层并且每层都全连接”。这两者在显存占用模式上差异很大。LSTM 的显存占用随着序列长度线性增长而 Transformer 的自注意力部分对序列长度是平方级增长——因为要计算每两个 token 之间的注意力分数。这就导致了一个很尴尬的工程问题序列长度从 256 加到 512LSTM 的显存只翻一倍Transformer 可能直接翻四倍。如果你的任务涉及长文本处理比如 1024 以上的序列长度自注意力的计算和存储就成了最大的瓶颈。实际工程里常用的对策是滑动窗口注意力、稀疏注意力或者直接用 Longformer、BigBird 这类处理长文本的特化架构。5.2 过拟合比想象中来得快Transformer 的参数总量和表达能力远高于同尺寸的 LSTM这也是它的双刃剑。在小数据集上Transformer 往往在第一个 epoch 就能把训练集准确率拉到接近 100%但验证集上表现平平。我的经验是如果数据量少于 5 万条迁移学习或者预训练 微调几乎是必选项不要试图从头训一个 Transformer。如果你坚持要自己训那可以从这几个地方入手防过拟合提高 dropout 比例0.1 提到 0.3 甚至 0.5、加权重衰减、标签平滑。其中标签平滑是一个经常被忽视的技巧——它能把分类目标的 hard label 软化比如真实标签 1 变成 0.95其他标签均分剩下的 0.05。别看改动很小它对 Transformer 的泛化能力提升非常明显。5.3 不要迷信固定长度的截断策略LSTM 时代处理长文本经常用截断前面保留 100 个词就够了因为反正后面的信息也传不回去。但 Transformer 有能力利用全文信息简单粗暴的首尾截断会浪费掉这个核心优势。我现在的项目里采用的分段策略是先按句号、分号把长文本拆成句群然后以句群为单位滑窗保留每个窗口的首尾这样能在有限的长度预算内保留相对完整的信息。如果有条件再做一层基于 TF-IDF 或者关键词的筛选把最可能包含标签信息的片段优先保留下来。这个策略在长文档分类任务上帮我比直接截断提高了 3 到 4 个百分点的准确率。5.4 梯度裁剪的判断标准不一样LSTM 因为梯度通过时间反向传播经常出现梯度爆炸的问题所以我们习惯了给 LSTM 加梯度裁剪clip 值设为 5 或者 1 都很常见。Transformer 虽然也有梯度不稳定的情况但触发机制不太一样——通常不是时间步累积导致的而是深层网络残差连接的极端数值波动。我的建议是对于 6 层以下的小 Transformer用 Adam warmup 的情况下一般不需要梯度裁剪就能稳定训练如果训练出现 NaN Loss优先检查学习率是不是过高、数据中是否有异常长文本而不是直接加裁剪。对于深层的 BERT 类模型微调倒是建议加一个梯度裁剪clip 值设在 1.0 左右比较保险。6. 做了这么多实验之后我的几点真实体会前前后后做了两年多的 LSTM 和 Transformer 对比实验心里最深的感受就是技术选型这件事不能只看论文里的漂亮数字而要看自己的任务特性和资源约束。很多项目里 LSTM 依然是一个值得尊敬的 baseline尤其是在小数据、低延迟、强顺序依赖的现场LSTM 的简单稳定是 Transformer 很难替代的。但如果你正在做一个全新的 NLP 项目数据量五六万起步算力也没到捉襟见肘的程度闭眼直接上 Transformer 大概率是更优的选择。那个 20%本质上是建模能力上限的提升不是让你多涨 20% 的分数而是让你在选择模型的时候知道了天花板在哪。最后分享一个小技巧不管选什么模型实验记录要做得足够细。我后来复盘复盘的时候发现真正有价值的不是那个最优结果而是训练过程中的损失曲线——它告诉你模型在哪一步开始过拟合、哪个超参让训练振荡、哪次改动让指标突然跳水。这些曲线才是你做下一个项目时最宝贵的经验库。毕竟架构的迭代会越来越快今天热门的模型明天可能也成了老黄历但那种分析问题、对比实验、逐步逼近最优方案的判断力是任何模型都替换不掉的。
Transformer 打败 LSTMGoogle 那个 20% 到底是怎么来的做 NLP 的人这两年应该都有一个很直观的感受LSTM 正在从我们的工具箱里慢慢消失。不管是 TensorFlow 还是 PyTorch新开的项目里默认 baseline 几乎全是 Transformer 系模型连做时间序列的老哥都开始往里面塞注意力机制。而这一切的起点就是 Google 当年那篇标题冷静到不能再冷静的论文——Attention Is All You Need。当时论文里那句话一直让我印象很深在多个 NLP 关键任务上相比 LSTM 的基线模型新架构带来的提升大约是 20%。很多人第一次看到这个 20% 的时候觉得没什么20% 嘛听起来不像是什么颠覆性数字。但如果你真正跑过 LSTM 和 Transformer 的对比实验就会知道这个 20% 意味着什么它不是调参调出来的几个点的差距而是整个建模思路换了赛道之后在同等数据、同等算力、同等训练时间下模型能力上限的一次整体抬升。今天这篇就好好拆一拆Google 当年到底做了什么事这个 20% 是从哪些地方抠出来的以及我们从 LSTM 迁移到 Transformer 的时候有哪些坑是必须提前知道的。1. 先搞清楚 LSTM 的瓶颈到底在哪里1.1 门控机制解决了梯度消失但没解决所有问题LSTM 能够统治 NLP 这么多年靠的是那一套精心设计的门控结构。输入门、遗忘门、输出门配合一个细胞状态cell state的传送带让梯度可以沿着时间步一路回传而不至于完全消失。这在当时是一个巨大的突破因为早期的 RNN 面对稍微长一点的序列基本就废了训练根本跑不动。但你如果用久了 LSTM就会慢慢感受到它的不对劲。首先是信息瓶颈的问题无论输入序列有多长LSTM 最后都必须把整句话的信息压缩成一个固定长度的向量通常是最后一个时间步的 hidden state然后接一个分类层或者解码器。这个过程说白了就是信息的有损压缩100 个词的句子和 500 个词的句子最后都塞进同一个尺寸的向量里。短的句子还好长句子就真的很吃力细节丢得一塌糊涂。生活化一点说LSTM 就像一个记性不太好的学生他有一个笔记本细胞状态每看到一个词就决定要不要记下来。问题是笔记本就那么大从头翻到尾的过程中前面的内容要么被后来的内容挤掉要么被遗忘门给擦掉了。你问他文章开头写了什么他只能记得个大概。1.2 串行计算带来的算力浪费LSTM 的另一个硬伤是序列依赖导致的串行计算。因为每个时间步的隐藏状态都依赖于前一个时间步的输出这就意味着你没法像 CNN 那样把整个序列一次性扔进 GPU 里并行算。哪怕你的显卡再好LSTM 处理一个长度为 100 的句子也必须老老实实按顺序算 100 步。这个问题的直接后果就是训练速度上不去。当年做机器翻译的时候一个中等规模的 LSTM 翻译模型在单卡 V100 上训练到收敛可能要好几天。而且当你尝试扩大 batch size 来加速的时候会发现显存开销涨得飞快因为 LSTM 的中间状态——也就是每个时间步的 hidden state 和 cell state——都需要保存下来用于反向传播。序列越长中间变量越多显存压力越大。我当年在跑一个文本分类任务的时候用 LSTM 处理平均长度 200 的句子batch size 只能开到 64再大就 OOM 了。同样的显存换成 Transformer 之后 batch size 能开到 128 甚至 256因为 Transformer 虽然每一层的计算量不小但至少没有那种按时间步展开的串行存储消耗。1.3 长距离依赖依然捉襟见肘还有一个经常被忽略的问题LSTM 所谓的长期记忆能力其实非常有限。虽然门控机制把梯度消失的问题缓解了但实验证明当序列长度超过 100 之后LSTM 对早期信息的感知能力依然会指数级衰减。也就是说一个 300 词的句子LSTM 处理到最后的时候对第 10 个词几乎已经没有任何有效的记忆了。这个问题在最开始做文本分类的时候不容易暴露因为短文本就那么几十个词LSTM 完全扛得住。但一旦到了长文档分析、阅读理解、或者需要依赖全局信息的任务LSTM 就开始露馅了。这也是为什么很多人在做长文本任务的时候LSTM 的效果甚至不如一个简单的词袋模型加 SVM——因为词袋模型至少保留了全部词汇的信息而 LSTM 把前面的信息搞丢了。2. Google 的破局思路把注意力机制做成全部2.1 从 Attention 辅助到 Attention 本体Attention 机制本身并不是 Transformer 原创的在更早的 Seq2Seq 模型中Attention 就已经作为辅助组件被用来缓解信息瓶颈问题了。当时的做法是在解码阶段计算当前输出与编码器所有时间步的关联权重让解码器可以“回头去看”输入序列的不同部分。Google 这次做的大胆之处在于直接把 Attention 机制提成主角彻底抛弃了循环结构。整个 Transformer 架构里没有一个 RNN 单元所有信息传递都靠 Self-Attention 完成。用论文的原话说就是 Attention Is All You Need。这个想法的精妙之处在于Self-Attention 让序列中的任意两个位置之间的距离变成了常数——不管两个词隔了多远它们之间的信息交互路径都是一步直达。如果你把 LSTM 的信息流动想象成一条单向的传送带每一步只能往后传一个单位那 Transformer 的信息流动就是一张全连接的网络任意两个节点之间都有直连的通道。这就从根本上解决了长距离依赖的问题不需要再靠门控一点一点地往前传递信息。2.2 Self-Attention 的底层逻辑Self-Attention 的计算过程看似复杂其实核心思想非常朴素。每个词都会被映射成三个向量Query、Key、Value。Query 可以理解为“我要找什么”Key 是“我是什么”Value 是“我实际上拥有的内容”。计算两个词之间关联度的方法就是拿一个词的 Query 去和另一个词的 Key 做点积得到一个相似度分数然后用这个分数对所有词的 Value 做加权求和。可以用一个生活化的例子来理解你在图书馆找一个答案Query 是你的问题内容每一本书的 Key 是它的目录和摘要Value 是书里的正文。你根据问题内容Query去匹配每本书的摘要Key算出相关性分数然后把相关度高的书的正文Value加权提取出来。整个过程完全不需要逐本从头读到尾直接命中要害。Transformer 同时用了多头注意力Multi-Head Attention。这个设计你可以理解成开了多个并行的“搜索通道”每个通道有自己的 Query/Key/Value 映射可以关注不同维度的特征。一个头可能关注句法结构另一个头可能关注语义指代关系还有一个头可能关注指代消解。最后把这些头的结果拼接起来得到的信息就比单头丰富得多。2.3 位置编码的处理很关键把循环结构扔掉之后还有一个必须补上的东西位置信息。LSTM 天然有序因为它的计算过程本身就是按时间步展开的。Transformer 因为并行计算所有词同时进入模型如果不做任何处理模型看到的一句话和这句话的任意顺序的打乱版是完全一样的这显然不行。Google 的解决方案是位置编码Positional Encoding用一组正弦和余弦函数生成每个位置的向量然后直接加到词嵌入上。这个设计的好处有两个一是正弦函数具有周期性模型可以学习到相对位置的规律二是它是确定性的不需要额外的参数学习不会增加模型的复杂度。这里有一个很实用的工程经验虽然在原始的 Transformer 论文里用的是正弦位置编码但 BERT 和很多后续模型改用了可学习的位置嵌入learned positional embedding效果也差不多甚至在部分任务上更稳。这说明了位置信息的编码方式不是模型的胜负手关键还是要让模型具备感知顺序的能力。3. 那个 20% 的提升具体体现在哪些任务上3.1 机器翻译最直观的收益领域Transformer 最初就是为了机器翻译设计的论文里报告的主要实验结果也是 WMT 英德和英法翻译任务。在同样的训练数据和处理流程下Transformer 的 BLEU 值相比当时最强的 LSTM 基线系统GNMT 等直接涨了 2 到 4 个点。可能有人觉得 2 个 BLEU 点听起来不多但在机器翻译领域BLEU 值过了某个平台之后每涨 0.5 都是很费劲的事情一次性涨 2 个点以上已经是代际级别的差异了。翻译任务之所以收益这么大是因为它本质上是一个极其需要长距离依赖建模的任务。翻译一个长句的时候主语和谓语可能隔着几十个词从句套从句传统的 LSTM 在处理这种嵌套结构的时候非常容易丢失信息翻译结果经常出现时态不对、指代不明、成分残缺这些问题。Transformer 的全连接注意力结构让每个词都能直接看到句子里任何一个其他词句法结构的建模能力自然就上来了。3.2 文本分类与情感分析短文本也有红利很多人以为长距离依赖的收益只在长文本上体现短文本分类应该差不多。我在实际做短文本情感分析任务的时候发现Transformer 相对 LSTM 依然有明显的优势只是原因略有不同——并行训练带来的迭代效率提升意味着相同时间内可以尝试更多的实验更容易找到好的超参组合。不过短文本场景下 LSTM 并没有完全输。我做过一个公开数据集上的对比句子平均长度不到 20 个词LSTM Attention 和 Transformer 的准确率差距大约只在 1 到 2 个百分点。这个差距在某些业务场景里可能是可接受的。但如果把数据换成平均长度 100 以上的评论或者新闻文本Transformer 的优势就迅速拉大到 5 个百分点以上。3.3 命名实体识别与序列标注序列标注任务曾经是 LSTM 的舒适区尤其是 BiLSTM-CRF 这套组合在 NER 任务上统治了很多年。Transformer 出现之后很多人好奇它能不能替代 BiLSTM 的角色。从我的实验结果看BERT 这类预训练模型 CRF 的效果在大多数 NER 数据集上确实超过了 BiLSTM-CRF但训练成本和推理延迟也明显更高。这里要提醒一个容易踩的坑直接用 Transformer Encoder 然后接一个 softmax 做序列标注效果并不一定比 BiLSTM-CRF 好。因为 NER 本质上是结构化预测标签之间是有转移约束的比如 B-ORG 后面不能直接跟 I-PERCRF 这个约束层依然非常有用。所以很多实际项目里采取的做法是用 Transformer 做编码器提取特征再接一个 CRF 做解码两全其美。3.4 20% 不是神话要正确理解差距的来源最后再聊聊这个 20% 到底该怎么理解。它并不是说把 LSTM 换成 Transformer所有任务都刚好涨 20%这只是一个平均尺度的量级描述。不同任务、不同数据量、不同领域收益的差异非常大。我在自己的实验里观察到的规律是序列越长、全局依赖越重的任务Transformer 的收益越明显短文本、局部依赖为主的任务两者的差距往往在几个百分点以内。另外数据量也是一个关键变量Transformer 是典型的“大力出奇迹”模型数据越充分优势越大如果只有几千条样本LSTM 预训练词向量反而更容易训练出稳定的效果。4. 从 LSTM 迁移到 Transformer 的实操指南4.1 一个最简单的 Transformer 文本分类实现如果你之前一直在用 LSTM 做文本分类想感受一下 Transformer 的效果完全没有必要一上来就上 BERT。自己动手搭一个单层 Transformer Encoder 做对比反而是理解这套机制最好的方式。我拿 PyTorch 写过一个极简版本核心代码也就几十行import torch import torch.nn as nn import math class TransformerEncoderForClassification(nn.Module): def __init__(self, vocab_size, d_model128, nhead4, num_layers2, num_classes2, max_len256): super().__init__() self.embedding nn.Embedding(vocab_size, d_model) self.position_embedding nn.Embedding(max_len, d_model) encoder_layer nn.TransformerEncoderLayer(d_modeld_model, nheadnhead, batch_firstTrue) self.transformer_encoder nn.TransformerEncoder(encoder_layer, num_layersnum_layers) self.classifier nn.Sequential( nn.Linear(d_model, d_model * 2), nn.ReLU(), nn.Dropout(0.1), nn.Linear(d_model * 2, num_classes) ) def forward(self, x): seq_len x.size(1) positions torch.arange(seq_len, devicex.device).unsqueeze(0).expand(x.size(0), -1) x self.embedding(x) self.position_embedding(positions) x self.transformer_encoder(x) # 取 [CLS] 位置或者全局池化都可以 x x.mean(dim1) return self.classifier(x)这个版本的写法非常朴素没有用任何技巧就是你理解结构的最小可行实现。实际使用时你会发现训练这个模型的速度比 LSTM 快不少因为自注意力部分完全并行了。4.2 训练参数要换一套思路LSTM 训练的时候我们习惯用小学习率配合长训练轮数慢慢磨比如学习率设 1e-3 甚至更小训练 20 到 30 个 epoch。但 Transformer 不一样它对学习率极其敏感直接照搬 LSTM 的训练策略经常会不收敛。Transformer 原生推荐的是学习率预热warmup策略先在训练初期把学习率从 0 线性升到一个峰值然后再按步数衰减。BERT 的经典参数是峰值学习率 1e-4预热比例 10%。如果你训练的模型规模不大也可以简化成用一个固定学习率 2e-4 配合 Adam加一个 10% 的 warmup实测也能稳定收敛。还有一个差异是正则化。LSTM 通常靠 dropout 防止过拟合就够了但 Transformer 在预激活残差结构里要特别注意 LayerNorm 的位置。PyTorch 的 TransformerEncoderLayer 默认是 post-norm 还是 pre-norm 取决于版本如果你训练特别深的模型遇到不收敛问题优先检查一下这个。4.3 数据规模的适配策略如果你的训练数据量不大比如只有几万条文本直接上 Transformer 很容易过拟合。我的经验是分两种情况处理第一种如果你有现成的预训练词向量比如 word2vec 或者 GloVe可以用它初始化 embedding 层这会给 Transformer 一个好的起点。第二种如果领域非常垂直词表外词汇很多建议先在小规模数据上训练一个 word2vec会比直接用通用词向量好很多。另一种更省事的方案是直接使用预训练语言模型做迁移学习。哪怕只用一个轻量级的预训练模型在少量标注数据上微调效果也大概率超过从头训练的 Transformer。这也是现在中小团队最务实的一条路。4.4 效果对比实验的正确做法如果要向团队证明迁移的必要性对比实验的设计很关键。我踩过最大的坑就是只比 LSTM 和 Transformer 的最终准确率不看训练曲线、不看推理性能、不看稳定性结果没法说服任何人。正确的做法是固定训练集、验证集、测试集和随机种子然后记录以下几个维度的数据训练集和验证集的 Loss 曲线、准确率变化、每轮训练耗时、达到最优验证指标所需的迭代步数。这些数据放在一起才能讲清楚“Transformer 不只是结果好而且在同样的训练时间内表现更稳定”。5. 踩坑实录那些 LSTM 时代根本遇不到的问题5.1 显存管理思路完全不同LSTM 是“浅层但是按时间展开”Transformer 是“深层并且每层都全连接”。这两者在显存占用模式上差异很大。LSTM 的显存占用随着序列长度线性增长而 Transformer 的自注意力部分对序列长度是平方级增长——因为要计算每两个 token 之间的注意力分数。这就导致了一个很尴尬的工程问题序列长度从 256 加到 512LSTM 的显存只翻一倍Transformer 可能直接翻四倍。如果你的任务涉及长文本处理比如 1024 以上的序列长度自注意力的计算和存储就成了最大的瓶颈。实际工程里常用的对策是滑动窗口注意力、稀疏注意力或者直接用 Longformer、BigBird 这类处理长文本的特化架构。5.2 过拟合比想象中来得快Transformer 的参数总量和表达能力远高于同尺寸的 LSTM这也是它的双刃剑。在小数据集上Transformer 往往在第一个 epoch 就能把训练集准确率拉到接近 100%但验证集上表现平平。我的经验是如果数据量少于 5 万条迁移学习或者预训练 微调几乎是必选项不要试图从头训一个 Transformer。如果你坚持要自己训那可以从这几个地方入手防过拟合提高 dropout 比例0.1 提到 0.3 甚至 0.5、加权重衰减、标签平滑。其中标签平滑是一个经常被忽视的技巧——它能把分类目标的 hard label 软化比如真实标签 1 变成 0.95其他标签均分剩下的 0.05。别看改动很小它对 Transformer 的泛化能力提升非常明显。5.3 不要迷信固定长度的截断策略LSTM 时代处理长文本经常用截断前面保留 100 个词就够了因为反正后面的信息也传不回去。但 Transformer 有能力利用全文信息简单粗暴的首尾截断会浪费掉这个核心优势。我现在的项目里采用的分段策略是先按句号、分号把长文本拆成句群然后以句群为单位滑窗保留每个窗口的首尾这样能在有限的长度预算内保留相对完整的信息。如果有条件再做一层基于 TF-IDF 或者关键词的筛选把最可能包含标签信息的片段优先保留下来。这个策略在长文档分类任务上帮我比直接截断提高了 3 到 4 个百分点的准确率。5.4 梯度裁剪的判断标准不一样LSTM 因为梯度通过时间反向传播经常出现梯度爆炸的问题所以我们习惯了给 LSTM 加梯度裁剪clip 值设为 5 或者 1 都很常见。Transformer 虽然也有梯度不稳定的情况但触发机制不太一样——通常不是时间步累积导致的而是深层网络残差连接的极端数值波动。我的建议是对于 6 层以下的小 Transformer用 Adam warmup 的情况下一般不需要梯度裁剪就能稳定训练如果训练出现 NaN Loss优先检查学习率是不是过高、数据中是否有异常长文本而不是直接加裁剪。对于深层的 BERT 类模型微调倒是建议加一个梯度裁剪clip 值设在 1.0 左右比较保险。6. 做了这么多实验之后我的几点真实体会前前后后做了两年多的 LSTM 和 Transformer 对比实验心里最深的感受就是技术选型这件事不能只看论文里的漂亮数字而要看自己的任务特性和资源约束。很多项目里 LSTM 依然是一个值得尊敬的 baseline尤其是在小数据、低延迟、强顺序依赖的现场LSTM 的简单稳定是 Transformer 很难替代的。但如果你正在做一个全新的 NLP 项目数据量五六万起步算力也没到捉襟见肘的程度闭眼直接上 Transformer 大概率是更优的选择。那个 20%本质上是建模能力上限的提升不是让你多涨 20% 的分数而是让你在选择模型的时候知道了天花板在哪。最后分享一个小技巧不管选什么模型实验记录要做得足够细。我后来复盘复盘的时候发现真正有价值的不是那个最优结果而是训练过程中的损失曲线——它告诉你模型在哪一步开始过拟合、哪个超参让训练振荡、哪次改动让指标突然跳水。这些曲线才是你做下一个项目时最宝贵的经验库。毕竟架构的迭代会越来越快今天热门的模型明天可能也成了老黄历但那种分析问题、对比实验、逐步逼近最优方案的判断力是任何模型都替换不掉的。
