简介这份PPT资料面向深度学习入门与进阶学习者系统讲解Transformer从论文原理到NLP、CV两大领域演进的完整脉络。内容从背景介绍、整体架构切入逐层拆解输入部分的词嵌入与位置编码、编码器的多头自注意力与前馈网络、解码器的遮蔽机制以及输出部分并延伸至GPT-1与BERT、GPT-2、GPT-3、InstructGPT与ChatGPT等语言模型以及ViT、CLIP与DALL·E、Diffusion Model等视觉与跨模态工作帮助读者建立从注意力机制到多任务刷榜的全局认知。资源为1个pptx文件压缩包约17.48MB共95页结构按目录模块化组织便于按主题检索与对照学习。目前已有2515人学习下载适合希望系统梳理Transformer知识体系、准备面试或开展课题研究的中高级学习者。1. Transformer 深度讲解从 95 页 PPT 的知识骨架到 NLP 与 CV 的落地路线如果你最近在组内做技术分享大概率会遇到一个尴尬Transformer 的 PPT 一搜一大把但真正能让人看完就动手的没几份。那份流传很广的 95 页讲解之所以被反复转发核心不在于页数多而在于它把注意力机制、多头结构、位置编码、残差与归一化这几块拆得足够细又顺着 Encoder-Decoder、Decoder-Only、Encoder-Only 三条线讲清了 NLP 和 CV 里的演化路径。这篇笔记不逐页复述而是把这份 PPT 的知识骨架抽出来补上我实际做项目时的参数选择、代码复现和踩坑记录。适合两类人刚啃完论文想找落地入口的新手以及想把 Transformer 从 NLP 迁移到 CV 但不确定改哪里的熟手。2. 把 95 页 PPT 拆成可复现的最小知识骨架一份好的 Transformer 讲解价值在于它把「公式能看懂」和「代码能跑通」之间的鸿沟填上了。但 PPT 是线性的实际理解是网状的。我一般会把它重组成四块注意力计算、多头拆分、位置信息注入、训练稳定性。这四块任何一块没吃透后面迁移到 CV 都会翻车。2.1 自注意力到底在算什么Q、K、V 的物理含义很多 PPT 会把Attention(Q,K,V)softmax(QK^T/√d_k)V直接甩出来但没解释 Q、K、V 分别对应什么。我的理解方式Q 是「我在找什么」K 是「我有什么可以被找到」V 是「找到之后我实际取走的内容」。三者都来自同一个输入X乘以不同的权重矩阵W_q、W_k、W_v。import torch import torch.nn as nn import math class SelfAttention(nn.Module): def __init__(self, d_model, d_k): super().__init__() self.d_k d_k # 三个投影矩阵把输入映射到查询、键、值空间 self.W_q nn.Linear(d_model, d_k) self.W_k nn.Linear(d_model, d_k) self.W_v nn.Linear(d_model, d_k) def forward(self, x): Q self.W_q(x) # (batch, seq_len, d_k) K self.W_k(x) V self.W_v(x) # 缩放点积除以 sqrt(d_k) 防止 softmax 梯度消失 scores torch.matmul(Q, K.transpose(-2, -1)) / math.sqrt(self.d_k) attn torch.softmax(scores, dim-1) return torch.matmul(attn, V), attn这段代码里最关键的是math.sqrt(self.d_k)。当d_k较大时点积结果方差会变大softmax 输出会趋近于 one-hot梯度几乎为零。PPT 里通常只写「缩放」但实际调参时d_k一般取 64d_model取 512头数取 8这三个数的关系是d_k d_model / num_heads不是随便定的。2.2 多头注意力为什么拆开再拼回去有效单头注意力只能学到一种「关注模式」。多头相当于让模型在多个子空间里并行做注意力每个头关注不同的语言或视觉模式。比如在 NLP 里有的头关注语法依赖有的头关注指代关系在 CV 里有的头关注局部纹理有的头关注全局形状。class MultiHeadAttention(nn.Module): def __init__(self, d_model512, num_heads8): super().__init__() assert d_model % num_heads 0, d_model 必须能被 num_heads 整除 self.d_model d_model self.num_heads num_heads self.d_k d_model // num_heads self.W_q nn.Linear(d_model, d_model) self.W_k nn.Linear(d_model, d_model) self.W_v nn.Linear(d_model, d_model) self.W_o nn.Linear(d_model, d_model) def forward(self, x): batch, seq_len, _ x.shape # 投影后拆成多头(batch, num_heads, seq_len, d_k) Q self.W_q(x).view(batch, seq_len, self.num_heads, self.d_k).transpose(1, 2) K self.W_k(x).view(batch, seq_len, self.num_heads, self.d_k).transpose(1, 2) V self.W_v(x).view(batch, seq_len, self.num_heads, self.d_k).transpose(1, 2) scores torch.matmul(Q, K.transpose(-2, -1)) / math.sqrt(self.d_k) attn torch.softmax(scores, dim-1) out torch.matmul(attn, V) # (batch, num_heads, seq_len, d_k) # 拼回 (batch, seq_len, d_model) out out.transpose(1, 2).contiguous().view(batch, seq_len, self.d_model) return self.W_o(out)view和transpose的顺序是新手最容易写错的地方。view之后必须transpose否则头与头之间的数据会串。contiguous()在view前调用是为了保证内存连续不然 PyTorch 会报错。这些细节 PPT 通常一笔带过但实际写代码时就是黑匣子翻车点。2.3 位置编码正弦波和可学习编码怎么选Transformer 本身没有序列顺序概念位置编码是唯一注入顺序信息的地方。PPT 里一般会给出正弦余弦公式但不会告诉你什么时候该用可学习编码。编码方式适用场景优点缺点正弦余弦固定编码序列长度不固定、推理时可能超出训练长度无需训练参数可外推表达力有限可学习位置编码序列长度固定、数据量充足表达力强无法外推超出长度报错相对位置编码长文本、长序列对相对距离敏感实现复杂我一般做法NLP 分类任务序列长度固定用可学习编码生成任务或长度变化大用正弦编码。CV 里因为 patch 数量固定可学习编码更常见但要注意初始化方式全零初始化会让所有位置一开始无法区分。2.4 残差、LayerNorm 与训练稳定性PPT 里通常把Add Norm画成一个方块但实际顺序有Post-LN和Pre-LN两种。原始论文用Post-LN但训练深层模型时容易梯度爆炸需要 warmup。现在主流实现多用Pre-LN训练更稳但最终效果可能略差。class TransformerBlock(nn.Module): def __init__(self, d_model512, num_heads8, d_ff2048, dropout0.1, pre_lnTrue): super().__init__() self.pre_ln pre_ln self.attn MultiHeadAttention(d_model, num_heads) self.norm1 nn.LayerNorm(d_model) self.norm2 nn.LayerNorm(d_model) self.ffn nn.Sequential( nn.Linear(d_model, d_ff), nn.ReLU(), nn.Dropout(dropout), nn.Linear(d_ff, d_model) ) self.dropout nn.Dropout(dropout) def forward(self, x): if self.pre_ln: # Pre-LN先归一化再进子层残差直连 x x self.dropout(self.attn(self.norm1(x))) x x self.dropout(self.ffn(self.norm2(x))) else: # Post-LN先子层再归一化 x self.norm1(x self.dropout(self.attn(x))) x self.norm2(x self.dropout(self.ffn(x))) return xd_ff一般是d_model的 4 倍这是原始论文的设定实际项目中可以按计算资源调整。dropout在注意力权重和 FFN 里都要加但位置编码后一般不加。这些参数在 PPT 里可能只出现一次但调参时每一个都会影响收敛。3. NLP 下的发展路线从 Encoder-Decoder 到 Decoder-Only理解了骨架再看 NLP 的演化就清晰了。PPT 里通常会画一棵树原始 Transformer 分叉出 BERT 系、GPT 系、T5 系。但树背后的选型逻辑才是关键——你的任务到底需要双向上下文、单向生成还是两者都要。3.1 BERT 类 Encoder-Only为什么适合理解类任务BERT 只用了 Transformer 的 Encoder核心改动是 Masked Language Model。它把输入序列随机遮住 15% 的 token让模型预测被遮住的内容。这样每个位置都能看到左右两侧信息适合分类、抽取、匹配等理解任务。# 用 HuggingFace 加载一个 Encoder-Only 模型做文本分类 from transformers import AutoTokenizer, AutoModelForSequenceClassification import torch model_name bert-base-chinese # 实际项目替换为你的预训练权重路径 tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModelForSequenceClassification.from_pretrained(model_name, num_labels2) texts [这个方案落地性很强, 这个实现有明显的性能问题] inputs tokenizer(texts, paddingTrue, truncationTrue, max_length128, return_tensorspt) with torch.no_grad(): logits model(**inputs).logits preds torch.argmax(logits, dim-1) print(preds)max_length一般取 128 或 256超过部分截断。paddingTrue会按 batch 内最长序列补齐。注意 BERT 类模型对输入长度敏感超过预训练长度效果会下降。实际项目中如果文本很长常见做法是分段后取 CLS 向量拼接或者用滑动窗口。3.2 GPT 类 Decoder-Only生成任务的统一范式GPT 系只保留 Decoder用因果掩码保证每个位置只能看到左侧。这种结构天然适合生成因为训练时预测下一个 token推理时自回归输出。现在的大模型基本都走这条路。# 因果掩码的实现上三角为 -infsoftmax 后变成 0 def causal_mask(seq_len): mask torch.triu(torch.ones(seq_len, seq_len), diagonal1).bool() return mask # True 表示需要被 mask 掉的位置 # 在注意力分数上加 mask scores torch.matmul(Q, K.transpose(-2, -1)) / math.sqrt(d_k) mask causal_mask(seq_len).to(scores.device) scores scores.masked_fill(mask, float(-inf)) attn torch.softmax(scores, dim-1)torch.triu取上三角diagonal1表示对角线往上一格开始。masked_fill把需要遮住的位置填成负无穷softmax 后这些位置权重为 0。这个掩码在训练时一次性生成推理时每步只需要最后一行但为了代码统一通常还是全量计算再取最后位置。3.3 T5 与 Encoder-Decoder什么时候还值得用T5 把所有 NLP 任务统一成「文本到文本」Encoder 读输入Decoder 生成输出。它在翻译、摘要、问答等 seq2seq 任务上仍然有优势因为 Encoder 可以双向编码输入Decoder 再单向生成。但训练成本比 Decoder-Only 高现在纯生成任务大多直接上 GPT 系。选型建议理解类任务选 Encoder-Only生成类选 Decoder-Only输入输出都是长文本且需要对齐的选 Encoder-Decoder。不要因为「原始论文是 Encoder-Decoder」就无脑套结构要跟任务匹配。3.4 预训练目标怎么影响下游效果PPT 里会列 MLM、NSP、因果语言模型等目标但不会说它们对下游的影响。MLM 学到的表示更适合 token 级任务因果语言模型学到的更适合生成。如果你拿 GPT 做分类需要额外加 pooling 层效果通常不如 BERT。反过来拿 BERT 做生成需要改掩码和输出层也不自然。选模型前先看预训练目标和你的任务是否一致。4. CV 下的迁移ViT 为什么能成立又在哪里翻车Transformer 进 CV 最大的障碍是计算量。图像像素太多如果每个像素都做注意力序列长度是百万级根本算不动。ViT 的解法是把图像切成固定大小的 patch每个 patch 拉平后当 token。这个思路简单但坑不少。4.1 Patch Embedding把图像切成 token 的具体做法假设输入图像 224×224patch 大小 16×16那么 patch 数量是(224/16)^2 196。每个 patch 拉平成 16×16×3768 维向量再线性投影到d_model。import torch import torch.nn as nn class PatchEmbedding(nn.Module): def __init__(self, img_size224, patch_size16, in_channels3, d_model768): super().__init__() self.num_patches (img_size // patch_size) ** 2 # 用卷积实现切块和投影stridepatch_size 保证不重叠 self.proj nn.Conv2d(in_channels, d_model, kernel_sizepatch_size, stridepatch_size) def forward(self, x): # x: (batch, 3, 224, 224) x self.proj(x) # (batch, d_model, 14, 14) x x.flatten(2) # (batch, d_model, 196) x x.transpose(1, 2) # (batch, 196, d_model) return x用Conv2d实现 patch 切分比手动unfold更高效stridepatch_size保证 patch 不重叠。flatten(2)把空间维度压平transpose把序列维度换到中间。注意num_patches在img_size不能被patch_size整除时会出问题实际项目中要保证整除。4.2 ViT 的 CLS token 与位置编码怎么加ViT 在 patch 序列前面拼一个可学习的 CLS token最终用它的输出做分类。位置编码用可学习的一维编码加到 patch embedding 上。class ViT(nn.Module): def __init__(self, img_size224, patch_size16, d_model768, num_heads12, depth12, num_classes1000): super().__init__() self.patch_embed PatchEmbedding(img_size, patch_size, 3, d_model) num_patches self.patch_embed.num_patches self.cls_token nn.Parameter(torch.zeros(1, 1, d_model)) self.pos_embed nn.Parameter(torch.zeros(1, num_patches 1, d_model)) self.blocks nn.ModuleList([ TransformerBlock(d_model, num_heads, d_model * 4) for _ in range(depth) ]) self.norm nn.LayerNorm(d_model) self.head nn.Linear(d_model, num_classes) def forward(self, x): x self.patch_embed(x) cls self.cls_token.expand(x.size(0), -1, -1) x torch.cat([cls, x], dim1) x x self.pos_embed for blk in self.blocks: x blk(x) x self.norm(x[:, 0]) # 取 CLS token return self.head(x)cls_token和pos_embed都用torch.zeros初始化但实际训练时需要用截断正态分布初始化否则所有位置一开始无法区分。ViT 对初始化非常敏感这也是它需要大量数据预训练的原因之一。4.3 数据量不够时怎么办DeiT 的蒸馏与数据增强ViT 在中小数据集上直接训练效果通常不如 CNN因为缺少归纳偏置。DeiT 用蒸馏解决让 ViT 同时学习真实标签和一个 CNN 教师的输出。数据增强方面RandAugment、Mixup、CutMix 对 ViT 提升明显。策略作用注意事项RandAugment增加数据多样性增强过强会破坏语义Mixup平滑决策边界对分类任务有效检测任务慎用CutMix提升局部鲁棒性需要调整损失权重蒸馏引入 CNN 归纳偏置教师模型质量决定上限我一般做法数据量小于 10 万张时优先用预训练 ViT 微调不要从头训。从头训需要至少百万级数据且训练周期长。微调时学习率要小通常 1e-5 到 5e-5太大容易破坏预训练权重。4.4 Swin 与层次化结构为什么 CV 需要多尺度ViT 全程单尺度但 CV 任务通常需要多尺度特征。Swin Transformer 用窗口注意力和移动窗口实现层次化每个 stage 下采样一次特征图逐渐变小、通道逐渐变多。这跟 CNN 的设计思路一致所以 Swin 在检测和分割任务上比 ViT 更自然。# Swin 的窗口注意力核心把特征图切窗口窗口内做注意力 def window_partition(x, window_size): B, H, W, C x.shape x x.view(B, H // window_size, window_size, W // window_size, window_size, C) windows x.permute(0, 1, 3, 2, 4, 5).contiguous().view(-1, window_size, window_size, C) return windows # 移动窗口roll 之后重新切窗口实现跨窗口信息交换 def window_reverse(windows, window_size, H, W): B int(windows.shape[0] / (H * W / window_size / window_size)) x windows.view(B, H // window_size, W // window_size, window_size, window_size, -1) x x.permute(0, 1, 3, 2, 4, 5).contiguous().view(B, H, W, -1) return xwindow_partition把特征图切成不重叠窗口window_reverse还原。移动窗口通过torch.roll实现让不同窗口之间也能交互。这些操作在 PPT 里通常只有示意图但代码实现时维度变换很容易出错建议每步打印 shape 确认。5. 避坑与排查从 PPT 到代码之间最容易翻车的 5 个点PPT 讲得再清楚落到代码还是会有各种玄学问题。下面这 5 个是我和周围人实际踩过的按「现象 → 原因 → 解决」整理。5.1 损失不下降注意力权重全一样现象训练几个 epochloss 几乎不动打印注意力权重发现所有位置权重接近均匀分布。原因通常是缩放因子漏了或者写错。d_k较大时点积结果方差大softmax 饱和梯度消失。解决检查scores QK^T / math.sqrt(d_k)里的d_k是不是每个头的维度不是d_model。如果d_model512、num_heads8d_k64除的是 8不是 512。5.2 训练 loss 正常但验证效果极差现象训练集 loss 降到很低验证集准确率远低于训练集。原因位置编码或 mask 写错导致模型在训练时看到了不该看的信息。比如因果掩码没加或者 mask 方向反了。解决打印 mask 矩阵确认上三角为 True。分类任务检查 padding mask 是否传到注意力里padding 位置应该被 mask 掉否则模型会关注补齐的零。5.3 显存爆炸batch size 只能设 1现象模型参数量不大但显存占用远超预期。原因注意力矩阵是seq_len × seq_len序列长度翻倍显存翻四倍。ViT 里 patch 数量 196 时还好如果 patch 变小到 8×8序列长度 784注意力矩阵就是 784×784。解决用梯度累积模拟大 batch或者换用 FlashAttention 等高效实现。CV 里可以增大 patch size 减少序列长度但会损失细节。5.4 微调时预训练权重加载失败现象load_state_dict报 key 不匹配或者加载后效果反而变差。原因模型结构改了但没改 key 名或者分类头维度不一致。另外学习率太大也会破坏预训练权重。解决用strictFalse加载打印缺失和多余的 key。分类头重新初始化学习率设小前几个 epoch 可以冻结主干只训头。5.5 推理速度慢达不到线上要求现象模型精度达标但单张推理耗时超过业务容忍度。原因注意力计算是 O(n²)序列长时成为瓶颈。另外没有用推理优化比如 KV Cache、量化、算子融合。解决生成任务用 KV Cache 避免重复计算。CV 任务可以蒸馏到小模型或者用 TensorRT 等推理框架优化。量化到 FP16 通常能提速 1.5 到 2 倍精度损失可控。6. 一个可验证的进阶技巧用注意力可视化反推模型是否学到结构PPT 最后一页通常会放注意力可视化图但不会告诉你怎么看。我的习惯是训练完先不急着调参把注意力权重导出来看它有没有学到预期模式。NLP 里看头是否关注相邻词、句法依赖CV 里看头是否关注同类物体、边缘区域。import matplotlib.pyplot as plt import seaborn as sns def visualize_attention(attn_weights, tokens, layer0, head0): # attn_weights: (num_layers, num_heads, seq_len, seq_len) attn attn_weights[layer][head].cpu().numpy() plt.figure(figsize(10, 8)) sns.heatmap(attn, xticklabelstokens, yticklabelstokens, cmapviridis) plt.title(fLayer {layer} Head {head} Attention) plt.tight_layout() plt.savefig(attention.png, dpi150) plt.close() # 实际使用时需要在模型 forward 里返回注意力权重 # 修改 MultiHeadAttention把 attn 存到 self.attn_weights 里这段代码本身不复杂关键是解读。如果所有头都长得差不多说明多头没起到作用可能是初始化或学习率问题。如果某些头关注[CLS]位置说明模型在用全局信息。如果 CV 里注意力图跟物体边界吻合说明 patch embedding 学到了结构。反过来如果注意力图看起来像噪声别急着调模型先检查数据预处理和标签质量。我自己的血泪经验是有一次分类任务准确率卡在 70% 上不去调了两天超参没效果最后可视化注意力发现模型一直在关注 padding 区域。原因是 padding mask 写反了把有效位置遮住了。改一行代码准确率直接到 88%。所以注意力可视化不是论文里的花架子是排查问题的后悔药。每次训练完花五分钟看一眼比盲目调参省几个小时。希望帮到你。本文还有配套的精品资源点击获取
简介这份PPT资料面向深度学习入门与进阶学习者系统讲解Transformer从论文原理到NLP、CV两大领域演进的完整脉络。内容从背景介绍、整体架构切入逐层拆解输入部分的词嵌入与位置编码、编码器的多头自注意力与前馈网络、解码器的遮蔽机制以及输出部分并延伸至GPT-1与BERT、GPT-2、GPT-3、InstructGPT与ChatGPT等语言模型以及ViT、CLIP与DALL·E、Diffusion Model等视觉与跨模态工作帮助读者建立从注意力机制到多任务刷榜的全局认知。资源为1个pptx文件压缩包约17.48MB共95页结构按目录模块化组织便于按主题检索与对照学习。目前已有2515人学习下载适合希望系统梳理Transformer知识体系、准备面试或开展课题研究的中高级学习者。1. Transformer 深度讲解从 95 页 PPT 的知识骨架到 NLP 与 CV 的落地路线如果你最近在组内做技术分享大概率会遇到一个尴尬Transformer 的 PPT 一搜一大把但真正能让人看完就动手的没几份。那份流传很广的 95 页讲解之所以被反复转发核心不在于页数多而在于它把注意力机制、多头结构、位置编码、残差与归一化这几块拆得足够细又顺着 Encoder-Decoder、Decoder-Only、Encoder-Only 三条线讲清了 NLP 和 CV 里的演化路径。这篇笔记不逐页复述而是把这份 PPT 的知识骨架抽出来补上我实际做项目时的参数选择、代码复现和踩坑记录。适合两类人刚啃完论文想找落地入口的新手以及想把 Transformer 从 NLP 迁移到 CV 但不确定改哪里的熟手。2. 把 95 页 PPT 拆成可复现的最小知识骨架一份好的 Transformer 讲解价值在于它把「公式能看懂」和「代码能跑通」之间的鸿沟填上了。但 PPT 是线性的实际理解是网状的。我一般会把它重组成四块注意力计算、多头拆分、位置信息注入、训练稳定性。这四块任何一块没吃透后面迁移到 CV 都会翻车。2.1 自注意力到底在算什么Q、K、V 的物理含义很多 PPT 会把Attention(Q,K,V)softmax(QK^T/√d_k)V直接甩出来但没解释 Q、K、V 分别对应什么。我的理解方式Q 是「我在找什么」K 是「我有什么可以被找到」V 是「找到之后我实际取走的内容」。三者都来自同一个输入X乘以不同的权重矩阵W_q、W_k、W_v。import torch import torch.nn as nn import math class SelfAttention(nn.Module): def __init__(self, d_model, d_k): super().__init__() self.d_k d_k # 三个投影矩阵把输入映射到查询、键、值空间 self.W_q nn.Linear(d_model, d_k) self.W_k nn.Linear(d_model, d_k) self.W_v nn.Linear(d_model, d_k) def forward(self, x): Q self.W_q(x) # (batch, seq_len, d_k) K self.W_k(x) V self.W_v(x) # 缩放点积除以 sqrt(d_k) 防止 softmax 梯度消失 scores torch.matmul(Q, K.transpose(-2, -1)) / math.sqrt(self.d_k) attn torch.softmax(scores, dim-1) return torch.matmul(attn, V), attn这段代码里最关键的是math.sqrt(self.d_k)。当d_k较大时点积结果方差会变大softmax 输出会趋近于 one-hot梯度几乎为零。PPT 里通常只写「缩放」但实际调参时d_k一般取 64d_model取 512头数取 8这三个数的关系是d_k d_model / num_heads不是随便定的。2.2 多头注意力为什么拆开再拼回去有效单头注意力只能学到一种「关注模式」。多头相当于让模型在多个子空间里并行做注意力每个头关注不同的语言或视觉模式。比如在 NLP 里有的头关注语法依赖有的头关注指代关系在 CV 里有的头关注局部纹理有的头关注全局形状。class MultiHeadAttention(nn.Module): def __init__(self, d_model512, num_heads8): super().__init__() assert d_model % num_heads 0, d_model 必须能被 num_heads 整除 self.d_model d_model self.num_heads num_heads self.d_k d_model // num_heads self.W_q nn.Linear(d_model, d_model) self.W_k nn.Linear(d_model, d_model) self.W_v nn.Linear(d_model, d_model) self.W_o nn.Linear(d_model, d_model) def forward(self, x): batch, seq_len, _ x.shape # 投影后拆成多头(batch, num_heads, seq_len, d_k) Q self.W_q(x).view(batch, seq_len, self.num_heads, self.d_k).transpose(1, 2) K self.W_k(x).view(batch, seq_len, self.num_heads, self.d_k).transpose(1, 2) V self.W_v(x).view(batch, seq_len, self.num_heads, self.d_k).transpose(1, 2) scores torch.matmul(Q, K.transpose(-2, -1)) / math.sqrt(self.d_k) attn torch.softmax(scores, dim-1) out torch.matmul(attn, V) # (batch, num_heads, seq_len, d_k) # 拼回 (batch, seq_len, d_model) out out.transpose(1, 2).contiguous().view(batch, seq_len, self.d_model) return self.W_o(out)view和transpose的顺序是新手最容易写错的地方。view之后必须transpose否则头与头之间的数据会串。contiguous()在view前调用是为了保证内存连续不然 PyTorch 会报错。这些细节 PPT 通常一笔带过但实际写代码时就是黑匣子翻车点。2.3 位置编码正弦波和可学习编码怎么选Transformer 本身没有序列顺序概念位置编码是唯一注入顺序信息的地方。PPT 里一般会给出正弦余弦公式但不会告诉你什么时候该用可学习编码。编码方式适用场景优点缺点正弦余弦固定编码序列长度不固定、推理时可能超出训练长度无需训练参数可外推表达力有限可学习位置编码序列长度固定、数据量充足表达力强无法外推超出长度报错相对位置编码长文本、长序列对相对距离敏感实现复杂我一般做法NLP 分类任务序列长度固定用可学习编码生成任务或长度变化大用正弦编码。CV 里因为 patch 数量固定可学习编码更常见但要注意初始化方式全零初始化会让所有位置一开始无法区分。2.4 残差、LayerNorm 与训练稳定性PPT 里通常把Add Norm画成一个方块但实际顺序有Post-LN和Pre-LN两种。原始论文用Post-LN但训练深层模型时容易梯度爆炸需要 warmup。现在主流实现多用Pre-LN训练更稳但最终效果可能略差。class TransformerBlock(nn.Module): def __init__(self, d_model512, num_heads8, d_ff2048, dropout0.1, pre_lnTrue): super().__init__() self.pre_ln pre_ln self.attn MultiHeadAttention(d_model, num_heads) self.norm1 nn.LayerNorm(d_model) self.norm2 nn.LayerNorm(d_model) self.ffn nn.Sequential( nn.Linear(d_model, d_ff), nn.ReLU(), nn.Dropout(dropout), nn.Linear(d_ff, d_model) ) self.dropout nn.Dropout(dropout) def forward(self, x): if self.pre_ln: # Pre-LN先归一化再进子层残差直连 x x self.dropout(self.attn(self.norm1(x))) x x self.dropout(self.ffn(self.norm2(x))) else: # Post-LN先子层再归一化 x self.norm1(x self.dropout(self.attn(x))) x self.norm2(x self.dropout(self.ffn(x))) return xd_ff一般是d_model的 4 倍这是原始论文的设定实际项目中可以按计算资源调整。dropout在注意力权重和 FFN 里都要加但位置编码后一般不加。这些参数在 PPT 里可能只出现一次但调参时每一个都会影响收敛。3. NLP 下的发展路线从 Encoder-Decoder 到 Decoder-Only理解了骨架再看 NLP 的演化就清晰了。PPT 里通常会画一棵树原始 Transformer 分叉出 BERT 系、GPT 系、T5 系。但树背后的选型逻辑才是关键——你的任务到底需要双向上下文、单向生成还是两者都要。3.1 BERT 类 Encoder-Only为什么适合理解类任务BERT 只用了 Transformer 的 Encoder核心改动是 Masked Language Model。它把输入序列随机遮住 15% 的 token让模型预测被遮住的内容。这样每个位置都能看到左右两侧信息适合分类、抽取、匹配等理解任务。# 用 HuggingFace 加载一个 Encoder-Only 模型做文本分类 from transformers import AutoTokenizer, AutoModelForSequenceClassification import torch model_name bert-base-chinese # 实际项目替换为你的预训练权重路径 tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModelForSequenceClassification.from_pretrained(model_name, num_labels2) texts [这个方案落地性很强, 这个实现有明显的性能问题] inputs tokenizer(texts, paddingTrue, truncationTrue, max_length128, return_tensorspt) with torch.no_grad(): logits model(**inputs).logits preds torch.argmax(logits, dim-1) print(preds)max_length一般取 128 或 256超过部分截断。paddingTrue会按 batch 内最长序列补齐。注意 BERT 类模型对输入长度敏感超过预训练长度效果会下降。实际项目中如果文本很长常见做法是分段后取 CLS 向量拼接或者用滑动窗口。3.2 GPT 类 Decoder-Only生成任务的统一范式GPT 系只保留 Decoder用因果掩码保证每个位置只能看到左侧。这种结构天然适合生成因为训练时预测下一个 token推理时自回归输出。现在的大模型基本都走这条路。# 因果掩码的实现上三角为 -infsoftmax 后变成 0 def causal_mask(seq_len): mask torch.triu(torch.ones(seq_len, seq_len), diagonal1).bool() return mask # True 表示需要被 mask 掉的位置 # 在注意力分数上加 mask scores torch.matmul(Q, K.transpose(-2, -1)) / math.sqrt(d_k) mask causal_mask(seq_len).to(scores.device) scores scores.masked_fill(mask, float(-inf)) attn torch.softmax(scores, dim-1)torch.triu取上三角diagonal1表示对角线往上一格开始。masked_fill把需要遮住的位置填成负无穷softmax 后这些位置权重为 0。这个掩码在训练时一次性生成推理时每步只需要最后一行但为了代码统一通常还是全量计算再取最后位置。3.3 T5 与 Encoder-Decoder什么时候还值得用T5 把所有 NLP 任务统一成「文本到文本」Encoder 读输入Decoder 生成输出。它在翻译、摘要、问答等 seq2seq 任务上仍然有优势因为 Encoder 可以双向编码输入Decoder 再单向生成。但训练成本比 Decoder-Only 高现在纯生成任务大多直接上 GPT 系。选型建议理解类任务选 Encoder-Only生成类选 Decoder-Only输入输出都是长文本且需要对齐的选 Encoder-Decoder。不要因为「原始论文是 Encoder-Decoder」就无脑套结构要跟任务匹配。3.4 预训练目标怎么影响下游效果PPT 里会列 MLM、NSP、因果语言模型等目标但不会说它们对下游的影响。MLM 学到的表示更适合 token 级任务因果语言模型学到的更适合生成。如果你拿 GPT 做分类需要额外加 pooling 层效果通常不如 BERT。反过来拿 BERT 做生成需要改掩码和输出层也不自然。选模型前先看预训练目标和你的任务是否一致。4. CV 下的迁移ViT 为什么能成立又在哪里翻车Transformer 进 CV 最大的障碍是计算量。图像像素太多如果每个像素都做注意力序列长度是百万级根本算不动。ViT 的解法是把图像切成固定大小的 patch每个 patch 拉平后当 token。这个思路简单但坑不少。4.1 Patch Embedding把图像切成 token 的具体做法假设输入图像 224×224patch 大小 16×16那么 patch 数量是(224/16)^2 196。每个 patch 拉平成 16×16×3768 维向量再线性投影到d_model。import torch import torch.nn as nn class PatchEmbedding(nn.Module): def __init__(self, img_size224, patch_size16, in_channels3, d_model768): super().__init__() self.num_patches (img_size // patch_size) ** 2 # 用卷积实现切块和投影stridepatch_size 保证不重叠 self.proj nn.Conv2d(in_channels, d_model, kernel_sizepatch_size, stridepatch_size) def forward(self, x): # x: (batch, 3, 224, 224) x self.proj(x) # (batch, d_model, 14, 14) x x.flatten(2) # (batch, d_model, 196) x x.transpose(1, 2) # (batch, 196, d_model) return x用Conv2d实现 patch 切分比手动unfold更高效stridepatch_size保证 patch 不重叠。flatten(2)把空间维度压平transpose把序列维度换到中间。注意num_patches在img_size不能被patch_size整除时会出问题实际项目中要保证整除。4.2 ViT 的 CLS token 与位置编码怎么加ViT 在 patch 序列前面拼一个可学习的 CLS token最终用它的输出做分类。位置编码用可学习的一维编码加到 patch embedding 上。class ViT(nn.Module): def __init__(self, img_size224, patch_size16, d_model768, num_heads12, depth12, num_classes1000): super().__init__() self.patch_embed PatchEmbedding(img_size, patch_size, 3, d_model) num_patches self.patch_embed.num_patches self.cls_token nn.Parameter(torch.zeros(1, 1, d_model)) self.pos_embed nn.Parameter(torch.zeros(1, num_patches 1, d_model)) self.blocks nn.ModuleList([ TransformerBlock(d_model, num_heads, d_model * 4) for _ in range(depth) ]) self.norm nn.LayerNorm(d_model) self.head nn.Linear(d_model, num_classes) def forward(self, x): x self.patch_embed(x) cls self.cls_token.expand(x.size(0), -1, -1) x torch.cat([cls, x], dim1) x x self.pos_embed for blk in self.blocks: x blk(x) x self.norm(x[:, 0]) # 取 CLS token return self.head(x)cls_token和pos_embed都用torch.zeros初始化但实际训练时需要用截断正态分布初始化否则所有位置一开始无法区分。ViT 对初始化非常敏感这也是它需要大量数据预训练的原因之一。4.3 数据量不够时怎么办DeiT 的蒸馏与数据增强ViT 在中小数据集上直接训练效果通常不如 CNN因为缺少归纳偏置。DeiT 用蒸馏解决让 ViT 同时学习真实标签和一个 CNN 教师的输出。数据增强方面RandAugment、Mixup、CutMix 对 ViT 提升明显。策略作用注意事项RandAugment增加数据多样性增强过强会破坏语义Mixup平滑决策边界对分类任务有效检测任务慎用CutMix提升局部鲁棒性需要调整损失权重蒸馏引入 CNN 归纳偏置教师模型质量决定上限我一般做法数据量小于 10 万张时优先用预训练 ViT 微调不要从头训。从头训需要至少百万级数据且训练周期长。微调时学习率要小通常 1e-5 到 5e-5太大容易破坏预训练权重。4.4 Swin 与层次化结构为什么 CV 需要多尺度ViT 全程单尺度但 CV 任务通常需要多尺度特征。Swin Transformer 用窗口注意力和移动窗口实现层次化每个 stage 下采样一次特征图逐渐变小、通道逐渐变多。这跟 CNN 的设计思路一致所以 Swin 在检测和分割任务上比 ViT 更自然。# Swin 的窗口注意力核心把特征图切窗口窗口内做注意力 def window_partition(x, window_size): B, H, W, C x.shape x x.view(B, H // window_size, window_size, W // window_size, window_size, C) windows x.permute(0, 1, 3, 2, 4, 5).contiguous().view(-1, window_size, window_size, C) return windows # 移动窗口roll 之后重新切窗口实现跨窗口信息交换 def window_reverse(windows, window_size, H, W): B int(windows.shape[0] / (H * W / window_size / window_size)) x windows.view(B, H // window_size, W // window_size, window_size, window_size, -1) x x.permute(0, 1, 3, 2, 4, 5).contiguous().view(B, H, W, -1) return xwindow_partition把特征图切成不重叠窗口window_reverse还原。移动窗口通过torch.roll实现让不同窗口之间也能交互。这些操作在 PPT 里通常只有示意图但代码实现时维度变换很容易出错建议每步打印 shape 确认。5. 避坑与排查从 PPT 到代码之间最容易翻车的 5 个点PPT 讲得再清楚落到代码还是会有各种玄学问题。下面这 5 个是我和周围人实际踩过的按「现象 → 原因 → 解决」整理。5.1 损失不下降注意力权重全一样现象训练几个 epochloss 几乎不动打印注意力权重发现所有位置权重接近均匀分布。原因通常是缩放因子漏了或者写错。d_k较大时点积结果方差大softmax 饱和梯度消失。解决检查scores QK^T / math.sqrt(d_k)里的d_k是不是每个头的维度不是d_model。如果d_model512、num_heads8d_k64除的是 8不是 512。5.2 训练 loss 正常但验证效果极差现象训练集 loss 降到很低验证集准确率远低于训练集。原因位置编码或 mask 写错导致模型在训练时看到了不该看的信息。比如因果掩码没加或者 mask 方向反了。解决打印 mask 矩阵确认上三角为 True。分类任务检查 padding mask 是否传到注意力里padding 位置应该被 mask 掉否则模型会关注补齐的零。5.3 显存爆炸batch size 只能设 1现象模型参数量不大但显存占用远超预期。原因注意力矩阵是seq_len × seq_len序列长度翻倍显存翻四倍。ViT 里 patch 数量 196 时还好如果 patch 变小到 8×8序列长度 784注意力矩阵就是 784×784。解决用梯度累积模拟大 batch或者换用 FlashAttention 等高效实现。CV 里可以增大 patch size 减少序列长度但会损失细节。5.4 微调时预训练权重加载失败现象load_state_dict报 key 不匹配或者加载后效果反而变差。原因模型结构改了但没改 key 名或者分类头维度不一致。另外学习率太大也会破坏预训练权重。解决用strictFalse加载打印缺失和多余的 key。分类头重新初始化学习率设小前几个 epoch 可以冻结主干只训头。5.5 推理速度慢达不到线上要求现象模型精度达标但单张推理耗时超过业务容忍度。原因注意力计算是 O(n²)序列长时成为瓶颈。另外没有用推理优化比如 KV Cache、量化、算子融合。解决生成任务用 KV Cache 避免重复计算。CV 任务可以蒸馏到小模型或者用 TensorRT 等推理框架优化。量化到 FP16 通常能提速 1.5 到 2 倍精度损失可控。6. 一个可验证的进阶技巧用注意力可视化反推模型是否学到结构PPT 最后一页通常会放注意力可视化图但不会告诉你怎么看。我的习惯是训练完先不急着调参把注意力权重导出来看它有没有学到预期模式。NLP 里看头是否关注相邻词、句法依赖CV 里看头是否关注同类物体、边缘区域。import matplotlib.pyplot as plt import seaborn as sns def visualize_attention(attn_weights, tokens, layer0, head0): # attn_weights: (num_layers, num_heads, seq_len, seq_len) attn attn_weights[layer][head].cpu().numpy() plt.figure(figsize(10, 8)) sns.heatmap(attn, xticklabelstokens, yticklabelstokens, cmapviridis) plt.title(fLayer {layer} Head {head} Attention) plt.tight_layout() plt.savefig(attention.png, dpi150) plt.close() # 实际使用时需要在模型 forward 里返回注意力权重 # 修改 MultiHeadAttention把 attn 存到 self.attn_weights 里这段代码本身不复杂关键是解读。如果所有头都长得差不多说明多头没起到作用可能是初始化或学习率问题。如果某些头关注[CLS]位置说明模型在用全局信息。如果 CV 里注意力图跟物体边界吻合说明 patch embedding 学到了结构。反过来如果注意力图看起来像噪声别急着调模型先检查数据预处理和标签质量。我自己的血泪经验是有一次分类任务准确率卡在 70% 上不去调了两天超参没效果最后可视化注意力发现模型一直在关注 padding 区域。原因是 padding mask 写反了把有效位置遮住了。改一行代码准确率直接到 88%。所以注意力可视化不是论文里的花架子是排查问题的后悔药。每次训练完花五分钟看一眼比盲目调参省几个小时。希望帮到你。本文还有配套的精品资源点击获取
