一篇文章讲明白 Vision Transformer（ViT）

一篇文章讲明白 Vision TransformerViT1. ViT 是什么ViT 全称Vision Transformer视觉 Transformer它是把Transformer 从 NLP自然语言处理迁移到计算机视觉领域的一种模型。传统视觉模型图片 ↓ CNN卷积 ↓ 特征提取 ↓ 分类ViT图片 ↓ 切成Patch ↓ Patch变成Token ↓ Transformer Encoder ↓ 分类核心思想把一张图片看成一段“视觉语言”把图像块Patch当成 NLP 里的单词Token。ViT 最早由 Google 在论文An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale提出。2. 为什么 Transformer 可以处理图片Transformer 原本处理文本例如我 喜欢 AI转换Token1 Token2 Token3然后Transformer ↓ 理解上下文图片怎么办图片224 × 224 × 3不能直接丢进去。因为Transformer 输入需要序列所以 ViT 做了一件事把图片切成很多小块每个小块当成一个 Token。3. 第一步Patchify图片切块假设输入图片224 × 224 × 3使用Patch size 16×16切224 / 16 14所以14 × 14 196 个 Patch每个 Patch16 × 16 × 3展开16×16×3 768个数字所以图片变成Patch1 768维 Patch2 768维 ... Patch196 768维也就是196个Token4. Patch EmbeddingPatch 怎么变成 TokenTransformer 不认识16×16图片块所以需要映射。原始Patch 768维经过 Linear768 ↓ 768得到Patch Token类似 NLP单词 ↓ Embedding ↓ 词向量图片Patch ↓ Embedding ↓ 视觉Token5. 加入 CLS Token现在有Patch1 Patch2 ... Patch196但是分类需要整张图片 → 一个类别怎么办加入CLS Token输入变成CLS Patch1 Patch2 ... Patch196总共197 TokensCLS 的作用汇总所有 Patch 信息代表整张图片。6. 加入 Position Embedding位置编码Transformer 不知道顺序。例如猫在左边 猫在右边Patch内容一样猫但位置不同。所以加入Position Embedding输入Token Position例如CLS pos0 Patch1 pos1 Patch2 pos2这样模型知道这个Patch来自哪里7. ViT整体结构完整流程Image | | Patchify | ----------------------- | | | Patch1 Patch2 Patch196 | | Patch Embedding | | Position Embedding | | [CLS] Patch1 ... Patch196 | | Transformer Encoder | | CLS输出 | | Linear Head | | 分类结果8. Transformer Encoder 在干什么核心Self-Attention假设图片狗在草地上某个Patch狗的眼睛通过 Attention可以关注耳朵Patch 鼻子Patch 身体Patch也就是说Patch之间互相交流。公式Attention(Q,K,V)softmax(QKTd)V Attention(Q,K,V)softmax(\frac{QK^T}{\sqrt d})VAttention(Q,K,V)softmax(d​QKT​)V简单理解当前Patch ↓ 寻找其他Patch ↓ 决定关注谁 ↓ 融合信息9. ViT 和 CNN 最大区别CNNViT基本单位像素Patch核心操作卷积Attention感受野逐渐扩大直接全局先验知识强弱数据需求较少较多扩展能力一般强CNN第一层看附近像素第二层看更大区域慢慢获得全局信息。ViT第一层 AttentionPatch1 直接看到 Patch196天然全局。10. ViT 为什么需要大数据这是 ViT 最大特点。CNN 自带局部性假设 平移不变性 共享卷积核例如猫耳朵在哪里都像猫耳朵。ViT没有这些假设。它需要自己学习什么是边缘 什么是纹理 什么是物体所以小数据CNN ViT大数据ViT CNN11. ViT 参数规模常见版本模型PatchEmbedding维度LayerViT-Base16×1676812ViT-Large16×16102424ViT-Huge14×14128032例如ViT-B/16B Base 16 Patch大小输入224×224产生196 Patch12. ViT 代码结构PyTorch简化版classViT(nn.Module):def__init__(self):super().__init__()# Patch Embeddingself.patch_embednn.Conv2d(3,768,kernel_size16,stride16)# CLS Tokenself.cls_tokennn.Parameter(torch.randn(1,1,768))# Transformerself.encodernn.TransformerEncoder(...)# 分类self.headnn.Linear(768,num_classes)defforward(self,x):# 图片切Patchxself.patch_embed(x)# B,C,H,Wxx.flatten(2)# 转Tokenxx.transpose(1,2)# 加CLSclsself.cls_token.expand(x.size(0),-1,-1)xtorch.cat([cls,x],dim1)# Transformerxself.encoder(x)# CLS分类xx[:,0]returnself.head(x)13. ViT 面试八股总结Q1ViT 如何处理图片答ViT 将图片切分成固定大小 Patch将每个 Patch 展平并通过线性层映射成 Token再加入位置编码和 CLS Token输入 Transformer Encoder 进行特征学习。Q2为什么需要 CLS Token答CLS Token 是一个可学习向量通过 Self-Attention 聚合所有 Patch 信息最终作为整张图片的表示用于分类。Q3Patch Embedding 怎么实现两种方式方法1reshapeLinear方法2Conv2d(kernel_sizepatch_size,stridepatch_size)实际 ViT 常用第二种。Q4ViT 为什么比 CNN 强答ViT 利用 Self-Attention 建模全局关系并且结构天然适合扩大模型规模在大规模数据预训练后具有更强泛化能力。14. 一句话总结 ViTViT 就是把图片切成很多小块把每个小块当成 NLP 里的单词然后交给 Transformer 学习这些视觉 Token 之间的关系最后利用 CLS Token 完成图像理解。记忆口诀图片 ↓ 切Patch ↓ Patch Embedding ↓ 加CLS 位置编码 ↓ Transformer Encoder ↓ CLS分类这就是 ViT 的全部核心思想。