为什么 Transformer 明明能“看见”整个上下文，却不知道谁在前、谁在后？从 Sinusoidal Position Encoding，到 Learned Position Embedding，再到如今 LLaMA、Qwen 等模型广泛采用的 RoPE，位置编码经历了一次非常有代表性的演进。对 LLM 应用开发者来说，理解位置编码并不只是为了回答面试题。一旦你开始处理长上下文、RAG、SFT/LoRA、KV Cache 或 100K+ Context，位置编码就会从“模型底层细节”变成一个真正影响系统效果的工程问题。1. 引言：自注意力机制的“阿喀琉斯之踵”1.1 Transformer 为什么天生没有“顺序感”？Transformer 最核心的计算是 Self-Attention：Attention(Q,K,V)=softmax(QKTd)VAttention(Q,K,V)=softmax\left(\frac{QK^T}{\sqrt{d}}\right)V它非常擅长回答：“当前 Token 应该关注其他哪些 Token？”但这里有一个非常关键的问题：Attention 本身并不知道 Token 的先后顺序。例如：我 爱 北京 北京 爱 我如果只把 Token 的向量交给 Self-Attention，那么模型看到的是：[我] [爱] [北京]和：[北京] [爱] [我]本质上都是一组向量。换句话说，Self-Attention 更像一个“超级词袋模型”。1.2 一个更直观的类比假设把一句话拆成三张卡片：┌────┐ ┌────┐ ┌──────┐ │ 我 │ │ 爱 │ │ 北京 │ └────┘ └────┘ └──────┘如果把三张卡片同时扔到桌面上：┌──────┐ │ 北京 │ ┌────┐ │ 爱 │ ┌────┐ │ 我 │你知道有哪些词，却不知道：谁是第一个？谁是第二个？谁是第三个？所以 Transformer 需要额外告诉模型：“这个 Token 在第几个位置。”这就是Positional Encoding / Position Embedding（位置编码/位置嵌入）。1.3 为什么位置编码如此重要？语言不是一个无序集合。例如：猫 吃 鱼 鱼 吃 猫Token 集合完全一样，但语义完全不同。因此，LLM 至少需要同时建模：Token Identity + Position Information ↓ Transformer ↓ Contextual Representation可以把整个问题理解成：flowchart LR A[Token] -- B[Token Embedding] C[Position] -- D[Position Information] B -- E[Transformer] D -- E E -- F[Contextual Representation]没有位置信息，Transformer 很难真正理解“顺序”。2. 位置编码的演进史：从“绝对”到“相对”再到“旋转”位置编码的发展，本质上是在解决一个问题：如何让模型知道位置，同时尽可能高效、泛化，并支持更长的上下文？大致可以看到这样一条路线：flowchart LR A[绝对位置编码] -- B[相对位置编码] B -- C[RoPE] A1[Sinusoidal] -- A A2[Learned Embedding] -- A B1[ALiBi] -- B B2[T5 Relative Bias] -- B C -- D[长上下文扩展] D -- E[PI] D -- F[NTK-aware] D -- G[YaRN]2.1 第一代：绝对位置编码Sinusoidal Position EncodingTransformer 原论文采用的是正弦/余弦位置编码。对于位置 $pos$ 和维度 $i$：PE(pos,2i)=sin(pos100002i/d)PE(pos,2i)=\sin\left(\frac{pos}{10000^{2i/d}}\right) PE(pos,2i+1)=cos(pos100002i/d)PE(pos,2i+1)=\cos\left(\frac{pos}{10000^{2i/d}}\right)不要被公式吓到。它实际上是在做一件很简单的事情：给每一个位置生成一个独特的“坐标指纹”。例如：Position 0 → [0.00, 1.00, 0.00, 1.00, ...] Position 1 → [0.84, 0.54, 0.01, 1.00, ...] Position 2 → [0.91,-0.42, 0.02, 1.00, ...] ...然后：Xposition=TokenEmbedding+PE(position)X_{position}=TokenEmbedding+PE(position)也就是：Token 向量 + 位置向量 ↓ Transformer 输入优点实现简单不增加可训练参数理论上可以生成任意位置的编码问题它属于典型的绝对位置表示。模型训练时如果只看到：0 ~ 4095推理时突然给：0 ~ 100000虽然数学公式仍然可以生成位置编码，但：模型并没有真正学会如何处理这么远的位置。这就是后面“长上下文扩展”问题的根源之一。2.2 Learned Position Embedding另一种方法更加直接：Position 0 → 一个可训练向量 Position 1 → 一个可训练向量 Position 2 → 一个可训练向量 ...例如：position_embedding = nn.Embedding(max_position_embeddings, hidden_size)训练过程中：Token Embedding + Learned Position Embedding ↓ Transformer这种方法非常直观，而且可
为什么 Transformer 明明能“看见”整个上下文，却不知道谁在前、谁在后？从 Sinusoidal Position Encoding，到 Learned Position Embedding，再到如今 LLaMA、Qwen 等模型广泛采用的 RoPE，位置编码经历了一次非常有代表性的演进。对 LLM 应用开发者来说，理解位置编码并不只是为了回答面试题。一旦你开始处理长上下文、RAG、SFT/LoRA、KV Cache 或 100K+ Context，位置编码就会从“模型底层细节”变成一个真正影响系统效果的工程问题。1. 引言：自注意力机制的“阿喀琉斯之踵”1.1 Transformer 为什么天生没有“顺序感”？Transformer 最核心的计算是 Self-Attention：Attention(Q,K,V)=softmax(QKTd)VAttention(Q,K,V)=softmax\left(\frac{QK^T}{\sqrt{d}}\right)V它非常擅长回答：“当前 Token 应该关注其他哪些 Token？”但这里有一个非常关键的问题：Attention 本身并不知道 Token 的先后顺序。例如：我 爱 北京 北京 爱 我如果只把 Token 的向量交给 Self-Attention，那么模型看到的是：[我] [爱] [北京]和：[北京] [爱] [我]本质上都是一组向量。换句话说，Self-Attention 更像一个“超级词袋模型”。1.2 一个更直观的类比假设把一句话拆成三张卡片：┌────┐ ┌────┐ ┌──────┐ │ 我 │ │ 爱 │ │ 北京 │ └────┘ └────┘ └──────┘如果把三张卡片同时扔到桌面上：┌──────┐ │ 北京 │ ┌────┐ │ 爱 │ ┌────┐ │ 我 │你知道有哪些词，却不知道：谁是第一个？谁是第二个？谁是第三个？所以 Transformer 需要额外告诉模型：“这个 Token 在第几个位置。”这就是Positional Encoding / Position Embedding（位置编码/位置嵌入）。1.3 为什么位置编码如此重要？语言不是一个无序集合。例如：猫 吃 鱼 鱼 吃 猫Token 集合完全一样，但语义完全不同。因此，LLM 至少需要同时建模：Token Identity + Position Information ↓ Transformer ↓ Contextual Representation可以把整个问题理解成：flowchart LR A[Token] -- B[Token Embedding] C[Position] -- D[Position Information] B -- E[Transformer] D -- E E -- F[Contextual Representation]没有位置信息，Transformer 很难真正理解“顺序”。2. 位置编码的演进史：从“绝对”到“相对”再到“旋转”位置编码的发展，本质上是在解决一个问题：如何让模型知道位置，同时尽可能高效、泛化，并支持更长的上下文？大致可以看到这样一条路线：flowchart LR A[绝对位置编码] -- B[相对位置编码] B -- C[RoPE] A1[Sinusoidal] -- A A2[Learned Embedding] -- A B1[ALiBi] -- B B2[T5 Relative Bias] -- B C -- D[长上下文扩展] D -- E[PI] D -- F[NTK-aware] D -- G[YaRN]2.1 第一代：绝对位置编码Sinusoidal Position EncodingTransformer 原论文采用的是正弦/余弦位置编码。对于位置 $pos$ 和维度 $i$：PE(pos,2i)=sin(pos100002i/d)PE(pos,2i)=\sin\left(\frac{pos}{10000^{2i/d}}\right) PE(pos,2i+1)=cos(pos100002i/d)PE(pos,2i+1)=\cos\left(\frac{pos}{10000^{2i/d}}\right)不要被公式吓到。它实际上是在做一件很简单的事情：给每一个位置生成一个独特的“坐标指纹”。例如：Position 0 → [0.00, 1.00, 0.00, 1.00, ...] Position 1 → [0.84, 0.54, 0.01, 1.00, ...] Position 2 → [0.91,-0.42, 0.02, 1.00, ...] ...然后：Xposition=TokenEmbedding+PE(position)X_{position}=TokenEmbedding+PE(position)也就是：Token 向量 + 位置向量 ↓ Transformer 输入优点实现简单不增加可训练参数理论上可以生成任意位置的编码问题它属于典型的绝对位置表示。模型训练时如果只看到：0 ~ 4095推理时突然给：0 ~ 100000虽然数学公式仍然可以生成位置编码，但：模型并没有真正学会如何处理这么远的位置。这就是后面“长上下文扩展”问题的根源之一。2.2 Learned Position Embedding另一种方法更加直接：Position 0 → 一个可训练向量 Position 1 → 一个可训练向量 Position 2 → 一个可训练向量 ...例如：position_embedding = nn.Embedding(max_position_embeddings, hidden_size)训练过程中：Token Embedding + Learned Position Embedding ↓ Transformer这种方法非常直观，而且可
![GO [ 结构体 ]](http://pic.xiahunao.cn/yaotu/GO [ 结构体 ])
