别再背 Transformer 公式了9 年后我们重读了这篇神论文如果你用过 DeepSeek、通义千问或者任何一个聊天机器人它们的底座都是同一个东西——Transformer。这篇大模型论文解读要讲的就是它。但你可能不知道Transformer 在 2017 年刚出来的时候只是个机器翻译模型参数 6500 万连大模型这个概念都还少有人听说。九年过去这篇论文成了整个 AI 领域的地基。它就是 arXiv:1706.03762。这篇论文值得被认真读一遍——不是因为它难而是因为它的每一个设计取舍都精准命中了工程上真正卡脖子的地方。今天这篇论文解读我不打算翻译原文而是想讲清楚三件事它到底解决了什么问题、为什么必须是这个解法、以及它留下的坑为什么今天还在填。一、背景RNN 卡在哪为什么不是调参能解决的先说结论Transformer 不是把 RNN 改良出来的是把 RNN 的整个计算范式换掉了。2017 年之前序列建模的主流是 RNN / LSTM / GRU。它们的工作方式是逐个 token 往前推算第 1 个词拿到隐状态 h₁算第 2 个词得到 h₂……像传多米诺骨牌。这个模式有三个硬伤而且是结构性的不能并行。h₂ 必须等 h₁ 算完。GPU 最擅长的是同一时刻算一万件事而 RNN 让它只能一次算一件。长距离信号会衰减。第 1 个词的信息要传到第 1000 个词得经过 999 次矩阵乘法。每一次都可能丢信息。这是LSTM 也救不了的病根——LSTM 缓解了梯度消失但没有改变串行的事实。序列长了 batch 就小。因为每条序列的计算时间正比于长度长短句混在一起训练时内存限制迫使 batch size 掉下来训练效率雪上加霜。同时2016 年前后 ByteNet、ConvS2S 这类卷积方案也起来了它们能并行但论文明确指出卷积连接两个位置所需的操作数随距离线性增长ConvS2S或对数增长ByteNet。也就是说长距离依赖依然难学而且卷积通常比 RNN 还贵一个 k 倍。所以当时的局面是要并行 → 只能短距离要长距离 → 只能串行。这是一个二选一没有第三条路。Transformer 的选择是既然逐个传这么贵那就让每个位置直接去看所有位置。这就是自注意力self-attention的核心思想。二、核心贡献5 个关键设计我把它拆成 5 块每一块都对应一个具体的工程痛点。1. 缩放点积注意力Scaled Dot-Product AttentionAttention(Q, K, V) softmax( Q Kᵀ / √d_k ) V每个符号的意思QQuery查询当前位置在找什么KKey键每个位置在能提供什么VValue值真正被取走的内容QKᵀ算两两匹配度得到一个 n×n 的矩阵除以 √d_k这是点积注意力的命门。如果 d_k 很大点积的方差会随维度线性增长softmax 被推进梯度接近零的饱和区训练直接卡死。除以 √d_k 把方差拉回 1。softmax把匹配度变成权重矩阵每行加起来等于 1× V按权重做加权求和2. 多头注意力Multi-Head AttentionMultiHead(Q,K,V) Concat(head₁, ..., head_h) W^O 其中 head_i Attention(Q W_i^Q, K W_i^K, V W_i^V)为什么一个头不够论文说得很准“With a single attention head, averaging inhibits this.”单个头会把所有位置的注意力分数平均掉模型无法同时关注语法依赖和指代关系这类不同模式。多头让模型在不同子空间里并行地看不同东西。论文用 h8每个头 d_k d_v 64。base 模型 d_model512正好 8×64512所以总计算量和全维度的单头几乎一样——多头是免费的并行视角。3. 位置编码给没有顺序打补丁自注意力有个硬伤它天生不知道顺序。打乱输入顺序输出只是跟着换个位置排列它感受不到任何区别。对语言来说这是致命的。论文的解法非常优雅——用不同频率的正弦和余弦函数PE(pos, 2i) sin( pos / 10000^(2i/d_model) ) PE(pos, 2i1) cos( pos / 10000^(2i/d_model) )关键在于这个函数的数学性质对任何固定偏移量 kPE(posk) 都可以表示成 PE(pos) 的线性函数。也就是说模型很容易学会相对位置这个概念而相对位置比绝对位置更有用。为什么用正弦而不是可学习的 embedding论文承认两者效果几乎相同消融表里 25.7 vs 25.8但选正弦的理由是可以外推到比训练时更长的序列。这是一个纯粹面向未来的赌注——事实证明赌对了。4. 残差连接 层归一化的前置结构每一层的输出都是LayerNorm(x Sublayer(x))。这个先残差、再归一化的顺序让梯度可以像高速公路一样直接回传到浅层是能堆到很深而不炸的关键。5. 掩码自注意力把因果性写进结构解码器的自注意力必须只能看左边否则会泄露答案预测第 3 个词时偷看到第 4 个词。做法很简单在 softmax之前把非法连接右上三角的分数改成 −∞softmax 后权重就自动变成 0。三、方法详解整体结构与数据流整个模型是标准的 encoder-decoder 结构编码器N6 层每层 2 个子层多头自注意力前馈网络FFN(x) max(0, xW₁b₁)W₂b₂解码器N6 层每层 3 个子层带掩码的多头自注意力交叉注意力Q 来自解码器K/V 来自编码器输出前馈网络前馈网络的隐藏层维度 d_ff 2048是 d_model 512 的 4 倍。论文说它也可以描述成两个 kernel size 为 1 的卷积。它对每个位置是独立且相同的——也就是说 FFN 负责的是逐位置的深度加工跨位置的信息交换全靠注意力。下面这段 PyTorch 是缩放点积注意力的最小可运行实现注释解释的是为什么这么写importtorchimporttorch.nnasnnimporttorch.nn.functionalasFclassScaledDotProductAttention(nn.Module):论文公式 1softmax(QK^T / sqrt(d_k)) Vdef__init__(self,d_k:int,mask:boolFalse):super().__init__()self.d_kd_k self.maskmaskdefforward(self,Q,K,V):# 缩放因子用 d_k 的平方根不是 d_k 本身。# 原因q、k 各分量均值0方差1时点积的方差正比于 d_k。# 不缩放的话 d_k64 时点积标准差约8softmax 被打到饱和区梯度趋近0。scoresQ K.transpose(-2,-1)/(self.d_k**0.5)# 掩码要放在 softmax 之前不是之后。# 置为 -inf经过 exp 后权重严格等于 0置为 0 只是分数低# 仍会分到一点概率泄露未来信息。ifself.mask:nscores.size(-1)# 上三角含对角线设为 -inf解码时当前位置看不到自己和未来causaltorch.triu(torch.ones(n,n,dtypetorch.bool),diagonal1)scoresscores.masked_fill(causal,float(-inf))# 数值稳定性减去每行最大值防止 exp 溢出为 infattnF.softmax(scores,dim-1)returnattn V,attn一个容易忽略的细节论文说解码器结合输出嵌入偏移一个位置再用掩码。实现上直接把对角线也一起遮掉效果等价但更简洁——这是工程里常见的简化。四、实验结果三个数字看清一切论文的翻译实验Table 2newstest2014 测试集模型EN-DE BLEUEN-FR BLEU训练成本 (FLOPs)GNMTRL Ensemble当时最佳26.3041.161.8·10²⁰ConvS2S Ensemble26.3641.297.7·10¹⁹Transformer (base, 65M)27.338.13.3·10¹⁸Transformer (big, 213M)28.441.82.3·10¹⁹三个关键结论第一成本降了一个数量级。base 模型 3.3·10¹⁸ FLOPs比之前的集成模型便宜约 55 倍质量还更好。硬件细节8 张 NVIDIA P100base 每步 0.4 秒 × 10 万步 12 小时big 每步 1.0 秒 × 30 万步 3.5 天。第二scaling 效应从这里就开始显形了。有个容易被忽略的细节base 模型在 EN-DE 上27.3超过了所有集成模型但在 EN-FR 上只有 38.1反而输给之前的 41.16。直到 big 模型才在 EN-FR 上扳回来41.8。这说明什么Transformer 的优势不是免费的它需要规模来兑现。小模型下它跟别人差不多甚至更差规模上来之后优势才碾压。三年后 Kaplan 等人写出 Scaling Laws算是把这条线索 formalized 了。第三泛化能力超出预期。论文拿一个英德翻译模型只微调了 dropout、学习率和 beam size直接去做英语成分句法分析——一个结构约束极强、输出比输入长得多的任务解析器训练数据WSJ-23 F1Vinyals Kaiser (2014)WSJ only88.3Dyer et al. (2016)WSJ only91.7Transformer (4 层)WSJ only91.3Vinyals Kaiser (2014)半监督92.1Transformer (4 层)半监督92.7Dyer et al. (2016)生成式93.3只用 4 万条训练句WSJ就超过了 BerkeleyParser90.4并逼近当时最好的判别式模型91.7。半监督设置下 92.7 F1是当时半监督 SOTA。消融实验里最值得看的两行单头比最佳设置低 0.9 BLEU24.9 vs 25.8但头数增加到 32 也会掉25.4——不是越多越好dropout 从 0.1 降到 0BLEU 从 25.8 崩到 24.6label smoothing 从 0.1 到 025.8 → 25.3。这两个正则项不是装饰品还有个反直觉的发现论文指出减小 d_k 会损害质量并由此推测点积可能不是最理想的兼容性函数。这是作者主动留下的技术债——十年后确实有大量工作改进注意力打分函数。五、深入分析作者的动机与取舍最关键的那个判断我认为这篇论文最被低估的一句话在引言里“In 8 GPUs we were able to train our models in significantly less time than prior work, and achieved a new level of state-of-the-art quality.”注意这句话的顺序——先说时间再说质量。2017 年的机器翻译竞赛评 BLEU 分数。Transformer 拿 28.4比第二名高 2 BLEU看起来只高了一点点。但真正的杀伤力在成本列一个数量级的差距。这篇论文本质上不是更好地建模序列而是让建模序列这件事便宜了一个数量级。当训练成本降到 1/55你可以做的实验数量就多 55 倍这才是它引发范式转移的真正原因。我的判断是这篇论文的胜利不在于它是最优架构而在于它是最优的可扩展架构。它不保证每个任务都最强但它保证了你可以放心地把模型做大——因为变大时训练时间不会爆炸。这在当时是反直觉的赌注。三个明确的取舍取舍一接受 O(n²) 复杂度。论文自己的表格里写得清清楚楚层类型每层复杂度顺序操作数最长路径自注意力O(n²·d)O(1)O(1)循环O(n·d²)O(n)O(n)卷积O(k·n·d²)O(1)O(log_k n)受限自注意力O(r·n·d)O(1)O(n/r)当序列长度 n 小于表示维度 d 时自注意力甚至比 RNN更快。而机器翻译的典型句子长度恰好在这个区间。论文甚至提出用受限自注意力局部窗口 r把复杂度降到 O(r·n·d)——这是对长上下文问题的最早预判十年后才被大家真正重视。取舍二用 label smoothing 换困惑度。论文明确说 ε_ls0.1 “hurts perplexity”会拉高困惑度指标但因为模型不再过度自信BLEU 和准确率反而更高。这是一个教科书级的提醒评测指标和实际目标不完全一致时别迷信指标。取舍三训练技巧的组合拳。base 模型平均最后 5 个 checkpoint、big 模型平均最后 20 个10 分钟间隔写一次beam search beam4长度惩罚 α0.6最大输出长度 输入 50。这些在今天看来都是过时的做法但它们说明论文的 SOTA 数字里有一部分是调参调出来的不是架构本身的功劳。读论文时要把这部分和架构贡献分开算。局限与适用边界必须承认的三点O(n²) 是硬伤。序列长度翻倍注意力计算量变四倍。这直接限制了长上下文。论文的应对是未来研究局部注意力但没解决。只为机器翻译设计。论文没有做任何预训练没有大规模语料没有 in-context learning。Transformer 只是骨架GPT/BERT 这些让它统治 AI 的工作一篇都没出现。论文标题里的Attention Is All You Need后来被证明是一句过度自信的命名——真正需要的东西是Attention 巨量数据 算力。小规模下优势不明显。前面提过base 模型 EN-FR 只有 38.1。如果 2017 年只有资源做小模型这套架构未必能赢。六、现实影响从一篇论文到一个时代2017 到 2026架构本身的改动其实很小。九年的变化全部发生在规模和外围架构衍生BERT仅编码器走向 NLUGPT 系列仅解码器走向通用生成T5编码器-解码器统一文本到文本ViT 把 Transformer 搬上图像效率路线LoRA 让微调成本降千倍Flash Attention 通过分块把注意力从显存瓶颈变成算力瓶颈KV Cache 成为所有推理优化的主战场长上下文RoPE、ALiBi、FlashAttention 2、稀疏注意力逐个在填当年留下的坑代码落地层面论文官方实现是tensorflow/tensor2tensorT2T。需要提醒的是这个仓库已经停止维护Google 官方建议迁移到后继项目 Trax。今天想跑 Transformer推荐用 PyTorch 原生实现或 Hugging Face Transformers——T2T 只适合对照论文读历史代码。论文还附了一个官方 TensorFlow 教程tensorflow.org/tutorials/text/transformer用 Keras 实现了完整的缩放点积注意力和多头注意力可读性不错适合想看最小可运行版本的同学。一个真实的人物细节八位作者里Aidan N. Gomez 当时是 20 岁的多伦多大学实习生八人中最年轻。他 2019 年创办了 Cohere 并任 CEO。同届作者 Łukasz Kaiser 留在 Google Brain 参与了大量稀疏/MoE 方向的工作。论文作者名单是刻意打乱的脚注说明是等贡献排序所以从署名顺序看不出谁做了什么。七、我的评价该不该读怎么读值不值得精读值得但要看对地方。这篇论文 15 页你不会从里面学到任何可以直接用在 2026 年生产环境的技术——Adam 参数、beam search、checkpoint 平均全都过时了。你真正该读的是三个地方第 4 节 “Why Self-Attention”——这是全篇最有价值的一页。三个维度的对比复杂度/顺序操作/最长路径是一把尺子今天判断任何新架构线性注意力、状态空间模型、混合专家都可以拿它量一量。Table 3 消融表——这篇论文难得地老实交代了什么用、什么没用。单头掉 0.9 BLEU、减小 d_k 有害、label smoothing 拉高困惑度这些负面结果比正面结果更有信息量。Table 4 泛化实验——一个翻译模型去做句法分析还赢了这是架构本身有通用性的早期证据。很多人低估了它的意义。推荐这些人精读正在做模型压缩 / 推理优化的工程师——O(n²) 这道墙就是你们今天所有工作的起点准备 Agent / 长上下文方向的面试者——理解为什么 KV Cache 存在、为什么它会成为瓶颈这篇是源头想建立架构取舍直觉的人——它示范了如何在多个约束之间做权衡而不是追求单一最优读的时候注意三个坑别把 SOTA 数字全算在架构头上。41.8 BLEU 里有一部分来自 checkpoint 平均和 beam search 调参。注意论文自身的数据不一致。v7 版本中摘要和 Table 2 都写 EN-FR 是 41.8但正文 6.1 节写的是 41.0。这是论文本身的瑕疵不是你的阅读理解问题。别把 6500 万参数当小。base 模型 12 小时训练完是因为那时候你只需要在翻译任务上刷 SOTA。今天同样的算力要面对的是万亿 token 级语料。最后一句判断这篇文章的价值不在于告诉你 Transformer 怎么做而在于它示范了什么是好的架构论文——提出一个清晰的痛点并行 vs 依赖的不可调和给出一个精确的解法O(1) 路径长度并诚实地交代代价O(n²)。今天你读的每篇 AI 论文都该用这个标准去衡量。本期值得关注的新论文2026 年 9 月下旬以下论文均为近两周 arXiv submissions我逐条读了摘要和核心结论挑与 Agent、多模态、推理、效率优化相关的呈现。1. Mid-Harness: Scaling Actions Between Model and Harness for Terminal AgentsarXiv:2609.399829 月 30 日把采样更多动作这件事搬到了模型与执行框架的边界上。在 TerminalBench-Lite 上base agent 的 Pass1 是 50.00%配上 GPT-5.6 Sol 作为验证器、采样 8 个候选动作后升到68.03%。亮点在于它给出了一个反直觉发现验证器质量比采样数量重要得多——弱验证下多采样几乎无收益。价值把 test-time compute scaling 从生成端往验证端推进是 Agent 可靠性的一条新路径。2. Schema: Discovering Unknown Environments via Agentic Program InductionarXiv:2609.391409 月 30 日让 Agent 用可执行程序而不是自然语言笔记来记录它对环境的理解。在 ARC-AGI-3 RHAE 上把同一 base 模型从 58.7% 拉到99.2%DiG-bench 公开关卡 100% 通过。价值直接命中Agent 记笔记记成散文导致知识无法复用这个痛点程序化记忆是可验证的。3. Learning from Research: Toward Lifelong Agent Harness EvolutionarXiv:2609.401699 月 30 日让 harness 自我进化时主动去读最新论文找思路而不是只从执行失败里被动学习。Qwen3.5-27B 在 AppWorld Challenge 从 49.6% 提到63.6%GPT-5.4-mini 在 Tau2-Bench Telecom 从 72.7% 提到81.9%。价值把前沿研究接进了自动化改进回路思路和本篇读经典论文正好呼应。4. Foundations of Proactive AgentsarXiv:2609.372679 月 29 日提出主动型 Agent 的 3T 原则Task Capability、Temporal Allocation、Trust并配套 Proactivity-Gym 评测环境。30 人用户研究的结论很扎心干预时机不对就算结果正确用户信任也会急剧下降用户宁可要睡觉时间的 imperfect 帮助也不愿被打断当前专注。价值把信任从口号变成了可测量的工程指标。5. Org-Agent: Beyond Personal Assistants Towards Organizational AgentsarXiv:2609.343929 月 28 日面向企业场景的 Agent 框架核心是处理跨用户的请求协调身份、权限、信息时效性、冲突消解四类组织约束。方法是构建任务依赖图并拓扑排序执行。价值企业级 Agent 的真实拦路虎是权限和审计不是模型能力。6. QuantMLA: Function-Aligned Dual-Path Quantization for Low-Bit MLA KV CachingarXiv:2609.367609 月 29 日系统建模了 MLA多头潜在注意力内容路径与 RoPE 路径的量化误差差异解释了两者失真机制的不同。首次实现内容 RoPE cache 的联合 INT4 缓存128K 上下文下压缩3.59 倍缓存压力场景吞吐是 BF16 的5.168 倍。价值DeepSeek 系列 MLA 路线的推理优化直接对应长上下文成本问题。7. WUSH-KV: KV Cache Quantization with Data-Adaptive TransformsarXiv:2609.381219 月 29 日从矩阵乘积的二阶统计量构造数据感知变换来降低 KV 量化误差理论上证明了 WUSH 变换在温和假设下近似最优。已集成进SGLang做端到端验证2-bit 下与 OSCAR 持平或更好。价值有理论保证 有工程落地的量化方案比多数拍脑袋量化更值得看。8. Fewer Tokens, More Self-Teaching: On-Policy Self-Distillation for Extreme Visual Token ReductionarXiv:2609.323539 月 26 日多模态模型在极低 token 预算下性能崩塌用 on-policy 自蒸馏救回来压缩模型在自己的生成轨迹上被监督全 token 的冻结副本当老师。在 Qwen3.5-4B 上5% 视觉 token 保留率下平均性能从 68.6% 提升到82.3%KV Cache 降低 85.2%。价值证明压缩后的模型该向谁学这个问题答案是向自己的完整版学。9. P4Q: Co-designing Token Pruning and Quantization for Vision-Language Model AccelerationarXiv:2609.348679 月 28 日指出视觉 token 剪枝和量化这两个优化目标此前被独立处理联合优化才能释放收益。LLaVA-NeXT 上端到端平均加速2.8 倍精度高于此前的压缩量化方案。价值方法论层面的提醒——两个正交的优化放在一起常常不正交。10. Planned Test-Time Scaling with Coordinated Reasoning PathsarXiv:2609.273749 月 23 日推理时的并行采样常常是冗余的多个分支走到同一个解法上。PTTS 让 planner 先给每个分支生成不同的推理大纲再由 executor 填充。Qwen3-1.7B/4B 上pass64 相比重复采样最多提升 6.7 点RL 版本提升到 13.4 点。价值test-time scaling 从堆采样升级到控多样性思路可以直接借用。值得长期追踪的作者与团队Aidan N. GomezTransformer 论文八作者之一当时 20 岁实习生——现 Cohere 创始人兼 CEO专注企业级大模型与高效注意力机制ETH Zürich 的 Dan Alistarh 与 Torsten Hoefler——本期的 WUSH-KV 就是他们的方向。Alistarh 长期做量化与压缩理论Hoefler 是 HPC 通信专家两人组合是算法 系统的经典搭配值得持续跟UCLA 的 Kai-Wei Chang、Nanyun Peng 与 Hritik Bansal——PTTS 作者团队在推理效率与模型组合方向持续产出CMU 的 Haiwen Feng 与 Andrea Zanette——Schema 作者团队把可执行程序作为 Agent 的记忆表示这个方向目前还很早期小结三个核心要点Transformer 的胜利本质上是成本的胜利。28.4 BLEU 听起来只比第二名高 2 分但训练成本低了一个数量级——这才是它引发范式转移的真正原因。O(1) 的最长路径是它换来并行性的代价。用 O(n²) 换掉了 RNN 的 O(n) 串行依赖。今天所有长上下文优化都是在填这个坑。架构只是骨架数据和算力才是九年后它统治 AI 的真正原因。论文本身只有 6500 万参数、只做机器翻译、没有预训练——Transformer 征服世界靠的是后来者往这个骨架上填进去的一切。参考资料Vaswani et al.,Attention Is All You Need—— arXiv:1706.037622017 年 6 月 12 日提交v7 版本 2023 年 8 月 2 日修订NIPS 2017作者Ashish Vaswani、Noam Shazeer、Niki Parmar、Jakob Uszkoreit、Llion Jones、Aidan N. Gomez、Łukasz Kaiser、Illia PolosukhinGoogle Brain / Google Research / 多伦多大学作者名单刻意打乱脚注说明等贡献官方参考实现 —— tensorflow/tensor2tensor⚠️该仓库已停止维护Google 建议迁移至后继项目 Trax。适合对照论文读历史代码不建议用于新项目。TensorFlow 官方教程Keras 实现可读性好—— Neural machine translation with a Transformer论文中提及的后续工作作者在结论部分列出的方向受限自注意力应对长序列—— 后续演化为 Linear Transformer、Longformer、Flash Attention 等路线跨模态扩展 —— 后续为 ViT、CLIP 等减少生成序列的串行程度 —— 后续为各种投机解码speculative decoding工作
别再背 Transformer 公式了9 年后我们重读了这篇神论文如果你用过 DeepSeek、通义千问或者任何一个聊天机器人它们的底座都是同一个东西——Transformer。这篇大模型论文解读要讲的就是它。但你可能不知道Transformer 在 2017 年刚出来的时候只是个机器翻译模型参数 6500 万连大模型这个概念都还少有人听说。九年过去这篇论文成了整个 AI 领域的地基。它就是 arXiv:1706.03762。这篇论文值得被认真读一遍——不是因为它难而是因为它的每一个设计取舍都精准命中了工程上真正卡脖子的地方。今天这篇论文解读我不打算翻译原文而是想讲清楚三件事它到底解决了什么问题、为什么必须是这个解法、以及它留下的坑为什么今天还在填。一、背景RNN 卡在哪为什么不是调参能解决的先说结论Transformer 不是把 RNN 改良出来的是把 RNN 的整个计算范式换掉了。2017 年之前序列建模的主流是 RNN / LSTM / GRU。它们的工作方式是逐个 token 往前推算第 1 个词拿到隐状态 h₁算第 2 个词得到 h₂……像传多米诺骨牌。这个模式有三个硬伤而且是结构性的不能并行。h₂ 必须等 h₁ 算完。GPU 最擅长的是同一时刻算一万件事而 RNN 让它只能一次算一件。长距离信号会衰减。第 1 个词的信息要传到第 1000 个词得经过 999 次矩阵乘法。每一次都可能丢信息。这是LSTM 也救不了的病根——LSTM 缓解了梯度消失但没有改变串行的事实。序列长了 batch 就小。因为每条序列的计算时间正比于长度长短句混在一起训练时内存限制迫使 batch size 掉下来训练效率雪上加霜。同时2016 年前后 ByteNet、ConvS2S 这类卷积方案也起来了它们能并行但论文明确指出卷积连接两个位置所需的操作数随距离线性增长ConvS2S或对数增长ByteNet。也就是说长距离依赖依然难学而且卷积通常比 RNN 还贵一个 k 倍。所以当时的局面是要并行 → 只能短距离要长距离 → 只能串行。这是一个二选一没有第三条路。Transformer 的选择是既然逐个传这么贵那就让每个位置直接去看所有位置。这就是自注意力self-attention的核心思想。二、核心贡献5 个关键设计我把它拆成 5 块每一块都对应一个具体的工程痛点。1. 缩放点积注意力Scaled Dot-Product AttentionAttention(Q, K, V) softmax( Q Kᵀ / √d_k ) V每个符号的意思QQuery查询当前位置在找什么KKey键每个位置在能提供什么VValue值真正被取走的内容QKᵀ算两两匹配度得到一个 n×n 的矩阵除以 √d_k这是点积注意力的命门。如果 d_k 很大点积的方差会随维度线性增长softmax 被推进梯度接近零的饱和区训练直接卡死。除以 √d_k 把方差拉回 1。softmax把匹配度变成权重矩阵每行加起来等于 1× V按权重做加权求和2. 多头注意力Multi-Head AttentionMultiHead(Q,K,V) Concat(head₁, ..., head_h) W^O 其中 head_i Attention(Q W_i^Q, K W_i^K, V W_i^V)为什么一个头不够论文说得很准“With a single attention head, averaging inhibits this.”单个头会把所有位置的注意力分数平均掉模型无法同时关注语法依赖和指代关系这类不同模式。多头让模型在不同子空间里并行地看不同东西。论文用 h8每个头 d_k d_v 64。base 模型 d_model512正好 8×64512所以总计算量和全维度的单头几乎一样——多头是免费的并行视角。3. 位置编码给没有顺序打补丁自注意力有个硬伤它天生不知道顺序。打乱输入顺序输出只是跟着换个位置排列它感受不到任何区别。对语言来说这是致命的。论文的解法非常优雅——用不同频率的正弦和余弦函数PE(pos, 2i) sin( pos / 10000^(2i/d_model) ) PE(pos, 2i1) cos( pos / 10000^(2i/d_model) )关键在于这个函数的数学性质对任何固定偏移量 kPE(posk) 都可以表示成 PE(pos) 的线性函数。也就是说模型很容易学会相对位置这个概念而相对位置比绝对位置更有用。为什么用正弦而不是可学习的 embedding论文承认两者效果几乎相同消融表里 25.7 vs 25.8但选正弦的理由是可以外推到比训练时更长的序列。这是一个纯粹面向未来的赌注——事实证明赌对了。4. 残差连接 层归一化的前置结构每一层的输出都是LayerNorm(x Sublayer(x))。这个先残差、再归一化的顺序让梯度可以像高速公路一样直接回传到浅层是能堆到很深而不炸的关键。5. 掩码自注意力把因果性写进结构解码器的自注意力必须只能看左边否则会泄露答案预测第 3 个词时偷看到第 4 个词。做法很简单在 softmax之前把非法连接右上三角的分数改成 −∞softmax 后权重就自动变成 0。三、方法详解整体结构与数据流整个模型是标准的 encoder-decoder 结构编码器N6 层每层 2 个子层多头自注意力前馈网络FFN(x) max(0, xW₁b₁)W₂b₂解码器N6 层每层 3 个子层带掩码的多头自注意力交叉注意力Q 来自解码器K/V 来自编码器输出前馈网络前馈网络的隐藏层维度 d_ff 2048是 d_model 512 的 4 倍。论文说它也可以描述成两个 kernel size 为 1 的卷积。它对每个位置是独立且相同的——也就是说 FFN 负责的是逐位置的深度加工跨位置的信息交换全靠注意力。下面这段 PyTorch 是缩放点积注意力的最小可运行实现注释解释的是为什么这么写importtorchimporttorch.nnasnnimporttorch.nn.functionalasFclassScaledDotProductAttention(nn.Module):论文公式 1softmax(QK^T / sqrt(d_k)) Vdef__init__(self,d_k:int,mask:boolFalse):super().__init__()self.d_kd_k self.maskmaskdefforward(self,Q,K,V):# 缩放因子用 d_k 的平方根不是 d_k 本身。# 原因q、k 各分量均值0方差1时点积的方差正比于 d_k。# 不缩放的话 d_k64 时点积标准差约8softmax 被打到饱和区梯度趋近0。scoresQ K.transpose(-2,-1)/(self.d_k**0.5)# 掩码要放在 softmax 之前不是之后。# 置为 -inf经过 exp 后权重严格等于 0置为 0 只是分数低# 仍会分到一点概率泄露未来信息。ifself.mask:nscores.size(-1)# 上三角含对角线设为 -inf解码时当前位置看不到自己和未来causaltorch.triu(torch.ones(n,n,dtypetorch.bool),diagonal1)scoresscores.masked_fill(causal,float(-inf))# 数值稳定性减去每行最大值防止 exp 溢出为 infattnF.softmax(scores,dim-1)returnattn V,attn一个容易忽略的细节论文说解码器结合输出嵌入偏移一个位置再用掩码。实现上直接把对角线也一起遮掉效果等价但更简洁——这是工程里常见的简化。四、实验结果三个数字看清一切论文的翻译实验Table 2newstest2014 测试集模型EN-DE BLEUEN-FR BLEU训练成本 (FLOPs)GNMTRL Ensemble当时最佳26.3041.161.8·10²⁰ConvS2S Ensemble26.3641.297.7·10¹⁹Transformer (base, 65M)27.338.13.3·10¹⁸Transformer (big, 213M)28.441.82.3·10¹⁹三个关键结论第一成本降了一个数量级。base 模型 3.3·10¹⁸ FLOPs比之前的集成模型便宜约 55 倍质量还更好。硬件细节8 张 NVIDIA P100base 每步 0.4 秒 × 10 万步 12 小时big 每步 1.0 秒 × 30 万步 3.5 天。第二scaling 效应从这里就开始显形了。有个容易被忽略的细节base 模型在 EN-DE 上27.3超过了所有集成模型但在 EN-FR 上只有 38.1反而输给之前的 41.16。直到 big 模型才在 EN-FR 上扳回来41.8。这说明什么Transformer 的优势不是免费的它需要规模来兑现。小模型下它跟别人差不多甚至更差规模上来之后优势才碾压。三年后 Kaplan 等人写出 Scaling Laws算是把这条线索 formalized 了。第三泛化能力超出预期。论文拿一个英德翻译模型只微调了 dropout、学习率和 beam size直接去做英语成分句法分析——一个结构约束极强、输出比输入长得多的任务解析器训练数据WSJ-23 F1Vinyals Kaiser (2014)WSJ only88.3Dyer et al. (2016)WSJ only91.7Transformer (4 层)WSJ only91.3Vinyals Kaiser (2014)半监督92.1Transformer (4 层)半监督92.7Dyer et al. (2016)生成式93.3只用 4 万条训练句WSJ就超过了 BerkeleyParser90.4并逼近当时最好的判别式模型91.7。半监督设置下 92.7 F1是当时半监督 SOTA。消融实验里最值得看的两行单头比最佳设置低 0.9 BLEU24.9 vs 25.8但头数增加到 32 也会掉25.4——不是越多越好dropout 从 0.1 降到 0BLEU 从 25.8 崩到 24.6label smoothing 从 0.1 到 025.8 → 25.3。这两个正则项不是装饰品还有个反直觉的发现论文指出减小 d_k 会损害质量并由此推测点积可能不是最理想的兼容性函数。这是作者主动留下的技术债——十年后确实有大量工作改进注意力打分函数。五、深入分析作者的动机与取舍最关键的那个判断我认为这篇论文最被低估的一句话在引言里“In 8 GPUs we were able to train our models in significantly less time than prior work, and achieved a new level of state-of-the-art quality.”注意这句话的顺序——先说时间再说质量。2017 年的机器翻译竞赛评 BLEU 分数。Transformer 拿 28.4比第二名高 2 BLEU看起来只高了一点点。但真正的杀伤力在成本列一个数量级的差距。这篇论文本质上不是更好地建模序列而是让建模序列这件事便宜了一个数量级。当训练成本降到 1/55你可以做的实验数量就多 55 倍这才是它引发范式转移的真正原因。我的判断是这篇论文的胜利不在于它是最优架构而在于它是最优的可扩展架构。它不保证每个任务都最强但它保证了你可以放心地把模型做大——因为变大时训练时间不会爆炸。这在当时是反直觉的赌注。三个明确的取舍取舍一接受 O(n²) 复杂度。论文自己的表格里写得清清楚楚层类型每层复杂度顺序操作数最长路径自注意力O(n²·d)O(1)O(1)循环O(n·d²)O(n)O(n)卷积O(k·n·d²)O(1)O(log_k n)受限自注意力O(r·n·d)O(1)O(n/r)当序列长度 n 小于表示维度 d 时自注意力甚至比 RNN更快。而机器翻译的典型句子长度恰好在这个区间。论文甚至提出用受限自注意力局部窗口 r把复杂度降到 O(r·n·d)——这是对长上下文问题的最早预判十年后才被大家真正重视。取舍二用 label smoothing 换困惑度。论文明确说 ε_ls0.1 “hurts perplexity”会拉高困惑度指标但因为模型不再过度自信BLEU 和准确率反而更高。这是一个教科书级的提醒评测指标和实际目标不完全一致时别迷信指标。取舍三训练技巧的组合拳。base 模型平均最后 5 个 checkpoint、big 模型平均最后 20 个10 分钟间隔写一次beam search beam4长度惩罚 α0.6最大输出长度 输入 50。这些在今天看来都是过时的做法但它们说明论文的 SOTA 数字里有一部分是调参调出来的不是架构本身的功劳。读论文时要把这部分和架构贡献分开算。局限与适用边界必须承认的三点O(n²) 是硬伤。序列长度翻倍注意力计算量变四倍。这直接限制了长上下文。论文的应对是未来研究局部注意力但没解决。只为机器翻译设计。论文没有做任何预训练没有大规模语料没有 in-context learning。Transformer 只是骨架GPT/BERT 这些让它统治 AI 的工作一篇都没出现。论文标题里的Attention Is All You Need后来被证明是一句过度自信的命名——真正需要的东西是Attention 巨量数据 算力。小规模下优势不明显。前面提过base 模型 EN-FR 只有 38.1。如果 2017 年只有资源做小模型这套架构未必能赢。六、现实影响从一篇论文到一个时代2017 到 2026架构本身的改动其实很小。九年的变化全部发生在规模和外围架构衍生BERT仅编码器走向 NLUGPT 系列仅解码器走向通用生成T5编码器-解码器统一文本到文本ViT 把 Transformer 搬上图像效率路线LoRA 让微调成本降千倍Flash Attention 通过分块把注意力从显存瓶颈变成算力瓶颈KV Cache 成为所有推理优化的主战场长上下文RoPE、ALiBi、FlashAttention 2、稀疏注意力逐个在填当年留下的坑代码落地层面论文官方实现是tensorflow/tensor2tensorT2T。需要提醒的是这个仓库已经停止维护Google 官方建议迁移到后继项目 Trax。今天想跑 Transformer推荐用 PyTorch 原生实现或 Hugging Face Transformers——T2T 只适合对照论文读历史代码。论文还附了一个官方 TensorFlow 教程tensorflow.org/tutorials/text/transformer用 Keras 实现了完整的缩放点积注意力和多头注意力可读性不错适合想看最小可运行版本的同学。一个真实的人物细节八位作者里Aidan N. Gomez 当时是 20 岁的多伦多大学实习生八人中最年轻。他 2019 年创办了 Cohere 并任 CEO。同届作者 Łukasz Kaiser 留在 Google Brain 参与了大量稀疏/MoE 方向的工作。论文作者名单是刻意打乱的脚注说明是等贡献排序所以从署名顺序看不出谁做了什么。七、我的评价该不该读怎么读值不值得精读值得但要看对地方。这篇论文 15 页你不会从里面学到任何可以直接用在 2026 年生产环境的技术——Adam 参数、beam search、checkpoint 平均全都过时了。你真正该读的是三个地方第 4 节 “Why Self-Attention”——这是全篇最有价值的一页。三个维度的对比复杂度/顺序操作/最长路径是一把尺子今天判断任何新架构线性注意力、状态空间模型、混合专家都可以拿它量一量。Table 3 消融表——这篇论文难得地老实交代了什么用、什么没用。单头掉 0.9 BLEU、减小 d_k 有害、label smoothing 拉高困惑度这些负面结果比正面结果更有信息量。Table 4 泛化实验——一个翻译模型去做句法分析还赢了这是架构本身有通用性的早期证据。很多人低估了它的意义。推荐这些人精读正在做模型压缩 / 推理优化的工程师——O(n²) 这道墙就是你们今天所有工作的起点准备 Agent / 长上下文方向的面试者——理解为什么 KV Cache 存在、为什么它会成为瓶颈这篇是源头想建立架构取舍直觉的人——它示范了如何在多个约束之间做权衡而不是追求单一最优读的时候注意三个坑别把 SOTA 数字全算在架构头上。41.8 BLEU 里有一部分来自 checkpoint 平均和 beam search 调参。注意论文自身的数据不一致。v7 版本中摘要和 Table 2 都写 EN-FR 是 41.8但正文 6.1 节写的是 41.0。这是论文本身的瑕疵不是你的阅读理解问题。别把 6500 万参数当小。base 模型 12 小时训练完是因为那时候你只需要在翻译任务上刷 SOTA。今天同样的算力要面对的是万亿 token 级语料。最后一句判断这篇文章的价值不在于告诉你 Transformer 怎么做而在于它示范了什么是好的架构论文——提出一个清晰的痛点并行 vs 依赖的不可调和给出一个精确的解法O(1) 路径长度并诚实地交代代价O(n²)。今天你读的每篇 AI 论文都该用这个标准去衡量。本期值得关注的新论文2026 年 9 月下旬以下论文均为近两周 arXiv submissions我逐条读了摘要和核心结论挑与 Agent、多模态、推理、效率优化相关的呈现。1. Mid-Harness: Scaling Actions Between Model and Harness for Terminal AgentsarXiv:2609.399829 月 30 日把采样更多动作这件事搬到了模型与执行框架的边界上。在 TerminalBench-Lite 上base agent 的 Pass1 是 50.00%配上 GPT-5.6 Sol 作为验证器、采样 8 个候选动作后升到68.03%。亮点在于它给出了一个反直觉发现验证器质量比采样数量重要得多——弱验证下多采样几乎无收益。价值把 test-time compute scaling 从生成端往验证端推进是 Agent 可靠性的一条新路径。2. Schema: Discovering Unknown Environments via Agentic Program InductionarXiv:2609.391409 月 30 日让 Agent 用可执行程序而不是自然语言笔记来记录它对环境的理解。在 ARC-AGI-3 RHAE 上把同一 base 模型从 58.7% 拉到99.2%DiG-bench 公开关卡 100% 通过。价值直接命中Agent 记笔记记成散文导致知识无法复用这个痛点程序化记忆是可验证的。3. Learning from Research: Toward Lifelong Agent Harness EvolutionarXiv:2609.401699 月 30 日让 harness 自我进化时主动去读最新论文找思路而不是只从执行失败里被动学习。Qwen3.5-27B 在 AppWorld Challenge 从 49.6% 提到63.6%GPT-5.4-mini 在 Tau2-Bench Telecom 从 72.7% 提到81.9%。价值把前沿研究接进了自动化改进回路思路和本篇读经典论文正好呼应。4. Foundations of Proactive AgentsarXiv:2609.372679 月 29 日提出主动型 Agent 的 3T 原则Task Capability、Temporal Allocation、Trust并配套 Proactivity-Gym 评测环境。30 人用户研究的结论很扎心干预时机不对就算结果正确用户信任也会急剧下降用户宁可要睡觉时间的 imperfect 帮助也不愿被打断当前专注。价值把信任从口号变成了可测量的工程指标。5. Org-Agent: Beyond Personal Assistants Towards Organizational AgentsarXiv:2609.343929 月 28 日面向企业场景的 Agent 框架核心是处理跨用户的请求协调身份、权限、信息时效性、冲突消解四类组织约束。方法是构建任务依赖图并拓扑排序执行。价值企业级 Agent 的真实拦路虎是权限和审计不是模型能力。6. QuantMLA: Function-Aligned Dual-Path Quantization for Low-Bit MLA KV CachingarXiv:2609.367609 月 29 日系统建模了 MLA多头潜在注意力内容路径与 RoPE 路径的量化误差差异解释了两者失真机制的不同。首次实现内容 RoPE cache 的联合 INT4 缓存128K 上下文下压缩3.59 倍缓存压力场景吞吐是 BF16 的5.168 倍。价值DeepSeek 系列 MLA 路线的推理优化直接对应长上下文成本问题。7. WUSH-KV: KV Cache Quantization with Data-Adaptive TransformsarXiv:2609.381219 月 29 日从矩阵乘积的二阶统计量构造数据感知变换来降低 KV 量化误差理论上证明了 WUSH 变换在温和假设下近似最优。已集成进SGLang做端到端验证2-bit 下与 OSCAR 持平或更好。价值有理论保证 有工程落地的量化方案比多数拍脑袋量化更值得看。8. Fewer Tokens, More Self-Teaching: On-Policy Self-Distillation for Extreme Visual Token ReductionarXiv:2609.323539 月 26 日多模态模型在极低 token 预算下性能崩塌用 on-policy 自蒸馏救回来压缩模型在自己的生成轨迹上被监督全 token 的冻结副本当老师。在 Qwen3.5-4B 上5% 视觉 token 保留率下平均性能从 68.6% 提升到82.3%KV Cache 降低 85.2%。价值证明压缩后的模型该向谁学这个问题答案是向自己的完整版学。9. P4Q: Co-designing Token Pruning and Quantization for Vision-Language Model AccelerationarXiv:2609.348679 月 28 日指出视觉 token 剪枝和量化这两个优化目标此前被独立处理联合优化才能释放收益。LLaVA-NeXT 上端到端平均加速2.8 倍精度高于此前的压缩量化方案。价值方法论层面的提醒——两个正交的优化放在一起常常不正交。10. Planned Test-Time Scaling with Coordinated Reasoning PathsarXiv:2609.273749 月 23 日推理时的并行采样常常是冗余的多个分支走到同一个解法上。PTTS 让 planner 先给每个分支生成不同的推理大纲再由 executor 填充。Qwen3-1.7B/4B 上pass64 相比重复采样最多提升 6.7 点RL 版本提升到 13.4 点。价值test-time scaling 从堆采样升级到控多样性思路可以直接借用。值得长期追踪的作者与团队Aidan N. GomezTransformer 论文八作者之一当时 20 岁实习生——现 Cohere 创始人兼 CEO专注企业级大模型与高效注意力机制ETH Zürich 的 Dan Alistarh 与 Torsten Hoefler——本期的 WUSH-KV 就是他们的方向。Alistarh 长期做量化与压缩理论Hoefler 是 HPC 通信专家两人组合是算法 系统的经典搭配值得持续跟UCLA 的 Kai-Wei Chang、Nanyun Peng 与 Hritik Bansal——PTTS 作者团队在推理效率与模型组合方向持续产出CMU 的 Haiwen Feng 与 Andrea Zanette——Schema 作者团队把可执行程序作为 Agent 的记忆表示这个方向目前还很早期小结三个核心要点Transformer 的胜利本质上是成本的胜利。28.4 BLEU 听起来只比第二名高 2 分但训练成本低了一个数量级——这才是它引发范式转移的真正原因。O(1) 的最长路径是它换来并行性的代价。用 O(n²) 换掉了 RNN 的 O(n) 串行依赖。今天所有长上下文优化都是在填这个坑。架构只是骨架数据和算力才是九年后它统治 AI 的真正原因。论文本身只有 6500 万参数、只做机器翻译、没有预训练——Transformer 征服世界靠的是后来者往这个骨架上填进去的一切。参考资料Vaswani et al.,Attention Is All You Need—— arXiv:1706.037622017 年 6 月 12 日提交v7 版本 2023 年 8 月 2 日修订NIPS 2017作者Ashish Vaswani、Noam Shazeer、Niki Parmar、Jakob Uszkoreit、Llion Jones、Aidan N. Gomez、Łukasz Kaiser、Illia PolosukhinGoogle Brain / Google Research / 多伦多大学作者名单刻意打乱脚注说明等贡献官方参考实现 —— tensorflow/tensor2tensor⚠️该仓库已停止维护Google 建议迁移至后继项目 Trax。适合对照论文读历史代码不建议用于新项目。TensorFlow 官方教程Keras 实现可读性好—— Neural machine translation with a Transformer论文中提及的后续工作作者在结论部分列出的方向受限自注意力应对长序列—— 后续演化为 Linear Transformer、Longformer、Flash Attention 等路线跨模态扩展 —— 后续为 ViT、CLIP 等减少生成序列的串行程度 —— 后续为各种投机解码speculative decoding工作
