【声明】本博客所有内容均为个人业余时间创作所述技术案例均来自公开开源项目如GithubApache基金会不涉及任何企业机密或未公开技术如有侵权请联系删除标题249、【AI】【模型部署】基座模型研究长上下文外推上——直觉与配置背景上篇 blog【AI】【模型部署】基座模型研究不旋转也能注入位置——绝对、正弦、相对偏置与 ALiBi横向对比了位置编码的几种方案可学习绝对位置BERT/GPT-2和正弦编码原版 Transformer把位置加到输入表达绝对位置、外推弱相对位置偏置T5 分桶和 ALiBi每头一条固定线性斜率把位置偏置到注意力分数表达相对距离、外推好RoPE 旋转q , k q,kq,k把相对、无参、可外推凑齐。文末留了个尾巴训得短、用得长时超出的部分怎么处理。246篇其实已经埋了伏笔位置能分辨多远取决于最慢的那对维度的波长一旦序列长到接近波长位置就开始混淆。本篇把长上下文外推讲清楚——先讲为什么朴素外推会失效的直觉再介绍几种主流办法位置插值、NTK-aware、YaRN、dynamic NTK和它们怎么配置更细的公式推导留到下一篇。模型部署先把问题说具体一个模型训练时max_position_embeddings4096现在想在 32768 的上下文里用。位置编号会从 0 一直排到三万多而模型只在 0 到 4095 这些位置上见过旋转角。超出部分的角度从没出现在训练里模型自然处理不好。外推extrapolation要解决的就是让模型能稳住这些没见过的位置。本篇先建立直觉——哪些频率在捣乱、为什么——再看几种补法各自在补什么。朴素外推为什么一出训练长度就崩246篇讲过不同维度对的角速度差别巨大低维的角速度快波长只有几个位置高维的角速度慢波长可达几百万。这带来一个麻烦图 1 里低维那根线红转得飞快在训练区间内就已经绕了很多圈高维那根线蓝则很平缓。一旦位置超出训练范围低维的角度继续飞速增长进入从未训练过的角度区间高维虽然平缓但它原本负责的长距离关系也被拉长到了训练时没遇到的组合上。结果就是注意力分数落在训练分布之外模型表现断崖式下跌困惑度飙升。问题不在位置数字变大而在角度组合跑到没学过的地方去了。思路一位置插值 / 线性缩放最直接的想法别让位置真的跑那么远把它压回训练过的区间。具体做法是把位置先除以一个缩放因子s ss再送进 RoPEpos ′ pos s , s L t a r g e t L t r a i n \text{pos}\frac{\text{pos}}{s},\qquad s\frac{L_{target}}{L_{train}}pos′spos,sLtrainLtarget图 2 画出这个动作原来0 , 2 , 4 , … 0,2,4,\dots0,2,4,…的位置被挤回0 , 1 , 2 , … 0,1,2,\dots0,1,2,…的训练区间。这就是位置插值Position InterpolationPI或线性缩放linear scaling把新序列的位置按比例压缩等效于把所有频率都除以s ss、把所有波长都拉长s ss倍。优点是简单、对固定扩展倍数有效代价是近距离的分辨率也一起被压缩了——本来能分辨的位置差压缩后可能分辨不出来。思路二NTK-aware scaling线性缩放有个毛病它对所有频率一视同仁。但低维频率本来转得就快、波长只有几个位置再压缩就更分辨不清了高维才真正需要拉长波长。NTK-aware scaling换了个旋钮不动位置而是放大频率公式里的底数rope_thetaθ ′ θ ⋅ s d d − 2 \theta\theta\cdot s^{\frac{d}{d-2}}θ′θ⋅sd−2d它带来的效果是低频少动、高频多缩放——低维几乎不变、高维被显著拉伸。这样既扩展了量程又尽量不破坏近距离的分辨率比一刀切的线性缩放更聪明。指数取d / ( d − 2 ) d/(d-2)d/(d−2)而不是 1正是为了让最低频端的缩放和线性缩放对齐、同时让高频端少受影响具体来历下一篇再推。思路三YaRNYaRN在 NTK-aware 的基础上再进一步核心是按波长分区、分区处理NTK-by-parts波长远小于上下文长度的维度说明它转得太快、对长距离没贡献不缩放波长远大于上下文长度的维度真正承载长距离信息完整拉伸中间地带平滑过渡。此外 YaRN 还调了一个注意力温度补偿序列变长后注意力分布变得过于平坦的问题让 softmax 重新变得尖锐一些。具体地说它给注意力分数乘一个因子1 / t \sqrt{1/t}1/tt 0.1 ln s 1 t0.1\ln s1t0.1lns1序列越长、这个补偿越明显。分区缩放负责位置别越界温度补偿负责注意力别散架两者合起来才是完整的 YaRN。思路四dynamic NTK前几种都用一个固定的缩放因子s ss通常按目标长度事先算好。dynamic NTK动态 NTK则根据当前实际序列长度动态计算s ss序列短时几乎不缩放、保持原分辨率随着长度增长逐渐加大缩放。这样同一个模型在处理短输入时不受影响长输入时又自动扩展——不必为不同长度准备不同的配置。三种策略放在一起看把三种策略对频率的缩放方式画在一张图上图 3 里横轴是维度对序号低维 → 高维纵轴是频率缩放倍率越小缩得越多线性缩放是一条水平线——所有频率同比例缩放NTK-aware是渐变曲线——低维几乎不缩、高维缩得多YaRN是分段的——一段不缩、一段过渡、一段全缩。三种办法的差别本质是缩放怎么在频率之间分配。线性缩放求简单、NTK 求平衡、YaRN 求精细——它们要平衡的始终是同一对矛盾扩量程与保分辨率。更彻底的思路继续训练上面几种都是改频率/改位置的推理侧或轻量技巧。还有一条更稳但更贵的路让模型真的去见识更长的序列。调整底频ABFadjusted base frequency直接把rope_theta从10 4 10^4104之类调到10 6 10^6106再用长序列继续预训练一段时间让模型在新波长下重新适应Code Llama 用过这一手继续预训练用目标长度的数据接着训练让那些没见过的角度变成见过的组合拳先改底频或加缩放再补少量长序列微调——现实里长上下文模型大多是这么来的。一句话缩放技巧负责不崩继续训练负责真正学会。一张表几种办法速览办 法改什么适合场景代 价线性缩放位置pos / s \text{pos}/spos/s固定倍数、实现简单短距离分辨率下降NTK-aware底数rope_theta平衡量程与分辨率需选s ssYaRN分区频率 温度精细长上下文配置较复杂dynamic NTK按长度动态算s ss输入长度变化大需框架支持继续训练 / ABF改θ \thetaθ 长序列训练追求最稳效果成本最高越往下越稳、也越贵。工程上常按预算 目标长度在这张表里挑组合。配置层面怎么写这些策略在使用时通常通过一个rope_scaling配置项开启不同库/版本的字段名可能略有差异以下为示意rope_scaling:{type:linear,factor:8.0}rope_scaling:{type:dynamic,factor:8.0}rope_scaling:{type:yarn,factor:8.0}其中factor一般就是扩展倍数s ss比如从 4096 扩到 32768s 8 s8s8type选择用哪种策略。与之并列的还有基础频率rope_theta246篇讲过Qwen2 取10 6 10^6106。配置只是开关能不能真正稳住长上下文还取决于这些缩放是否与训练/微调配合。值得注意max_position_embeddings只是允许的编号上限把它改大并不会让模型学会新位置真正起作用的是频率缩放本身以及可能的继续训练。三个常见误区“把max_position_embeddings改大就支持长上下文了。”不会。它只是个上限声明模型对超出训练范围的位置依然没学过照样崩得配合频率缩放或继续训练。“位置插值完全不用训练。”小倍数比如2 × 2\times2×下确实可能几乎免训练但倍数一大分辨率压缩的副作用明显通常仍需少量长序列微调才稳。“外推技巧对任何模型都管用。”要看位置编码类型。可学习绝对位置没有频率可调缩放技巧帮不上忙这些办法主要针对 RoPE 这类基于频率的编码。两个常见疑问“外推和插值是一回事吗”严格说不是。外推是直接走向训练没覆盖的更大位置区间插值是把新位置压回训练区间。线性缩放/位置插值其实是用插值换外推——牺牲一点短距离分辨率换取长距离可用。“为什么不干脆把rope_theta调大”调大确实能整体拉长波长、扩大量程但它是全局的——低维也一起变慢短距离分辨率被牺牲而且改了之后通常需要继续训练/微调才能稳住。外推技巧的价值正是在尽量少改动的前提下扩展上下文。一句话记忆长上下文外推要解决的是位置超出训练范围、角度组合跑到没学过的地方。四种主流办法线性缩放把所有频率同比例压缩、简单但损分辨率NTK-aware放大rope_theta低频少动、高频多缩YaRN按波长分区缩放并调注意力温度dynamic NTK按当前长度动态缩放。它们通过rope_scaling配置开启factor就是扩展倍数。下一篇把这些做法背后的公式一条条推出来。OK本篇先到这里如有疑问欢迎评论区留言讨论祝各位功力大涨技术更上一层楼更多内容见下篇 blog
【声明】本博客所有内容均为个人业余时间创作所述技术案例均来自公开开源项目如GithubApache基金会不涉及任何企业机密或未公开技术如有侵权请联系删除标题249、【AI】【模型部署】基座模型研究长上下文外推上——直觉与配置背景上篇 blog【AI】【模型部署】基座模型研究不旋转也能注入位置——绝对、正弦、相对偏置与 ALiBi横向对比了位置编码的几种方案可学习绝对位置BERT/GPT-2和正弦编码原版 Transformer把位置加到输入表达绝对位置、外推弱相对位置偏置T5 分桶和 ALiBi每头一条固定线性斜率把位置偏置到注意力分数表达相对距离、外推好RoPE 旋转q , k q,kq,k把相对、无参、可外推凑齐。文末留了个尾巴训得短、用得长时超出的部分怎么处理。246篇其实已经埋了伏笔位置能分辨多远取决于最慢的那对维度的波长一旦序列长到接近波长位置就开始混淆。本篇把长上下文外推讲清楚——先讲为什么朴素外推会失效的直觉再介绍几种主流办法位置插值、NTK-aware、YaRN、dynamic NTK和它们怎么配置更细的公式推导留到下一篇。模型部署先把问题说具体一个模型训练时max_position_embeddings4096现在想在 32768 的上下文里用。位置编号会从 0 一直排到三万多而模型只在 0 到 4095 这些位置上见过旋转角。超出部分的角度从没出现在训练里模型自然处理不好。外推extrapolation要解决的就是让模型能稳住这些没见过的位置。本篇先建立直觉——哪些频率在捣乱、为什么——再看几种补法各自在补什么。朴素外推为什么一出训练长度就崩246篇讲过不同维度对的角速度差别巨大低维的角速度快波长只有几个位置高维的角速度慢波长可达几百万。这带来一个麻烦图 1 里低维那根线红转得飞快在训练区间内就已经绕了很多圈高维那根线蓝则很平缓。一旦位置超出训练范围低维的角度继续飞速增长进入从未训练过的角度区间高维虽然平缓但它原本负责的长距离关系也被拉长到了训练时没遇到的组合上。结果就是注意力分数落在训练分布之外模型表现断崖式下跌困惑度飙升。问题不在位置数字变大而在角度组合跑到没学过的地方去了。思路一位置插值 / 线性缩放最直接的想法别让位置真的跑那么远把它压回训练过的区间。具体做法是把位置先除以一个缩放因子s ss再送进 RoPEpos ′ pos s , s L t a r g e t L t r a i n \text{pos}\frac{\text{pos}}{s},\qquad s\frac{L_{target}}{L_{train}}pos′spos,sLtrainLtarget图 2 画出这个动作原来0 , 2 , 4 , … 0,2,4,\dots0,2,4,…的位置被挤回0 , 1 , 2 , … 0,1,2,\dots0,1,2,…的训练区间。这就是位置插值Position InterpolationPI或线性缩放linear scaling把新序列的位置按比例压缩等效于把所有频率都除以s ss、把所有波长都拉长s ss倍。优点是简单、对固定扩展倍数有效代价是近距离的分辨率也一起被压缩了——本来能分辨的位置差压缩后可能分辨不出来。思路二NTK-aware scaling线性缩放有个毛病它对所有频率一视同仁。但低维频率本来转得就快、波长只有几个位置再压缩就更分辨不清了高维才真正需要拉长波长。NTK-aware scaling换了个旋钮不动位置而是放大频率公式里的底数rope_thetaθ ′ θ ⋅ s d d − 2 \theta\theta\cdot s^{\frac{d}{d-2}}θ′θ⋅sd−2d它带来的效果是低频少动、高频多缩放——低维几乎不变、高维被显著拉伸。这样既扩展了量程又尽量不破坏近距离的分辨率比一刀切的线性缩放更聪明。指数取d / ( d − 2 ) d/(d-2)d/(d−2)而不是 1正是为了让最低频端的缩放和线性缩放对齐、同时让高频端少受影响具体来历下一篇再推。思路三YaRNYaRN在 NTK-aware 的基础上再进一步核心是按波长分区、分区处理NTK-by-parts波长远小于上下文长度的维度说明它转得太快、对长距离没贡献不缩放波长远大于上下文长度的维度真正承载长距离信息完整拉伸中间地带平滑过渡。此外 YaRN 还调了一个注意力温度补偿序列变长后注意力分布变得过于平坦的问题让 softmax 重新变得尖锐一些。具体地说它给注意力分数乘一个因子1 / t \sqrt{1/t}1/tt 0.1 ln s 1 t0.1\ln s1t0.1lns1序列越长、这个补偿越明显。分区缩放负责位置别越界温度补偿负责注意力别散架两者合起来才是完整的 YaRN。思路四dynamic NTK前几种都用一个固定的缩放因子s ss通常按目标长度事先算好。dynamic NTK动态 NTK则根据当前实际序列长度动态计算s ss序列短时几乎不缩放、保持原分辨率随着长度增长逐渐加大缩放。这样同一个模型在处理短输入时不受影响长输入时又自动扩展——不必为不同长度准备不同的配置。三种策略放在一起看把三种策略对频率的缩放方式画在一张图上图 3 里横轴是维度对序号低维 → 高维纵轴是频率缩放倍率越小缩得越多线性缩放是一条水平线——所有频率同比例缩放NTK-aware是渐变曲线——低维几乎不缩、高维缩得多YaRN是分段的——一段不缩、一段过渡、一段全缩。三种办法的差别本质是缩放怎么在频率之间分配。线性缩放求简单、NTK 求平衡、YaRN 求精细——它们要平衡的始终是同一对矛盾扩量程与保分辨率。更彻底的思路继续训练上面几种都是改频率/改位置的推理侧或轻量技巧。还有一条更稳但更贵的路让模型真的去见识更长的序列。调整底频ABFadjusted base frequency直接把rope_theta从10 4 10^4104之类调到10 6 10^6106再用长序列继续预训练一段时间让模型在新波长下重新适应Code Llama 用过这一手继续预训练用目标长度的数据接着训练让那些没见过的角度变成见过的组合拳先改底频或加缩放再补少量长序列微调——现实里长上下文模型大多是这么来的。一句话缩放技巧负责不崩继续训练负责真正学会。一张表几种办法速览办 法改什么适合场景代 价线性缩放位置pos / s \text{pos}/spos/s固定倍数、实现简单短距离分辨率下降NTK-aware底数rope_theta平衡量程与分辨率需选s ssYaRN分区频率 温度精细长上下文配置较复杂dynamic NTK按长度动态算s ss输入长度变化大需框架支持继续训练 / ABF改θ \thetaθ 长序列训练追求最稳效果成本最高越往下越稳、也越贵。工程上常按预算 目标长度在这张表里挑组合。配置层面怎么写这些策略在使用时通常通过一个rope_scaling配置项开启不同库/版本的字段名可能略有差异以下为示意rope_scaling:{type:linear,factor:8.0}rope_scaling:{type:dynamic,factor:8.0}rope_scaling:{type:yarn,factor:8.0}其中factor一般就是扩展倍数s ss比如从 4096 扩到 32768s 8 s8s8type选择用哪种策略。与之并列的还有基础频率rope_theta246篇讲过Qwen2 取10 6 10^6106。配置只是开关能不能真正稳住长上下文还取决于这些缩放是否与训练/微调配合。值得注意max_position_embeddings只是允许的编号上限把它改大并不会让模型学会新位置真正起作用的是频率缩放本身以及可能的继续训练。三个常见误区“把max_position_embeddings改大就支持长上下文了。”不会。它只是个上限声明模型对超出训练范围的位置依然没学过照样崩得配合频率缩放或继续训练。“位置插值完全不用训练。”小倍数比如2 × 2\times2×下确实可能几乎免训练但倍数一大分辨率压缩的副作用明显通常仍需少量长序列微调才稳。“外推技巧对任何模型都管用。”要看位置编码类型。可学习绝对位置没有频率可调缩放技巧帮不上忙这些办法主要针对 RoPE 这类基于频率的编码。两个常见疑问“外推和插值是一回事吗”严格说不是。外推是直接走向训练没覆盖的更大位置区间插值是把新位置压回训练区间。线性缩放/位置插值其实是用插值换外推——牺牲一点短距离分辨率换取长距离可用。“为什么不干脆把rope_theta调大”调大确实能整体拉长波长、扩大量程但它是全局的——低维也一起变慢短距离分辨率被牺牲而且改了之后通常需要继续训练/微调才能稳住。外推技巧的价值正是在尽量少改动的前提下扩展上下文。一句话记忆长上下文外推要解决的是位置超出训练范围、角度组合跑到没学过的地方。四种主流办法线性缩放把所有频率同比例压缩、简单但损分辨率NTK-aware放大rope_theta低频少动、高频多缩YaRN按波长分区缩放并调注意力温度dynamic NTK按当前长度动态缩放。它们通过rope_scaling配置开启factor就是扩展倍数。下一篇把这些做法背后的公式一条条推出来。OK本篇先到这里如有疑问欢迎评论区留言讨论祝各位功力大涨技术更上一层楼更多内容见下篇 blog
