学习深度学习但凡走到了优化算法这一层几乎每个人都会撞见同一个概念指数加权平均Exponential Weighted AverageEWA。它不一定以全称出现——Momentum里的动量系数0.9、RMSProp里的decay参数、Adam里那对默认的beta值0.9与0.999底层滚的都是同一个机制。说白了EWA就是用一个递推的标量变量对一串带噪声的历史数据做带遗忘的加权平均。这篇文章我不打算只贴公式而是按自己当初学这块时的真实路径展开先建立直觉再弄清参数然后手写代码验证最后把常见的坑和排查方法一起整理出来。适合刚刚学到优化器、想理解自适应算法为何有效的初学者也适合已经在用各类优化器、但内部机制仍然模糊的开发者。1. 先搞明白一件事EWA到底在对什么做平均1.1 从气温曲线说起为什么需要平滑我第一次理解EWA不是因为公式而是因为一个气温统计的经典场景。假设某城市一年365天每天记录一次气温得到一个序列θ_1, θ_2, ..., θ_365。直接把这些点画出来曲线又抖又毛因为单日气温会受到天气、测量误差之类的随机因素干扰噪声很大。我们想做的是给这条曲线一个“趋势感”把局部波动滤掉留下整体走向。最直觉的做法是滑动平均取一个固定长度N的窗口比如最近30天把窗口内温度做算术平均作为今天的“平滑温度”。这个办法有效但有两个明显短板。第一它需要一直维护最近N个原始观测值内存开销是O(N)在数据流很长、或者窗口很大的场景里会变成一个麻烦。第二窗口内每一天的权重完全相等30天前那天的温度和昨天今天的温度地位一样可现实中越近的数据往往越能说明当前趋势。滑动平均在这两点上都不够“聪明”。EWA换了个完全不同的思路我不需要保留任何历史观测值只需要维护一个变量V每来一个新的观测值就按照下面的递推式更新一次V_t β * V_{t-1} (1 - β) * θ_t这里β是0到1之间的一个系数。看到这个式子我当时的第一反应是这也太省事了——不管过去有多少历史数据最终都被压缩进一个V里。后来在深度学习里用久了才意识到这种“省”不是方便而是必要因为模型的参数动辄几千万上亿要为每个参数额外保留一份完整的历史梯度存储上根本不可承受。1.2 展开之后为什么叫“指数”加权把1.1的递推式一层一层展开事情会变得非常清楚。为了方便假设V_00那么V_t (1-β) * [θ_t βθ_{t-1} β²θ_{t-2} ... β^{t-1}*θ_1]每一项θ_{t-k}前面都有一个系数(1-β)*β^k。因为β小于1β的幂次会随着k增大快速衰减也就是说越久远的历史观测对V_t的影响越小权重按指数衰减。这就是“指数加权平均”里“指数”二字的来历。这里有一个初学者很容易忽略的细节这些系数加起来其实是趋近于1的。因为(1-β) * (1 β β² ...) (1-β) * 1/(1-β) 1整个式子是一个合法的加权平均而不是什么“只取了部分信息”的近似。所以EWA既保留了完整的统计意义又通过指数衰减实现了“有限记忆”。这一点在理解偏置修正时也会用到。1.3 为什么深度学习更偏爱EWA而不是经典滑动平均在优化器这个场景里经典滑动平均为什么彻底败给了EWA我总结下来至少有三个原因。第一计算复杂度完全不同。滑动平均需要缓存窗口内所有样本每来一个新样本还要把最老的那个踢出去复杂度O(窗口大小)而EWA每次更新只做一次乘法和一次加法复杂度O(1)在每轮要处理几百万个梯度分量的深度学习训练里这个差距是决定性的。第二流式更新。EWA天然适合数据一个接一个到达的场景来一个更新一次不需要知道“现在到哪了”也不需要重新计算整个窗口。这在在线训练、流式数据处理里几乎是量身定做。第三对非平稳数据更友好。训练神经网络的过程中梯度分布本身就不是平稳的——学习率在变、损失曲面在变、数据增强策略在变。EWA对近期数据赋予更高权重天然具备“跟着当前状态走”的能力固定窗口滑动平均则相对僵硬窗口内新旧数据地位一样。把这三点放在一起就不难理解为什么所有主流优化器都选择EWA这个形态了。它不是更高级只是更合适。2. 关键直觉β、记忆长度与偏置修正2.1 β控制“有限记忆”有效窗口大约是1/(1-β)进入优化器之前得先把EWA里最关键的参数β讲透。β决定了历史信息衰减的速度β越接近1衰减越慢V_t对历史数据记得越久β越小衰减越快V_t越“短视”。定量上我们经常用“大约影响最近1/(1-β)个观测”来描述记忆长度。这个1/(1-β)不是随便拍脑袋的背后有一个近似推导。第t-k个观测的权重是(1-β)*β^k当k大到让β^k下降到约1/e≈0.368时我们认为它对当前值的影响已经微弱到可以忽略。由β^k e^{-1}取对数并利用ln(β) ≈ -(1-β)做近似就能解得k ≈ 1/(1-β)。代入几个典型值看一下β0.9 → 记忆约最近10个观测β0.98 → 记忆约最近50个观测β0.99 → 记忆约最近100个观测这里的结论很反直觉β从0.9调到0.99表面上看只差了0.09实际上是把记忆长度从10拉长到了100整整一个数量级。所以调β的时候千万不要只盯着小数点要心里换算成“它到底在记多长的历史”。2.2 另一个视角EWA是在“朝新观测方向迈小步”很多人把EWA当作一种“过滤噪声”的手段这个没错但还少了点动态视角。我把公式稍微改写一下感觉立刻就不一样了V_t V_{t-1} (1-β) * (θ_t - V_{t-1})这告诉我们V_t其实是在V_{t-1}的基础上朝着新观测值θ_t的方向迈了一小步步长是(1-β)。当θ_t高于当前估计时把V往上调一点当θ_t低于当前估计时把V往下调一点。β0.9时步长只有0.1所以每天只往当天温度的方向移动10%移动得慢曲线自然平滑β0.5时步长0.5V会很积极地追赶最新观测噪声也会被更多地带进来。这个视角在理解优化器时特别有用。Momentum里的“速度”变量本质上就是一个在朝当前梯度方向缓慢移动的估计器它不追求每个step都精确响应而是像一个有质量的小球稳稳地累积方向信息。把EWA理解成“缓慢跟踪”比“平滑滤波”更容易和外部的物理直觉接上。2.3 V_00带来的早期偏差以及修正公式前面的推导隐含了一个假设V_00。这个初始值在早期会造成明显的低估。举个例子β0.98第一天气温25度那么V_1 0.98 * 0 0.02 * 25 0.5。这离“今天的平均气温”差得也太远了。随着t增长β^t逐渐趋近0偏差会慢慢消失但训练的前几十步尤其β很大时误差不能忽视。解决办法是做一个偏置修正bias correction把V_t除以(1-β^t)V_t^corrected V_t / (1 - β^t)验证一下t1分母1-β0.020.5/0.0225正好等于第一个观测值。t很大时分母趋近1修正效果自然消失。在Adam这类自适应优化器中这种修正几乎是必须的如果不修正二阶矩前几步的二阶矩v_t被严重低估更新时除以一个过小的√v_t步长会异常巨大甚至导致loss爆炸。3. 优化器里的EWAMomentum、RMSProp、Adam3.1 Momentum把梯度做成“有惯性”的速度普通随机梯度下降每一步的更新都是W W - lr * dWdW是当前batch算出来的梯度。batch的随机性会让dW上下抖动尤其当损失函数在某个方向上像峡谷一样以锯齿形态下降时更新轨迹会来回震荡收敛很慢。Momentum引入一个速度变量v和梯度dW的形状完全一致更新方式如下v_t β * v_{t-1} (1 - β) * dW_t W_t W_{t-1} - lr * v_t这里的v_t就是dW的EWA。直观理解就是如果梯度在几个step里持续指向同一方向v_t会把这些同向的梯度一点点累积起来成为一股稳定的加速力量如果梯度在某一个维度上反复正负交替v_t在这个维度的分量就会相互抵消变得很小。结果就是震荡的维度被压制主方向被放大收敛路径平滑且更快。一个常见的疑问是为什么Momentum不直接用dW的滑动平均而要用EWA原因就是第1节说的那几条——它不需要额外存储、支持流式更新、对近期梯度更敏感。在实现上很多框架会把Momentum写成v βv dW的形态表面看相差了一个(1-β)因子但接下来W - lrv时两者实际等效只是学习率的尺度需要对应调整。如果你看到不同代码里公式“不太一样”不要慌先看看它们各自的更新式中lr的位置。3.2 RMSProp对梯度平方做EWARMSProp的动机和Momentum不同它想解决的是“每个参数维度应该用多大学习率”的问题。有些参数维度梯度一直很小有些则很大统一的全局学习率顾此失彼。做法非常朴素对梯度平方做EWA记录每个维度的近期“平均能量”s_t β2 * s_{t-1} (1-β2) * dW_t² W_t W_{t-1} - lr * dW_t / (√s_t ε)s_t的大致含义是“梯度平方的指数加权平均”它反映该维度近期梯度的大小尺度。梯度大的维度s_t大除以√s_t后步长被自动缩小梯度小的维度s_t小除以√s_t后步长被放大。这里的ε是一个很小的常数比如1e-8作用有两个一是防止s_t为0时除零二是避免步长无限大。为什么对梯度做平方而不是绝对值因为平方之后大的梯度被放得更大维度间的区分度更明显同时平方天然保证s_t非负省去了取绝对值的麻烦。这里也有一个量纲问题值得注意dW / √s_t的量纲和dW一致所以lr的尺度和普通SGD是同一量级这也是RMSProp能直接沿用普通学习率的原因之一。3.3 Adam一阶矩与二阶矩的强强联合Adam本质上是把Momentum和RMSProp拼在一起既记录梯度本身的EWA一阶矩m_t也记录梯度平方的EWA二阶矩v_tm_t β1 * m_{t-1} (1-β1) * g_t v_t β2 * v_{t-1} (1-β2) * g_t²由于m_0和v_0都初始化为0Adam在计算最终更新量之前要对两者都做偏置修正m_t_hat m_t / (1 - β1^t) v_t_hat v_t / (1 - β2^t) W_t W_{t-1} - lr * m_t_hat / (√v_t_hat ε)默认参数是β10.9、β20.999。对照2.1的记忆长度这两个值的含义是一阶矩大约记住最近10个梯度二阶矩大约记住最近1000个梯度平方。这个不对称其实是刻意设计的——一阶矩负责估计梯度方向需要一定的灵敏度所以记忆短一点二阶矩负责刻画梯度尺度尺度变化通常更缓慢所以记忆长一点更稳定。另外Adam的更新量同时受一阶矩和二阶矩的比值控制m_t_hat / √v_t_hat当梯度方向一致时比值朝向稳定更新有力当梯度存在噪声时二阶矩会适当压制步长。就是这种“方向反馈”和“幅度反馈”的双重机制让Adam在绝大多数深度学习任务里成了一个开箱即用的默认选择。三种优化器对EWA的使用可以用下面这个表快速对照优化器对什么做EWA典型β记忆长度参考偏置修正Momentum梯度本身0.910步通常省略RMSProp梯度平方0.99100步部分实现带Adam梯度 梯度平方0.9 / 0.99910 / 1000步必须带公式明确要求4. 动手验证从零实现EWA与两个优化器4.1 用模拟数据观察β和平滑效果光看公式容易虚强烈建议自己动手画一次图。下面这段是我本地跑过多次的验证脚本故意给数据加了明显噪声方便观察平滑效果import numpy as np import matplotlib.pyplot as plt np.random.seed(0) t np.arange(1, 366) theta 10 5 * np.sin(2 * np.pi * t / 365) np.random.randn(365) * 3 def ewa(theta, beta, bias_correctionTrue): v 0.0 out [] for i, x in enumerate(theta, 1): v beta * v (1 - beta) * x out.append(v / (1 - beta ** i) if bias_correction else v) return np.array(out) plt.plot(t, theta, alpha0.3, labelraw) plt.plot(t, ewa(theta, 0.9), labelbeta0.9) plt.plot(t, ewa(theta, 0.98), labelbeta0.98) plt.legend() plt.show()跑完图重点看两点第一β0.98的曲线明显比β0.9更平滑但峰值滞后也更严重这正好对应2.1里“记忆越长、越平滑、越迟钝”的结论第二开启偏置修正后曲线在开头就能贴近真实值而不是从一个很低的起点慢慢爬升。如果你还看不出偏置修正的作用可以把bias_correction参数分别设成True和False对比开头那段的差异一眼就能分辨。4.2 手写Momentum和Adam为了确认我不是只会调库我再给出纯numpy实现的两个最小优化器。任务很简单就是一个带噪声的线性回归但足够看出优化器的迭代逻辑。X np.hstack([np.ones((200, 1)), np.random.rand(200, 1) * 10]) y 2.5 * X[:, 1:2] 1.0 np.random.randn(200, 1) * 0.5 def sgd_momentum(X, y, lr0.01, beta0.9, epochs20, batch32): n, d X.shape w np.zeros((d, 1)) v np.zeros_like(w) for epoch in range(epochs): idx np.random.permutation(n) for i in range(0, n, batch): bx X[idx[i:i batch]] by y[idx[i:i batch]] g bx.T (bx w - by) / len(bx) v beta * v (1 - beta) * g w - lr * v return w def adam(X, y, lr0.05, beta10.9, beta20.999, eps1e-8, epochs20, batch32): n, d X.shape w np.zeros((d, 1)) m np.zeros_like(w) s np.zeros_like(w) step 0 for epoch in range(epochs): idx np.random.permutation(n) for i in range(0, n, batch): step 1 bx X[idx[i:i batch]] by y[idx[i:i batch]] g bx.T (bx w - by) / len(bx) m beta1 * m (1 - beta1) * g s beta2 * s (1 - beta2) * g * g m_hat m / (1 - beta1 ** step) s_hat s / (1 - beta2 ** step) w - lr * m_hat / (np.sqrt(s_hat) eps) return w print(sgd_momentum(X, y)) print(adam(X, y))两个函数在同样的数据上都收敛到了接近真实系数[1.0, 2.5]的位置。我建议你把adam里的偏置修正那两行临时去掉再跑一次观察训练过程中早期的最大步长你会发现它突然变得异常巨大——这就是提出Adam的那篇论文里专门强调bias correction的原因。自己动手去掉几行代码比读十遍结论都印象深刻。4.3 在主流自动微分框架里快速对比如果你平时用的是主流的自动微分框架最简单的验证方法不是手写而是用现成优化器对比。把普通SGD的momentum从0改成0.9在同一个两层小网络上分别训练50轮打印train loss曲线。你会看到带momentum的版本loss下降更顺滑几乎不会出现普通SGD那种剧烈抖动。同样把Adam的beta2从0.999改成0.99或者更小在非平稳任务上往往会有明显不同的收敛行为。每次改完一个超参数对照前面说的“记忆长度”试着解释为什么会变快或变慢。这样做几轮实验EWA就不再是一个抽象的公式而是一个你能预判行为的工具。5. 常见问题与排查经验5.1 训练前几步loss暴涨这是我自己踩过最典型的坑。手写RMSProp或Adam时如果没做偏置修正前几步的loss经常不是下降而是冲天。原因很直接二阶矩s_t初始被严重低估因为s_00√s_t小到离谱更新步长lr * m_t / (√s_t ε)就会巨大无比。排查方法分两步。第一步先把偏置修正代码加上看loss是否恢复稳定第二步打印前10个step的s_t和实际步长确认修正前后差了大约一个数量级。之前的2.3里那个除以(1-β2^t)不是理论装饰而是保证早期数值稳定的基础设施。记住二阶矩相关的优化器偏置修正默认必须开。5.2 β调太大或太小分别会发生什么β调太大接近1的典型症状是“迟钝”损失曲线平滑得让人欣慰但下降速度肉眼可见地慢甚至在任务分布变化后很久都追不上新状态。我见过有人把Adam的beta2调到0.9999中期loss直接卡住不动就是因为二阶矩记忆太长梯度尺度已经变化了它还在用几百步之前的老尺度。β调太小的症状则完全相反曲线又毛又吵像纯SGD一样大幅震荡平滑效果消失。这时候可以先增大batch size再考虑调β如果batch小、噪声本身就大β再小就是雪上加霜。比较实用的经验是方向估计一阶矩让β在0.8到0.95之间尺度估计二阶矩让β在0.95到0.999之间。具体值靠任务验证但至少别让它们颠倒过来。5.3 怎么判断自己写的EWA对不对有个简单有效的自检方法输入一段平稳信号比如常数序列θ_t c跑若干步之后V_t应该趋近于c。如果偏置修正开着理论上V_1就应该等于c如果没开着V_t也在几十步后逼近c。再用一段阶跃信号前面是0后面突然变成1看V_t会不会平滑地爬上去以及β越大爬得越慢。这两个测试一改EWA实现有没有问题一目了然。还有一个排查习惯值得养成复现优化器时不要只对比最终收敛结果那太钝。取同样的初始化、同样的数据顺序把自己的实现和参考实现里的m、s等中间状态逐轮打印出来做“对拍”。我当时复现某个变体优化器时就靠这种逐变量对比发现是梯度计算里少除了一个batch size而不是EWA写错。对拍到1e-8量级都一致基本可以放心。5.4 问题排查速查表症状可能原因处理方式前几步loss爆炸二阶矩未做偏置修正加上除以(1-β2^t)曲线太平、loss下降慢β太大调小β换算记忆长度曲线太毛、震荡剧烈β太小或batch太小调大β或增大batch非平稳任务上Adam表现差二阶矩记忆过长beta2降到0.99或0.95平滑曲线明显滞后记忆长度过长导致响应慢适当调小β测试指标与训练不一致训练用了错误的统计量确认评估阶段统计量更新方式6. 落地建议与个人经验6.1 把EWA当成低通滤波器调参会更有方向学了EWA之后我慢慢觉得把它理解为“低通滤波器”最顺手β就是截止频率β越小截止频率越高、越灵敏β越大截止频率越低、越平滑。每次调参前先问自己当前的问题是噪声太多还是响应太慢噪声多就往β大的方向走响应慢就往β小的方向走。这个简单的二分法帮我省了大量瞎试的时间。还有一个容易被忽略的点EWA的记忆长度1/(1-β)同时决定了“多少步之后偏置修正不再重要”。比如β0.9时大约30步后β^t就小于0.04修正项几乎等于1但β0.999时t100时β^t仍然有0.9左右修正压力持续存在。所以大β场景下前几百步的数值行为都必须把修正考虑进去不允许图省事跳过。6.2 训练之外EWA也无处不在一旦你看惯了EWA会发现它出现在深度学习管线的各个角落远超优化器本身。批归一化层里的running_mean和running_var就是用EWA维护的框架里那个momentum参数默认0.1指的就是θ_t的系数而不是β。对损失曲线的平滑展示、各类监控指标的移动基线也都默认用EWA。进而在做自定义模块时“递推更新一个标量”这个模式几乎可以无脑复用任何想要“既平滑又能跟上近期变化”的统计量都值得用EWA先试一把。多说一句有些统计脚本喜欢每过N个step重算一次历史窗口精确平均这在离线场景没问题但在在线服务里每步都要O(N)的代价往往无法承受。EWA的O(1)更新在这种场景下不是可选项而是硬约束。6.3 一个复用价值很高的调试技巧最后分享一个经验成分极高的技巧当你怀疑某个优化器实现和标准版本有细微差异时别用“最终loss差不多”来判断对错一定要做逐变量对拍。具体做法是固定随机种子、固定batch顺序在同样的输入下同时跑自己的实现和可靠的参考实现把每一步的m_t、v_t、实际更新量全部打印出来逐项比对。差异收敛到1e-8量级才算真正对上了。我在复盘这些内容时最深的感受是EWA看着简单但它把一个“记忆管理”的抽象概念压缩成了一个标量递推式所有自适应优化器都在这套记忆框架上做文章。搞懂它之后再去读任何新的优化器论文都会发现骨架相通只是记忆内容和更新规则换了换。这块基石打实了后面无论读论文还是改优化器都会顺很多。
学习深度学习但凡走到了优化算法这一层几乎每个人都会撞见同一个概念指数加权平均Exponential Weighted AverageEWA。它不一定以全称出现——Momentum里的动量系数0.9、RMSProp里的decay参数、Adam里那对默认的beta值0.9与0.999底层滚的都是同一个机制。说白了EWA就是用一个递推的标量变量对一串带噪声的历史数据做带遗忘的加权平均。这篇文章我不打算只贴公式而是按自己当初学这块时的真实路径展开先建立直觉再弄清参数然后手写代码验证最后把常见的坑和排查方法一起整理出来。适合刚刚学到优化器、想理解自适应算法为何有效的初学者也适合已经在用各类优化器、但内部机制仍然模糊的开发者。1. 先搞明白一件事EWA到底在对什么做平均1.1 从气温曲线说起为什么需要平滑我第一次理解EWA不是因为公式而是因为一个气温统计的经典场景。假设某城市一年365天每天记录一次气温得到一个序列θ_1, θ_2, ..., θ_365。直接把这些点画出来曲线又抖又毛因为单日气温会受到天气、测量误差之类的随机因素干扰噪声很大。我们想做的是给这条曲线一个“趋势感”把局部波动滤掉留下整体走向。最直觉的做法是滑动平均取一个固定长度N的窗口比如最近30天把窗口内温度做算术平均作为今天的“平滑温度”。这个办法有效但有两个明显短板。第一它需要一直维护最近N个原始观测值内存开销是O(N)在数据流很长、或者窗口很大的场景里会变成一个麻烦。第二窗口内每一天的权重完全相等30天前那天的温度和昨天今天的温度地位一样可现实中越近的数据往往越能说明当前趋势。滑动平均在这两点上都不够“聪明”。EWA换了个完全不同的思路我不需要保留任何历史观测值只需要维护一个变量V每来一个新的观测值就按照下面的递推式更新一次V_t β * V_{t-1} (1 - β) * θ_t这里β是0到1之间的一个系数。看到这个式子我当时的第一反应是这也太省事了——不管过去有多少历史数据最终都被压缩进一个V里。后来在深度学习里用久了才意识到这种“省”不是方便而是必要因为模型的参数动辄几千万上亿要为每个参数额外保留一份完整的历史梯度存储上根本不可承受。1.2 展开之后为什么叫“指数”加权把1.1的递推式一层一层展开事情会变得非常清楚。为了方便假设V_00那么V_t (1-β) * [θ_t βθ_{t-1} β²θ_{t-2} ... β^{t-1}*θ_1]每一项θ_{t-k}前面都有一个系数(1-β)*β^k。因为β小于1β的幂次会随着k增大快速衰减也就是说越久远的历史观测对V_t的影响越小权重按指数衰减。这就是“指数加权平均”里“指数”二字的来历。这里有一个初学者很容易忽略的细节这些系数加起来其实是趋近于1的。因为(1-β) * (1 β β² ...) (1-β) * 1/(1-β) 1整个式子是一个合法的加权平均而不是什么“只取了部分信息”的近似。所以EWA既保留了完整的统计意义又通过指数衰减实现了“有限记忆”。这一点在理解偏置修正时也会用到。1.3 为什么深度学习更偏爱EWA而不是经典滑动平均在优化器这个场景里经典滑动平均为什么彻底败给了EWA我总结下来至少有三个原因。第一计算复杂度完全不同。滑动平均需要缓存窗口内所有样本每来一个新样本还要把最老的那个踢出去复杂度O(窗口大小)而EWA每次更新只做一次乘法和一次加法复杂度O(1)在每轮要处理几百万个梯度分量的深度学习训练里这个差距是决定性的。第二流式更新。EWA天然适合数据一个接一个到达的场景来一个更新一次不需要知道“现在到哪了”也不需要重新计算整个窗口。这在在线训练、流式数据处理里几乎是量身定做。第三对非平稳数据更友好。训练神经网络的过程中梯度分布本身就不是平稳的——学习率在变、损失曲面在变、数据增强策略在变。EWA对近期数据赋予更高权重天然具备“跟着当前状态走”的能力固定窗口滑动平均则相对僵硬窗口内新旧数据地位一样。把这三点放在一起就不难理解为什么所有主流优化器都选择EWA这个形态了。它不是更高级只是更合适。2. 关键直觉β、记忆长度与偏置修正2.1 β控制“有限记忆”有效窗口大约是1/(1-β)进入优化器之前得先把EWA里最关键的参数β讲透。β决定了历史信息衰减的速度β越接近1衰减越慢V_t对历史数据记得越久β越小衰减越快V_t越“短视”。定量上我们经常用“大约影响最近1/(1-β)个观测”来描述记忆长度。这个1/(1-β)不是随便拍脑袋的背后有一个近似推导。第t-k个观测的权重是(1-β)*β^k当k大到让β^k下降到约1/e≈0.368时我们认为它对当前值的影响已经微弱到可以忽略。由β^k e^{-1}取对数并利用ln(β) ≈ -(1-β)做近似就能解得k ≈ 1/(1-β)。代入几个典型值看一下β0.9 → 记忆约最近10个观测β0.98 → 记忆约最近50个观测β0.99 → 记忆约最近100个观测这里的结论很反直觉β从0.9调到0.99表面上看只差了0.09实际上是把记忆长度从10拉长到了100整整一个数量级。所以调β的时候千万不要只盯着小数点要心里换算成“它到底在记多长的历史”。2.2 另一个视角EWA是在“朝新观测方向迈小步”很多人把EWA当作一种“过滤噪声”的手段这个没错但还少了点动态视角。我把公式稍微改写一下感觉立刻就不一样了V_t V_{t-1} (1-β) * (θ_t - V_{t-1})这告诉我们V_t其实是在V_{t-1}的基础上朝着新观测值θ_t的方向迈了一小步步长是(1-β)。当θ_t高于当前估计时把V往上调一点当θ_t低于当前估计时把V往下调一点。β0.9时步长只有0.1所以每天只往当天温度的方向移动10%移动得慢曲线自然平滑β0.5时步长0.5V会很积极地追赶最新观测噪声也会被更多地带进来。这个视角在理解优化器时特别有用。Momentum里的“速度”变量本质上就是一个在朝当前梯度方向缓慢移动的估计器它不追求每个step都精确响应而是像一个有质量的小球稳稳地累积方向信息。把EWA理解成“缓慢跟踪”比“平滑滤波”更容易和外部的物理直觉接上。2.3 V_00带来的早期偏差以及修正公式前面的推导隐含了一个假设V_00。这个初始值在早期会造成明显的低估。举个例子β0.98第一天气温25度那么V_1 0.98 * 0 0.02 * 25 0.5。这离“今天的平均气温”差得也太远了。随着t增长β^t逐渐趋近0偏差会慢慢消失但训练的前几十步尤其β很大时误差不能忽视。解决办法是做一个偏置修正bias correction把V_t除以(1-β^t)V_t^corrected V_t / (1 - β^t)验证一下t1分母1-β0.020.5/0.0225正好等于第一个观测值。t很大时分母趋近1修正效果自然消失。在Adam这类自适应优化器中这种修正几乎是必须的如果不修正二阶矩前几步的二阶矩v_t被严重低估更新时除以一个过小的√v_t步长会异常巨大甚至导致loss爆炸。3. 优化器里的EWAMomentum、RMSProp、Adam3.1 Momentum把梯度做成“有惯性”的速度普通随机梯度下降每一步的更新都是W W - lr * dWdW是当前batch算出来的梯度。batch的随机性会让dW上下抖动尤其当损失函数在某个方向上像峡谷一样以锯齿形态下降时更新轨迹会来回震荡收敛很慢。Momentum引入一个速度变量v和梯度dW的形状完全一致更新方式如下v_t β * v_{t-1} (1 - β) * dW_t W_t W_{t-1} - lr * v_t这里的v_t就是dW的EWA。直观理解就是如果梯度在几个step里持续指向同一方向v_t会把这些同向的梯度一点点累积起来成为一股稳定的加速力量如果梯度在某一个维度上反复正负交替v_t在这个维度的分量就会相互抵消变得很小。结果就是震荡的维度被压制主方向被放大收敛路径平滑且更快。一个常见的疑问是为什么Momentum不直接用dW的滑动平均而要用EWA原因就是第1节说的那几条——它不需要额外存储、支持流式更新、对近期梯度更敏感。在实现上很多框架会把Momentum写成v βv dW的形态表面看相差了一个(1-β)因子但接下来W - lrv时两者实际等效只是学习率的尺度需要对应调整。如果你看到不同代码里公式“不太一样”不要慌先看看它们各自的更新式中lr的位置。3.2 RMSProp对梯度平方做EWARMSProp的动机和Momentum不同它想解决的是“每个参数维度应该用多大学习率”的问题。有些参数维度梯度一直很小有些则很大统一的全局学习率顾此失彼。做法非常朴素对梯度平方做EWA记录每个维度的近期“平均能量”s_t β2 * s_{t-1} (1-β2) * dW_t² W_t W_{t-1} - lr * dW_t / (√s_t ε)s_t的大致含义是“梯度平方的指数加权平均”它反映该维度近期梯度的大小尺度。梯度大的维度s_t大除以√s_t后步长被自动缩小梯度小的维度s_t小除以√s_t后步长被放大。这里的ε是一个很小的常数比如1e-8作用有两个一是防止s_t为0时除零二是避免步长无限大。为什么对梯度做平方而不是绝对值因为平方之后大的梯度被放得更大维度间的区分度更明显同时平方天然保证s_t非负省去了取绝对值的麻烦。这里也有一个量纲问题值得注意dW / √s_t的量纲和dW一致所以lr的尺度和普通SGD是同一量级这也是RMSProp能直接沿用普通学习率的原因之一。3.3 Adam一阶矩与二阶矩的强强联合Adam本质上是把Momentum和RMSProp拼在一起既记录梯度本身的EWA一阶矩m_t也记录梯度平方的EWA二阶矩v_tm_t β1 * m_{t-1} (1-β1) * g_t v_t β2 * v_{t-1} (1-β2) * g_t²由于m_0和v_0都初始化为0Adam在计算最终更新量之前要对两者都做偏置修正m_t_hat m_t / (1 - β1^t) v_t_hat v_t / (1 - β2^t) W_t W_{t-1} - lr * m_t_hat / (√v_t_hat ε)默认参数是β10.9、β20.999。对照2.1的记忆长度这两个值的含义是一阶矩大约记住最近10个梯度二阶矩大约记住最近1000个梯度平方。这个不对称其实是刻意设计的——一阶矩负责估计梯度方向需要一定的灵敏度所以记忆短一点二阶矩负责刻画梯度尺度尺度变化通常更缓慢所以记忆长一点更稳定。另外Adam的更新量同时受一阶矩和二阶矩的比值控制m_t_hat / √v_t_hat当梯度方向一致时比值朝向稳定更新有力当梯度存在噪声时二阶矩会适当压制步长。就是这种“方向反馈”和“幅度反馈”的双重机制让Adam在绝大多数深度学习任务里成了一个开箱即用的默认选择。三种优化器对EWA的使用可以用下面这个表快速对照优化器对什么做EWA典型β记忆长度参考偏置修正Momentum梯度本身0.910步通常省略RMSProp梯度平方0.99100步部分实现带Adam梯度 梯度平方0.9 / 0.99910 / 1000步必须带公式明确要求4. 动手验证从零实现EWA与两个优化器4.1 用模拟数据观察β和平滑效果光看公式容易虚强烈建议自己动手画一次图。下面这段是我本地跑过多次的验证脚本故意给数据加了明显噪声方便观察平滑效果import numpy as np import matplotlib.pyplot as plt np.random.seed(0) t np.arange(1, 366) theta 10 5 * np.sin(2 * np.pi * t / 365) np.random.randn(365) * 3 def ewa(theta, beta, bias_correctionTrue): v 0.0 out [] for i, x in enumerate(theta, 1): v beta * v (1 - beta) * x out.append(v / (1 - beta ** i) if bias_correction else v) return np.array(out) plt.plot(t, theta, alpha0.3, labelraw) plt.plot(t, ewa(theta, 0.9), labelbeta0.9) plt.plot(t, ewa(theta, 0.98), labelbeta0.98) plt.legend() plt.show()跑完图重点看两点第一β0.98的曲线明显比β0.9更平滑但峰值滞后也更严重这正好对应2.1里“记忆越长、越平滑、越迟钝”的结论第二开启偏置修正后曲线在开头就能贴近真实值而不是从一个很低的起点慢慢爬升。如果你还看不出偏置修正的作用可以把bias_correction参数分别设成True和False对比开头那段的差异一眼就能分辨。4.2 手写Momentum和Adam为了确认我不是只会调库我再给出纯numpy实现的两个最小优化器。任务很简单就是一个带噪声的线性回归但足够看出优化器的迭代逻辑。X np.hstack([np.ones((200, 1)), np.random.rand(200, 1) * 10]) y 2.5 * X[:, 1:2] 1.0 np.random.randn(200, 1) * 0.5 def sgd_momentum(X, y, lr0.01, beta0.9, epochs20, batch32): n, d X.shape w np.zeros((d, 1)) v np.zeros_like(w) for epoch in range(epochs): idx np.random.permutation(n) for i in range(0, n, batch): bx X[idx[i:i batch]] by y[idx[i:i batch]] g bx.T (bx w - by) / len(bx) v beta * v (1 - beta) * g w - lr * v return w def adam(X, y, lr0.05, beta10.9, beta20.999, eps1e-8, epochs20, batch32): n, d X.shape w np.zeros((d, 1)) m np.zeros_like(w) s np.zeros_like(w) step 0 for epoch in range(epochs): idx np.random.permutation(n) for i in range(0, n, batch): step 1 bx X[idx[i:i batch]] by y[idx[i:i batch]] g bx.T (bx w - by) / len(bx) m beta1 * m (1 - beta1) * g s beta2 * s (1 - beta2) * g * g m_hat m / (1 - beta1 ** step) s_hat s / (1 - beta2 ** step) w - lr * m_hat / (np.sqrt(s_hat) eps) return w print(sgd_momentum(X, y)) print(adam(X, y))两个函数在同样的数据上都收敛到了接近真实系数[1.0, 2.5]的位置。我建议你把adam里的偏置修正那两行临时去掉再跑一次观察训练过程中早期的最大步长你会发现它突然变得异常巨大——这就是提出Adam的那篇论文里专门强调bias correction的原因。自己动手去掉几行代码比读十遍结论都印象深刻。4.3 在主流自动微分框架里快速对比如果你平时用的是主流的自动微分框架最简单的验证方法不是手写而是用现成优化器对比。把普通SGD的momentum从0改成0.9在同一个两层小网络上分别训练50轮打印train loss曲线。你会看到带momentum的版本loss下降更顺滑几乎不会出现普通SGD那种剧烈抖动。同样把Adam的beta2从0.999改成0.99或者更小在非平稳任务上往往会有明显不同的收敛行为。每次改完一个超参数对照前面说的“记忆长度”试着解释为什么会变快或变慢。这样做几轮实验EWA就不再是一个抽象的公式而是一个你能预判行为的工具。5. 常见问题与排查经验5.1 训练前几步loss暴涨这是我自己踩过最典型的坑。手写RMSProp或Adam时如果没做偏置修正前几步的loss经常不是下降而是冲天。原因很直接二阶矩s_t初始被严重低估因为s_00√s_t小到离谱更新步长lr * m_t / (√s_t ε)就会巨大无比。排查方法分两步。第一步先把偏置修正代码加上看loss是否恢复稳定第二步打印前10个step的s_t和实际步长确认修正前后差了大约一个数量级。之前的2.3里那个除以(1-β2^t)不是理论装饰而是保证早期数值稳定的基础设施。记住二阶矩相关的优化器偏置修正默认必须开。5.2 β调太大或太小分别会发生什么β调太大接近1的典型症状是“迟钝”损失曲线平滑得让人欣慰但下降速度肉眼可见地慢甚至在任务分布变化后很久都追不上新状态。我见过有人把Adam的beta2调到0.9999中期loss直接卡住不动就是因为二阶矩记忆太长梯度尺度已经变化了它还在用几百步之前的老尺度。β调太小的症状则完全相反曲线又毛又吵像纯SGD一样大幅震荡平滑效果消失。这时候可以先增大batch size再考虑调β如果batch小、噪声本身就大β再小就是雪上加霜。比较实用的经验是方向估计一阶矩让β在0.8到0.95之间尺度估计二阶矩让β在0.95到0.999之间。具体值靠任务验证但至少别让它们颠倒过来。5.3 怎么判断自己写的EWA对不对有个简单有效的自检方法输入一段平稳信号比如常数序列θ_t c跑若干步之后V_t应该趋近于c。如果偏置修正开着理论上V_1就应该等于c如果没开着V_t也在几十步后逼近c。再用一段阶跃信号前面是0后面突然变成1看V_t会不会平滑地爬上去以及β越大爬得越慢。这两个测试一改EWA实现有没有问题一目了然。还有一个排查习惯值得养成复现优化器时不要只对比最终收敛结果那太钝。取同样的初始化、同样的数据顺序把自己的实现和参考实现里的m、s等中间状态逐轮打印出来做“对拍”。我当时复现某个变体优化器时就靠这种逐变量对比发现是梯度计算里少除了一个batch size而不是EWA写错。对拍到1e-8量级都一致基本可以放心。5.4 问题排查速查表症状可能原因处理方式前几步loss爆炸二阶矩未做偏置修正加上除以(1-β2^t)曲线太平、loss下降慢β太大调小β换算记忆长度曲线太毛、震荡剧烈β太小或batch太小调大β或增大batch非平稳任务上Adam表现差二阶矩记忆过长beta2降到0.99或0.95平滑曲线明显滞后记忆长度过长导致响应慢适当调小β测试指标与训练不一致训练用了错误的统计量确认评估阶段统计量更新方式6. 落地建议与个人经验6.1 把EWA当成低通滤波器调参会更有方向学了EWA之后我慢慢觉得把它理解为“低通滤波器”最顺手β就是截止频率β越小截止频率越高、越灵敏β越大截止频率越低、越平滑。每次调参前先问自己当前的问题是噪声太多还是响应太慢噪声多就往β大的方向走响应慢就往β小的方向走。这个简单的二分法帮我省了大量瞎试的时间。还有一个容易被忽略的点EWA的记忆长度1/(1-β)同时决定了“多少步之后偏置修正不再重要”。比如β0.9时大约30步后β^t就小于0.04修正项几乎等于1但β0.999时t100时β^t仍然有0.9左右修正压力持续存在。所以大β场景下前几百步的数值行为都必须把修正考虑进去不允许图省事跳过。6.2 训练之外EWA也无处不在一旦你看惯了EWA会发现它出现在深度学习管线的各个角落远超优化器本身。批归一化层里的running_mean和running_var就是用EWA维护的框架里那个momentum参数默认0.1指的就是θ_t的系数而不是β。对损失曲线的平滑展示、各类监控指标的移动基线也都默认用EWA。进而在做自定义模块时“递推更新一个标量”这个模式几乎可以无脑复用任何想要“既平滑又能跟上近期变化”的统计量都值得用EWA先试一把。多说一句有些统计脚本喜欢每过N个step重算一次历史窗口精确平均这在离线场景没问题但在在线服务里每步都要O(N)的代价往往无法承受。EWA的O(1)更新在这种场景下不是可选项而是硬约束。6.3 一个复用价值很高的调试技巧最后分享一个经验成分极高的技巧当你怀疑某个优化器实现和标准版本有细微差异时别用“最终loss差不多”来判断对错一定要做逐变量对拍。具体做法是固定随机种子、固定batch顺序在同样的输入下同时跑自己的实现和可靠的参考实现把每一步的m_t、v_t、实际更新量全部打印出来逐项比对。差异收敛到1e-8量级才算真正对上了。我在复盘这些内容时最深的感受是EWA看着简单但它把一个“记忆管理”的抽象概念压缩成了一个标量递推式所有自适应优化器都在这套记忆框架上做文章。搞懂它之后再去读任何新的优化器论文都会发现骨架相通只是记忆内容和更新规则换了换。这块基石打实了后面无论读论文还是改优化器都会顺很多。
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
