最近调一个深度强化学习模型打印完参数量总觉得哪里不对对着公式和数据手册核了半天才发现是双流网络结构里优势层的输出维度写岔了。这个经历让我意识到很多跑过D3QN的同行其实对它的网络结构理解只停留在Double DQN和Dueling DQN拼在一起这种层面。等真的自己从头搭模型、手算参数个数、调试训练曲线的时候就会遇到一堆莫名其妙的问题。这篇文章我想认真把D3QN的网络结构拆开并把参数个数计算的来龙去脉讲清楚顺便分享一些我从实际代码里踩坑换来的核对经验。无论是刚开始摸强化学习的同学还是已经在调DQN系列但想搞清楚模型背后参数细节的人都应该能从这里得到点有用的东西。1. D3QN是什么从两条修正路线说起D3QN的全称是Dueling Double DQN它是把Double DQN和Dueling DQN这两种改进融合到一起的算法。要理解它的网络结构必须先搞清楚这两个改进各解决了什么问题否则你看网络输出结构会觉得很突兀——为什么最后要分两条支路为什么要对优势取平均1.1 原始DQN的过估计问题我们先回忆一下标准DQN的做法。它用深度网络拟合动作价值函数Q(s, a)训练目标是让预测的Q值逼近Bellman目标y r γ * max_a Q(s, a; θ⁻)其中θ⁻是目标网络的参数。目标网络的意义是提供一个相对稳定的回归目标降低自举带来的震荡。但这个max操作有一个非常隐蔽的问题由于近似误差的存在max函数会系统性地放大正偏差。换句话说即使每个动作的Q估计误差是无偏的取最大值后也会留下一个正偏差。这个偏差在强化学习里有个专有名词叫过估计overestimation。它在一些环境下会累积导致策略退化成次优甚至完全学崩。我当时第一次看到这个结论时觉得有点反直觉毕竟取最大只是选择动作为什么会影响价值本身其实很好理解假设真实的Q值都是5但估计是5±ε的噪声分布max出来的结果大概率大于5于是目标值被抬高了。DQN的目标再用这个被抬高的目标去更新网络越更新越虚高。1.2 Double DQN动作选择与动作评估分离Double DQN的修正思路非常直接既然max是罪魁祸首那就把选动作和算价值拆开用两个网络来承担。具体来说主网络负责选择最优动作目标网络负责评估这个动作的价值目标变为y r γ * Q(s, argmax_a Q(s, a; θ); θ⁻)这里内层的argmax用的是当前主网络的参数θ决定下一步要执行哪个动作外层的Q评估用的是目标网络参数θ⁻决定这个动作到底值多少。因为两个网络的价值估计噪声不完全相关这样算出来的目标值就不会再被同一份噪声放大。我在实际实验里见过很多DQN训练后期loss不断下降但奖励一动不动的情况换成Double DQN之后奖励曲线才重新动起来可见过估计的影响对策略优化是实实在在的。1.3 Dueling DQN将价值函数拆成状态价值与动作优势Dueling DQN则是从网络结构层面动手。它把Q(s, a)拆成两项Q(s, a) V(s) A(s, a)V(s)表示处于状态s本身能带来的期望回报A(s, a)表示在状态s下选择动作a相对平均水平的优势。虽然数学上这么拆没什么新鲜感但网络结构变化带来了两个明显好处第一在很多环境里不同动作之间的差异不大决定胜负的关键是状态本身好不好比如自动驾驶中红灯停、绿灯行大多数情况下动作的价值差异远小于状态好坏造成的差异。拆开后共享的特征层可以专注学习状态特征价值支路负责刻画全局状态优势支路只学习动作间差异训练效率更高。第二V(s)和A(s,a)共享大部分网络参数利用率更高不容易过拟合。这里有一个细节必须注意如果直接做Q V A那么对于同一条状态sV(s)和A(s,a)之间存在无穷多组平移解网络无法唯一确定。所以Dueling DQN实际输出时会在优势部分减去一个基准量最常用的公式是Q(s, a) V(s) A(s, a) - mean_a A(s, a)减去所有动作优势的平均值可以让网络自动保证优势的均值为零从而让V分支和A分支的表示正交化。有些人写成减去max_a A(s,a)也可以但经验上减均值更稳梯度不会大起大落。1.4 D3QN把两种修正装进同一个目标函数D3QN做的事情就是同时使用这两条修正路线。一方面用Double DQN的动作选择/评估分离来压制过估计另一方面用Dueling结构增强状态价值的建模能力。于是最终的目标函数变成y r γ * [ V(s; θ⁻) A(s, argmax_a Q(s, a; θ); θ⁻) - mean_a A(s, a; θ⁻) ]其中Q的合并公式贯穿了Double DQN的选择过程。实际实现中主网络输出的是V和A再合成Q目标网络同样输出V_target和A_target但在计算target时要用主网络选择出的动作索引去目标网络的A分支里取值再加目标网的V。这个顺序一旦搞错Double DQN的修正效果就没了。我在很多开源代码里见过一种偷懒写法直接用主网络Q和argmax选动作然后用目标网络Q整体算价值。这种写法在结构上等价于目标网络输出的是完整Q值而完整Q值又来自V A - mean(A)此时Double DQN的选动作其实只影响目标Q取哪一个位置的值原则还是一样的。但如果自己从零实现还是小心一点比较好。2. D3QN网络结构拆解从输入到双流输出的完整链路了解了D3QN的由来接下来就可以一张一张图层去解剖。D3QN的网络结构并没有一个唯一的标准因为输入形态不同特征提取层完全不同。但不论输入是低维状态向量还是高维图像后面的双流输出结构是固定的。2.1 输入端状态表示方式强化学习里状态表示通常分两种。一种是低维特征向量比如CartPole里小车的位置、速度、杆的角度和角速度一共4个连续值另一种是图像帧堆叠比如Atari游戏拿最近的4帧84×84灰度图拼成一个84×84×4的tensor再缩放到[0,1]。输入端的维度直接决定第一层的参数个数。我在做项目时习惯把状态维度和动作维度都记成常量写在配置里比如STATE_DIM4, ACTION_DIM2。这样后面计算参数个数的时候可以很快核对也不会在搭建网络时把第一层的输入维度写错。2.2 共享特征提取层的设计逻辑中间层一般叫共享层feature extractor因为V和A两个分支都要从中取特征。低维状态下通常用1~3层全连接层激活函数用ReLU图像输入则用卷积层堆叠把原始像素空间抽象成更高维的特征图。共享层为什么要共享而不是为V和A各做一个独立的body道理很简单状态特征本身与动作无关的部分很多比如图像里物体的位置、数量、颜色这些特征无论是估计状态价值还是估计优势都用得上。共享参数让两部分特征互相增强减少冗余参数。同时共享层意味着前向传播只需要计算一次特征向量效率也高。对低维输入我常用一个两层的全连接共享层输出特征维度设成128或256。对图像输入经典做法是三层卷积加一层全连接。卷积核大小和步长要按输入尺寸算好最后展平的特征维度这是参数计算最容易出错的地方。2.3 价值流与优势流的结构共享层之后网络分岔成两个分支。价值流叫V_stream它的输出是一个标量V(s)也就是只对状态打分优势流叫A_stream它的输出是一个长度和动作数相同的向量每个元素对应该动作的相对优势。两个分支一般是各接一个全连接层然后接各自的输出层。V_stream的输出层权重形状是[hidden_dim, 1]没有偏置可以但最好还是有。A_stream的输出层权重形状是[hidden_dim, action_dim]。动作维度大的时候A_stream的计算量会明显上升因为需要对每个动作都输出一个优势值。有些任务动作空间上百维这时需要考虑用近似结构的Dueling变体但目前主流任务里动作维度都不大。2.4 输出端的合并公式V A - mean(A)前向传播的最后一步就是将两个分支的输出合并成Q值。具体合并方式前面提过Q(s, a) V(s) A(s, a) - (1/|A|) * sum_a A(s, a)这里的关键是减均值。为什么不是减max早期论文里用的是max但减均值能保证A分支的梯度分布更平滑训练更稳定。我实际实验中也感觉减均值收敛更快一些。因为max可能会让梯度在某些动作上过强尤其在动作空间不对称时。减mean则把优势限制在一个以零为中心的分布上V分支更容易学到状态的基础价值。还需要注意合并之后才能做loss计算。训练时主网络预测的Q(s,a)要拿出来与实际动作对应的值做误差目标网络则通过相同合并方式算出目标Q值。两个网络的合并逻辑必须完全保持一致否则整个训练就乱套了。3. 参数个数计算从公式到分步实例网络结构清楚了参数个数就可以精确算出来。这部分往往是很多入门者最头疼的地方因为总参数量不像网络结构一眼能看出多少但它直接影响模型占多少显存、推理速度多快也很能检验你对网络维度的理解。下面先给基础公式再给两个不同复杂度的完整计算示例。3.1 参数量计算的基础公式所有参数都来自全连接层和卷积层的权重与偏置。全连接层输入维度是in输出维度是out则参数个数为param_fc in × out out偏置项每个输出神经元都有一个所以加outen。卷积层输入通道Cin输出通道Cout卷积核高Kh、宽Kw参数个数为param_conv Cin × Cout × Kh × Kw Cout这里的偏置是每个输出通道一个数量是Cout不是Cout × Kh × Kw。卷积层共享权重和输入特征图的宽高无关这一点常被搞错。对于带BatchNorm或者更复杂结构的层还要加上BN的均值和方差参数每个通道两个可学习参数以及全局均值方差的统计量后两个是buffer不算可学习参数但占显存。D3QN一般不用BatchNorm用的是全连接加ReLU所以这里不展开。3.2 一个典型CartPole任务的网络参数计算用最简单的低维输入举例子。假设状态维度4动作空间2网络设计如下共享层全连接输入4输出64激活ReLU再堆一个全连接输入64输出64激活ReLUV_stream输出层全连接输入64输出1A_stream输出层全连接输入64输出2逐层算参数量第一层参数4×6464320第二层参数64×64644160V分支64×1165A分支64×22130主网络总参数3204160651304675这是单份网络的参数量。D3QN还需要一份目标网络它和主网络的结构完全一样所以总目标网络也是4675。两份加起来9350。虽然训练过程中主网络的梯度更新不影响目标网络但两个网络在内存里都是要被加载的。这个例子非常简单所以总参数不足一万。如果你在实现时用model.parameters()遍历求和应该得到4675。如果输出是2350之类那就要检查是不是优势分支的输出维度写错了。3.3 卷积层的参数量计算以Atari图像输入为例更常见的入门项目是让智能体学会玩Atari。输入84×84×44帧灰度图动作需求是18维典型结构如下卷积层132个8×8卷积核步长4输入通道4输出通道32卷积层264个4×4卷积核步长2输入通道32输出通道64卷积层364个3×3卷积核步长1输入通道64输出通道64展平后全连接层输入维度由最后一层特征图大小决定输出512V_stream输出层输入512输出1A_stream输出层输入512输出18先算卷积层参数第一层4×32×8×8328192328224第二层32×64×4×464327686432832第三层64×64×3×364368646436928接下来要确定展平后的特征维度。输入84×84经过第一层步长4卷积(84-8)/4120特征图20×20×32。经过第二层步长2卷积(20-4)/219特征图9×9×64。经过第三层步长1卷积(9-3)/117特征图7×7×64展平后得7×7×643136个特征值。所以后面全连接层参数3136×5125121605632V分支512×11513A分支512×18189234主网络总参数82243283236928160563251392341699363约170万。目标网络再加一份约340万。这个规模在DQN系列里算非常轻量了对比今天动辄上亿参数的模型来说微不足道但也能看出卷积层占了大头全连接层更是主要容量来源。如果你的输入尺寸稍有不同比如用84×84×2而不是4帧参数总量会少很多所以外部输入显存时变化很大。3.4 总参数量汇总与核对技巧为了方便核对可以把每一层参数量做成表格层名称输入维度输出维度参数量Conv14328224Conv2326432832Conv3646436928FC31365121605632V_stream5121513A_stream512189234合计--1699363每次自己搭模型时我会先这样列一次表再写代码。代码写完后用sum(p.numel() for p in model.parameters())快速打印出可学习参数的总数和表格里的合计对比。如果对不上十有八九是网络定义和预期有出入而不是计算错了。还有一个小技巧打印参数量时最好把主网络和目标网络分别打印。D3QN里两份网络各自独立有时候会出现目标网络初始化时把主网络的参数也给覆盖了的情况但打印的总数还是双份的——如果不分别打印根本发现不了。我就犯过这种低级错误训到后面发现两个网络参数一模一样最后查出来是copy操作里没注意参数绑定。4. 实现时的踩坑记录与参数量核对经验网络结构和参数个数在纸面上算清楚只是第一步。真正动手写代码和调训练时至少有四个地方值得多留意。这些坑看起来小但都可能导致模型训练失效。4.1 双流分支的维度对齐Dueling结构最大的坑就是V_stream和A_stream的输入维度。共享层输出的特征维度一旦设计得不一致前向传播会直接报错。移植别人的网络结构时很多人只关注最后输出忽略了共享层和分支层的维度匹配。假设共享层输出维度是128V_stream输入维度就得写成128A_stream也是128。如果V_stream只输出标量A_stream输出动作数那么输出向量再合并时必须保证A_stream的维度是[动作数]而不是[1, 动作数]或[128, 动作数]。批量训练时所有tensor的批维度也要对齐我在一个版本里就写过把V[:, 0]和A直接相加结果V被减掉一维和A的形状不匹配debug了快一个小时才发现少了个保持维度的操作。4.2 参数数目核对不要把目标网络算漏前文提过D3QN要同时维护主网络和目标网络训练时主网络梯度更新目标网络每隔固定步数从主网络拷贝一次参数。用框架自带方法统计参数量时通常会先统计主网络。如果直接统计“整个模型类”而这个类内部定义为包含target_net的子模块那么这个总参数量就是两份的。这种设计不算错但会让你误以为自己的模型很大。我从经验里学到的方法很简单在每次配置网络后就断言一下参数量。比如主网络4675的话就写一行断言如果结构改动后参数量对不上程序立刻报错帮我尽早发现问题。无人值守训练时这种早期断言很有用不用等看了几百轮loss才发现维度写错了。4.3 训练稳定性问题优势均值与正则化的细节Dueling分支合并时减的均值很多人写成在动作维度上A.mean(dim-1, keepdimTrue)。如果不加keepdimTrueA的形状会丢掉一维导致广播出错或者结果错误。另外减均值操作本身不是必须加ReLU的有的实现在A分支输出前加tanh激活把优势限制在(-1,1)之间这样可以防止优势值过大影响动作选择。我在一个连续状态任务里试过不加tanh发现A分支偶尔会输出很高的异常优势值加tanh后稳定多了。还有一点D3QN的Loss就是标准的均方误差一般在批量维度上计算loss mean( (r γ * Q_target - Q_main(s,a))² )这里Q_target需要用目标网络和主网络共同计算。如果实现里不小心用了主网络去算Q_target里外层的值那Double DQN的特性就消失了退化成普通DQN的Dueling版本。这个问题比较隐蔽因为训练曲线早期不会差别很大跑到后面才知道过估计又抬头了。检查时最直接的办法是打印出Q_main和Q_target的实际数值如果Q_target明显比Q_main高出很多且持续不回落就可能有这个问题。4.4 从代码里反查参数个数一行命令的用途如果你想在框架里直接看到每一层的参数个数而不想手算也有办法。很多框架的模型对象都允许遍历所有layer然后用layer.weight.numel() layer.bias.numel()算出每一层参数。也可以用类似model.summary()之类的方法打印出每层名称、输出尺寸和参数数量。不过我建议即使有了这些工具还是先自己推导一遍公式再和工具输出对比否则如果工具本身打印出来的结论你不理解出了错误也看不出门道。我的习惯是保留一份当前配置的结构表标明“共享层输出特征维度”、“V分支结构”、“A分支结构”、“总参数量”。当改动作数或改输入尺寸时我会先手动更新这张表再改代码然后快速跑一次打印参数量验证。这个流程一开始慢但熟练之后能节省大量debug时间。5. 从参数个数引申开去模型容量与下一步选择理解了D3QN的参数规模其实也就能更理智地评估它在不同任务中的表现。参数不是越多越好不是网络越大越强。D3QN的优势在于结构上的双流设计而不是参数量上的堆砌。5.1 参数规模对训练效率的影响从前面Atari的计算可以看出大部分参数集中在全连接层。共享特征提取层负责从原始输入提取通用特征这部分参数决定了模型感知能力而V/A分支的参数只占极小比例。因此如果任务需要识别复杂的画面信息主要该加卷积层的深度或宽度如果任务本身只是状态向量比较小比如4维输入主要加共享隐藏层宽度就行。参数越多训练所需样本也会越多。强化学习里样本获取成本高所以并不是网络有多大就上多大。我用一个较小的共享网络跑CartPole时参数量4680不到已经能学到近乎完美的策略强行加宽到512以后参数量到了10000以上训练反而慢早期还需要更多探索才能稳定。相比参数多少双流结构带来的泛化增益更值得看重。5.2 何时选择D3QN何时不选D3QN适合的任务一般具备这些特征状态价值差重要性高于动作优势差动作空间明确且不太大需要快速样本效率高的离线学习。比如在模拟器控制任务、相关棋类小棋盘任务上D3QN表现通常优于普通DQN。但如果任务本身就要求你对每个动作的长远效果做精细区分优势分支的表达能力可能成为瓶颈。这时可以考虑直接用普通的Double DQN也可以引入更复杂的方法比如优势函数拆解成更细的结构。D3QN的优势不是万能的过估计压制只相对于原版DQN有改进并不保证不再过估计。在实践里如果你的任务有现成的特征工程不太依赖网络自动提取状态特征那D3QN的Dueling结构带来的提升很小反倒不如用Double DQN再加一层经验回放优化来得直接。5.3 后续思路从D3QN走向更完整的组合D3QN本身已经是一个稳定的基线但它的参数个数和网络结构也为你理解后面的强化学习算法铺了路。比如Rainbow把DQN、Double DQN、Dueling、优先经验回放等多个改进融合在一起网络主体结构和D3QN几乎一样只是增加了更多模块。理解和计算参数个数的方法完全可以迁移过去。对于更进阶的玩家你可能还会想关注分布式价值分布、NoisyNet、多步目标这些扩展。它们在结构上改动并不大但参数个数变化都有规律。比如NoisyNet会在每个全连接层加入带噪声的权重参数个数翻倍分布式价值分布则会把输出层从单值改成多个分位点的输出参数个数变为原来的N倍。每次做改进前我都建议先算一遍改动后的参数量这能帮你判断显存占用和训练速度是否可接受。6. 最后分享一个实践中的小习惯如果让我给这篇文章做一个非正式的收尾我想重复一句自己排查了很多次才积累下来的话参数个数计算是强化学习代码里最好的维度对齐测试。你不需要把每个数算得特别精确但当你发现打印出来的参数量和你手动算的表格不一致时你的网络结构里一定有一个地方超出了你的直觉。停下来去分层打印每一层的输入输出shape几乎每次都能找到问题。最近我在做一个新环境动作空间从2升到了40网络参数从几千变成了几万训练速度明显变慢。这时我又想起了D3QN结构的本质如果只增加了动作空间V分支的参数量不变只有A分支线性增长。所以动作很多但状态简单的时候可以考虑用共享特征层后再用一些小技巧压缩A分支的维度而不是盲目加宽整个网络。这些决策没有人会写进教程里都是靠你自己把网络结构算清楚后摸索出来的。希望这篇文章能让你少走一点我走过的弯路。
最近调一个深度强化学习模型打印完参数量总觉得哪里不对对着公式和数据手册核了半天才发现是双流网络结构里优势层的输出维度写岔了。这个经历让我意识到很多跑过D3QN的同行其实对它的网络结构理解只停留在Double DQN和Dueling DQN拼在一起这种层面。等真的自己从头搭模型、手算参数个数、调试训练曲线的时候就会遇到一堆莫名其妙的问题。这篇文章我想认真把D3QN的网络结构拆开并把参数个数计算的来龙去脉讲清楚顺便分享一些我从实际代码里踩坑换来的核对经验。无论是刚开始摸强化学习的同学还是已经在调DQN系列但想搞清楚模型背后参数细节的人都应该能从这里得到点有用的东西。1. D3QN是什么从两条修正路线说起D3QN的全称是Dueling Double DQN它是把Double DQN和Dueling DQN这两种改进融合到一起的算法。要理解它的网络结构必须先搞清楚这两个改进各解决了什么问题否则你看网络输出结构会觉得很突兀——为什么最后要分两条支路为什么要对优势取平均1.1 原始DQN的过估计问题我们先回忆一下标准DQN的做法。它用深度网络拟合动作价值函数Q(s, a)训练目标是让预测的Q值逼近Bellman目标y r γ * max_a Q(s, a; θ⁻)其中θ⁻是目标网络的参数。目标网络的意义是提供一个相对稳定的回归目标降低自举带来的震荡。但这个max操作有一个非常隐蔽的问题由于近似误差的存在max函数会系统性地放大正偏差。换句话说即使每个动作的Q估计误差是无偏的取最大值后也会留下一个正偏差。这个偏差在强化学习里有个专有名词叫过估计overestimation。它在一些环境下会累积导致策略退化成次优甚至完全学崩。我当时第一次看到这个结论时觉得有点反直觉毕竟取最大只是选择动作为什么会影响价值本身其实很好理解假设真实的Q值都是5但估计是5±ε的噪声分布max出来的结果大概率大于5于是目标值被抬高了。DQN的目标再用这个被抬高的目标去更新网络越更新越虚高。1.2 Double DQN动作选择与动作评估分离Double DQN的修正思路非常直接既然max是罪魁祸首那就把选动作和算价值拆开用两个网络来承担。具体来说主网络负责选择最优动作目标网络负责评估这个动作的价值目标变为y r γ * Q(s, argmax_a Q(s, a; θ); θ⁻)这里内层的argmax用的是当前主网络的参数θ决定下一步要执行哪个动作外层的Q评估用的是目标网络参数θ⁻决定这个动作到底值多少。因为两个网络的价值估计噪声不完全相关这样算出来的目标值就不会再被同一份噪声放大。我在实际实验里见过很多DQN训练后期loss不断下降但奖励一动不动的情况换成Double DQN之后奖励曲线才重新动起来可见过估计的影响对策略优化是实实在在的。1.3 Dueling DQN将价值函数拆成状态价值与动作优势Dueling DQN则是从网络结构层面动手。它把Q(s, a)拆成两项Q(s, a) V(s) A(s, a)V(s)表示处于状态s本身能带来的期望回报A(s, a)表示在状态s下选择动作a相对平均水平的优势。虽然数学上这么拆没什么新鲜感但网络结构变化带来了两个明显好处第一在很多环境里不同动作之间的差异不大决定胜负的关键是状态本身好不好比如自动驾驶中红灯停、绿灯行大多数情况下动作的价值差异远小于状态好坏造成的差异。拆开后共享的特征层可以专注学习状态特征价值支路负责刻画全局状态优势支路只学习动作间差异训练效率更高。第二V(s)和A(s,a)共享大部分网络参数利用率更高不容易过拟合。这里有一个细节必须注意如果直接做Q V A那么对于同一条状态sV(s)和A(s,a)之间存在无穷多组平移解网络无法唯一确定。所以Dueling DQN实际输出时会在优势部分减去一个基准量最常用的公式是Q(s, a) V(s) A(s, a) - mean_a A(s, a)减去所有动作优势的平均值可以让网络自动保证优势的均值为零从而让V分支和A分支的表示正交化。有些人写成减去max_a A(s,a)也可以但经验上减均值更稳梯度不会大起大落。1.4 D3QN把两种修正装进同一个目标函数D3QN做的事情就是同时使用这两条修正路线。一方面用Double DQN的动作选择/评估分离来压制过估计另一方面用Dueling结构增强状态价值的建模能力。于是最终的目标函数变成y r γ * [ V(s; θ⁻) A(s, argmax_a Q(s, a; θ); θ⁻) - mean_a A(s, a; θ⁻) ]其中Q的合并公式贯穿了Double DQN的选择过程。实际实现中主网络输出的是V和A再合成Q目标网络同样输出V_target和A_target但在计算target时要用主网络选择出的动作索引去目标网络的A分支里取值再加目标网的V。这个顺序一旦搞错Double DQN的修正效果就没了。我在很多开源代码里见过一种偷懒写法直接用主网络Q和argmax选动作然后用目标网络Q整体算价值。这种写法在结构上等价于目标网络输出的是完整Q值而完整Q值又来自V A - mean(A)此时Double DQN的选动作其实只影响目标Q取哪一个位置的值原则还是一样的。但如果自己从零实现还是小心一点比较好。2. D3QN网络结构拆解从输入到双流输出的完整链路了解了D3QN的由来接下来就可以一张一张图层去解剖。D3QN的网络结构并没有一个唯一的标准因为输入形态不同特征提取层完全不同。但不论输入是低维状态向量还是高维图像后面的双流输出结构是固定的。2.1 输入端状态表示方式强化学习里状态表示通常分两种。一种是低维特征向量比如CartPole里小车的位置、速度、杆的角度和角速度一共4个连续值另一种是图像帧堆叠比如Atari游戏拿最近的4帧84×84灰度图拼成一个84×84×4的tensor再缩放到[0,1]。输入端的维度直接决定第一层的参数个数。我在做项目时习惯把状态维度和动作维度都记成常量写在配置里比如STATE_DIM4, ACTION_DIM2。这样后面计算参数个数的时候可以很快核对也不会在搭建网络时把第一层的输入维度写错。2.2 共享特征提取层的设计逻辑中间层一般叫共享层feature extractor因为V和A两个分支都要从中取特征。低维状态下通常用1~3层全连接层激活函数用ReLU图像输入则用卷积层堆叠把原始像素空间抽象成更高维的特征图。共享层为什么要共享而不是为V和A各做一个独立的body道理很简单状态特征本身与动作无关的部分很多比如图像里物体的位置、数量、颜色这些特征无论是估计状态价值还是估计优势都用得上。共享参数让两部分特征互相增强减少冗余参数。同时共享层意味着前向传播只需要计算一次特征向量效率也高。对低维输入我常用一个两层的全连接共享层输出特征维度设成128或256。对图像输入经典做法是三层卷积加一层全连接。卷积核大小和步长要按输入尺寸算好最后展平的特征维度这是参数计算最容易出错的地方。2.3 价值流与优势流的结构共享层之后网络分岔成两个分支。价值流叫V_stream它的输出是一个标量V(s)也就是只对状态打分优势流叫A_stream它的输出是一个长度和动作数相同的向量每个元素对应该动作的相对优势。两个分支一般是各接一个全连接层然后接各自的输出层。V_stream的输出层权重形状是[hidden_dim, 1]没有偏置可以但最好还是有。A_stream的输出层权重形状是[hidden_dim, action_dim]。动作维度大的时候A_stream的计算量会明显上升因为需要对每个动作都输出一个优势值。有些任务动作空间上百维这时需要考虑用近似结构的Dueling变体但目前主流任务里动作维度都不大。2.4 输出端的合并公式V A - mean(A)前向传播的最后一步就是将两个分支的输出合并成Q值。具体合并方式前面提过Q(s, a) V(s) A(s, a) - (1/|A|) * sum_a A(s, a)这里的关键是减均值。为什么不是减max早期论文里用的是max但减均值能保证A分支的梯度分布更平滑训练更稳定。我实际实验中也感觉减均值收敛更快一些。因为max可能会让梯度在某些动作上过强尤其在动作空间不对称时。减mean则把优势限制在一个以零为中心的分布上V分支更容易学到状态的基础价值。还需要注意合并之后才能做loss计算。训练时主网络预测的Q(s,a)要拿出来与实际动作对应的值做误差目标网络则通过相同合并方式算出目标Q值。两个网络的合并逻辑必须完全保持一致否则整个训练就乱套了。3. 参数个数计算从公式到分步实例网络结构清楚了参数个数就可以精确算出来。这部分往往是很多入门者最头疼的地方因为总参数量不像网络结构一眼能看出多少但它直接影响模型占多少显存、推理速度多快也很能检验你对网络维度的理解。下面先给基础公式再给两个不同复杂度的完整计算示例。3.1 参数量计算的基础公式所有参数都来自全连接层和卷积层的权重与偏置。全连接层输入维度是in输出维度是out则参数个数为param_fc in × out out偏置项每个输出神经元都有一个所以加outen。卷积层输入通道Cin输出通道Cout卷积核高Kh、宽Kw参数个数为param_conv Cin × Cout × Kh × Kw Cout这里的偏置是每个输出通道一个数量是Cout不是Cout × Kh × Kw。卷积层共享权重和输入特征图的宽高无关这一点常被搞错。对于带BatchNorm或者更复杂结构的层还要加上BN的均值和方差参数每个通道两个可学习参数以及全局均值方差的统计量后两个是buffer不算可学习参数但占显存。D3QN一般不用BatchNorm用的是全连接加ReLU所以这里不展开。3.2 一个典型CartPole任务的网络参数计算用最简单的低维输入举例子。假设状态维度4动作空间2网络设计如下共享层全连接输入4输出64激活ReLU再堆一个全连接输入64输出64激活ReLUV_stream输出层全连接输入64输出1A_stream输出层全连接输入64输出2逐层算参数量第一层参数4×6464320第二层参数64×64644160V分支64×1165A分支64×22130主网络总参数3204160651304675这是单份网络的参数量。D3QN还需要一份目标网络它和主网络的结构完全一样所以总目标网络也是4675。两份加起来9350。虽然训练过程中主网络的梯度更新不影响目标网络但两个网络在内存里都是要被加载的。这个例子非常简单所以总参数不足一万。如果你在实现时用model.parameters()遍历求和应该得到4675。如果输出是2350之类那就要检查是不是优势分支的输出维度写错了。3.3 卷积层的参数量计算以Atari图像输入为例更常见的入门项目是让智能体学会玩Atari。输入84×84×44帧灰度图动作需求是18维典型结构如下卷积层132个8×8卷积核步长4输入通道4输出通道32卷积层264个4×4卷积核步长2输入通道32输出通道64卷积层364个3×3卷积核步长1输入通道64输出通道64展平后全连接层输入维度由最后一层特征图大小决定输出512V_stream输出层输入512输出1A_stream输出层输入512输出18先算卷积层参数第一层4×32×8×8328192328224第二层32×64×4×464327686432832第三层64×64×3×364368646436928接下来要确定展平后的特征维度。输入84×84经过第一层步长4卷积(84-8)/4120特征图20×20×32。经过第二层步长2卷积(20-4)/219特征图9×9×64。经过第三层步长1卷积(9-3)/117特征图7×7×64展平后得7×7×643136个特征值。所以后面全连接层参数3136×5125121605632V分支512×11513A分支512×18189234主网络总参数82243283236928160563251392341699363约170万。目标网络再加一份约340万。这个规模在DQN系列里算非常轻量了对比今天动辄上亿参数的模型来说微不足道但也能看出卷积层占了大头全连接层更是主要容量来源。如果你的输入尺寸稍有不同比如用84×84×2而不是4帧参数总量会少很多所以外部输入显存时变化很大。3.4 总参数量汇总与核对技巧为了方便核对可以把每一层参数量做成表格层名称输入维度输出维度参数量Conv14328224Conv2326432832Conv3646436928FC31365121605632V_stream5121513A_stream512189234合计--1699363每次自己搭模型时我会先这样列一次表再写代码。代码写完后用sum(p.numel() for p in model.parameters())快速打印出可学习参数的总数和表格里的合计对比。如果对不上十有八九是网络定义和预期有出入而不是计算错了。还有一个小技巧打印参数量时最好把主网络和目标网络分别打印。D3QN里两份网络各自独立有时候会出现目标网络初始化时把主网络的参数也给覆盖了的情况但打印的总数还是双份的——如果不分别打印根本发现不了。我就犯过这种低级错误训到后面发现两个网络参数一模一样最后查出来是copy操作里没注意参数绑定。4. 实现时的踩坑记录与参数量核对经验网络结构和参数个数在纸面上算清楚只是第一步。真正动手写代码和调训练时至少有四个地方值得多留意。这些坑看起来小但都可能导致模型训练失效。4.1 双流分支的维度对齐Dueling结构最大的坑就是V_stream和A_stream的输入维度。共享层输出的特征维度一旦设计得不一致前向传播会直接报错。移植别人的网络结构时很多人只关注最后输出忽略了共享层和分支层的维度匹配。假设共享层输出维度是128V_stream输入维度就得写成128A_stream也是128。如果V_stream只输出标量A_stream输出动作数那么输出向量再合并时必须保证A_stream的维度是[动作数]而不是[1, 动作数]或[128, 动作数]。批量训练时所有tensor的批维度也要对齐我在一个版本里就写过把V[:, 0]和A直接相加结果V被减掉一维和A的形状不匹配debug了快一个小时才发现少了个保持维度的操作。4.2 参数数目核对不要把目标网络算漏前文提过D3QN要同时维护主网络和目标网络训练时主网络梯度更新目标网络每隔固定步数从主网络拷贝一次参数。用框架自带方法统计参数量时通常会先统计主网络。如果直接统计“整个模型类”而这个类内部定义为包含target_net的子模块那么这个总参数量就是两份的。这种设计不算错但会让你误以为自己的模型很大。我从经验里学到的方法很简单在每次配置网络后就断言一下参数量。比如主网络4675的话就写一行断言如果结构改动后参数量对不上程序立刻报错帮我尽早发现问题。无人值守训练时这种早期断言很有用不用等看了几百轮loss才发现维度写错了。4.3 训练稳定性问题优势均值与正则化的细节Dueling分支合并时减的均值很多人写成在动作维度上A.mean(dim-1, keepdimTrue)。如果不加keepdimTrueA的形状会丢掉一维导致广播出错或者结果错误。另外减均值操作本身不是必须加ReLU的有的实现在A分支输出前加tanh激活把优势限制在(-1,1)之间这样可以防止优势值过大影响动作选择。我在一个连续状态任务里试过不加tanh发现A分支偶尔会输出很高的异常优势值加tanh后稳定多了。还有一点D3QN的Loss就是标准的均方误差一般在批量维度上计算loss mean( (r γ * Q_target - Q_main(s,a))² )这里Q_target需要用目标网络和主网络共同计算。如果实现里不小心用了主网络去算Q_target里外层的值那Double DQN的特性就消失了退化成普通DQN的Dueling版本。这个问题比较隐蔽因为训练曲线早期不会差别很大跑到后面才知道过估计又抬头了。检查时最直接的办法是打印出Q_main和Q_target的实际数值如果Q_target明显比Q_main高出很多且持续不回落就可能有这个问题。4.4 从代码里反查参数个数一行命令的用途如果你想在框架里直接看到每一层的参数个数而不想手算也有办法。很多框架的模型对象都允许遍历所有layer然后用layer.weight.numel() layer.bias.numel()算出每一层参数。也可以用类似model.summary()之类的方法打印出每层名称、输出尺寸和参数数量。不过我建议即使有了这些工具还是先自己推导一遍公式再和工具输出对比否则如果工具本身打印出来的结论你不理解出了错误也看不出门道。我的习惯是保留一份当前配置的结构表标明“共享层输出特征维度”、“V分支结构”、“A分支结构”、“总参数量”。当改动作数或改输入尺寸时我会先手动更新这张表再改代码然后快速跑一次打印参数量验证。这个流程一开始慢但熟练之后能节省大量debug时间。5. 从参数个数引申开去模型容量与下一步选择理解了D3QN的参数规模其实也就能更理智地评估它在不同任务中的表现。参数不是越多越好不是网络越大越强。D3QN的优势在于结构上的双流设计而不是参数量上的堆砌。5.1 参数规模对训练效率的影响从前面Atari的计算可以看出大部分参数集中在全连接层。共享特征提取层负责从原始输入提取通用特征这部分参数决定了模型感知能力而V/A分支的参数只占极小比例。因此如果任务需要识别复杂的画面信息主要该加卷积层的深度或宽度如果任务本身只是状态向量比较小比如4维输入主要加共享隐藏层宽度就行。参数越多训练所需样本也会越多。强化学习里样本获取成本高所以并不是网络有多大就上多大。我用一个较小的共享网络跑CartPole时参数量4680不到已经能学到近乎完美的策略强行加宽到512以后参数量到了10000以上训练反而慢早期还需要更多探索才能稳定。相比参数多少双流结构带来的泛化增益更值得看重。5.2 何时选择D3QN何时不选D3QN适合的任务一般具备这些特征状态价值差重要性高于动作优势差动作空间明确且不太大需要快速样本效率高的离线学习。比如在模拟器控制任务、相关棋类小棋盘任务上D3QN表现通常优于普通DQN。但如果任务本身就要求你对每个动作的长远效果做精细区分优势分支的表达能力可能成为瓶颈。这时可以考虑直接用普通的Double DQN也可以引入更复杂的方法比如优势函数拆解成更细的结构。D3QN的优势不是万能的过估计压制只相对于原版DQN有改进并不保证不再过估计。在实践里如果你的任务有现成的特征工程不太依赖网络自动提取状态特征那D3QN的Dueling结构带来的提升很小反倒不如用Double DQN再加一层经验回放优化来得直接。5.3 后续思路从D3QN走向更完整的组合D3QN本身已经是一个稳定的基线但它的参数个数和网络结构也为你理解后面的强化学习算法铺了路。比如Rainbow把DQN、Double DQN、Dueling、优先经验回放等多个改进融合在一起网络主体结构和D3QN几乎一样只是增加了更多模块。理解和计算参数个数的方法完全可以迁移过去。对于更进阶的玩家你可能还会想关注分布式价值分布、NoisyNet、多步目标这些扩展。它们在结构上改动并不大但参数个数变化都有规律。比如NoisyNet会在每个全连接层加入带噪声的权重参数个数翻倍分布式价值分布则会把输出层从单值改成多个分位点的输出参数个数变为原来的N倍。每次做改进前我都建议先算一遍改动后的参数量这能帮你判断显存占用和训练速度是否可接受。6. 最后分享一个实践中的小习惯如果让我给这篇文章做一个非正式的收尾我想重复一句自己排查了很多次才积累下来的话参数个数计算是强化学习代码里最好的维度对齐测试。你不需要把每个数算得特别精确但当你发现打印出来的参数量和你手动算的表格不一致时你的网络结构里一定有一个地方超出了你的直觉。停下来去分层打印每一层的输入输出shape几乎每次都能找到问题。最近我在做一个新环境动作空间从2升到了40网络参数从几千变成了几万训练速度明显变慢。这时我又想起了D3QN结构的本质如果只增加了动作空间V分支的参数量不变只有A分支线性增长。所以动作很多但状态简单的时候可以考虑用共享特征层后再用一些小技巧压缩A分支的维度而不是盲目加宽整个网络。这些决策没有人会写进教程里都是靠你自己把网络结构算清楚后摸索出来的。希望这篇文章能让你少走一点我走过的弯路。
