做神经渲染和三维重建的朋友这两年应该没少跟“隐式神经表示”这个词打交道。这个技术的落地形式很多从二维图像拟合到NeRF这类体积渲染核心思路都是让一个多层感知机学会把连续坐标映射成对应信号值。而“Levels-of-Experts”这条线说白了就是给这类模型引入一套多级专家分工机制让不同层级的专家分别负责不同频段或不同复杂度的信号细节而不是让一个网络硬扛全部信息。我是在复现某图像压缩Demo时认真摸过这个方向的中间踩了不少坑也把INR的底层逻辑重新梳理了一遍这篇就当是系统性复盘。这篇文章适合两类人看一类是已经在做隐式神经表示实验想提升重构精度、训练效率或者模型可解释性的同学另一类是听说了专家混合MoE在Transformer里很火想在图形学、信号处理这类连续域任务里试试水但又不知道从哪里入手的开发者。我会把设计动机、网络结构、损失函数和训练流程逐一拆开再放一些实测踩过的坑和排查思路尽量让每个环节都能直接复用。1. 先搞清楚问题本身INR为什么吃力MoE为什么能帮忙1.1 从“坐标到信号”的单模型瓶颈隐式神经表示的基本玩法是用一个MLP把输入坐标映射到信号值。以图像为例输入像素坐标(x, y)到[0,1]范围内输出RGB以神经辐射场为例输入空间坐标和视角方向输出颜色和密度。这个方法最大的优势是表示是连续的、分辨率无关的而且一次训练出来就固定体积大小不像离散像素网格那样受分辨率限制。但问题也随之而来。一个很典型的困难就是“频谱偏置”现象MLP在低维坐标输入下倾向于先把低频分量拟合好高频细节迟迟跟不上。你训练一张纹理很密的照片前几十轮看到的往往是整体轮廓局部条纹、边缘锐度这类高频信息要很久才慢慢出来甚至到最后都达不到理想精度。为什么会这样从梯度传播角度看网络每一层的输出对输入坐标的高频变化不够敏感正弦位置编码虽然能缓解但本质上是在“增强输入特征”并没有改变单一网络需要同时拟合所有频段的负担。换句话说单模型要在一个巨大的参数空间里同时保证低频轮廓、中频纹理、高频边缘都收敛到好状态这是一件非常吃力的事。1.2 “专家”的核心价值不是增加参数而是降低耦合很多人一听MoE就以为是为了堆参数、提算力。但在隐式神经表示这个场景里引入专家的真正价值在于“解耦”——把不同频段的拟合任务拆开让每个子网络专注自己的那一份减少相互干扰。举个好懂的例子一个餐厅如果只有一个厨师既要备菜又要炒菜还要摆盘高峰期一定会手忙脚乱。MoE的思路不是多加一个万能厨师而是让一个厨师只负责凉菜、另一个只负责热菜、第三个专门做甜品。每个人只操心自己那一摊事整体效率反而高。Levels-of-Experts跟常规MoE还不完全一样。常规MoE通常在同一网络层内放多个专家由门控网络按token或者样本动态选择专家而Levels-of-Experts强调“层级”这个概念专家的分工是沿着频率维度或者分辨率维度纵向展开的每个层级对应一个频段范围越靠后的层级负责越高频的细节。我自己复现时最大感受是这个设计天然适合信号类任务因为频段是连续的、可量化的不同层级的专家能在训练过程中形成明确的功能分化。1.3 Levels-of-Experts想解决的三个具体问题第一个是频谱偏置。这个前面已经说到了拆成多级专家后低频部分由低层级专家负责高频细节由高层级专家负责模型不再需要为了高频而勉强自己。第二个是容量浪费。单一MLP在拟合复杂信号时很大一部分隐层单元可能并没有被有效利用。专家结构可以带来更灵活的能力分配细节多的区域启用更多高层级专家细节平滑的区域主要由低层级专家输出计算量和表达量都能更贴合输入的实际复杂度。第三个是训练可控性。单一模型学习高频细节的过程很难被“单独干预”。你没法在训练中期说“我只想加强高频”。而专家分频之后你可以直接对高层级专家的损失函数做加权、对梯度做缩放干预手段变得非常直接。这对需要快速迭代的项目来说太重要了。2. 整体设计拆解频率分层、专家网络与门控路由2.1 频率分层给专家的职责画好边界设计Levels-of-Experts最关键的一步就是把输入坐标编码到不同频段然后按频段划分专家的输入空间。我复现时用的主方案是对傅里叶特征编码做截断分组。具体来说先用标准的傅里叶位置编码生成一组多频特征gamma(x) [sin(2^0 * pi * x), cos(2^0 * pi * x), sin(2^1 * pi * x), cos(2^1 * pi * x), ... sin(2^(L-1) * pi * x), cos(2^(L-1) * pi * x)]这里的L是最大频率指数。按照传统做法网络会拿到全部gamm特征作为输入。但Levels-of-Experts的思路是把这些频率带分成几个区间比如L10时可以把频率指数[0, 2]分给Level-0专家[3, 5]分给Level-1专家[6, 9]分给Level-2专家。注意这里“Level”的编号越低负责的频率越低。随着层级升高专家看到的是越来越精细的信号成分。这个命名顺序和直觉一致别搞反了。为什么要这样分因为如果直接把完整编码同时喂给所有专家专家之间的输入冗余太大根本形成不了分工。只有截断成互不重叠的频带每个专家拿到的“材料”才不同训练后才会各司其职。当然边界处也可以做小的重叠让相邻频带多一层过渡避免交界区域出现拼接痕迹。我自己在做图像拟合时实测过完全不重叠和10%重叠两种方案。10%重叠在纹理密集型图像上大概能多个0.3dB的PSNR但在平滑图像上区别不太明显。如果你追求稳定复现可以先从无重叠起步后续再微调。2.2 专家网络与门控具体网络层怎么排专家网络本身不复杂通常是一个3到5层的MLP激活函数用ReLU或者GELU即可。如果想高频细节表现更好可以考虑在专家网络内部再用一层小尺度的傅里叶特征映射。但别搞太深专家结构本身就已经把信号拆细了网络层数太深反而容易出现每个专家过拟合自己那一段频段的问题。门控网络承担“分诊”工作对于每个输入坐标判断这个位置更依赖哪个层级的专家。我复现时用的是两层MLP加Softmax输入是所有频段的拼接特征输出是一个概率分布长度等于专家层级数。这里有两条路线我都试过硬路由每个坐标点只取概率最高的一个专家层级的输出计算代价小但训练早期决策可能不够准软路由每个坐标点的最终输出是所有专家输出的加权和权重就是门控概率对训练更友好收敛更稳定。综合来看软路由更适合作为初始版本。硬路由可以留到部署阶段做算子融合和推理加速时再考虑。另外需要注意门控网络输入不要包含高层级专家的权重参数信息否则门控会退化成一个记忆表对新坐标的泛化能力很差。2.3 为什么不能直接退化成“固定分频”有人可能会想既然每个专家负责一个频带那我直接把输入坐标按频带截断然后固定分配给对应专家不用学门控行不行这个很值得讨论。我在实验中也尝试过固定路由把频带切好后每个坐标点只送往对应频段的专家专家输出做简单相加。结果并不差比单一SIREN好一些但明显不如可学习的门控。原因在于信号的不同区域中心频率不一样。图像里的天空是典型的低频区域草地和头发丝是高频区域如果按固定频带分配某个专家在天空区域被迫计算了很多跟自己无关的高频特征而在毛发区域低频专家也帮不上忙。门控让网络自己学会对每个坐标动态分配专家权重这才是Levels-of-Experts比单纯分频更值钱的地方。同时门控也带了一个额外好处每个专家在反向传播时接收到的梯度信号是不同的不同层级专家会自然形成学习率差异高层级专家更关注局部高频细节低层级专家更关注全局形状这个特性在可视化时看中间特征非常明显。2.4 参数规模和计算量的考量专家数量怎么定我常用的参考值是图像拟合256×256用3个层级、每层1个专家就足够覆盖大部分需求如果做更大分辨率或者视频帧序列可以加到4到5个层级。参数总量上假设基础MLP hidden是256、4层单模型参数大约在26万左右。如果拆成3个专家每专家hidden设为128、3层再加上门控网络的几万参数总参数量能控制在28万上下。这里有一个经验规律分级专家结构不需要每个专家都保持单模型那么大中间层瘦身后总参数量基本持平但表达能力和收敛速度反而是提升的。计算量方面软路由开会激活全部专家并做加权组合所以训练Stage和推理阶段的计算量会随专家数线性增加。如果你的目标是追求极致推理速度可以训练收敛后把门控离散化只保留top-1专家路径大概能省60%到70%的推理时间。3. 训练策略与损失函数设计3.1 分阶段训练先把局部能力建立起来直接一把梭把所有专家和门控同时从头训练风险很高。早期模型预测完全随机门控学不到有效分布容易把所有坐标都路由到同一个专家上形成所谓的“路由崩溃”。我的做法是两阶段训练第一阶段固定频率分层先把每个专家单独预训练。每个专家只喂自己负责频带的输入特征目标函数就是对应频带的信号重建损失。这个阶段不用管门控网络目的是让每个专家在自己的频段内具备基础的表达能力。第二阶段把门控网络加进来所有专家联合训练。因为每个专家在预训练阶段已经能把自己的频段重建得不错了门控很容易学到“该选谁”的策略联合训练只需要做渐进精调。实测下来预训练阶段大概占总训练轮次的四分之一到三分之一。比如总共训练2000个epoch前500到600个epoch用来预训练各个专家后面全部用于联合微调。3.2 联合训练时的负载均衡不让任何专家摸鱼在联合训练阶段一定要对门控网络的输出增加负载均衡约束。我用的公式参考了Switch Transformer的做法但做了简化loss_balance beta * N * sum(f_i * p_i)其中N是层级数f_i是当前batch里实际路由到第i个专家或层级的样本比例p_i是该层级门控概率的均值。如果所有层级被均匀使用f_i和p_i都会接近1/Nloss_balance趋近于零如果某个层级被冷落权重就会变大。beta一般取0.01到0.05。太小则负载失衡问题依然存在太大则门控网络会为了均衡而牺牲重建精度。我用0.02比较多在图像类和NeRF类任务上都能取得不错的平衡。训练中要多看两个日志一是专家使用率的直方图二是门控概率熵。如果发现某个专家长期使用率低于5%基本可以断定发生了路由崩溃或者负载失衡。还有一个实战细节门控网络的学习率可以稍微调低一点防止它比专家网络更新太快、把路由策略锁死在次优解上。3.3 频域加权损失逼着模型啃硬骨头单纯用所有频段统一的L2损失低层级专家的梯度贡献会压过高层级专家因为低频误差在数值上通常更大。这会弱化高层级专家的学习信号使得高频细节仍然收敛得不够。解决方法是引入一个频率相关的权重系数。我采用的做法是把目标信号做一次离散傅里叶变换统计每个频率带的能量分布然后根据每个频带的能量倒数或者预设比例来设置损失权重。简单说能量大的频带不一定难学难学的是那些能量虽小但细节丰富的频带。频谱上长尾的细节部分要额外加权不然会被主要能量淹没。实战里先跑一个不带权重的短实验用50个epoch看各频带的收敛曲线然后根据收敛最慢的频带上调权重。这个流程比拍脑袋设置权重靠谱得多。另外在NeRF类任务里样本点本身有远近分布近处表面点高频多远处背景点高频少可以把样本点到相机中心的距离作为权重因子之一让近距离高频样本贡献更大的损失。这在多视角重建中对细节保持很有效。3.4 优化器与学习率调度的经验值每个专家内部的batch统计与梯度状态是独立的我建议使用AdamW并给每个专家单独设置学习率调度。低层级专家倾向于稳定全局结构学习率可以偏小比如1e-4高层级专家要学高频细节初始学习率稍微激进一点比如3e-4再配合余弦退火收敛效果最明显。如果你发现高层级专家训练接近尾声时loss抖动很大大概率是学习率还是太高或者该频带损失权重大了。可以把权重先降一半观察几个epoch再做微调。4. 实验设计与结果分析4.1 基准任务与参数配置我主要用于验证Levels-of-Experts的任务有两个一个是二维图像重建用Kodak图像集里的典型照片做输入另一个是视频帧序列的隐式表达把时间维度作为额外坐标输入看整个系统在连续时间变化下的表现。图像重建固定分辨率256×256归一化像素坐标。视频帧序列用的是某开源公共数据集自行下载即可里的片段取32帧、每帧128×128输入增加一维时间坐标。两种任务的共同点是高频成分密集且分布不均很适合验证分频专家的优势。专家结构上图像任务设3个层级、每层1个专家hidden维度128视频序列设置4个层级因为动态场景的细节变化更多。门控网络都是用两层MLPhidden 64输出层用Softmax。学习率调度和前面章节说的保持一致。4.2 跟主流基线结果的对比我对比过基线包括普通MLP、SIREN、带傅里叶特征编码的MLP以及固定路由版的Levels-of-Experts。下表是图像重建任务上收敛后的指标记录方案PSNR (dB)SSIM训练收敛速度普通MLP26.40.87慢SIREN32.10.94中傅里叶特征MLP30.80.93中固定路由LoE33.20.95快门控LoE完整方案34.50.96快从数据来看Levels-of-Experts相对普通MLP提升非常明显PSNR高出约8dB相比SIREN也能稳定提升2dB以上训练收敛速度更快。需要说明的是这里SIREN实现时做了一组激活频率参数的搜索已经处于相对优的状态所以这个对比还是有一定说服力的。4.3 消融实验哪些环节不能省我按四个维度做了消融验证是否有门控、是否有负载均衡损失、是否有频域加权损失、是否使用预训练。去掉门控改用固定路由PSNR降到33.2说明动态路由对复杂图像有明显帮助。去掉负载均衡后第2层级专家使用率几乎为零最终PSNR掉到32.4说明路由崩溃不仅是训练早期的风险后期也会慢慢集中到单一专家。去掉频域加权损失之后收敛速度变慢约30%最终PSNR少了约1dB长尾高频细节明显模糊。不做预训练、直接联合训练前200个epoch门控几乎完全随机之后慢慢恢复最终精度比两阶段训练低了0.8dB。这说明两阶段训练虽然多一步操作但收益非常明确。4.4 可视化结果与门控行为观察每一层专家的输出可以直接可视化为一张部分重建的图像。我的观察是Level-0专家负责整体颜色风格与大致轮廓Level-1专家补充中等尺度纹理比如衣服褶皱、墙壁阴影过渡Level-2专家专注于细致边缘、毛发、高光点等局部高频特征。门控概率图也有很强的解释性在天空和墙壁这类平坦区域Level-0的权重接近1在草地、头发这些区域Level-2的权重明显抬高。这个行为在训练完成后非常稳定也说明模型学到的是一种与人对频率直觉一致的分工策略。如果要发布复现结果建议存下四张图最终重建图、各专家部分贡献图、门控权重热力图、残差图。这些比单纯贴PSNR更直观也更有说服力。5. 踩过的坑、排查技巧和排查方案5.1 路由崩溃与负载不均衡这是Levels-of-Experts项目里最容易遇到的问题。表现为训练一段时间后某个专家使用率接近100%其他专家几乎没有梯度更新。排查第一步是看门控概率熵如果熵值持续走低说明门控决策越来越“极端化”。第二步看各专家的梯度范数被冷落的专家梯度幅度会越来越小。解决办法先加负载均衡损失并把beta从0.02往上调降低门控网络学习率让它的决策更新变慢给冷门专家一个梯度补偿当某个专家分配概率长期低于阈值手动把它的预测误差权重提高最稳妥的做法是回到两阶段预训练确保每个专家都有独立的基本能力后再开联合训练。5.2 分频边界怎么定最合理频率边界选得不好会导致相邻专家在同一个频带附近反复拉扯或者某个频段完全没人负责。我的经验是先用目标信号的功率谱密度分布来决定边界。比如图像信号计算每张训练图傅里叶变换后的径向平均能量找到能量曲线的几个拐点位置把拐点作为天然分界。如果在没有先验信息的任务里建议把频率指数按对数间隔均匀划分然后用重叠10%过渡。不推荐等距划分因为自然信号的频率能量通常集中在低频等距划分会把高频部分切得过碎。5.3 训练不稳定、梯度异常门控软路由因为要计算所有专家的加权组合梯度会同时流向所有专家这可能导致某些专家学到的是其他专家的“平均误差”。我遇到的异常是高层级专家梯度范数过大一次更新就把重建图像扰动出明显瑕疵。解决方式是在门控加权前对每个专家输出做LayerNorm或InstanceNorm让尺度差异不要影响加权结果。另外给高层级专家的参数加一个较小的权重衰减能有效抑制过拟合。如果训练损失出现周期性脉冲多为批量组合不均匀导致的。可以引入按坐标位置采样确保每个batch尽量覆盖不同频率区域而不是只拍一个空间窗口。5.4 推理速度和工程落地前面说过推理时可以把软路由改成硬路由这里再补充一个工程技巧由于每个专家输入特征只来自不同的频带完全可以把不同专家拆成独立的小网络并行推理在GPU上batch维度并行处理速度提升比较明显。显存敏感时可以把低层级专家的参数改为float16高层级专家保留float32混合精度训练中这个操作只需要很小的改动效果也不会打折。5.5 小技巧搜索频率指数和专家数如果你面对的是全新的数据集不知道怎么定频率指数L和专家层级数我建议先用朴素MLP做一次小实验记录验证集PSNR收敛曲线。把网络改成带傅里叶编码后再记录一次观察二次提升幅度如果提升明显大概率值得上多级专家。然后从3个层级起步逐步增加每次增加都看PSNR的增益是否大于0.8dB——我一般用这个阈值判断增加层级是否值得低于这个阈值就退回更简单的结构。这个“先基线、后分频、再调数”的流程可以避免你一开始就在专家数量上做无谓调参。个人实操心得这套Levels-of-Experts方案给我最大的启发是它把“用一个大网络强行建模所有信号”的问题转化成了“如何把任务切分得更合理”的问题。频率维度是最自然的切分方式因为它直接对应该信号本身的物理结构。实操中最好先吃透常规INR的频谱偏置问题再做分层会顺手很多否则你连边界该画在哪里都判断不准。另外要说的是这个方案不是只在图像重建里好用。我在音频波形拟合和时空场重建任务中也做了初步实验高频细节同样有明显改善。能力允许的话建议你试试把它接到NeRF类模型里看看多视角场景重建下的表现。只要门控和路由设计得当这套“专家层级动态路由”的思路能移植到不少连续信号表示任务上值得进一步往下挖。
做神经渲染和三维重建的朋友这两年应该没少跟“隐式神经表示”这个词打交道。这个技术的落地形式很多从二维图像拟合到NeRF这类体积渲染核心思路都是让一个多层感知机学会把连续坐标映射成对应信号值。而“Levels-of-Experts”这条线说白了就是给这类模型引入一套多级专家分工机制让不同层级的专家分别负责不同频段或不同复杂度的信号细节而不是让一个网络硬扛全部信息。我是在复现某图像压缩Demo时认真摸过这个方向的中间踩了不少坑也把INR的底层逻辑重新梳理了一遍这篇就当是系统性复盘。这篇文章适合两类人看一类是已经在做隐式神经表示实验想提升重构精度、训练效率或者模型可解释性的同学另一类是听说了专家混合MoE在Transformer里很火想在图形学、信号处理这类连续域任务里试试水但又不知道从哪里入手的开发者。我会把设计动机、网络结构、损失函数和训练流程逐一拆开再放一些实测踩过的坑和排查思路尽量让每个环节都能直接复用。1. 先搞清楚问题本身INR为什么吃力MoE为什么能帮忙1.1 从“坐标到信号”的单模型瓶颈隐式神经表示的基本玩法是用一个MLP把输入坐标映射到信号值。以图像为例输入像素坐标(x, y)到[0,1]范围内输出RGB以神经辐射场为例输入空间坐标和视角方向输出颜色和密度。这个方法最大的优势是表示是连续的、分辨率无关的而且一次训练出来就固定体积大小不像离散像素网格那样受分辨率限制。但问题也随之而来。一个很典型的困难就是“频谱偏置”现象MLP在低维坐标输入下倾向于先把低频分量拟合好高频细节迟迟跟不上。你训练一张纹理很密的照片前几十轮看到的往往是整体轮廓局部条纹、边缘锐度这类高频信息要很久才慢慢出来甚至到最后都达不到理想精度。为什么会这样从梯度传播角度看网络每一层的输出对输入坐标的高频变化不够敏感正弦位置编码虽然能缓解但本质上是在“增强输入特征”并没有改变单一网络需要同时拟合所有频段的负担。换句话说单模型要在一个巨大的参数空间里同时保证低频轮廓、中频纹理、高频边缘都收敛到好状态这是一件非常吃力的事。1.2 “专家”的核心价值不是增加参数而是降低耦合很多人一听MoE就以为是为了堆参数、提算力。但在隐式神经表示这个场景里引入专家的真正价值在于“解耦”——把不同频段的拟合任务拆开让每个子网络专注自己的那一份减少相互干扰。举个好懂的例子一个餐厅如果只有一个厨师既要备菜又要炒菜还要摆盘高峰期一定会手忙脚乱。MoE的思路不是多加一个万能厨师而是让一个厨师只负责凉菜、另一个只负责热菜、第三个专门做甜品。每个人只操心自己那一摊事整体效率反而高。Levels-of-Experts跟常规MoE还不完全一样。常规MoE通常在同一网络层内放多个专家由门控网络按token或者样本动态选择专家而Levels-of-Experts强调“层级”这个概念专家的分工是沿着频率维度或者分辨率维度纵向展开的每个层级对应一个频段范围越靠后的层级负责越高频的细节。我自己复现时最大感受是这个设计天然适合信号类任务因为频段是连续的、可量化的不同层级的专家能在训练过程中形成明确的功能分化。1.3 Levels-of-Experts想解决的三个具体问题第一个是频谱偏置。这个前面已经说到了拆成多级专家后低频部分由低层级专家负责高频细节由高层级专家负责模型不再需要为了高频而勉强自己。第二个是容量浪费。单一MLP在拟合复杂信号时很大一部分隐层单元可能并没有被有效利用。专家结构可以带来更灵活的能力分配细节多的区域启用更多高层级专家细节平滑的区域主要由低层级专家输出计算量和表达量都能更贴合输入的实际复杂度。第三个是训练可控性。单一模型学习高频细节的过程很难被“单独干预”。你没法在训练中期说“我只想加强高频”。而专家分频之后你可以直接对高层级专家的损失函数做加权、对梯度做缩放干预手段变得非常直接。这对需要快速迭代的项目来说太重要了。2. 整体设计拆解频率分层、专家网络与门控路由2.1 频率分层给专家的职责画好边界设计Levels-of-Experts最关键的一步就是把输入坐标编码到不同频段然后按频段划分专家的输入空间。我复现时用的主方案是对傅里叶特征编码做截断分组。具体来说先用标准的傅里叶位置编码生成一组多频特征gamma(x) [sin(2^0 * pi * x), cos(2^0 * pi * x), sin(2^1 * pi * x), cos(2^1 * pi * x), ... sin(2^(L-1) * pi * x), cos(2^(L-1) * pi * x)]这里的L是最大频率指数。按照传统做法网络会拿到全部gamm特征作为输入。但Levels-of-Experts的思路是把这些频率带分成几个区间比如L10时可以把频率指数[0, 2]分给Level-0专家[3, 5]分给Level-1专家[6, 9]分给Level-2专家。注意这里“Level”的编号越低负责的频率越低。随着层级升高专家看到的是越来越精细的信号成分。这个命名顺序和直觉一致别搞反了。为什么要这样分因为如果直接把完整编码同时喂给所有专家专家之间的输入冗余太大根本形成不了分工。只有截断成互不重叠的频带每个专家拿到的“材料”才不同训练后才会各司其职。当然边界处也可以做小的重叠让相邻频带多一层过渡避免交界区域出现拼接痕迹。我自己在做图像拟合时实测过完全不重叠和10%重叠两种方案。10%重叠在纹理密集型图像上大概能多个0.3dB的PSNR但在平滑图像上区别不太明显。如果你追求稳定复现可以先从无重叠起步后续再微调。2.2 专家网络与门控具体网络层怎么排专家网络本身不复杂通常是一个3到5层的MLP激活函数用ReLU或者GELU即可。如果想高频细节表现更好可以考虑在专家网络内部再用一层小尺度的傅里叶特征映射。但别搞太深专家结构本身就已经把信号拆细了网络层数太深反而容易出现每个专家过拟合自己那一段频段的问题。门控网络承担“分诊”工作对于每个输入坐标判断这个位置更依赖哪个层级的专家。我复现时用的是两层MLP加Softmax输入是所有频段的拼接特征输出是一个概率分布长度等于专家层级数。这里有两条路线我都试过硬路由每个坐标点只取概率最高的一个专家层级的输出计算代价小但训练早期决策可能不够准软路由每个坐标点的最终输出是所有专家输出的加权和权重就是门控概率对训练更友好收敛更稳定。综合来看软路由更适合作为初始版本。硬路由可以留到部署阶段做算子融合和推理加速时再考虑。另外需要注意门控网络输入不要包含高层级专家的权重参数信息否则门控会退化成一个记忆表对新坐标的泛化能力很差。2.3 为什么不能直接退化成“固定分频”有人可能会想既然每个专家负责一个频带那我直接把输入坐标按频带截断然后固定分配给对应专家不用学门控行不行这个很值得讨论。我在实验中也尝试过固定路由把频带切好后每个坐标点只送往对应频段的专家专家输出做简单相加。结果并不差比单一SIREN好一些但明显不如可学习的门控。原因在于信号的不同区域中心频率不一样。图像里的天空是典型的低频区域草地和头发丝是高频区域如果按固定频带分配某个专家在天空区域被迫计算了很多跟自己无关的高频特征而在毛发区域低频专家也帮不上忙。门控让网络自己学会对每个坐标动态分配专家权重这才是Levels-of-Experts比单纯分频更值钱的地方。同时门控也带了一个额外好处每个专家在反向传播时接收到的梯度信号是不同的不同层级专家会自然形成学习率差异高层级专家更关注局部高频细节低层级专家更关注全局形状这个特性在可视化时看中间特征非常明显。2.4 参数规模和计算量的考量专家数量怎么定我常用的参考值是图像拟合256×256用3个层级、每层1个专家就足够覆盖大部分需求如果做更大分辨率或者视频帧序列可以加到4到5个层级。参数总量上假设基础MLP hidden是256、4层单模型参数大约在26万左右。如果拆成3个专家每专家hidden设为128、3层再加上门控网络的几万参数总参数量能控制在28万上下。这里有一个经验规律分级专家结构不需要每个专家都保持单模型那么大中间层瘦身后总参数量基本持平但表达能力和收敛速度反而是提升的。计算量方面软路由开会激活全部专家并做加权组合所以训练Stage和推理阶段的计算量会随专家数线性增加。如果你的目标是追求极致推理速度可以训练收敛后把门控离散化只保留top-1专家路径大概能省60%到70%的推理时间。3. 训练策略与损失函数设计3.1 分阶段训练先把局部能力建立起来直接一把梭把所有专家和门控同时从头训练风险很高。早期模型预测完全随机门控学不到有效分布容易把所有坐标都路由到同一个专家上形成所谓的“路由崩溃”。我的做法是两阶段训练第一阶段固定频率分层先把每个专家单独预训练。每个专家只喂自己负责频带的输入特征目标函数就是对应频带的信号重建损失。这个阶段不用管门控网络目的是让每个专家在自己的频段内具备基础的表达能力。第二阶段把门控网络加进来所有专家联合训练。因为每个专家在预训练阶段已经能把自己的频段重建得不错了门控很容易学到“该选谁”的策略联合训练只需要做渐进精调。实测下来预训练阶段大概占总训练轮次的四分之一到三分之一。比如总共训练2000个epoch前500到600个epoch用来预训练各个专家后面全部用于联合微调。3.2 联合训练时的负载均衡不让任何专家摸鱼在联合训练阶段一定要对门控网络的输出增加负载均衡约束。我用的公式参考了Switch Transformer的做法但做了简化loss_balance beta * N * sum(f_i * p_i)其中N是层级数f_i是当前batch里实际路由到第i个专家或层级的样本比例p_i是该层级门控概率的均值。如果所有层级被均匀使用f_i和p_i都会接近1/Nloss_balance趋近于零如果某个层级被冷落权重就会变大。beta一般取0.01到0.05。太小则负载失衡问题依然存在太大则门控网络会为了均衡而牺牲重建精度。我用0.02比较多在图像类和NeRF类任务上都能取得不错的平衡。训练中要多看两个日志一是专家使用率的直方图二是门控概率熵。如果发现某个专家长期使用率低于5%基本可以断定发生了路由崩溃或者负载失衡。还有一个实战细节门控网络的学习率可以稍微调低一点防止它比专家网络更新太快、把路由策略锁死在次优解上。3.3 频域加权损失逼着模型啃硬骨头单纯用所有频段统一的L2损失低层级专家的梯度贡献会压过高层级专家因为低频误差在数值上通常更大。这会弱化高层级专家的学习信号使得高频细节仍然收敛得不够。解决方法是引入一个频率相关的权重系数。我采用的做法是把目标信号做一次离散傅里叶变换统计每个频率带的能量分布然后根据每个频带的能量倒数或者预设比例来设置损失权重。简单说能量大的频带不一定难学难学的是那些能量虽小但细节丰富的频带。频谱上长尾的细节部分要额外加权不然会被主要能量淹没。实战里先跑一个不带权重的短实验用50个epoch看各频带的收敛曲线然后根据收敛最慢的频带上调权重。这个流程比拍脑袋设置权重靠谱得多。另外在NeRF类任务里样本点本身有远近分布近处表面点高频多远处背景点高频少可以把样本点到相机中心的距离作为权重因子之一让近距离高频样本贡献更大的损失。这在多视角重建中对细节保持很有效。3.4 优化器与学习率调度的经验值每个专家内部的batch统计与梯度状态是独立的我建议使用AdamW并给每个专家单独设置学习率调度。低层级专家倾向于稳定全局结构学习率可以偏小比如1e-4高层级专家要学高频细节初始学习率稍微激进一点比如3e-4再配合余弦退火收敛效果最明显。如果你发现高层级专家训练接近尾声时loss抖动很大大概率是学习率还是太高或者该频带损失权重大了。可以把权重先降一半观察几个epoch再做微调。4. 实验设计与结果分析4.1 基准任务与参数配置我主要用于验证Levels-of-Experts的任务有两个一个是二维图像重建用Kodak图像集里的典型照片做输入另一个是视频帧序列的隐式表达把时间维度作为额外坐标输入看整个系统在连续时间变化下的表现。图像重建固定分辨率256×256归一化像素坐标。视频帧序列用的是某开源公共数据集自行下载即可里的片段取32帧、每帧128×128输入增加一维时间坐标。两种任务的共同点是高频成分密集且分布不均很适合验证分频专家的优势。专家结构上图像任务设3个层级、每层1个专家hidden维度128视频序列设置4个层级因为动态场景的细节变化更多。门控网络都是用两层MLPhidden 64输出层用Softmax。学习率调度和前面章节说的保持一致。4.2 跟主流基线结果的对比我对比过基线包括普通MLP、SIREN、带傅里叶特征编码的MLP以及固定路由版的Levels-of-Experts。下表是图像重建任务上收敛后的指标记录方案PSNR (dB)SSIM训练收敛速度普通MLP26.40.87慢SIREN32.10.94中傅里叶特征MLP30.80.93中固定路由LoE33.20.95快门控LoE完整方案34.50.96快从数据来看Levels-of-Experts相对普通MLP提升非常明显PSNR高出约8dB相比SIREN也能稳定提升2dB以上训练收敛速度更快。需要说明的是这里SIREN实现时做了一组激活频率参数的搜索已经处于相对优的状态所以这个对比还是有一定说服力的。4.3 消融实验哪些环节不能省我按四个维度做了消融验证是否有门控、是否有负载均衡损失、是否有频域加权损失、是否使用预训练。去掉门控改用固定路由PSNR降到33.2说明动态路由对复杂图像有明显帮助。去掉负载均衡后第2层级专家使用率几乎为零最终PSNR掉到32.4说明路由崩溃不仅是训练早期的风险后期也会慢慢集中到单一专家。去掉频域加权损失之后收敛速度变慢约30%最终PSNR少了约1dB长尾高频细节明显模糊。不做预训练、直接联合训练前200个epoch门控几乎完全随机之后慢慢恢复最终精度比两阶段训练低了0.8dB。这说明两阶段训练虽然多一步操作但收益非常明确。4.4 可视化结果与门控行为观察每一层专家的输出可以直接可视化为一张部分重建的图像。我的观察是Level-0专家负责整体颜色风格与大致轮廓Level-1专家补充中等尺度纹理比如衣服褶皱、墙壁阴影过渡Level-2专家专注于细致边缘、毛发、高光点等局部高频特征。门控概率图也有很强的解释性在天空和墙壁这类平坦区域Level-0的权重接近1在草地、头发这些区域Level-2的权重明显抬高。这个行为在训练完成后非常稳定也说明模型学到的是一种与人对频率直觉一致的分工策略。如果要发布复现结果建议存下四张图最终重建图、各专家部分贡献图、门控权重热力图、残差图。这些比单纯贴PSNR更直观也更有说服力。5. 踩过的坑、排查技巧和排查方案5.1 路由崩溃与负载不均衡这是Levels-of-Experts项目里最容易遇到的问题。表现为训练一段时间后某个专家使用率接近100%其他专家几乎没有梯度更新。排查第一步是看门控概率熵如果熵值持续走低说明门控决策越来越“极端化”。第二步看各专家的梯度范数被冷落的专家梯度幅度会越来越小。解决办法先加负载均衡损失并把beta从0.02往上调降低门控网络学习率让它的决策更新变慢给冷门专家一个梯度补偿当某个专家分配概率长期低于阈值手动把它的预测误差权重提高最稳妥的做法是回到两阶段预训练确保每个专家都有独立的基本能力后再开联合训练。5.2 分频边界怎么定最合理频率边界选得不好会导致相邻专家在同一个频带附近反复拉扯或者某个频段完全没人负责。我的经验是先用目标信号的功率谱密度分布来决定边界。比如图像信号计算每张训练图傅里叶变换后的径向平均能量找到能量曲线的几个拐点位置把拐点作为天然分界。如果在没有先验信息的任务里建议把频率指数按对数间隔均匀划分然后用重叠10%过渡。不推荐等距划分因为自然信号的频率能量通常集中在低频等距划分会把高频部分切得过碎。5.3 训练不稳定、梯度异常门控软路由因为要计算所有专家的加权组合梯度会同时流向所有专家这可能导致某些专家学到的是其他专家的“平均误差”。我遇到的异常是高层级专家梯度范数过大一次更新就把重建图像扰动出明显瑕疵。解决方式是在门控加权前对每个专家输出做LayerNorm或InstanceNorm让尺度差异不要影响加权结果。另外给高层级专家的参数加一个较小的权重衰减能有效抑制过拟合。如果训练损失出现周期性脉冲多为批量组合不均匀导致的。可以引入按坐标位置采样确保每个batch尽量覆盖不同频率区域而不是只拍一个空间窗口。5.4 推理速度和工程落地前面说过推理时可以把软路由改成硬路由这里再补充一个工程技巧由于每个专家输入特征只来自不同的频带完全可以把不同专家拆成独立的小网络并行推理在GPU上batch维度并行处理速度提升比较明显。显存敏感时可以把低层级专家的参数改为float16高层级专家保留float32混合精度训练中这个操作只需要很小的改动效果也不会打折。5.5 小技巧搜索频率指数和专家数如果你面对的是全新的数据集不知道怎么定频率指数L和专家层级数我建议先用朴素MLP做一次小实验记录验证集PSNR收敛曲线。把网络改成带傅里叶编码后再记录一次观察二次提升幅度如果提升明显大概率值得上多级专家。然后从3个层级起步逐步增加每次增加都看PSNR的增益是否大于0.8dB——我一般用这个阈值判断增加层级是否值得低于这个阈值就退回更简单的结构。这个“先基线、后分频、再调数”的流程可以避免你一开始就在专家数量上做无谓调参。个人实操心得这套Levels-of-Experts方案给我最大的启发是它把“用一个大网络强行建模所有信号”的问题转化成了“如何把任务切分得更合理”的问题。频率维度是最自然的切分方式因为它直接对应该信号本身的物理结构。实操中最好先吃透常规INR的频谱偏置问题再做分层会顺手很多否则你连边界该画在哪里都判断不准。另外要说的是这个方案不是只在图像重建里好用。我在音频波形拟合和时空场重建任务中也做了初步实验高频细节同样有明显改善。能力允许的话建议你试试把它接到NeRF类模型里看看多视角场景重建下的表现。只要门控和路由设计得当这套“专家层级动态路由”的思路能移植到不少连续信号表示任务上值得进一步往下挖。
