（论文速读）SwD：扩散模型的标度精馏

论文题目SCALE-WISE DISTILLATION OF DIFFUSION MODELS扩散模型的标度精馏会议ICLR 2026摘要最近的扩散蒸馏方法取得了显著的进展使大规模文本条件图像和视频扩散模型的高质量∼四步采样成为可能。然而进一步减少抽样步骤的数量变得越来越具有挑战性这表明效率收益可能会沿着其他模型轴更好地挖掘出来。在这一观点的启发下我们引入了SWD这是一个基于尺度的扩散精馏框架它为几步模型配备了渐进生成避免了在中间扩散时间步长的冗余计算。除了效率之外SwD通过引入基于最大平均偏差(MMD)的简单的斑块级精馏目标丰富了分布匹配精馏方法家族。这一目标显著改善了现有精馏方法的收敛并在分离时表现得出人意料地好为扩散精馏提供了一个有竞争力的基线。应用于最先进的文本到图像/视频扩散模型SWD接近两个全分辨率步骤的采样速度并在相同的计算预算下大大优于其他方法自动度量和人类偏好研究证明了这一点。项目页面https://yandex-research.github.io/swd.SwD用分辨率渐进重新定义扩散模型蒸馏背景扩散模型的加速瓶颈近年来文本生成图像/视频的扩散模型Diffusion Models, DMs已经达到惊人的生成质量但其慢速采样一直是最大痛点——原始模型往往需要 20~50 步才能生成一张高质量图像。对于参数量超过 80 亿的大规模模型如 FLUX、SD3.5以及需要在时间维度上同时建模的视频扩散模型如 Wan2.1这一问题尤为突出。扩散模型蒸馏Diffusion Distillation是目前最主流的加速方向。以 ADDAdversarial Diffusion Distillation和 DMD2Distribution Matching Distillation为代表的方法已经能将采样步数压缩到 4 步同时保持相当高的生成质量。然而当步数被进一步压缩到 1~2 步时质量急剧下滑说明减少步数这条路已接近极限继续沿这个方向挖掘的性价比越来越低。那么还有没有其他可以挖掘的效率维度这篇来自 Yandex Research 的论文给出了一个令人惊喜的答案分辨率。核心洞察噪声天然压制高频信息潜在空间的频谱分析论文的出发点是一个已在像素空间被证明的现象Rissanen et al., 2023; Dieleman, 2024扩散模型的逆向去噪过程本质上是一种隐式的频谱自回归——模型先生成低频粗结构再逐步恢复高频细节纹理。然而主流的大规模文生图/视频模型都工作在 VAE 的潜空间latent space而非像素空间。这个频谱视角是否同样成立论文对此进行了系统的实证验证。作者计算了 SD3.5 和 Wan2.1 的 VAE 潜空间在不同噪声时间步 t 下的径向平均功率谱密度RAPSD分别分析空间频率和时间频率针对视频。论文 Figure 1SD3.5 VAE 潜空间128×128的空间频谱分析左以及 Wan2.121×60×104的空间与时间频谱分析右。蓝色高斯噪声紫色干净潜变量橙色不同时间步的含噪潜变量。绿色区域为当前时间步允许的最低安全分辨率红色区域表示进一步降分辨率会造成明显信息损失。观察结果十分清晰在高噪声时间步如 t800噪声会完全掩盖高频分量。以 SD3.5 为例t800 时128×128 潜空间中超过 32×32 分辨率以上的频率分量已被噪声完全淹没——也就是说在这一步以 32×32 的低分辨率运行与以 128×128 全分辨率运行信息量完全等价可以实现 4× 的空间降采样。视频的时间维度同样成立在 t600 时Wan2.1 的有效时间帧数可以从 21 帧压缩到约 11 帧而不损失信息。这一观察直接引出了论文的核心结论潜扩散模型允许在高噪声阶段以低分辨率运行在空间和时间维度上均如此。换言之现有的少步扩散模型在高噪声步骤中执行全分辨率计算是纯粹的冗余计算。方法SwDScale-Wise Distillation基于上述洞察论文提出了SwD——一个将任意预训练扩散模型蒸馏为渐进生成器的框架。4.1 核心设计尺度递进采样SwD 的核心思路是为每个扩散时间步配备一个对应的分辨率构成两个同步增长的时间表生成从最低分辨率的纯噪声开始每一步预测干净图像后将其上采样到下一分辨率再重新加噪进行下一步去噪如此循环直至达到目标全分辨率。论文 Figure 2SwD 的采样流程示意图。生成从低分辨率的噪声出发每步上采样预测并重新加噪分辨率逐步提升至目标分辨率。关键问题如何正确地在尺度间过渡直觉上在尺度切换时直接对含噪潜变量做上采样是最简单的方案但这会导致噪声方差失真和局部噪声相关性产生分布外OOD的含噪样本。论文的解决方案先上采样干净预测再重新加噪。用实验SD3.5 生成FID-5K 评估验证了三种策略的质量差异论文 Table 1三种含噪潜变量上采样策略的质量对比FID-5K。策略 A参考直接对原始全分辨率加噪策略 B本文方法先上采样再加噪策略 C朴素方法先加噪再上采样。结果表明策略 C先加噪再上采样在各噪声水平下均严重失真FID 高达 122~327策略 B先上采样再加噪在高噪声水平下与参考方案 A 接近FID14.7 vs 13.7t800这是因为高噪声掩盖了上采样伪影。实践中空间维度使用双三次插值时间维度使用相邻帧混合adjacent frame blending。4.2 训练流程论文 Figure 3SwD 的训练步骤示意图。① 从尺度表中采样相邻尺度对② 将训练图像分别降采样到和③ 将低尺度版本上采样并按时间步加噪④ 模型 G 预测目标尺度的干净图像⑤ 计算预测图像与目标图像之间的分布匹配损失。训练时模型对所有相邻尺度对 $[s_i, s_{i1}]$ 进行联合训练共享同一套 LoRA 参数相对于预训练教师模型添加的低秩适配层。实验中各模型使用的具体时间步和尺度表如下VAE 潜空间分辨率SDXLt[1000, 800, 600, 400]s[64, 80, 96, 128]SD3.5 Medium6步t[1000, 945, 896, 790, 737, 602]s[32, 48, 64, 80, 96, 128]FLUX4步t[1000, 945, 790, 602]s[32, 64, 96, 128]Wan2.1视频4步t[1000, 896, 737, 602]4.3 第二个创新MMD 蒸馏损失除了尺度递进框架论文还提出了一个新的蒸馏损失函数。现有分布匹配蒸馏方法如 DMD 中的反向 KL 散度依赖于额外训练一个Fake DM来估计学生模型的分布得分计算代价高昂。论文提出在预训练 DM 的中间 Transformer Block 的特征空间中计算最大均值差异MMD其中是从教师 DM 中间层提取的特征图L 为空间 Token 数C 为隐层维度。损失本质上是对每张图像的 Spatial Token 均值做 MSE等价于使用线性核的 MMD对齐特征分布的一阶矩。设计细节在提取特征之前将生成样本和目标样本均加入适量噪声时间步区间 $[0, 600]$以获得更结构化的中间层信号特征均值按图像维度per-image计算而非跨整个 batch以保留条件文本信息使用 RBF 核与线性核效果相当选择线性核以降低计算复杂度。总体损失函数实验结果5.1 文生图与 SOTA 的全面对比实验在 SDXL、SD3.5 Medium、SD3.5 Large、FLUX.1-dev 四个基座模型上验证评估数据集为 COCO 201430K和 MJHQ30K评估指标包括 PickScorePS、HPSv3、ImageRewardIR、FID 和 GenEval。论文 Table 3SwD 与各类主流开源模型的定量对比。粗体为各模型家族内最优下划线为第二优。核心数据亮点模型步数延迟s/图HPSv3MJHQIRMJHQFLUX 原模型3010.010.70.93FLUX-Schnell41.4110.30.96FLUX-SwD40.7211.61.06SD3.5-L 原模型288.310.41.04SD3.5-L-Turbo40.639.90.90SD3.5-L-SwD40.3911.11.22SwD 不仅在质量上全面超越了同步数的竞争对手延迟上也达到了当前最快水平。FLUX-SwD 的 0.72s 延迟约为 FLUX-Schnell1.41s的一半而质量显著更好。人类偏好研究进一步确认了这一趋势论文 Figure 6SwD 与各基线模型的人类偏好对比评估维度包括文本相关性、图像美学、图像复杂度和缺陷率。SwD 在图像美学和图像复杂度维度上全面领先文本相关性与各模型持平。唯一的弱点是 FLUX-SwD 相比 Hyper-FLUX 和 FLUX 原模型在缺陷维度略有不足论文将其归因于 SDXL 和 Wan2.1 仅使用而非完整损失。定性对比图像质量论文 Figure 4FLUX-SwD 与 SD3.5 Large SwD 的生成样例与 FLUX-Schnell、FLUX 原模型、SD3.5 Large 原模型对比。论文 Figure 15FLUX-SwD 与 SD3.5 Large SwD 更多生成样例展示细节丰富度和画面复杂度的优势。5.2 尺度递进 vs. 全分辨率同等算力下的对比这一对比实验直接回答了核心问题SwD 的质量提升到底是靠多出来的步数还是渐进生成本身带来的论文将 SwD 的生成延迟与全分辨率基线对齐对比相同时间预算下的生成质量论文 Figure 7SD3.5 Medium 的尺度递进与全分辨率生成质量对比左生成样例右人类偏好研究。左图展示了 2 步全分辨率基线的高缺陷率文字渲染模糊、细节失真而同等算力下的 4 步 SwD 在缺陷和复杂度上有明显优势。人类评估结果显示在相同步数4步 vs. 4步、6步 vs. 6步下SwD 与全分辨率版本质量相当而在相同时间预算下SwD-4步 vs. 全分辨率-2步SwD 在减少缺陷和提升图像复杂度上具有显著优势。自动指标Table 7、Table 8同样表明 SwD 可以与甚至超越同步数的全分辨率对照组。运行时间的具体数据论文 Table 4尺度递进与全分辨率设置的采样时间秒/图对比。设置步数SD3.5-MSD3.5-LFLUXWan2.1全分辨率40.290.631.415.51尺度递进40.170.320.721.84全分辨率20.160.330.722.97尺度递进60.190.410.972.61对于文生图SwD 实现约2× 推理加速对于文生视频Wan2.1加速比达约3×1.84s vs. 5.51s。训练速度同样提升约 2~3×论文 Table 5使用完整损失和仅使用时尺度递进与全分辨率 4 步设置的训练迭代时间秒/迭代。训练时SwD 使用完整目标在 FLUX 上将迭代时间从 22.8s/iter 降至 11.3s/iter~2×若仅使用进一步降至 1.4s/iter快达原来的16×。论文 Figure 10FLUX 模型的尺度递进与全分辨率设置人类偏好对比参见附录 D。论文 Figure 11、Figure 124 步尺度递进与 2 步全分辨率 SD3.5 Large、FLUX 的生成样例对比直观展示 2 步全分辨率的文字渲染错误和细节模糊。5.3 文生视频结果论文 Table 2SwD 各变体与 Wan2.1 及 CausVid 的对比。模型延迟s/视频VisionRewardVideoRewardVBench2 OverallWan2.1 原模型1370.0385.4351.6CausVid3步4.20.0426.2152.3Spatial SwD4步2.10.0646.1552.8SwD4步时空1.80.0646.2753.2SwD 比原始 Wan2.1 快72×比同类视频蒸馏方法 CausVid 快2.3×且在 VBench2.0 总分53.22和 VideoReward6.27上均更优。特别值得注意的是时空联合渐进生成SwD相比纯空间渐进Spatial SwD在速度上进一步提升质量不降反升。论文 Figure 5Wan2.1-SwD 与 Wan2.1 原模型、CausVid 的视频生成定性对比。论文 Figure 14Wan2.1-SwD 更多视频生成样例包括流星撞击、动画场景、动物运动等多种类型。论文 Table 12在 VBench2.0 全部 18 项指标上的完整对比。5.4 MMD 损失消融实验论文 Table 6目标的消融研究SD3.5-Medium SwDMJHQ30K。结果说明仅用性能略低于完整目标但差距很小已经是一个有竞争力的独立蒸馏方法去掉则性能显著下滑HPSv3 从 10.7 降至 9.7FID 从 13.6 升至 19.5说明在完整目标中不可或缺对设计选项的消融使用 RBF 核A效果与线性核相当使用 batch 级平均B会损失图像级条件信息性能下滑不对特征输入加噪C同样使性能变差。论文 Figure 8SwD 完整模型与仅使用蒸馏模型的人类偏好对比验证了单独使用时的竞争力。论文 Figure 16SwD 完整损失与仅的定性生成对比可以看出单独使用时在视觉质量上非常接近完整目标。局限性与讨论论文也诚实地指出了 SwD 的局限性当教师模型本身在低分辨率下生成质量较差时如 SDXL 在 256×256 下几乎无法生成有意义的图像基于教师得分的会继承教师的缺陷此时需要切换为和。论文用附录 B 和 Figure 9 详细分析了这一问题并指出和对低分辨率教师的鲁棒性更强。论文 Figure 9SD3.5 在 256×256 下生成裁剪图像而非完整构图SDXL 完全无法生成有意义的低分辨率图像。SwD 通过和成功适应这两种情况。此外尺度表的设计从哪个分辨率开始、每步增长多少目前仍是超参数需要少量调优。论文发现从 2~4× 低分辨率出发是一个较好的起点并且方法对具体数值并不非常敏感Table 9 验证了渐进增长比跳跃到全分辨率重要。总结SwD 提供了一个清晰的视角在扩散模型的少步生成中分辨率是一个被严重低估的效率轴。通过频谱分析建立理论依据再用精心设计的尺度递进蒸馏框架和高效的 MMD 蒸馏损失加以落地论文在多个 SOTA 文生图/视频模型上实现了推理速度文生图约 2×文生视频约 3× 的加速相对于同步数全分辨率版本生成质量在人类偏好研究和自动指标上均与全分辨率版本持平甚至更优训练效率仅使用时迭代速度可快 7× 以上即插即用SwD 框架可无缝集成到现有 ADD/DMD 蒸馏流程中无需重新设计架构。这一工作的更深远意义在于它打开了扩散模型加速在空间维度和时间维度上系统性探索的大门也为这一简洁而有效的蒸馏目标的进一步发展提供了有力背书。