简介这份资源是面向深度学习入门者与图像生成爱好者的Tensorflow WGAN动漫头像生成实战教程与配套源码帮助读者从零理解生成对抗网络并动手训练出动漫风格头像。压缩包共23个文件约122KB以8个Python源码文件为核心覆盖模型构建、数据预处理、训练与测试等环节另含7个XML配置、2个vsdx流程图、2个PNG效果图及gitignore、iml等工程辅助文件目录结构清晰便于按模块阅读与调试。目前已有316人学习下载。读者可借助完整源码与教程掌握WGAN损失函数设计、生成器与判别器搭建、数据预处理及训练调参等关键流程并参考可视化图形理解网络结构适合希望将理论落地为可运行项目的开发者对照实践。1. 从一堆噪点到一张动漫脸WGAN 到底解决了什么问题如果你跑过最原始的 GAN 来生成动漫头像大概率经历过这种崩溃判别器三两下就把生成器按在地上摩擦loss 一个劲往 0 掉生成器输出全是灰蒙蒙的噪点训练到后面干脆整片同色。这不是你参数调错了而是原始 GAN 的损失函数用 JS 散度衡量两个分布的距离当真实分布和生成分布几乎没有重叠时梯度要么消失要么爆炸。WGAN 换了个思路用 Wasserstein 距离替代 JS 散度判别器不再输出「真/假」概率而是输出一个实数分数并且通过权重裁剪或梯度惩罚强制满足 Lipschitz 连续条件。落到动漫头像生成这个场景WGAN 带来的直接好处是训练曲线和生成质量正相关——loss 降了图确实在变好而不是玄学。这篇实战笔记面向两类人手里有 TensorFlow 环境、想跑通一个能出图的 WGAN 的工程师以及想搞清楚 WGAN 相比原始 GAN 在代码层面到底改了什么的人。下面从数据准备一路写到调参和排错代码可以直接抄。2. 数据管道与 WGAN 的 TensorFlow 实现骨架2.1 动漫头像数据集的获取与预处理动漫头像数据集常见做法是用公开的动漫人脸数据集图片数量在几万张量级分辨率参差不齐。我一般会先统一到 64×64原因是这个尺寸下 WGAN 能在单卡上几个小时内看到明显效果再大就得考虑 Progressive GAN 那套逐层增长策略了。预处理的核心是三件事统一尺寸、归一化到 [-1, 1]、打包成 tf.data 管道。import tensorflow as tf import os IMG_SIZE 64 BATCH_SIZE 64 DATA_DIR ./anime_faces # 存放所有头像图片的目录 def load_and_preprocess(path): img tf.io.read_file(path) img tf.image.decode_image(img, channels3, expand_animationsFalse) img tf.image.resize(img, [IMG_SIZE, IMG_SIZE]) img tf.cast(img, tf.float32) # 归一化到 [-1, 1]与生成器 tanh 输出范围对齐 img (img / 127.5) - 1.0 return img def build_dataset(data_dir, batch_size): paths [os.path.join(data_dir, f) for f in os.listdir(data_dir) if f.lower().endswith((.png, .jpg, .jpeg))] ds tf.data.Dataset.from_tensor_slices(paths) ds ds.shuffle(len(paths), seed42) ds ds.map(load_and_preprocess, num_parallel_callstf.data.AUTOTUNE) ds ds.batch(batch_size, drop_remainderTrue) ds ds.prefetch(tf.data.AUTOTUNE) return dsdecode_image用expand_animationsFalse是为了防止某些 GIF 被展开成多帧导致形状异常。归一化到 [-1, 1] 这一步必须和生成器最后一层的tanh激活对齐否则判别器收到的真实样本和生成样本尺度不一致训练直接崩。drop_remainderTrue保证每个 batch 形状固定避免最后一个不完整 batch 引发形状报错。num_parallel_calls和prefetch是常规加速手段数据量大的时候能明显减少 GPU 等数据的时间。2.2 生成器与判别器的网络结构设计WGAN 的生成器和判别器结构本身和 DCGAN 类似区别在判别器最后一层不加 sigmoid直接输出线性分数。生成器用转置卷积逐级上采样判别器用步长卷积逐级下采样。下面是一个在 64×64 上稳定工作的版本。from tensorflow.keras import layers, Model LATENT_DIM 128 def build_generator(): inputs layers.Input(shape(LATENT_DIM,)) x layers.Dense(4 * 4 * 256, use_biasFalse)(inputs) x layers.BatchNormalization()(x) x layers.LeakyReLU(0.2)(x) x layers.Reshape((4, 4, 256))(x) # 4x4 - 8x8 x layers.Conv2DTranspose(128, 4, strides2, paddingsame, use_biasFalse)(x) x layers.BatchNormalization()(x) x layers.LeakyReLU(0.2)(x) # 8x8 - 16x16 x layers.Conv2DTranspose(64, 4, strides2, paddingsame, use_biasFalse)(x) x layers.BatchNormalization()(x) x layers.LeakyReLU(0.2)(x) # 16x16 - 32x32 x layers.Conv2DTranspose(32, 4, strides2, paddingsame, use_biasFalse)(x) x layers.BatchNormalization()(x) x layers.LeakyReLU(0.2)(x) # 32x32 - 64x64输出层用 tanh outputs layers.Conv2DTranspose(3, 4, strides2, paddingsame, activationtanh, use_biasFalse)(x) return Model(inputs, outputs, namegenerator) def build_critic(): inputs layers.Input(shape(IMG_SIZE, IMG_SIZE, 3)) x layers.Conv2D(32, 4, strides2, paddingsame)(inputs) x layers.LeakyReLU(0.2)(x) x layers.Dropout(0.3)(x) x layers.Conv2D(64, 4, strides2, paddingsame, use_biasFalse)(x) x layers.BatchNormalization()(x) x layers.LeakyReLU(0.2)(x) x layers.Dropout(0.3)(x) x layers.Conv2D(128, 4, strides2, paddingsame, use_biasFalse)(x) x layers.BatchNormalization()(x) x layers.LeakyReLU(0.2)(x) x layers.Dropout(0.3)(x) x layers.Conv2D(256, 4, strides2, paddingsame, use_biasFalse)(x) x layers.BatchNormalization()(x) x layers.LeakyReLU(0.2)(x) x layers.Flatten()(x) # 关键WGAN 判别器输出标量分数不加 sigmoid outputs layers.Dense(1)(x) return Model(inputs, outputs, namecritic)生成器输入是 128 维噪声经过全连接映射到 4×4×256 的特征图再经过四次转置卷积上采样到 64×64。判别器WGAN 里叫 critic用四次步长卷积下采样最后展平接一个输出维度为 1 的全连接层。注意判别器里没有 sigmoid这是 WGAN 和原始 GAN 在代码上最直观的区别。Dropout 加在判别器前几层是为了防止它过强但别加太多否则判别器欠拟合Wasserstein 距离估计不准。2.3 WGAN 损失函数与训练循环WGAN 的损失函数写法很简洁判别器损失是生成样本分数的均值减去真实样本分数的均值生成器损失是负的生成样本分数均值。权重裁剪在每次判别器更新后执行。import tensorflow as tf from tensorflow.keras import optimizers generator build_generator() critic build_critic() g_optimizer optimizers.Adam(learning_rate1e-4, beta_10.5, beta_20.9) c_optimizer optimizers.Adam(learning_rate1e-4, beta_10.5, beta_20.9) CLIP_VALUE 0.01 N_CRITIC 5 # 每训练一次生成器训练五次判别器 tf.function def train_step(real_images): batch_size tf.shape(real_images)[0] noise tf.random.normal([batch_size, LATENT_DIM]) # 训练判别器 for _ in range(N_CRITIC): with tf.GradientTape() as tape: fake_images generator(noise, trainingTrue) real_score critic(real_images, trainingTrue) fake_score critic(fake_images, trainingTrue) # WGAN 判别器损失最大化 real_score - fake_score c_loss tf.reduce_mean(fake_score) - tf.reduce_mean(real_score) c_grads tape.gradient(c_loss, critic.trainable_variables) c_optimizer.apply_gradients(zip(c_grads, critic.trainable_variables)) # 权重裁剪强制 Lipschitz 约束 for var in critic.trainable_variables: var.assign(tf.clip_by_value(var, -CLIP_VALUE, CLIP_VALUE)) # 训练生成器 noise tf.random.normal([batch_size, LATENT_DIM]) with tf.GradientTape() as tape: fake_images generator(noise, trainingTrue) fake_score critic(fake_images, trainingTrue) g_loss -tf.reduce_mean(fake_score) g_grads tape.gradient(g_loss, generator.trainable_variables) g_optimizer.apply_gradients(zip(g_grads, generator.trainable_variables)) return c_loss, g_loss判别器训练循环里N_CRITIC5是 WGAN 论文推荐的默认值意思是每更新一次生成器判别器更新五次。这样做是因为 Wasserstein 距离的估计需要判别器足够准判别器太弱的话距离估计有偏。权重裁剪的CLIP_VALUE0.01是个敏感参数太小会导致梯度消失太大则 Lipschitz 约束形同虚设。Adam 的beta_10.5是 GAN 训练里的常见做法降低动量避免训练震荡。整个train_step用tf.function装饰编译成图执行能显著提速。2.4 训练监控与模型保存WGAN 的一个好处是判别器的输出分数可以当作训练进度的参考指标。真实样本分数和生成样本分数的差值如果持续缩小说明生成质量在提升。我一般每训练几个 epoch 就存一次生成器的样例图和权重。import numpy as np import matplotlib.pyplot as plt def save_samples(generator, epoch, latent_dim128, n16): noise tf.random.normal([n, latent_dim]) generated generator(noise, trainingFalse) # 从 [-1, 1] 还原到 [0, 1] generated (generated 1.0) / 2.0 fig, axes plt.subplots(4, 4, figsize(6, 6)) for i, ax in enumerate(axes.flat): ax.imshow(generated[i]) ax.axis(off) plt.savefig(fsamples_epoch_{epoch:04d}.png, dpi100) plt.close() def train(dataset, epochs): for epoch in range(epochs): for real_batch in dataset: c_loss, g_loss train_step(real_batch) print(fEpoch {epoch1}, C_loss: {c_loss:.4f}, G_loss: {g_loss:.4f}) if (epoch 1) % 5 0: save_samples(generator, epoch 1) generator.save_weights(fgenerator_epoch_{epoch1}.weights.h5)save_samples把生成器输出从 [-1, 1] 映射回 [0, 1] 再可视化否则 matplotlib 显示出来的图颜色是错的。每 5 个 epoch 存一次权重方便后面挑效果最好的那个 checkpoint。打印的C_loss和G_loss不用太在意绝对值看趋势就行——C_loss在 0 附近波动、G_loss缓慢下降是比较健康的状态。3. 参数怎么调WGAN 训练中的关键旋钮3.1 权重裁剪值、学习率与更新比例的联动WGAN 最核心的超参数是权重裁剪值CLIP_VALUE、学习率和判别器更新次数N_CRITIC。这三个参数不是独立的改一个往往要动另外两个。裁剪值 0.01 是论文默认但在 64×64 动漫头像这个任务上我试过 0.005 到 0.05 的范围0.01 到 0.02 之间比较稳。裁剪值太小的时候判别器权重被压得很扁输出分数几乎不变生成器拿不到有效梯度生成图会长时间停在噪点阶段。裁剪值太大Lipschitz 约束不成立WGAN 退化成原始 GAN训练又开始震荡。学习率方面生成器和判别器都用 1e-4 是安全起点。如果发现判别器 loss 降得太快、生成器 loss 一直不降可以把判别器学习率降到 5e-5或者把N_CRITIC从 5 降到 3。反过来如果判别器 loss 几乎不动生成图多样性差可以适当提高判别器学习率或增加N_CRITIC。下面这张表是我在 64×64 动漫头像上试出来的几组配置供参考。配置CLIP_VALUE学习率N_CRITIC效果A0.011e-45稳定约 50 epoch 出清晰轮廓B0.0051e-45生成器梯度弱收敛慢C0.021e-45前期快后期偶有震荡D0.015e-53更稳但整体偏慢E0.012e-45判别器过强生成器崩3.2 潜变量维度与批大小的取舍潜变量维度LATENT_DIM决定了生成器输入的噪声维度间接影响生成图的多样性。128 维在 64×64 任务上是常见选择64 维也能跑但多样性会差一些256 维则容易让生成器学到冗余映射训练更慢。批大小BATCH_SIZE我一般用 64显存够的话 128 也行。批大小太小比如 16会让判别器的分数估计噪声很大Wasserstein 距离估计不准训练曲线抖动明显。还有一个容易被忽略的点是噪声的分布。WGAN 论文用的是均匀分布但实践中正态分布也工作得很好。我一般用tf.random.normal因为它在高维空间里采样更集中生成器更容易学到从噪声到图像的映射。如果你发现生成图模式单一mode collapse可以试试把噪声换成均匀分布或者稍微提高潜变量维度。3.3 用梯度惩罚替代权重裁剪权重裁剪虽然简单但有个硬伤它把判别器的权重强行限制在一个固定范围内可能导致梯度消失或梯度爆炸。WGAN-GP 用梯度惩罚替代裁剪做法是在真实样本和生成样本之间做插值计算判别器在插值点上的梯度范数把它约束到 1 附近。代码上就是在判别器损失里加一项。def gradient_penalty(critic, real_images, fake_images): batch_size tf.shape(real_images)[0] alpha tf.random.uniform([batch_size, 1, 1, 1], 0.0, 1.0) interpolated alpha * real_images (1 - alpha) * fake_images with tf.GradientTape() as tape: tape.watch(interpolated) score critic(interpolated, trainingTrue) grads tape.gradient(score, interpolated) # 计算梯度范数并约束到 1 norm tf.sqrt(tf.reduce_sum(tf.square(grads), axis[1, 2, 3]) 1e-8) penalty tf.reduce_mean(tf.square(norm - 1.0)) return penalty # 在判别器损失里加上 LAMBDA_GP * gradient_penalty LAMBDA_GP 10.0LAMBDA_GP10.0是 WGAN-GP 论文的推荐值实践中 5 到 20 之间都有人用。梯度惩罚的计算开销比权重裁剪大因为要对插值点求梯度但训练稳定性明显更好尤其是生成器开始出图之后不容易突然崩掉。如果你用梯度惩罚判别器里就不要加 BatchNormalization 了换成 LayerNormalization 或者不加归一化因为 BN 会破坏梯度惩罚的逐样本独立性。4. 避坑与排查WGAN 训练中最容易翻车的几个地方4.1 生成器输出全是同一种颜色或灰块现象训练几十个 epoch 后生成器输出的图几乎一样或者整片灰色。原因通常是判别器太强生成器梯度消失或者权重裁剪值太小导致判别器输出分数几乎不变。解决方法是先检查判别器 loss 是否远小于生成器 loss如果是降低判别器学习率或减少N_CRITIC。另外确认生成器最后一层是tanh判别器最后一层没有激活函数。如果这两点都对把CLIP_VALUE从 0.01 调到 0.02 试试。4.2 训练 loss 剧烈震荡生成图时好时坏现象C_loss在正负之间大幅跳动生成图一会儿清晰一会儿全是噪点。原因多半是学习率太高或者批大小太小导致判别器分数估计噪声大。解决方法是把学习率降到 5e-5批大小提到 128或者把 Adam 的beta_1从 0.5 降到 0.3。如果用了权重裁剪检查裁剪值是否过大超过 0.05 的话 Lipschitz 约束基本失效。4.3 生成图模式单一翻来覆去就那几张脸现象生成器能出清晰的动漫头像但多样性很差不同噪声输入生成的图长得差不多。原因是模式崩溃mode collapse生成器只学到了真实分布的几个模式。解决方法是提高潜变量维度或者在判别器里加 Dropout 增加判别器的随机性。另一个有效手段是使用 minibatch discrimination但实现复杂度较高。简单做法是把N_CRITIC从 5 降到 3让判别器弱一点给生成器更多探索空间。4.4 显存溢出或训练速度突然变慢现象训练到一半报 OOM或者每个 epoch 时间越来越长。原因通常是tf.function里创建了新的张量导致图不断增长或者数据管道没有用prefetch导致 GPU 等数据。解决方法是确保train_step里所有操作都是静态图兼容的不要在tf.function里用 Python 列表 append 张量。数据管道加上prefetch(tf.data.AUTOTUNE)和num_parallel_calls。如果显存实在不够把批大小降到 32同时把N_CRITIC降到 3。4.5 保存的权重加载后生成效果变差现象训练时生成的图不错保存权重后重新加载生成的图完全不对。原因通常是保存的是生成器权重但加载时模型结构没对齐或者归一化参数没保存。解决方法是保存整个模型而不是只保存权重用generator.save(generator_model.keras)加载时用tf.keras.models.load_model。如果只保存权重确保加载前用相同的build_generator()构建结构并且输入噪声的分布和训练时一致。5. 从能出图到出好图WGAN 动漫头像生成的进阶技巧跑通基础版 WGAN 之后下一步是提升生成质量和分辨率。最直接的办法是把 64×64 换成 128×128但别一步到位用渐进式增长先训练 64×64 到收敛再添加一层上采样把分辨率提到 128×128新加的层用较小学习率微调。这样比直接从 128×128 开始训练稳定得多也省时间。另一个技巧是条件化生成。如果你想让生成器按特定属性发色、性别、表情出图可以在生成器和判别器输入里拼接属性标签的 embedding。代码上就是在噪声向量后面 concat 一个 embedding 向量判别器也要接收同样的标签信息。这样训练出来的模型可以控制生成方向实用性比无条件生成高很多。验证生成质量不能只看图还得有量化指标。FIDFréchet Inception Distance是常用指标计算真实图和生成图在 Inception 网络特征空间里的分布距离。FID 越低越好但注意 FID 对样本量敏感样本太少时数值不可靠。我一般每 10 个 epoch 算一次 FID配合人工看图两个指标一起判断。from tensorflow.keras.applications import inception_v3 import scipy.linalg def calculate_fid(real_images, fake_images): inception inception_v3.InceptionV3(include_topFalse, poolingavg, input_shape(299, 299, 3)) # 预处理并提取特征 real_features inception.predict( tf.image.resize(real_images, [299, 299]) / 127.5 - 1.0) fake_features inception.predict( tf.image.resize(fake_images, [299, 299]) / 127.5 - 1.0) # 计算均值和协方差 mu_real, sigma_real real_features.mean(0), np.cov(real_features, rowvarFalse) mu_fake, sigma_fake fake_features.mean(0), np.cov(fake_features, rowvarFalse) # FID 公式 diff mu_real - mu_fake covmean scipy.linalg.sqrtm(sigma_real.dot(sigma_fake)) if np.iscomplexobj(covmean): covmean covmean.real fid diff.dot(diff) np.trace(sigma_real sigma_fake - 2 * covmean) return fid这段代码里 InceptionV3 的输入尺寸是 299×299所以要把 64×64 的图 resize 上去。sqrtm计算矩阵平方根时可能产生复数取实部即可。FID 的计算需要足够多的样本我一般用 2000 张真实图和 2000 张生成图样本太少的话协方差矩阵估计不准FID 数值波动很大。最后说一个我踩过的坑不要频繁保存模型权重。早期我每个 epoch 都存一次结果磁盘很快满了而且加载旧权重对比效果时容易搞混版本。现在我的习惯是每 10 个 epoch 存一次文件名带 epoch 数和 FID 值比如generator_ep050_fid38.2.keras这样一眼就能看出哪个 checkpoint 最好。训练 WGAN 是个耐心活参数调对了之后剩下的就是等别频繁中断去改代码让它在稳定配置下多跑一会儿效果往往比反复折腾更好。希望帮到你。本文还有配套的精品资源点击获取
简介这份资源是面向深度学习入门者与图像生成爱好者的Tensorflow WGAN动漫头像生成实战教程与配套源码帮助读者从零理解生成对抗网络并动手训练出动漫风格头像。压缩包共23个文件约122KB以8个Python源码文件为核心覆盖模型构建、数据预处理、训练与测试等环节另含7个XML配置、2个vsdx流程图、2个PNG效果图及gitignore、iml等工程辅助文件目录结构清晰便于按模块阅读与调试。目前已有316人学习下载。读者可借助完整源码与教程掌握WGAN损失函数设计、生成器与判别器搭建、数据预处理及训练调参等关键流程并参考可视化图形理解网络结构适合希望将理论落地为可运行项目的开发者对照实践。1. 从一堆噪点到一张动漫脸WGAN 到底解决了什么问题如果你跑过最原始的 GAN 来生成动漫头像大概率经历过这种崩溃判别器三两下就把生成器按在地上摩擦loss 一个劲往 0 掉生成器输出全是灰蒙蒙的噪点训练到后面干脆整片同色。这不是你参数调错了而是原始 GAN 的损失函数用 JS 散度衡量两个分布的距离当真实分布和生成分布几乎没有重叠时梯度要么消失要么爆炸。WGAN 换了个思路用 Wasserstein 距离替代 JS 散度判别器不再输出「真/假」概率而是输出一个实数分数并且通过权重裁剪或梯度惩罚强制满足 Lipschitz 连续条件。落到动漫头像生成这个场景WGAN 带来的直接好处是训练曲线和生成质量正相关——loss 降了图确实在变好而不是玄学。这篇实战笔记面向两类人手里有 TensorFlow 环境、想跑通一个能出图的 WGAN 的工程师以及想搞清楚 WGAN 相比原始 GAN 在代码层面到底改了什么的人。下面从数据准备一路写到调参和排错代码可以直接抄。2. 数据管道与 WGAN 的 TensorFlow 实现骨架2.1 动漫头像数据集的获取与预处理动漫头像数据集常见做法是用公开的动漫人脸数据集图片数量在几万张量级分辨率参差不齐。我一般会先统一到 64×64原因是这个尺寸下 WGAN 能在单卡上几个小时内看到明显效果再大就得考虑 Progressive GAN 那套逐层增长策略了。预处理的核心是三件事统一尺寸、归一化到 [-1, 1]、打包成 tf.data 管道。import tensorflow as tf import os IMG_SIZE 64 BATCH_SIZE 64 DATA_DIR ./anime_faces # 存放所有头像图片的目录 def load_and_preprocess(path): img tf.io.read_file(path) img tf.image.decode_image(img, channels3, expand_animationsFalse) img tf.image.resize(img, [IMG_SIZE, IMG_SIZE]) img tf.cast(img, tf.float32) # 归一化到 [-1, 1]与生成器 tanh 输出范围对齐 img (img / 127.5) - 1.0 return img def build_dataset(data_dir, batch_size): paths [os.path.join(data_dir, f) for f in os.listdir(data_dir) if f.lower().endswith((.png, .jpg, .jpeg))] ds tf.data.Dataset.from_tensor_slices(paths) ds ds.shuffle(len(paths), seed42) ds ds.map(load_and_preprocess, num_parallel_callstf.data.AUTOTUNE) ds ds.batch(batch_size, drop_remainderTrue) ds ds.prefetch(tf.data.AUTOTUNE) return dsdecode_image用expand_animationsFalse是为了防止某些 GIF 被展开成多帧导致形状异常。归一化到 [-1, 1] 这一步必须和生成器最后一层的tanh激活对齐否则判别器收到的真实样本和生成样本尺度不一致训练直接崩。drop_remainderTrue保证每个 batch 形状固定避免最后一个不完整 batch 引发形状报错。num_parallel_calls和prefetch是常规加速手段数据量大的时候能明显减少 GPU 等数据的时间。2.2 生成器与判别器的网络结构设计WGAN 的生成器和判别器结构本身和 DCGAN 类似区别在判别器最后一层不加 sigmoid直接输出线性分数。生成器用转置卷积逐级上采样判别器用步长卷积逐级下采样。下面是一个在 64×64 上稳定工作的版本。from tensorflow.keras import layers, Model LATENT_DIM 128 def build_generator(): inputs layers.Input(shape(LATENT_DIM,)) x layers.Dense(4 * 4 * 256, use_biasFalse)(inputs) x layers.BatchNormalization()(x) x layers.LeakyReLU(0.2)(x) x layers.Reshape((4, 4, 256))(x) # 4x4 - 8x8 x layers.Conv2DTranspose(128, 4, strides2, paddingsame, use_biasFalse)(x) x layers.BatchNormalization()(x) x layers.LeakyReLU(0.2)(x) # 8x8 - 16x16 x layers.Conv2DTranspose(64, 4, strides2, paddingsame, use_biasFalse)(x) x layers.BatchNormalization()(x) x layers.LeakyReLU(0.2)(x) # 16x16 - 32x32 x layers.Conv2DTranspose(32, 4, strides2, paddingsame, use_biasFalse)(x) x layers.BatchNormalization()(x) x layers.LeakyReLU(0.2)(x) # 32x32 - 64x64输出层用 tanh outputs layers.Conv2DTranspose(3, 4, strides2, paddingsame, activationtanh, use_biasFalse)(x) return Model(inputs, outputs, namegenerator) def build_critic(): inputs layers.Input(shape(IMG_SIZE, IMG_SIZE, 3)) x layers.Conv2D(32, 4, strides2, paddingsame)(inputs) x layers.LeakyReLU(0.2)(x) x layers.Dropout(0.3)(x) x layers.Conv2D(64, 4, strides2, paddingsame, use_biasFalse)(x) x layers.BatchNormalization()(x) x layers.LeakyReLU(0.2)(x) x layers.Dropout(0.3)(x) x layers.Conv2D(128, 4, strides2, paddingsame, use_biasFalse)(x) x layers.BatchNormalization()(x) x layers.LeakyReLU(0.2)(x) x layers.Dropout(0.3)(x) x layers.Conv2D(256, 4, strides2, paddingsame, use_biasFalse)(x) x layers.BatchNormalization()(x) x layers.LeakyReLU(0.2)(x) x layers.Flatten()(x) # 关键WGAN 判别器输出标量分数不加 sigmoid outputs layers.Dense(1)(x) return Model(inputs, outputs, namecritic)生成器输入是 128 维噪声经过全连接映射到 4×4×256 的特征图再经过四次转置卷积上采样到 64×64。判别器WGAN 里叫 critic用四次步长卷积下采样最后展平接一个输出维度为 1 的全连接层。注意判别器里没有 sigmoid这是 WGAN 和原始 GAN 在代码上最直观的区别。Dropout 加在判别器前几层是为了防止它过强但别加太多否则判别器欠拟合Wasserstein 距离估计不准。2.3 WGAN 损失函数与训练循环WGAN 的损失函数写法很简洁判别器损失是生成样本分数的均值减去真实样本分数的均值生成器损失是负的生成样本分数均值。权重裁剪在每次判别器更新后执行。import tensorflow as tf from tensorflow.keras import optimizers generator build_generator() critic build_critic() g_optimizer optimizers.Adam(learning_rate1e-4, beta_10.5, beta_20.9) c_optimizer optimizers.Adam(learning_rate1e-4, beta_10.5, beta_20.9) CLIP_VALUE 0.01 N_CRITIC 5 # 每训练一次生成器训练五次判别器 tf.function def train_step(real_images): batch_size tf.shape(real_images)[0] noise tf.random.normal([batch_size, LATENT_DIM]) # 训练判别器 for _ in range(N_CRITIC): with tf.GradientTape() as tape: fake_images generator(noise, trainingTrue) real_score critic(real_images, trainingTrue) fake_score critic(fake_images, trainingTrue) # WGAN 判别器损失最大化 real_score - fake_score c_loss tf.reduce_mean(fake_score) - tf.reduce_mean(real_score) c_grads tape.gradient(c_loss, critic.trainable_variables) c_optimizer.apply_gradients(zip(c_grads, critic.trainable_variables)) # 权重裁剪强制 Lipschitz 约束 for var in critic.trainable_variables: var.assign(tf.clip_by_value(var, -CLIP_VALUE, CLIP_VALUE)) # 训练生成器 noise tf.random.normal([batch_size, LATENT_DIM]) with tf.GradientTape() as tape: fake_images generator(noise, trainingTrue) fake_score critic(fake_images, trainingTrue) g_loss -tf.reduce_mean(fake_score) g_grads tape.gradient(g_loss, generator.trainable_variables) g_optimizer.apply_gradients(zip(g_grads, generator.trainable_variables)) return c_loss, g_loss判别器训练循环里N_CRITIC5是 WGAN 论文推荐的默认值意思是每更新一次生成器判别器更新五次。这样做是因为 Wasserstein 距离的估计需要判别器足够准判别器太弱的话距离估计有偏。权重裁剪的CLIP_VALUE0.01是个敏感参数太小会导致梯度消失太大则 Lipschitz 约束形同虚设。Adam 的beta_10.5是 GAN 训练里的常见做法降低动量避免训练震荡。整个train_step用tf.function装饰编译成图执行能显著提速。2.4 训练监控与模型保存WGAN 的一个好处是判别器的输出分数可以当作训练进度的参考指标。真实样本分数和生成样本分数的差值如果持续缩小说明生成质量在提升。我一般每训练几个 epoch 就存一次生成器的样例图和权重。import numpy as np import matplotlib.pyplot as plt def save_samples(generator, epoch, latent_dim128, n16): noise tf.random.normal([n, latent_dim]) generated generator(noise, trainingFalse) # 从 [-1, 1] 还原到 [0, 1] generated (generated 1.0) / 2.0 fig, axes plt.subplots(4, 4, figsize(6, 6)) for i, ax in enumerate(axes.flat): ax.imshow(generated[i]) ax.axis(off) plt.savefig(fsamples_epoch_{epoch:04d}.png, dpi100) plt.close() def train(dataset, epochs): for epoch in range(epochs): for real_batch in dataset: c_loss, g_loss train_step(real_batch) print(fEpoch {epoch1}, C_loss: {c_loss:.4f}, G_loss: {g_loss:.4f}) if (epoch 1) % 5 0: save_samples(generator, epoch 1) generator.save_weights(fgenerator_epoch_{epoch1}.weights.h5)save_samples把生成器输出从 [-1, 1] 映射回 [0, 1] 再可视化否则 matplotlib 显示出来的图颜色是错的。每 5 个 epoch 存一次权重方便后面挑效果最好的那个 checkpoint。打印的C_loss和G_loss不用太在意绝对值看趋势就行——C_loss在 0 附近波动、G_loss缓慢下降是比较健康的状态。3. 参数怎么调WGAN 训练中的关键旋钮3.1 权重裁剪值、学习率与更新比例的联动WGAN 最核心的超参数是权重裁剪值CLIP_VALUE、学习率和判别器更新次数N_CRITIC。这三个参数不是独立的改一个往往要动另外两个。裁剪值 0.01 是论文默认但在 64×64 动漫头像这个任务上我试过 0.005 到 0.05 的范围0.01 到 0.02 之间比较稳。裁剪值太小的时候判别器权重被压得很扁输出分数几乎不变生成器拿不到有效梯度生成图会长时间停在噪点阶段。裁剪值太大Lipschitz 约束不成立WGAN 退化成原始 GAN训练又开始震荡。学习率方面生成器和判别器都用 1e-4 是安全起点。如果发现判别器 loss 降得太快、生成器 loss 一直不降可以把判别器学习率降到 5e-5或者把N_CRITIC从 5 降到 3。反过来如果判别器 loss 几乎不动生成图多样性差可以适当提高判别器学习率或增加N_CRITIC。下面这张表是我在 64×64 动漫头像上试出来的几组配置供参考。配置CLIP_VALUE学习率N_CRITIC效果A0.011e-45稳定约 50 epoch 出清晰轮廓B0.0051e-45生成器梯度弱收敛慢C0.021e-45前期快后期偶有震荡D0.015e-53更稳但整体偏慢E0.012e-45判别器过强生成器崩3.2 潜变量维度与批大小的取舍潜变量维度LATENT_DIM决定了生成器输入的噪声维度间接影响生成图的多样性。128 维在 64×64 任务上是常见选择64 维也能跑但多样性会差一些256 维则容易让生成器学到冗余映射训练更慢。批大小BATCH_SIZE我一般用 64显存够的话 128 也行。批大小太小比如 16会让判别器的分数估计噪声很大Wasserstein 距离估计不准训练曲线抖动明显。还有一个容易被忽略的点是噪声的分布。WGAN 论文用的是均匀分布但实践中正态分布也工作得很好。我一般用tf.random.normal因为它在高维空间里采样更集中生成器更容易学到从噪声到图像的映射。如果你发现生成图模式单一mode collapse可以试试把噪声换成均匀分布或者稍微提高潜变量维度。3.3 用梯度惩罚替代权重裁剪权重裁剪虽然简单但有个硬伤它把判别器的权重强行限制在一个固定范围内可能导致梯度消失或梯度爆炸。WGAN-GP 用梯度惩罚替代裁剪做法是在真实样本和生成样本之间做插值计算判别器在插值点上的梯度范数把它约束到 1 附近。代码上就是在判别器损失里加一项。def gradient_penalty(critic, real_images, fake_images): batch_size tf.shape(real_images)[0] alpha tf.random.uniform([batch_size, 1, 1, 1], 0.0, 1.0) interpolated alpha * real_images (1 - alpha) * fake_images with tf.GradientTape() as tape: tape.watch(interpolated) score critic(interpolated, trainingTrue) grads tape.gradient(score, interpolated) # 计算梯度范数并约束到 1 norm tf.sqrt(tf.reduce_sum(tf.square(grads), axis[1, 2, 3]) 1e-8) penalty tf.reduce_mean(tf.square(norm - 1.0)) return penalty # 在判别器损失里加上 LAMBDA_GP * gradient_penalty LAMBDA_GP 10.0LAMBDA_GP10.0是 WGAN-GP 论文的推荐值实践中 5 到 20 之间都有人用。梯度惩罚的计算开销比权重裁剪大因为要对插值点求梯度但训练稳定性明显更好尤其是生成器开始出图之后不容易突然崩掉。如果你用梯度惩罚判别器里就不要加 BatchNormalization 了换成 LayerNormalization 或者不加归一化因为 BN 会破坏梯度惩罚的逐样本独立性。4. 避坑与排查WGAN 训练中最容易翻车的几个地方4.1 生成器输出全是同一种颜色或灰块现象训练几十个 epoch 后生成器输出的图几乎一样或者整片灰色。原因通常是判别器太强生成器梯度消失或者权重裁剪值太小导致判别器输出分数几乎不变。解决方法是先检查判别器 loss 是否远小于生成器 loss如果是降低判别器学习率或减少N_CRITIC。另外确认生成器最后一层是tanh判别器最后一层没有激活函数。如果这两点都对把CLIP_VALUE从 0.01 调到 0.02 试试。4.2 训练 loss 剧烈震荡生成图时好时坏现象C_loss在正负之间大幅跳动生成图一会儿清晰一会儿全是噪点。原因多半是学习率太高或者批大小太小导致判别器分数估计噪声大。解决方法是把学习率降到 5e-5批大小提到 128或者把 Adam 的beta_1从 0.5 降到 0.3。如果用了权重裁剪检查裁剪值是否过大超过 0.05 的话 Lipschitz 约束基本失效。4.3 生成图模式单一翻来覆去就那几张脸现象生成器能出清晰的动漫头像但多样性很差不同噪声输入生成的图长得差不多。原因是模式崩溃mode collapse生成器只学到了真实分布的几个模式。解决方法是提高潜变量维度或者在判别器里加 Dropout 增加判别器的随机性。另一个有效手段是使用 minibatch discrimination但实现复杂度较高。简单做法是把N_CRITIC从 5 降到 3让判别器弱一点给生成器更多探索空间。4.4 显存溢出或训练速度突然变慢现象训练到一半报 OOM或者每个 epoch 时间越来越长。原因通常是tf.function里创建了新的张量导致图不断增长或者数据管道没有用prefetch导致 GPU 等数据。解决方法是确保train_step里所有操作都是静态图兼容的不要在tf.function里用 Python 列表 append 张量。数据管道加上prefetch(tf.data.AUTOTUNE)和num_parallel_calls。如果显存实在不够把批大小降到 32同时把N_CRITIC降到 3。4.5 保存的权重加载后生成效果变差现象训练时生成的图不错保存权重后重新加载生成的图完全不对。原因通常是保存的是生成器权重但加载时模型结构没对齐或者归一化参数没保存。解决方法是保存整个模型而不是只保存权重用generator.save(generator_model.keras)加载时用tf.keras.models.load_model。如果只保存权重确保加载前用相同的build_generator()构建结构并且输入噪声的分布和训练时一致。5. 从能出图到出好图WGAN 动漫头像生成的进阶技巧跑通基础版 WGAN 之后下一步是提升生成质量和分辨率。最直接的办法是把 64×64 换成 128×128但别一步到位用渐进式增长先训练 64×64 到收敛再添加一层上采样把分辨率提到 128×128新加的层用较小学习率微调。这样比直接从 128×128 开始训练稳定得多也省时间。另一个技巧是条件化生成。如果你想让生成器按特定属性发色、性别、表情出图可以在生成器和判别器输入里拼接属性标签的 embedding。代码上就是在噪声向量后面 concat 一个 embedding 向量判别器也要接收同样的标签信息。这样训练出来的模型可以控制生成方向实用性比无条件生成高很多。验证生成质量不能只看图还得有量化指标。FIDFréchet Inception Distance是常用指标计算真实图和生成图在 Inception 网络特征空间里的分布距离。FID 越低越好但注意 FID 对样本量敏感样本太少时数值不可靠。我一般每 10 个 epoch 算一次 FID配合人工看图两个指标一起判断。from tensorflow.keras.applications import inception_v3 import scipy.linalg def calculate_fid(real_images, fake_images): inception inception_v3.InceptionV3(include_topFalse, poolingavg, input_shape(299, 299, 3)) # 预处理并提取特征 real_features inception.predict( tf.image.resize(real_images, [299, 299]) / 127.5 - 1.0) fake_features inception.predict( tf.image.resize(fake_images, [299, 299]) / 127.5 - 1.0) # 计算均值和协方差 mu_real, sigma_real real_features.mean(0), np.cov(real_features, rowvarFalse) mu_fake, sigma_fake fake_features.mean(0), np.cov(fake_features, rowvarFalse) # FID 公式 diff mu_real - mu_fake covmean scipy.linalg.sqrtm(sigma_real.dot(sigma_fake)) if np.iscomplexobj(covmean): covmean covmean.real fid diff.dot(diff) np.trace(sigma_real sigma_fake - 2 * covmean) return fid这段代码里 InceptionV3 的输入尺寸是 299×299所以要把 64×64 的图 resize 上去。sqrtm计算矩阵平方根时可能产生复数取实部即可。FID 的计算需要足够多的样本我一般用 2000 张真实图和 2000 张生成图样本太少的话协方差矩阵估计不准FID 数值波动很大。最后说一个我踩过的坑不要频繁保存模型权重。早期我每个 epoch 都存一次结果磁盘很快满了而且加载旧权重对比效果时容易搞混版本。现在我的习惯是每 10 个 epoch 存一次文件名带 epoch 数和 FID 值比如generator_ep050_fid38.2.keras这样一眼就能看出哪个 checkpoint 最好。训练 WGAN 是个耐心活参数调对了之后剩下的就是等别频繁中断去改代码让它在稳定配置下多跑一会儿效果往往比反复折腾更好。希望帮到你。本文还有配套的精品资源点击获取
