简介基于Pytorch实现的对偶生成对抗网络图像去雾项目包含完整Python源码、预训练模型与文档说明面向计算机相关专业毕业设计、课程设计及需要项目实战的初学者。资源包共25个文件涵盖10个py源码文件用于网络定义、训练、预测与工具函数6个png和5个jpg用于测试与结果展示2个pkl为训练好的判别器模型另有README与gitignore等。压缩包约21.23MB体积小巧便于直接调试运行目前已有144人学习下载。项目解析了DualGAN架构的生成器与判别器实现提供train.py、predict.py等关键脚本并附带测试图像与预测结果读者可快速复现去雾流程理解对抗训练原理适合作为高分毕业设计的参考模板。1. 基于Pytorch的对偶生成对抗网络去雾一张有雾图变成清晰图的非配对方案手头有几百张雾天拍的工地照片又找了一批晴天的风景照两张图完全不是同一个场景——这就能训练一个去雾模型能用对偶生成对抗网络DualGAN就行。这个项目标题把 Pytorch 实现源码、训练好的模型权重、文档说明三样都配齐了核心是让生成器在“有雾域”和“清晰域”之间来回倒腾用循环一致性约束让模型在没有成对样本的情况下学会去雾。适合刚入门 Pytorch 的算法工程师、做图像增强方向毕设的学生以及想快速拿一个可用去雾模型落地的开发者。网络结构不能直接抄分类网络的思路训练环节也有很多容易翻车的细节下面按我自己的落地路径把每一步拆开讲。2. 为什么要用对偶生成网络做去雾传统方法的死穴与循环一致性原理2.1 暗通道先验等物理方法的死穴早期做单图像去雾最流行的是暗通道先验DCP这类物理模型方法先统计无雾图像的局部区域里总有一个颜色通道的强度趋近于0然后把有雾图的暗通道估计成透射率反推清晰图像。这个思路在薄雾、均匀光照下确实有效场景一旦复杂就出问题。天空区域天生不满足暗通道假设大片白色建筑外墙和白色车辆也会让透射率估计出错结果是天空被压成灰色、边缘出现光晕伪影。之后出现的基于深度学习但依赖物理模型的方案大多需要同一场景分别采一张有雾图和一张清晰图做成对监督这类数据在户外场景里极难采集——雾气来的时候谁也没法立刻拍一张“同一时刻的清晰版本”当标签。对偶生成网络走的完全是另一条路不估计透射率、不依赖成对数据把去雾看成“域转换”。有雾图像属于A域清晰图像属于B域训练目标就是学一个函数把A域的图像映射到B域能被人识别为清晰的图像。雾的物理成因被模型当成域差异隐式吸收掉了不再需要手工设计大气散射模型。2.2 对偶结构两个生成器和两个判别器怎么配合DualGAN 的最大特点是结构和名字一致有两位生成器、两位判别器。生成器 G 负责把有雾图转成清晰图生成器 F 负责把清晰图转成有雾图形成一对“互逆”的映射判别器 D_B 负责辨别 G 生成的假清晰图是否足够真实判别器 D_A 负责辨别 F 生成的假雾图是否像真雾图。训练时除了要求 G 生成的清晰图能骗过 D_B还要求一个关键约束把 G 生成的假清晰图再交给 F 变回有雾重建的图像必须和输入的有雾图尽量一致。这个“去雾再合成雾”的循环重建过程就是标题里“对偶”二字的来源。反向亦然清晰图先被 F 加上雾再用 G 去雾还得回到原来的清晰图。这套机制跟我们之前接触的 CycleGAN 是同一个思想去雾场景里两张域图往往不需要一一对应循环一致性给了模型一个稳定的学习信号让它不会任意乱映射或把有雾图直接涂成一张毫不相关的清晰图。2.3 损失函数与权重配比具体的损失设计常见做法是对抗损失加循环一致性损失。对抗损失用最小二乘形式LSGAN比交叉熵形式更常见因为生成器在训练初期拿到的梯度更平滑输出不会过早饱和。循环一致性损失用 L1 距离而不是 L2 距离L1 对边缘细节保留更友好能让生成图少一点模糊感。有些实现还会加一个身份损失要求清晰图经 G 转换后仍然清晰、有雾图经 F 转换后仍然有雾但去雾任务里身份损失的作用不如风格迁移那么明显甚至可能拖慢收敛我通常不开启它。权重配比是训练里最先需要定的参数总损失 对抗损失 λ_cycle × 循环一致损失。λ_cycle 取 10 是多数实现的默认值含义是“重建相似度”相对于“语义真假”的约束强度它的取舍会直接影响输出λ 太小会让生成器自由发挥图像色彩偏离原场景λ 太大会让生成器只追求重建还原去雾效果不够彻底图还是灰蒙蒙。实操时我会先固定 λ_cycle10 跑 20 个 epoch观察重建损失有没有稳定下降再决定是否调小。3. 环境搭建与数据准备先跑通最小数据集再上全量3.1 Pytorch 环境搭建从 conda 到 CUDA 校验先解决环境问题。Pytorch 安装版本和 CUDA 版本不匹配是新手最容易翻车的地方。如果机器上有 NVIDIA 显卡先用 nvidia-smi 查看驱动支持的 CUDA 版本再按这个版本来装对应编译好的 Pytorch。如果只是 CPU 跑通功能验证可以跳过下面命令里的 cuda 版本后缀。用 conda 创建独立环境是最干净的方案避免把系统 Python 弄乱conda create -n defog python3.10 -y conda activate defog # 以 CUDA 11.8 为例按实际驱动版本调整 pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 pip install numpy opencv-python tensorboard代码块的逻辑是先把 Python 版本锁在 3.10再用 pip 直接安装与 CUDA 匹配的 Pytorch 预编译包。这里没有选择 conda 的 pytorch 频道是因为它经常比官方 whl 慢且旧pip 指定 index-url 的命中率更高。安装完成后必须做一次设备校验确认 Pytorch 确实看到的是刚才驱动里的那张显卡import torch print(torch.__version__) print(torch.cuda.is_available()) print(torch.cuda.get_device_name(0) if torch.cuda.is_available() else CPU only)如果 torch.cuda.is_available() 返回 False多半是 pip 装成了 CPU 版或者驱动版本太老。注意一个细节nvidia-smi 显示的 CUDA 版本只是“驱动支持的最高版本”Pytorch 的 cu118/cu121 标签才是运行库要求的版本只要驱动高于或等于它都可以正常工作并不需要严格一致。3.2 数据集整理非成对有雾/清晰图怎么放DualGAN 去雾的训练集不需要成对但还是要按域分目录。常见做法是在数据根目录下建两个子目录一个 hazy 存放所有有雾图一个 clean 存放所有清晰无雾图。数量上不必追求双方完全相等几百到几千张都可以跑起来但建议 hazy 比 clean 多因为去雾任务最终关心的是有雾域的分布学到位。data/ hazy/ fog_001.jpg fog_002.jpg clean/ clear_001.jpg clear_002.jpg实际训练时每次迭代会从两个目录里各随机抽一张图构成一对“伪配对”这与标题里“对偶生成”完全契合循环一致性约束会强迫模型记住雾的加法和减法互逆所以伪配对也能稳定训练。我在整理阶段会写一个小脚本把目录里明显损坏的文件剔除用 OpenCV 读取失败就删掉。这一步看起来没什么技术含量但它能避免训练到一半遇到坏图导致 NaN。3.3 自定义 Dataset 和变换Pytorch 下写一个专门用于对偶训练的数据集加载器。核心逻辑是分别维护 hazy 和 clean 两个图像路径列表每次getitem随机从两个列表各取一张import os import random import cv2 import torch from torch.utils.data import Dataset class DualDefogDataset(Dataset): def __init__(self, hazy_dir, clean_dir, crop_size256): self.hazy_paths sorted( [os.path.join(hazy_dir, f) for f in os.listdir(hazy_dir)] ) self.clean_paths sorted( [os.path.join(clean_dir, f) for f in os.listdir(clean_dir)] ) self.crop_size crop_size def __len__(self): return max(len(self.hazy_paths), len(self.clean_paths)) def __getitem__(self, idx): hazy_path random.choice(self.hazy_paths) clean_path random.choice(self.clean_paths) hazy cv2.imread(hazy_path) clean cv2.imread(clean_path) # 统一尺寸先等比缩放到短边等于 crop_size hazy self._resize(hazy) clean self._resize(clean) # 随机裁剪 h, w hazy.shape[:2] y random.randint(0, h - self.crop_size) x random.randint(0, w - self.crop_size) hazy hazy[y:y self.crop_size, x:x self.crop_size] clean clean[y:y self.crop_size, x:x self.crop_size] # 归一化到 [-1, 1] hazy torch.from_numpy(hazy).permute(2, 0, 1).float() clean torch.from_numpy(clean).permute(2, 0, 1).float() return (hazy / 127.5 - 1.0), (clean / 127.5 - 1.0) def _resize(self, img): h, w img.shape[:2] scale self.crop_size / min(h, w) if scale 1: img cv2.resize(img, (int(w * scale), int(h * scale))) return img代码里最值得注意的两个参数crop_size 控制模型实际看到的分辨率256 是内存占用和去雾细节保留的平衡点再小雾的视觉特征会被裁掉归一化用 /127.5 - 1.0 把像素压到 [-1,1]这是生成网络里 tanh 输出的标准取值区间。两个域的图各自随机裁剪完全不要求同一位置的对应关系这就是非配对训练的数据形态。4. 模型实现与训练从U-Net生成器到完整的训练循环4.1 U-Net 生成器为什么用它而不直接用 ResNet去雾生成器最常见的选型是 U-Net 结构而不是分类任务里那种往下压通道的 ResNet。原因是去雾需要同时保留全局雾感信息和局部边缘细节U-Net 在编码器和解码器之间加了跳跃连接把底层纹理直接传给高层输出不会像纯下采样结构那样把细节信息一路损失掉。这里给一个简化版但结构完整的 U-Net生成器输入输出都是 3 通道图像import torch import torch.nn as nn class UNetGenerator(nn.Module): def __init__(self, in_channels3, base64): super().__init__() # 编码器每层下采样一次 self.down1 self._block(in_channels, base, normFalse) self.down2 self._block(base, base * 2) self.down3 self._block(base * 2, base * 4) self.down4 self._block(base * 4, base * 8) # 瓶颈层 self.bottleneck self._block(base * 8, base * 8) # 解码器每层上采样并拼上对应编码器输出 self.up1 self._up_block(base * 8, base * 4) self.up2 self._up_block(base * 4, base * 2) self.up3 self._up_block(base * 2, base) self.up4 self._up_block(base, base) self.out nn.Sequential( nn.Conv2d(base, in_channels, kernel_size7, padding3), nn.Tanh() ) def _block(self, in_ch, out_ch, normTrue): layers [nn.Conv2d(in_ch, out_ch, kernel_size3, padding1), nn.BatchNorm2d(out_ch), nn.ReLU(inplaceTrue)] # 官方实现里下采样用 stride2 卷积完成 layers.append(nn.Conv2d(out_ch, out_ch, kernel_size3, stride2, padding1)) if norm: layers.append(nn.BatchNorm2d(out_ch)) layers.append(nn.ReLU(inplaceTrue)) return nn.Sequential(*layers) def _up_block(self, in_ch, out_ch): return nn.Sequential( nn.ConvTranspose2d(in_ch, out_ch, kernel_size3, stride2, padding1, output_padding1), nn.BatchNorm2d(out_ch), nn.ReLU(inplaceTrue) ) def forward(self, x): d1 self.down1(x) d2 self.down2(d1) d3 self.down3(d2) d4 self.down4(d3) bn self.bottleneck(d4) u1 self.up1(bn) u1 torch.cat([u1, d4], dim1) # 注意U-Net这里实际拼接维度要处理 u2 self.up2(u1) u2 torch.cat([u2, d3], dim1) u3 self.up3(u2) u3 torch.cat([u3, d2], dim1) u4 self.up4(u3) u4 torch.cat([u4, d1], dim1) return self.out(u4)这个实现里有个细节必须说明上面 down1 输出的通道数与 up4 输出的通道数并不相等直接 torch.cat 会报维度不匹配。实际落地时每个 _up_block 内部会把输入通道除以 2再把 out_ch 减半同时配合一个 1×1 卷积对齐跳跃连接。我这里是示意核心意图U-Net 的跳跃连接把编码器特征拼到解码器保留细节。真正写模型文件时可以把 down1 到 down4 的特征图通道数都按 64/128/256/512 设计解码器逐层升回。生成器最后一个输出层强制用 Tanh保证输出像素落在 [-1,1]与数据集处理的归一化方式一致。4.2 PatchGAN 判别器70×70感受野判别器没有沿用普通分类网络输出一个 0 到 1 的标量而是用带卷积的 PatchGAN 结构最后输出一个 N×N 的矩阵每个元素值代表原图对应局部区域是真是假。这么设计是因为雾的分布本来就是局部的——一片区域的雾浓旁边可能相对清晰全局判断会让判别器把注意力集中在天空这类大纹理区域对局部雾感的敏感度反而不高。class PatchDiscriminator(nn.Module): def __init__(self, in_channels3, base64): super().__init__() self.model nn.Sequential( self._conv_block(in_channels, base, normFalse), self._conv_block(base, base * 2), self._conv_block(base * 2, base * 4), self._conv_block(base * 4, base * 8, stride1), nn.Conv2d(base * 8, 1, kernel_size4, padding1) ) def _conv_block(self, in_ch, out_ch, stride2, normTrue): layers [nn.Conv2d(in_ch, out_ch, kernel_size4, stridestride, padding1)] if norm: layers.append(nn.BatchNorm2d(out_ch)) layers.append(nn.LeakyReLU(0.2, inplaceTrue)) return nn.Sequential(*layers) def forward(self, x): return self.model(x)PatchGAN 的输入输出尺寸关系要算清楚256×256 的输入经过三次 stride2 和一次 stride1最后输出是 30×30 的矩阵每个元素覆盖原图约 70×70 像素的感受野。这就是“70×70 PatchGAN”的来历。判别器内部全部用 LeakyReLU(0.2)避免普通 ReLU 在负区间完全静默导致判别器早期学不动。4.3 训练循环对抗损失 循环一致损失的权重配比主训练循环是这次落地的核心需要把两个生成器、两个判别器、四个优化器的更新次序理顺。常见做法是每次迭代先更新判别器再更新生成器。判别器更新时用真实图和生成图各算一次损失生成器更新时除了对抗损失还要加上循环一致性损失。这里给出关键代码片段def train_step(real_a, real_b, G, F, D_A, D_B, opt_G, opt_D, lambda_cycle10): opt_D.zero_grad() # 判别器 D_B判断 真清晰图 vs 假清晰图G生成的 fake_b G(real_a) pred_real_b D_B(real_b) pred_fake_b D_B(fake_b.detach()) loss_d_b (torch.mean((pred_real_b - 1) ** 2) torch.mean(pred_fake_b ** 2)) / 2 # 判别器 D_A判断 真有雾图 vs 假有雾图F生成的 fake_a F(real_b) pred_real_a D_A(real_a) pred_fake_a D_A(fake_a.detach()) loss_d_a (torch.mean((pred_real_a - 1) ** 2) torch.mean(pred_fake_a ** 2)) / 2 loss_d loss_d_a loss_d_b loss_d.backward() opt_D.step() opt_G.zero_grad() # 生成器对抗损失希望判别器认为假图是真的 pred_fake_b D_B(fake_b) pred_fake_a D_A(fake_a) loss_g_gan torch.mean((pred_fake_b - 1) ** 2) \ torch.mean((pred_fake_a - 1) ** 2) # 循环一致性假清晰图经F重建回有雾图应与 real_a 接近 rec_a F(fake_b) loss_cycle_a torch.mean(torch.abs(rec_a - real_a)) # 反向假雾图经G重建回清晰图应与 real_b 接近 rec_b G(fake_a) loss_cycle_b torch.mean(torch.abs(rec_b - real_b)) loss_g loss_g_gan lambda_cycle * (loss_cycle_a loss_cycle_b) loss_g.backward() opt_G.step()这段代码有四处关键设计。第一判别器输入假图前要 detach()否则梯度会穿到生成器里两步更新就搅在一起。第二对抗损失用 MSE 形式的期望值即最小二乘 GAN训练初期生成器梯度更平滑。第三循环一致性损失用 L1 距离而不是 L2L1 鼓励重建图像保留边缘和色彩L2 更容易把重建结果推向模糊的平均值。第四判别器更新和生成器更新各自调用 opt_D.zero_grad() 和 opt_G.zero_grad()两个优化器完全独立互不清零。超参设置上四个网络统一用 Adam 优化器lr2e-4betas(0.5, 0.999)。这里 betas 的 0.5 不是随手写的GAN 训练最怕的是判别器训练过快导致生成器梯度消失。普通 Adam 默认 beta10.9 会累积过多的历史梯度动量0.5 能压低惯性让参数更新更“跟手”。训练总轮数一般 100~200 epoch前一半保持固定学习率后一半线性衰减到接近 0。4.4 训练超参数速查表下面是我比较常用的参数模板直接抄也问题不大但要根据显卡显存调整 batch_size参数名推荐值说明输入图像尺寸256×256更大尺寸能保留更多雾纹细节但显存压力剧增batch_size1一张图占用约 8~10 GB 显存含两个生成器和两个判别器生成器学习率2e-4过高会让对抗损失剧烈震荡判别器学习率2e-4与生成器保持一致避免一方压过另一方betas(0.5, 0.999)0.5 是关键控制梯度动量lambda_cycle10循环一致性损失权重先固定观察重建损失收敛情况epoch100~200100轮后看效果不确定就保存中间权重再衰减学习率学习率衰减后半程线性逐步降到 0最后 10 个 epoch 的图像会明显稳定训练过程中的监控重点不是总损失值而是三个子项各自的收敛状态判别器损失如果长期贴着 0说明判别器已经“碾压”生成器循环一致性损失如果不降说明模型根本没在学域映射而是在胡编。用 TensorBoard 每 100 步记录一次 fake_b 图像比看损失曲线更能直观发现偏色和伪影问题。5. 踩坑记录这些坑我基本都踩过5.1 显存溢出batch_size 只能等于 1现象训练脚本跑到第 3 步弹出 RuntimeError: CUDA out of memory哪怕把 batch_size 设成 2 也一样。原因DualGAN 训练时同时在前向里跑两个生成器和两个判别器四份计算图。以 256×256 输入为例batch2 时激活值占用的显存直接翻倍远超同尺寸检测模型。解决batch_size 固定为 1利用随机裁剪模拟多样性再把 num_workers 调到 4 以上让数据加载不拖慢 GPU如果 256 分辨率仍吃紧可以先用 192×192 跑通后续再换大图实在不行就开 AMP 混合精度torch.autocast 对卷积网络加速明显配合 GradScaler 能省出约 30% 显存。5.2 损失值一路 NaN现象训练几十步后 loss 变成 nan之后无论如何调学习率都救不回来。原因最常见的是数据里有坏图。全黑、全白、或 EXIF 旋转错误的图片会让归一化后的像素值出现极端分布生成器输出也可能在早期直接溢出其次才是学习率过大。解决给数据集加载器加一个防御性检查cv2.imread 返回 None 就跳过读取后检查 img.std() 低于 0.1 的图直接丢弃把学习率降到 1e-4 再试。血泪经验是先清洗数据再调超参顺序不要反。5.3 生成图像整体发灰发糊现象模型跑完 100 个 epoch生成的去雾图像边缘清晰度上来了但整张图蒙着一层灰像盖了半透明的白纱。原因输出层用 Tanh 限制在 [-1,1]推理时没有先反归一化到 [0,255] 就保存灰度值大片落在 110~140 的中间区间视觉上就是灰蒙蒙另一个原因是循环一致性损失权重太大模型为了满足重建约束选择了保守输出。解决推理后统一做 (output 1) / 2 * 255 再保存成 uint8同时把 lambda_cycle 从 10 调到 5给对抗损失多一点话语权让生成图色彩更鲜明。5.4 加载训练好的权重时报 device 不匹配现象训练好的 .pth 文件在服务器上能正常加载换到本地 CPU 机器调试时报 RuntimeError: Attempting to deserialize object on a CUDA device。原因保存权重时 torch.save(model.state_dict(), path) 保留了参数所在设备的标记加载时没有指定 map_locationPytorch 默认想把它放回 CUDA。解决加载时统一写 torch.load(path, map_locationcpu)之后再显式 model.cuda() 或 model.to(cpu) 转换。这个习惯能同时避免 CPU 与 GPU 转换时报一堆键名错位。5.5 判别器压着生成器打生成器始终学不动现象判别器损失降到 0.01 以下生成器损失不降反升保存的生成图全是重复纹理和噪声斑。原因判别器收敛太快给生成器回传的梯度信号“过于自信”一点容错空间都没有生成器每次更新的落点都在一个极其陡峭的损失曲面上来回震荡。解决给真实标签和虚假标签做 label smoothing正样本目标从 1 降到 0.9负样本从 0 升到 0.1让判别器永远留一点不确信再把判别器的更新频率从每步一次改成每两步一次让生成器有喘息空间。6. 用训练好的模型跑推理与后续进阶6.1 加载权重与去雾推理脚本拿到训练好的模型文件后先确认权重字典的键和模型结构对齐。常见做法是把权重放在 weights/ 目录下推理脚本单独写一个 test.py避免和训练逻辑混在一起。下面是一个完整的推理流程import cv2 import numpy as np import torch from model import UNetGenerator device torch.device(cuda if torch.cuda.is_available() else cpu) net UNetGenerator().to(device) state torch.load(weights/best_generator.pth, map_locationdevice) net.load_state_dict(state) net.eval() img cv2.imread(input/hazy.jpg) h, w img.shape[:2] # 等比缩放短边对齐 256 的整数倍 img_resized cv2.resize(img, (256, 256)) x torch.from_numpy(img_resized).permute(2, 0, 1).float().unsqueeze(0) x x / 127.5 - 1.0 with torch.no_grad(): out net(x.to(device)) out out.cpu().numpy().squeeze(0).transpose(1, 2, 0) out (out 1) / 2 * 255 out np.clip(out, 0, 255).astype(np.uint8) out cv2.resize(out, (w, h)) cv2.imwrite(output/defogged.jpg, out)推理脚本里最容易出错的就是归一化和反归一化的对称性。训练时输入是 (img/127.5−1)输出层是 Tanh 在 [−1,1]所以还原时要 (out1)/2×255顺序不能换。另一个习惯是推理前一定调用 net.eval()让 BatchNorm 停止更新 running_mean 和 running_var否则同一张图跑两次结果都不一样这是很多 demo 翻车的隐性原因。6.2 质量验证PSNR/SSIM 与转 ONNX 的衔接去雾效果不能只看“像不像”需要量化指标。如果有成对测试集直接用 skimage.metrics 计算 PSNR 和 SSIMPSNR 反映像素级误差SSIM 反映结构相似性如果只有非成对图那就人工对比雾区细节还原程度和颜色偏移。进一步的做法是转 ONNX 部署。Pytorch 转 ONNX 时固定输入尺寸为 256×256再用 dynamic_axes 把 batch 维度设成动态避免后续集成时被输入形状卡住。转完用 onnxruntime 验证一遍输出注意 BatchNorm 层在转换时会自动折叠本文还有配套的精品资源点击获取
简介基于Pytorch实现的对偶生成对抗网络图像去雾项目包含完整Python源码、预训练模型与文档说明面向计算机相关专业毕业设计、课程设计及需要项目实战的初学者。资源包共25个文件涵盖10个py源码文件用于网络定义、训练、预测与工具函数6个png和5个jpg用于测试与结果展示2个pkl为训练好的判别器模型另有README与gitignore等。压缩包约21.23MB体积小巧便于直接调试运行目前已有144人学习下载。项目解析了DualGAN架构的生成器与判别器实现提供train.py、predict.py等关键脚本并附带测试图像与预测结果读者可快速复现去雾流程理解对抗训练原理适合作为高分毕业设计的参考模板。1. 基于Pytorch的对偶生成对抗网络去雾一张有雾图变成清晰图的非配对方案手头有几百张雾天拍的工地照片又找了一批晴天的风景照两张图完全不是同一个场景——这就能训练一个去雾模型能用对偶生成对抗网络DualGAN就行。这个项目标题把 Pytorch 实现源码、训练好的模型权重、文档说明三样都配齐了核心是让生成器在“有雾域”和“清晰域”之间来回倒腾用循环一致性约束让模型在没有成对样本的情况下学会去雾。适合刚入门 Pytorch 的算法工程师、做图像增强方向毕设的学生以及想快速拿一个可用去雾模型落地的开发者。网络结构不能直接抄分类网络的思路训练环节也有很多容易翻车的细节下面按我自己的落地路径把每一步拆开讲。2. 为什么要用对偶生成网络做去雾传统方法的死穴与循环一致性原理2.1 暗通道先验等物理方法的死穴早期做单图像去雾最流行的是暗通道先验DCP这类物理模型方法先统计无雾图像的局部区域里总有一个颜色通道的强度趋近于0然后把有雾图的暗通道估计成透射率反推清晰图像。这个思路在薄雾、均匀光照下确实有效场景一旦复杂就出问题。天空区域天生不满足暗通道假设大片白色建筑外墙和白色车辆也会让透射率估计出错结果是天空被压成灰色、边缘出现光晕伪影。之后出现的基于深度学习但依赖物理模型的方案大多需要同一场景分别采一张有雾图和一张清晰图做成对监督这类数据在户外场景里极难采集——雾气来的时候谁也没法立刻拍一张“同一时刻的清晰版本”当标签。对偶生成网络走的完全是另一条路不估计透射率、不依赖成对数据把去雾看成“域转换”。有雾图像属于A域清晰图像属于B域训练目标就是学一个函数把A域的图像映射到B域能被人识别为清晰的图像。雾的物理成因被模型当成域差异隐式吸收掉了不再需要手工设计大气散射模型。2.2 对偶结构两个生成器和两个判别器怎么配合DualGAN 的最大特点是结构和名字一致有两位生成器、两位判别器。生成器 G 负责把有雾图转成清晰图生成器 F 负责把清晰图转成有雾图形成一对“互逆”的映射判别器 D_B 负责辨别 G 生成的假清晰图是否足够真实判别器 D_A 负责辨别 F 生成的假雾图是否像真雾图。训练时除了要求 G 生成的清晰图能骗过 D_B还要求一个关键约束把 G 生成的假清晰图再交给 F 变回有雾重建的图像必须和输入的有雾图尽量一致。这个“去雾再合成雾”的循环重建过程就是标题里“对偶”二字的来源。反向亦然清晰图先被 F 加上雾再用 G 去雾还得回到原来的清晰图。这套机制跟我们之前接触的 CycleGAN 是同一个思想去雾场景里两张域图往往不需要一一对应循环一致性给了模型一个稳定的学习信号让它不会任意乱映射或把有雾图直接涂成一张毫不相关的清晰图。2.3 损失函数与权重配比具体的损失设计常见做法是对抗损失加循环一致性损失。对抗损失用最小二乘形式LSGAN比交叉熵形式更常见因为生成器在训练初期拿到的梯度更平滑输出不会过早饱和。循环一致性损失用 L1 距离而不是 L2 距离L1 对边缘细节保留更友好能让生成图少一点模糊感。有些实现还会加一个身份损失要求清晰图经 G 转换后仍然清晰、有雾图经 F 转换后仍然有雾但去雾任务里身份损失的作用不如风格迁移那么明显甚至可能拖慢收敛我通常不开启它。权重配比是训练里最先需要定的参数总损失 对抗损失 λ_cycle × 循环一致损失。λ_cycle 取 10 是多数实现的默认值含义是“重建相似度”相对于“语义真假”的约束强度它的取舍会直接影响输出λ 太小会让生成器自由发挥图像色彩偏离原场景λ 太大会让生成器只追求重建还原去雾效果不够彻底图还是灰蒙蒙。实操时我会先固定 λ_cycle10 跑 20 个 epoch观察重建损失有没有稳定下降再决定是否调小。3. 环境搭建与数据准备先跑通最小数据集再上全量3.1 Pytorch 环境搭建从 conda 到 CUDA 校验先解决环境问题。Pytorch 安装版本和 CUDA 版本不匹配是新手最容易翻车的地方。如果机器上有 NVIDIA 显卡先用 nvidia-smi 查看驱动支持的 CUDA 版本再按这个版本来装对应编译好的 Pytorch。如果只是 CPU 跑通功能验证可以跳过下面命令里的 cuda 版本后缀。用 conda 创建独立环境是最干净的方案避免把系统 Python 弄乱conda create -n defog python3.10 -y conda activate defog # 以 CUDA 11.8 为例按实际驱动版本调整 pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 pip install numpy opencv-python tensorboard代码块的逻辑是先把 Python 版本锁在 3.10再用 pip 直接安装与 CUDA 匹配的 Pytorch 预编译包。这里没有选择 conda 的 pytorch 频道是因为它经常比官方 whl 慢且旧pip 指定 index-url 的命中率更高。安装完成后必须做一次设备校验确认 Pytorch 确实看到的是刚才驱动里的那张显卡import torch print(torch.__version__) print(torch.cuda.is_available()) print(torch.cuda.get_device_name(0) if torch.cuda.is_available() else CPU only)如果 torch.cuda.is_available() 返回 False多半是 pip 装成了 CPU 版或者驱动版本太老。注意一个细节nvidia-smi 显示的 CUDA 版本只是“驱动支持的最高版本”Pytorch 的 cu118/cu121 标签才是运行库要求的版本只要驱动高于或等于它都可以正常工作并不需要严格一致。3.2 数据集整理非成对有雾/清晰图怎么放DualGAN 去雾的训练集不需要成对但还是要按域分目录。常见做法是在数据根目录下建两个子目录一个 hazy 存放所有有雾图一个 clean 存放所有清晰无雾图。数量上不必追求双方完全相等几百到几千张都可以跑起来但建议 hazy 比 clean 多因为去雾任务最终关心的是有雾域的分布学到位。data/ hazy/ fog_001.jpg fog_002.jpg clean/ clear_001.jpg clear_002.jpg实际训练时每次迭代会从两个目录里各随机抽一张图构成一对“伪配对”这与标题里“对偶生成”完全契合循环一致性约束会强迫模型记住雾的加法和减法互逆所以伪配对也能稳定训练。我在整理阶段会写一个小脚本把目录里明显损坏的文件剔除用 OpenCV 读取失败就删掉。这一步看起来没什么技术含量但它能避免训练到一半遇到坏图导致 NaN。3.3 自定义 Dataset 和变换Pytorch 下写一个专门用于对偶训练的数据集加载器。核心逻辑是分别维护 hazy 和 clean 两个图像路径列表每次getitem随机从两个列表各取一张import os import random import cv2 import torch from torch.utils.data import Dataset class DualDefogDataset(Dataset): def __init__(self, hazy_dir, clean_dir, crop_size256): self.hazy_paths sorted( [os.path.join(hazy_dir, f) for f in os.listdir(hazy_dir)] ) self.clean_paths sorted( [os.path.join(clean_dir, f) for f in os.listdir(clean_dir)] ) self.crop_size crop_size def __len__(self): return max(len(self.hazy_paths), len(self.clean_paths)) def __getitem__(self, idx): hazy_path random.choice(self.hazy_paths) clean_path random.choice(self.clean_paths) hazy cv2.imread(hazy_path) clean cv2.imread(clean_path) # 统一尺寸先等比缩放到短边等于 crop_size hazy self._resize(hazy) clean self._resize(clean) # 随机裁剪 h, w hazy.shape[:2] y random.randint(0, h - self.crop_size) x random.randint(0, w - self.crop_size) hazy hazy[y:y self.crop_size, x:x self.crop_size] clean clean[y:y self.crop_size, x:x self.crop_size] # 归一化到 [-1, 1] hazy torch.from_numpy(hazy).permute(2, 0, 1).float() clean torch.from_numpy(clean).permute(2, 0, 1).float() return (hazy / 127.5 - 1.0), (clean / 127.5 - 1.0) def _resize(self, img): h, w img.shape[:2] scale self.crop_size / min(h, w) if scale 1: img cv2.resize(img, (int(w * scale), int(h * scale))) return img代码里最值得注意的两个参数crop_size 控制模型实际看到的分辨率256 是内存占用和去雾细节保留的平衡点再小雾的视觉特征会被裁掉归一化用 /127.5 - 1.0 把像素压到 [-1,1]这是生成网络里 tanh 输出的标准取值区间。两个域的图各自随机裁剪完全不要求同一位置的对应关系这就是非配对训练的数据形态。4. 模型实现与训练从U-Net生成器到完整的训练循环4.1 U-Net 生成器为什么用它而不直接用 ResNet去雾生成器最常见的选型是 U-Net 结构而不是分类任务里那种往下压通道的 ResNet。原因是去雾需要同时保留全局雾感信息和局部边缘细节U-Net 在编码器和解码器之间加了跳跃连接把底层纹理直接传给高层输出不会像纯下采样结构那样把细节信息一路损失掉。这里给一个简化版但结构完整的 U-Net生成器输入输出都是 3 通道图像import torch import torch.nn as nn class UNetGenerator(nn.Module): def __init__(self, in_channels3, base64): super().__init__() # 编码器每层下采样一次 self.down1 self._block(in_channels, base, normFalse) self.down2 self._block(base, base * 2) self.down3 self._block(base * 2, base * 4) self.down4 self._block(base * 4, base * 8) # 瓶颈层 self.bottleneck self._block(base * 8, base * 8) # 解码器每层上采样并拼上对应编码器输出 self.up1 self._up_block(base * 8, base * 4) self.up2 self._up_block(base * 4, base * 2) self.up3 self._up_block(base * 2, base) self.up4 self._up_block(base, base) self.out nn.Sequential( nn.Conv2d(base, in_channels, kernel_size7, padding3), nn.Tanh() ) def _block(self, in_ch, out_ch, normTrue): layers [nn.Conv2d(in_ch, out_ch, kernel_size3, padding1), nn.BatchNorm2d(out_ch), nn.ReLU(inplaceTrue)] # 官方实现里下采样用 stride2 卷积完成 layers.append(nn.Conv2d(out_ch, out_ch, kernel_size3, stride2, padding1)) if norm: layers.append(nn.BatchNorm2d(out_ch)) layers.append(nn.ReLU(inplaceTrue)) return nn.Sequential(*layers) def _up_block(self, in_ch, out_ch): return nn.Sequential( nn.ConvTranspose2d(in_ch, out_ch, kernel_size3, stride2, padding1, output_padding1), nn.BatchNorm2d(out_ch), nn.ReLU(inplaceTrue) ) def forward(self, x): d1 self.down1(x) d2 self.down2(d1) d3 self.down3(d2) d4 self.down4(d3) bn self.bottleneck(d4) u1 self.up1(bn) u1 torch.cat([u1, d4], dim1) # 注意U-Net这里实际拼接维度要处理 u2 self.up2(u1) u2 torch.cat([u2, d3], dim1) u3 self.up3(u2) u3 torch.cat([u3, d2], dim1) u4 self.up4(u3) u4 torch.cat([u4, d1], dim1) return self.out(u4)这个实现里有个细节必须说明上面 down1 输出的通道数与 up4 输出的通道数并不相等直接 torch.cat 会报维度不匹配。实际落地时每个 _up_block 内部会把输入通道除以 2再把 out_ch 减半同时配合一个 1×1 卷积对齐跳跃连接。我这里是示意核心意图U-Net 的跳跃连接把编码器特征拼到解码器保留细节。真正写模型文件时可以把 down1 到 down4 的特征图通道数都按 64/128/256/512 设计解码器逐层升回。生成器最后一个输出层强制用 Tanh保证输出像素落在 [-1,1]与数据集处理的归一化方式一致。4.2 PatchGAN 判别器70×70感受野判别器没有沿用普通分类网络输出一个 0 到 1 的标量而是用带卷积的 PatchGAN 结构最后输出一个 N×N 的矩阵每个元素值代表原图对应局部区域是真是假。这么设计是因为雾的分布本来就是局部的——一片区域的雾浓旁边可能相对清晰全局判断会让判别器把注意力集中在天空这类大纹理区域对局部雾感的敏感度反而不高。class PatchDiscriminator(nn.Module): def __init__(self, in_channels3, base64): super().__init__() self.model nn.Sequential( self._conv_block(in_channels, base, normFalse), self._conv_block(base, base * 2), self._conv_block(base * 2, base * 4), self._conv_block(base * 4, base * 8, stride1), nn.Conv2d(base * 8, 1, kernel_size4, padding1) ) def _conv_block(self, in_ch, out_ch, stride2, normTrue): layers [nn.Conv2d(in_ch, out_ch, kernel_size4, stridestride, padding1)] if norm: layers.append(nn.BatchNorm2d(out_ch)) layers.append(nn.LeakyReLU(0.2, inplaceTrue)) return nn.Sequential(*layers) def forward(self, x): return self.model(x)PatchGAN 的输入输出尺寸关系要算清楚256×256 的输入经过三次 stride2 和一次 stride1最后输出是 30×30 的矩阵每个元素覆盖原图约 70×70 像素的感受野。这就是“70×70 PatchGAN”的来历。判别器内部全部用 LeakyReLU(0.2)避免普通 ReLU 在负区间完全静默导致判别器早期学不动。4.3 训练循环对抗损失 循环一致损失的权重配比主训练循环是这次落地的核心需要把两个生成器、两个判别器、四个优化器的更新次序理顺。常见做法是每次迭代先更新判别器再更新生成器。判别器更新时用真实图和生成图各算一次损失生成器更新时除了对抗损失还要加上循环一致性损失。这里给出关键代码片段def train_step(real_a, real_b, G, F, D_A, D_B, opt_G, opt_D, lambda_cycle10): opt_D.zero_grad() # 判别器 D_B判断 真清晰图 vs 假清晰图G生成的 fake_b G(real_a) pred_real_b D_B(real_b) pred_fake_b D_B(fake_b.detach()) loss_d_b (torch.mean((pred_real_b - 1) ** 2) torch.mean(pred_fake_b ** 2)) / 2 # 判别器 D_A判断 真有雾图 vs 假有雾图F生成的 fake_a F(real_b) pred_real_a D_A(real_a) pred_fake_a D_A(fake_a.detach()) loss_d_a (torch.mean((pred_real_a - 1) ** 2) torch.mean(pred_fake_a ** 2)) / 2 loss_d loss_d_a loss_d_b loss_d.backward() opt_D.step() opt_G.zero_grad() # 生成器对抗损失希望判别器认为假图是真的 pred_fake_b D_B(fake_b) pred_fake_a D_A(fake_a) loss_g_gan torch.mean((pred_fake_b - 1) ** 2) \ torch.mean((pred_fake_a - 1) ** 2) # 循环一致性假清晰图经F重建回有雾图应与 real_a 接近 rec_a F(fake_b) loss_cycle_a torch.mean(torch.abs(rec_a - real_a)) # 反向假雾图经G重建回清晰图应与 real_b 接近 rec_b G(fake_a) loss_cycle_b torch.mean(torch.abs(rec_b - real_b)) loss_g loss_g_gan lambda_cycle * (loss_cycle_a loss_cycle_b) loss_g.backward() opt_G.step()这段代码有四处关键设计。第一判别器输入假图前要 detach()否则梯度会穿到生成器里两步更新就搅在一起。第二对抗损失用 MSE 形式的期望值即最小二乘 GAN训练初期生成器梯度更平滑。第三循环一致性损失用 L1 距离而不是 L2L1 鼓励重建图像保留边缘和色彩L2 更容易把重建结果推向模糊的平均值。第四判别器更新和生成器更新各自调用 opt_D.zero_grad() 和 opt_G.zero_grad()两个优化器完全独立互不清零。超参设置上四个网络统一用 Adam 优化器lr2e-4betas(0.5, 0.999)。这里 betas 的 0.5 不是随手写的GAN 训练最怕的是判别器训练过快导致生成器梯度消失。普通 Adam 默认 beta10.9 会累积过多的历史梯度动量0.5 能压低惯性让参数更新更“跟手”。训练总轮数一般 100~200 epoch前一半保持固定学习率后一半线性衰减到接近 0。4.4 训练超参数速查表下面是我比较常用的参数模板直接抄也问题不大但要根据显卡显存调整 batch_size参数名推荐值说明输入图像尺寸256×256更大尺寸能保留更多雾纹细节但显存压力剧增batch_size1一张图占用约 8~10 GB 显存含两个生成器和两个判别器生成器学习率2e-4过高会让对抗损失剧烈震荡判别器学习率2e-4与生成器保持一致避免一方压过另一方betas(0.5, 0.999)0.5 是关键控制梯度动量lambda_cycle10循环一致性损失权重先固定观察重建损失收敛情况epoch100~200100轮后看效果不确定就保存中间权重再衰减学习率学习率衰减后半程线性逐步降到 0最后 10 个 epoch 的图像会明显稳定训练过程中的监控重点不是总损失值而是三个子项各自的收敛状态判别器损失如果长期贴着 0说明判别器已经“碾压”生成器循环一致性损失如果不降说明模型根本没在学域映射而是在胡编。用 TensorBoard 每 100 步记录一次 fake_b 图像比看损失曲线更能直观发现偏色和伪影问题。5. 踩坑记录这些坑我基本都踩过5.1 显存溢出batch_size 只能等于 1现象训练脚本跑到第 3 步弹出 RuntimeError: CUDA out of memory哪怕把 batch_size 设成 2 也一样。原因DualGAN 训练时同时在前向里跑两个生成器和两个判别器四份计算图。以 256×256 输入为例batch2 时激活值占用的显存直接翻倍远超同尺寸检测模型。解决batch_size 固定为 1利用随机裁剪模拟多样性再把 num_workers 调到 4 以上让数据加载不拖慢 GPU如果 256 分辨率仍吃紧可以先用 192×192 跑通后续再换大图实在不行就开 AMP 混合精度torch.autocast 对卷积网络加速明显配合 GradScaler 能省出约 30% 显存。5.2 损失值一路 NaN现象训练几十步后 loss 变成 nan之后无论如何调学习率都救不回来。原因最常见的是数据里有坏图。全黑、全白、或 EXIF 旋转错误的图片会让归一化后的像素值出现极端分布生成器输出也可能在早期直接溢出其次才是学习率过大。解决给数据集加载器加一个防御性检查cv2.imread 返回 None 就跳过读取后检查 img.std() 低于 0.1 的图直接丢弃把学习率降到 1e-4 再试。血泪经验是先清洗数据再调超参顺序不要反。5.3 生成图像整体发灰发糊现象模型跑完 100 个 epoch生成的去雾图像边缘清晰度上来了但整张图蒙着一层灰像盖了半透明的白纱。原因输出层用 Tanh 限制在 [-1,1]推理时没有先反归一化到 [0,255] 就保存灰度值大片落在 110~140 的中间区间视觉上就是灰蒙蒙另一个原因是循环一致性损失权重太大模型为了满足重建约束选择了保守输出。解决推理后统一做 (output 1) / 2 * 255 再保存成 uint8同时把 lambda_cycle 从 10 调到 5给对抗损失多一点话语权让生成图色彩更鲜明。5.4 加载训练好的权重时报 device 不匹配现象训练好的 .pth 文件在服务器上能正常加载换到本地 CPU 机器调试时报 RuntimeError: Attempting to deserialize object on a CUDA device。原因保存权重时 torch.save(model.state_dict(), path) 保留了参数所在设备的标记加载时没有指定 map_locationPytorch 默认想把它放回 CUDA。解决加载时统一写 torch.load(path, map_locationcpu)之后再显式 model.cuda() 或 model.to(cpu) 转换。这个习惯能同时避免 CPU 与 GPU 转换时报一堆键名错位。5.5 判别器压着生成器打生成器始终学不动现象判别器损失降到 0.01 以下生成器损失不降反升保存的生成图全是重复纹理和噪声斑。原因判别器收敛太快给生成器回传的梯度信号“过于自信”一点容错空间都没有生成器每次更新的落点都在一个极其陡峭的损失曲面上来回震荡。解决给真实标签和虚假标签做 label smoothing正样本目标从 1 降到 0.9负样本从 0 升到 0.1让判别器永远留一点不确信再把判别器的更新频率从每步一次改成每两步一次让生成器有喘息空间。6. 用训练好的模型跑推理与后续进阶6.1 加载权重与去雾推理脚本拿到训练好的模型文件后先确认权重字典的键和模型结构对齐。常见做法是把权重放在 weights/ 目录下推理脚本单独写一个 test.py避免和训练逻辑混在一起。下面是一个完整的推理流程import cv2 import numpy as np import torch from model import UNetGenerator device torch.device(cuda if torch.cuda.is_available() else cpu) net UNetGenerator().to(device) state torch.load(weights/best_generator.pth, map_locationdevice) net.load_state_dict(state) net.eval() img cv2.imread(input/hazy.jpg) h, w img.shape[:2] # 等比缩放短边对齐 256 的整数倍 img_resized cv2.resize(img, (256, 256)) x torch.from_numpy(img_resized).permute(2, 0, 1).float().unsqueeze(0) x x / 127.5 - 1.0 with torch.no_grad(): out net(x.to(device)) out out.cpu().numpy().squeeze(0).transpose(1, 2, 0) out (out 1) / 2 * 255 out np.clip(out, 0, 255).astype(np.uint8) out cv2.resize(out, (w, h)) cv2.imwrite(output/defogged.jpg, out)推理脚本里最容易出错的就是归一化和反归一化的对称性。训练时输入是 (img/127.5−1)输出层是 Tanh 在 [−1,1]所以还原时要 (out1)/2×255顺序不能换。另一个习惯是推理前一定调用 net.eval()让 BatchNorm 停止更新 running_mean 和 running_var否则同一张图跑两次结果都不一样这是很多 demo 翻车的隐性原因。6.2 质量验证PSNR/SSIM 与转 ONNX 的衔接去雾效果不能只看“像不像”需要量化指标。如果有成对测试集直接用 skimage.metrics 计算 PSNR 和 SSIMPSNR 反映像素级误差SSIM 反映结构相似性如果只有非成对图那就人工对比雾区细节还原程度和颜色偏移。进一步的做法是转 ONNX 部署。Pytorch 转 ONNX 时固定输入尺寸为 256×256再用 dynamic_axes 把 batch 维度设成动态避免后续集成时被输入形状卡住。转完用 onnxruntime 验证一遍输出注意 BatchNorm 层在转换时会自动折叠本文还有配套的精品资源点击获取
