简介一份将写真套图爬取、人脸识别与DCGAN对抗生成整合为完整实践链路的学习资源面向机器学习与图像生成方向、具备一定Python基础的学习者。压缩包共506个文件、约77.58MB442个jpg与29个png构成训练图片集8个py脚本承担爬虫抓取、数据预处理与模型训练任务多组DCGAN.model-*.index/meta/checkpoint为不同迭代步数的预训练权重配合create_list.bat生成数据列表txt与md文档说明使用方法从数据准备到模型产出一目了然。预训练权重覆盖多轮迭代便于直接恢复训练或开展迁移实验目录结构清晰适合动手复现“爬虫深度学习”完整流程。目前已有1739人浏览学习可作为搭建DCGAN人脸自动生成项目的起步参考。1. 一个标题其实是三条技术栈爬虫、人脸清洗、DCGAN 缺一不可「Python-写真美女套图爬虫美女脸部识别DCGAN脸部自动生成」看起来像三个热门词拼出来的练手项目实际是一条完整的人像数据流水线先写爬虫从公开图库采集人像写真图集再用脸部识别把散落的图清洗成对齐的人脸数据集最后用 DCGAN 拿这份数据集训练自动生成新的人脸图像。三个环节互相咬合任何一环出问题最终结果都会翻车爬虫抓回来的图片大量 403人脸检测框到处乱飞DCGAN 训练不收敛生成一片噪点。我按真实落地顺序把这套方案讲清楚给出能直接跑的代码和参数。适合准备做人像图像生成、想给 GAN 攒一份干净人脸数据集的 Python 开发者和学生。2. 写真套图爬虫requests XPath 拆解图片站的最小抓取方案2.1 选型逻辑为什么用 requests 而不是 Scrapy 或分布式爬虫先泼一盆冷水这个标题下的爬虫任务量级远没有到需要上框架的程度。几十个列表页、每个列表页进详情页取原图、单机跑完总共几千到几万张图片。用 requests 做 python 爬虫配合 lxml 的 XPath 解析足够完成整个抓取流程而且出错时排查链路短。我见过不少人在这种轻量任务上一上来就搭 scrapy 爬虫项目结果光配置 Item Pipeline、中间件和去重队列就花掉半天。Scrapy 的优势是调度、去重、并发和扩展性适合百万级 URL、需要断点续爬、要上分布式爬虫的长期项目而这个场景里这些能力全部用不上。所以我的选择是requests 负责 HTTPlxml 负责解析Pillow 负责图片校验opencv-python 负责后续人脸检测。这套组合就是一个足够顺手的爬虫工具箱。requests 的 Session 可以复用 TCP 连接、自动管理 Cookie对图片站这种会话保持要求较高的场景很合适。至于并发提速我一般不会在这个阶段引入线程池或异步单线程加 0.5 秒延时反而是最不容易触发封禁的节奏真需要快优先用 requests.Session 加两三个线程而不是一次性开几十个并发。2.2 列表页到详情页再到原图一套可以照着跑的 XPath 抓取代码先说典型页面结构。大部分图片站的规则是列表页里每个写真图集是一个链接封面是缩略图点进详情页页面里按顺序排列大图大图 URL 往往放在 img 标签的>import os import time import requests from lxml import html HEADERS { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 } def fetch_page(session, url, refererNone): headers dict(HEADERS) if referer: headers[Referer] referer for attempt in range(3): try: resp session.get(url, headersheaders, timeout(3, 10)) if resp.status_code 200: return resp except requests.exceptions.RequestException: time.sleep(2 * (attempt 1)) return None def parse_list(html_text): 列表页解析提取每个图集的详情页链接去重后返回 doc html.fromstring(html_text) links doc.xpath(//a[contains(href, /detail/)]/href) return list(set(links)) def parse_detail(html_text): 详情页解析优先取>import cv2 import numpy as np net cv2.dnn.readNet( deploy.prototxt, res10_300x300_ssd_iter_140000_fp16.caffemodel ) def detect_faces(img_path, conf_threshold0.7): img cv2.imread(img_path) if img is None: return [], None h, w img.shape[:2] blob cv2.dnn.blobFromImage( img, 1.0, (300, 300), (104.0, 177.0, 123.0) ) net.setInput(blob) detections net.forward() faces [] for i in range(detections.shape[2]): score detections[0, 0, i, 2] if score conf_threshold: continue box detections[0, 0, i, 3:7] * np.array([w, h, w, h]) x1, y1, x2, y2 box.astype(int) x1, y1 max(0, x1), max(0, y1) x2, y2 min(w, x2), min(h, y2) if x2 - x1 40 or y2 - y1 40: continue faces.append((x1, y1, x2, y2)) return faces, img这里两个参数最容易出错。blobFromImage 的 mean 参数必须是 (104.0, 177.0, 123.0)这是模型预训练时用的 BGR 均值写错会让检测框整体偏移甚至什么都检不到。conf_threshold 我建议从 0.7 起步如果发现漏检比如戴帽子、侧脸的图检不出来降到 0.5 再跑一轮但低于 0.5 会出现大量误检框宁可在后面用清洗规则过滤也不要一开始把阈值压得太低。3.3 对齐裁剪与清洗仿射变换、模糊过滤、重复过滤把检测框直接裁出来 resize 到 128x128 是最粗糙的做法问题在于检测框不总是正方形且人脸在框内位置有偏移直接 resize 会带来轻微但持续的几何畸变。我常用的改进是以检测框中心为中心按 1.2 倍边长向外扩再向上方多留 10% 的头顶点最后裁正方形 resize。这样能保证额头和下巴都在画面里。如果还想进一步对齐可以用 OpenCV 的 Haar 眼睛检测器在裁剪图里找两只眼睛找到后计算两眼连线与水平线的夹角用仿射变换把图片旋转到两眼水平def rotate_to_horizontal(img, left_eye, right_eye): dx right_eye[0] - left_eye[0] dy right_eye[1] - left_eye[1] angle np.degrees(np.arctan2(dy, dx)) cx, cy left_eye M cv2.getRotationMatrix2D((cx, cy), angle, 1.0) rotated cv2.warpAffine(img, M, (img.shape[1], img.shape[0])) return rotatedrotation 函数里眼睛坐标用 Haar 眼睛检测器拿检测失败就跳过旋转直接回到中心扩展裁剪。眼睛检测这步不能强求失败率在戴眼镜、闭眼、逆光人像上会明显上升别让这一步把整体流程卡死。清洗环节还有两个过滤器不能省。第一个是模糊过滤用 Laplacian 算子求方差方差低于阈值的图直接删因为这些图放大后全是噪点喂给 DCGAN 只会教坏判别器def is_blurry(img, threshold50.0): gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) return cv2.Laplacian(gray, cv2.CV_64F).var() threshold阈值 50 是经验值正常室外人像的 Laplacian 方差通常能到 100 以上虚焦或者暗光噪点图会明显低于 50。第二个是重复过滤用感知哈希计算每张图 64 位指纹汉明距离小于等于 5 就认为是重复图。同套图里连拍的照片重复率很高不清掉会严重偏向某个特定的人脸。过滤完之后按 PyTorch 的 ImageFolder 要求组织成 data/aligned_faces/faces/*.jpg。不需要按人脸身份分目录的话全部丢进 faces 目录即可但 ImageFolder 要求至少一层子目录所以这个容器目录必须存在。到这里DCGAN 的输入数据集才算合格。4. DCGAN 脸部自动生成128x128 输入的模型结构与训练参数4.1 生成器与判别器的结构DCGAN 的四条设计原则DCGAN 的核心论文提出了四条设计原则直接落地到代码上就好。第一用带步长的卷积和反卷积替代池化层让网络自己学习空间上采样和下采样第二生成器和判别器除最后一层外都加 BatchNorm稳定训练第三去掉全连接层输入噪声 z 直接 reshape 成特征图第四生成器里除输出层用 ReLU、输出层用 Tanh判别器里全部用 LeakyReLU。这四条原则每一条都对症一个训练症状。不加 BatchNorm深层 GAN 很容易在几十步内梯度爆炸判别器不用 LeakyReLU负半轴梯度全被 ReLU 截断判别器会快速退化到输出一条直线。我的生成器输入噪声维度取 100特征通道基数取 64输出 128x128x3判别器反向对称输入 128x128x3输出一个标量。这里要做一个明确取舍用 128x128 还是 64x64。64x64 训练快很多6G 显存就能用 batch_size 32 跑但生成出来的人脸五官模糊没有实用价值128x128 需要更大的生成器和判别器容量batch_size 64 时显存占用接近 11G。如果你手里是 8G 显存把 batch_size 降到 32 或者改 96x96 输入。我的经验是做人脸生成至少上 128x128否则糊成一团后面做超分完全是给自己找额外工作量。4.2 训练代码数据加载、BCE 损失、优化器参数与标签平滑模型定义用 PyTorch 写生成器和判别器都是简单的 Sequential 堆叠import torch import torch.nn as nn class Generator(nn.Module): def __init__(self, latent_dim100, ngf64): super().__init__() self.main nn.Sequential( nn.ConvTranspose2d(latent_dim, ngf * 8, 4, 1, 0, biasFalse), nn.BatchNorm2d(ngf * 8), nn.ReLU(True), nn.ConvTranspose2d(ngf * 8, ngf * 4, 4, 2, 1, biasFalse), nn.BatchNorm2d(ngf * 4), nn.ReLU(True), nn.ConvTranspose2d(ngf * 4, ngf * 2, 4, 2, 1, biasFalse), nn.BatchNorm2d(ngf * 2), nn.ReLU(True), nn.ConvTranspose2d(ngf * 2, ngf, 4, 2, 1, biasFalse), nn.BatchNorm2d(ngf), nn.ReLU(True), nn.ConvTranspose2d(ngf, 3, 4, 2, 1, biasFalse), nn.Tanh() ) def forward(self, z): out z.view(z.size(0), z.size(1), 1, 1) return self.main(out) class Discriminator(nn.Module): def __init__(self, ndf64): super().__init__() self.main nn.Sequential( nn.Conv2d(3, ndf, 4, 2, 1, biasFalse), nn.LeakyReLU(0.2, inplaceTrue), nn.Conv2d(ndf, ndf * 2, 4, 2, 1, biasFalse), nn.BatchNorm2d(ndf * 2), nn.LeakyReLU(0.2, inplaceTrue), nn.Conv2d(ndf * 2, ndf * 4, 4, 2, 1, biasFalse), nn.BatchNorm2d(ndf * 4), nn.LeakyReLU(0.2, inplaceTrue), nn.Conv2d(ndf * 4, 1, 4, 1, 0, biasFalse), ) def forward(self, x): return self.main(x).view(-1)生成器每层 ConvTranspose2d 都把特征图尺寸乘 2从 4x4 一路升到 128x128判别器每层步长 2 的卷积把尺寸减半最后用步长 1 的 4x4 卷积输出 1x1 再 view 成标量。这样一个生成器参数量在几个百万级别判别器略少训练速度可控。训练循环用 BCEWithLogitsLoss它把 Sigmoid 和 BCE 合并在一起数值上更稳定也方便在真实标签上做平滑from torch.utils.data import DataLoader from torchvision import transforms, datasets transform transforms.Compose([ transforms.Resize((128, 128)), transforms.ToTensor(), transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5)) ]) dataset datasets.ImageFolder(data/aligned_faces, transformtransform) loader DataLoader(dataset, batch_size64, shuffleTrue, num_workers4) device cuda netG Generator().to(device) netD Discriminator().to(device) criterion nn.BCEWithLogitsLoss() optG torch.optim.Adam(netG.parameters(), lr0.0002, betas(0.5, 0.999)) optD torch.optim.Adam(netD.parameters(), lr0.0002, betas(0.5, 0.999)) batch_size 64 real_label torch.full((batch_size,), 0.9, devicedevice) fake_label torch.zeros(batch_size, devicedevice) for epoch in range(100): for i, (real_img, _) in enumerate(loader): real_img real_img.to(device) z torch.randn(batch_size, 100, devicedevice) fake_img netG(z).detach() d_real netD(real_img) d_fake netD(fake_img) loss_d criterion(d_real, real_label) criterion(d_fake, fake_label) optD.zero_grad() loss_d.backward() optD.step() z torch.randn(batch_size, 100, devicedevice) fake_img netG(z) d_fake netD(fake_img) loss_g criterion(d_fake, torch.ones(batch_size, devicedevice)) optG.zero_grad() loss_g.backward() optG.step()优化器参数是 DCGAN 里最不能乱动的部分Adam 的 lr 固定 0.0002beta1 必须设 0.5 而不是 PyTorch 默认的 0.9。beta1 控制一阶动量0.9 会让梯度更新在 GAN 这种对抗环境下剧烈振荡训练更容易崩。数据归一化用 (0.5, 0.5, 0.5)把像素归一化到 [-1, 1]和生成器输出层的 Tanh 正好匹配。这一步漏掉生成图会出现明显的偏色或灰蒙感。4.3 训练曲线怎么看固定噪声做质检判断收敛与崩溃GAN 的 loss 不像分类任务那样有明确下降方向。判别器在 0.5 附近波动、生成器在 0.6 到 1.2 之间徘徊都是正常现象。我判断模型状态的标准有两个一是每轮 epoch 结束用固定噪声向量生成一批样例图直观对比从模糊到清晰的过程二是看生成图里的面部结构有没有破裂比如眼睛大小不一、五官错位那就是模式坍塌或训练振荡的信号。采样代码很短但建议一开始就放进训练循环import torchvision.utils as vutils fixed_z torch.randn(64, 100, devicedevice) def save_samples(netG, fixed_z, path): with torch.no_grad(): fake netG(fixed_z).cpu() vutils.save_image(fake, path, nrow8, normalizeTrue)模式坍塌的典型表现是生成图看起来还行但多样性极差64 张图里全是同一张脸的不同噪声版本。这时候先不要急着调网络结构优先检查数据是不是太单一以及学习率是不是该往下降。如果看到判别器 loss 掉到 0.001、生成器 loss 冲到 20 且持续不回落说明梯度已经断掉只能回滚到上一个正常 checkpoint把学习率减半重训。每轮保存 checkpoint 这个习惯在这个阶段就是真正的后悔药。5. 避坑手册从爬虫 403 到 DCGAN 坍缩的 5 个真实翻车现场这一章是整套流程里我实际踩过、且能稳定复现的五个问题每条按「现象 → 原因 → 解决」的顺序写。5.1 图片全部 403防盗链 Referer 和带 Cookie 的 Session现象解析出来的原图 URL 用浏览器能直接打开代码里 requests.get 却全部 403返回内容是 HTML 而不是图片。原因图片服务器做了防盗链校验检查请求头里有没有 Referer 字段、Referer 是否来自本站。裸的 requests.get 默认不带 Referer直接被拒。解决下载图片时带上详情页 URL 作为 Referer也就是 2.2 节 fetch_page 的 referer 参数另外用 requests.Session 先访问一次详情页再下载Session 会自动保留服务器下发的 Cookie很多图片站同时校验这两种字段。改完这两处403 问题基本消失。5.2 人脸框偏到角落或漏检blob 参数和 confidence 阈值现象检测出来的框要么把下半张脸切掉要么整张脸在框的边角还有一部分图完全检不到任何人脸。原因blobFromImage 的 mean 写成 (0, 0, 0) 或者 (123, 117, 104)和模型预训练时的均值不一致conf_threshold 设到 0.9把大量真实人脸挡在门外。解决按 3.2 节的写法mean 必须用 (104.0, 177.0, 123.0)这是 res10 SSD 的固定配置阈值从 0.7 往下调如果漏检明显就改成 0.5。注意检测框超过图片边界时不要整张丢弃用 x1、x2 的 clamp 裁剪处理。5.3 判别器 loss 归零、生成器 loss 飙升标签平滑和学习率现象训练到 200 到 300 步判别器 loss 骤降到接近 0生成器 loss 跳到 20 以上之后无论跑多少轮都拉不回来。原因判别器能力太强真实样本和生成样本的特征差异被一下子分开传给生成器的梯度基本消失这个现象在高分辨率、高容量判别器上特别常见。解决真实标签用 0.9 做标签平滑给判别器留一点犯错的余地确认 Adam 的 lr 是 0.0002、beta1 是 0.5如果已经崩了从最后一个正常 checkpoint 恢复把 lr 减半重训。另一个可行手段是让判别器每训练 1 次、生成器训练 2 次把天平往生成器那边压一压。5.4 训练几千步后全是噪点Tanh 输出、数据归一化和 batch_size现象loss 曲线看起来正常但固定噪声生成的样例图始终是灰绿色噪点或模糊色块。原因生成器输出层忘了接 Tanh或者数据没有归一化到 [-1, 1]生成器输出的值域和真实图的值域对不上判别器在「作弊」——它只看值域范围就能分辨真假根本不用学纹理。另一个隐蔽原因是 batch_size 小于 16BatchNorm 在小 batch 上统计的均值方差极不稳定。解决检查生成器最后一层是不是 nn.Tanh()数据 transform 里补上 Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))batch_size 至少 32能上 64 就用 64。5.5 数据量不够生成「模板脸」多源采集与增强策略现象训练到后期生成图清晰度不错但每张脸都长得差不多换噪声只换背景和光照不换五官结构。原因模式坍塌或者数据集太小、身份太集中。DCGAN 虽然是最基础的 GAN但训练集规模低于五千张时学到的人脸多样性明显不够。解决先看图集是否集中在少数几个人身上如果是就增加采集来源多站合并而不是只依赖一个站再不行就在清洗阶段做数据增强水平翻转、随机小角度旋转、轻微亮度抖动都是 DCGAN 友好的增强。这里注意一点不要做随机裁剪人脸对裁剪位置极其敏感裁歪了等于在给数据集加噪声。6. 收尾技巧用 FID 给生成结果打分并把生成器导出 ONNX6.1 用 FID 评估生成质量肉眼看了上百张生成图之后审美疲劳会让你很难分辨模型到底有没有变好。FID 是评估 GAN 生成质量最常用的指标它计算真实图集和生成图集在 Inception v3 特征空间上的分布距离越低代表两者越接近。做人脸生成FID 能进 100 以下肉眼就基本能接受低于 60 算相当好。计算时取 5000 到 10000 张生成图和同等数量的真实图做对比跑一次大概几分钟比反复肉眼盯图靠谱得多。6.2 把生成器导出为 ONNX训练结束后生成器需要脱离 PyTorch 环境运行。导出 ONNX 是最稳妥的方式之后 OpenCV 的 DNN 模块和 ONNXRuntime 都能直接加载netG.eval() dummy_z torch.randn(1, 100, devicecuda) torch.onnx.export( netG, dummy_z, generator.onnx, input_names[z], output_names[image], dynamic_axes{z: {0: batch}, image: {0: batch}} )dynamic_axes 保证导出模型支持任意 batch 大小这样线上推理可以一次生成多张。实际调用时你会发现ONNX 模型在 CPU 上生成一张 128x128 人脸只需要几十毫秒完全可以做成实时预览工具。6.3 我的训练习惯最后说一个每天都在用的习惯每次训练前把固定噪声向量存下来每个 epoch 的生成结果网格图按序号命名保存测试新参数之前先复制一份旧 checkpoint。这个习惯帮我避免了无数次「改了个参数看不到趋势又忘了原参数能出什么效果」的尴尬。GAN 训练本来就是玄学能复现比能跑通更重要。希望帮到你。本文还有配套的精品资源点击获取
简介一份将写真套图爬取、人脸识别与DCGAN对抗生成整合为完整实践链路的学习资源面向机器学习与图像生成方向、具备一定Python基础的学习者。压缩包共506个文件、约77.58MB442个jpg与29个png构成训练图片集8个py脚本承担爬虫抓取、数据预处理与模型训练任务多组DCGAN.model-*.index/meta/checkpoint为不同迭代步数的预训练权重配合create_list.bat生成数据列表txt与md文档说明使用方法从数据准备到模型产出一目了然。预训练权重覆盖多轮迭代便于直接恢复训练或开展迁移实验目录结构清晰适合动手复现“爬虫深度学习”完整流程。目前已有1739人浏览学习可作为搭建DCGAN人脸自动生成项目的起步参考。1. 一个标题其实是三条技术栈爬虫、人脸清洗、DCGAN 缺一不可「Python-写真美女套图爬虫美女脸部识别DCGAN脸部自动生成」看起来像三个热门词拼出来的练手项目实际是一条完整的人像数据流水线先写爬虫从公开图库采集人像写真图集再用脸部识别把散落的图清洗成对齐的人脸数据集最后用 DCGAN 拿这份数据集训练自动生成新的人脸图像。三个环节互相咬合任何一环出问题最终结果都会翻车爬虫抓回来的图片大量 403人脸检测框到处乱飞DCGAN 训练不收敛生成一片噪点。我按真实落地顺序把这套方案讲清楚给出能直接跑的代码和参数。适合准备做人像图像生成、想给 GAN 攒一份干净人脸数据集的 Python 开发者和学生。2. 写真套图爬虫requests XPath 拆解图片站的最小抓取方案2.1 选型逻辑为什么用 requests 而不是 Scrapy 或分布式爬虫先泼一盆冷水这个标题下的爬虫任务量级远没有到需要上框架的程度。几十个列表页、每个列表页进详情页取原图、单机跑完总共几千到几万张图片。用 requests 做 python 爬虫配合 lxml 的 XPath 解析足够完成整个抓取流程而且出错时排查链路短。我见过不少人在这种轻量任务上一上来就搭 scrapy 爬虫项目结果光配置 Item Pipeline、中间件和去重队列就花掉半天。Scrapy 的优势是调度、去重、并发和扩展性适合百万级 URL、需要断点续爬、要上分布式爬虫的长期项目而这个场景里这些能力全部用不上。所以我的选择是requests 负责 HTTPlxml 负责解析Pillow 负责图片校验opencv-python 负责后续人脸检测。这套组合就是一个足够顺手的爬虫工具箱。requests 的 Session 可以复用 TCP 连接、自动管理 Cookie对图片站这种会话保持要求较高的场景很合适。至于并发提速我一般不会在这个阶段引入线程池或异步单线程加 0.5 秒延时反而是最不容易触发封禁的节奏真需要快优先用 requests.Session 加两三个线程而不是一次性开几十个并发。2.2 列表页到详情页再到原图一套可以照着跑的 XPath 抓取代码先说典型页面结构。大部分图片站的规则是列表页里每个写真图集是一个链接封面是缩略图点进详情页页面里按顺序排列大图大图 URL 往往放在 img 标签的>import os import time import requests from lxml import html HEADERS { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 } def fetch_page(session, url, refererNone): headers dict(HEADERS) if referer: headers[Referer] referer for attempt in range(3): try: resp session.get(url, headersheaders, timeout(3, 10)) if resp.status_code 200: return resp except requests.exceptions.RequestException: time.sleep(2 * (attempt 1)) return None def parse_list(html_text): 列表页解析提取每个图集的详情页链接去重后返回 doc html.fromstring(html_text) links doc.xpath(//a[contains(href, /detail/)]/href) return list(set(links)) def parse_detail(html_text): 详情页解析优先取>import cv2 import numpy as np net cv2.dnn.readNet( deploy.prototxt, res10_300x300_ssd_iter_140000_fp16.caffemodel ) def detect_faces(img_path, conf_threshold0.7): img cv2.imread(img_path) if img is None: return [], None h, w img.shape[:2] blob cv2.dnn.blobFromImage( img, 1.0, (300, 300), (104.0, 177.0, 123.0) ) net.setInput(blob) detections net.forward() faces [] for i in range(detections.shape[2]): score detections[0, 0, i, 2] if score conf_threshold: continue box detections[0, 0, i, 3:7] * np.array([w, h, w, h]) x1, y1, x2, y2 box.astype(int) x1, y1 max(0, x1), max(0, y1) x2, y2 min(w, x2), min(h, y2) if x2 - x1 40 or y2 - y1 40: continue faces.append((x1, y1, x2, y2)) return faces, img这里两个参数最容易出错。blobFromImage 的 mean 参数必须是 (104.0, 177.0, 123.0)这是模型预训练时用的 BGR 均值写错会让检测框整体偏移甚至什么都检不到。conf_threshold 我建议从 0.7 起步如果发现漏检比如戴帽子、侧脸的图检不出来降到 0.5 再跑一轮但低于 0.5 会出现大量误检框宁可在后面用清洗规则过滤也不要一开始把阈值压得太低。3.3 对齐裁剪与清洗仿射变换、模糊过滤、重复过滤把检测框直接裁出来 resize 到 128x128 是最粗糙的做法问题在于检测框不总是正方形且人脸在框内位置有偏移直接 resize 会带来轻微但持续的几何畸变。我常用的改进是以检测框中心为中心按 1.2 倍边长向外扩再向上方多留 10% 的头顶点最后裁正方形 resize。这样能保证额头和下巴都在画面里。如果还想进一步对齐可以用 OpenCV 的 Haar 眼睛检测器在裁剪图里找两只眼睛找到后计算两眼连线与水平线的夹角用仿射变换把图片旋转到两眼水平def rotate_to_horizontal(img, left_eye, right_eye): dx right_eye[0] - left_eye[0] dy right_eye[1] - left_eye[1] angle np.degrees(np.arctan2(dy, dx)) cx, cy left_eye M cv2.getRotationMatrix2D((cx, cy), angle, 1.0) rotated cv2.warpAffine(img, M, (img.shape[1], img.shape[0])) return rotatedrotation 函数里眼睛坐标用 Haar 眼睛检测器拿检测失败就跳过旋转直接回到中心扩展裁剪。眼睛检测这步不能强求失败率在戴眼镜、闭眼、逆光人像上会明显上升别让这一步把整体流程卡死。清洗环节还有两个过滤器不能省。第一个是模糊过滤用 Laplacian 算子求方差方差低于阈值的图直接删因为这些图放大后全是噪点喂给 DCGAN 只会教坏判别器def is_blurry(img, threshold50.0): gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) return cv2.Laplacian(gray, cv2.CV_64F).var() threshold阈值 50 是经验值正常室外人像的 Laplacian 方差通常能到 100 以上虚焦或者暗光噪点图会明显低于 50。第二个是重复过滤用感知哈希计算每张图 64 位指纹汉明距离小于等于 5 就认为是重复图。同套图里连拍的照片重复率很高不清掉会严重偏向某个特定的人脸。过滤完之后按 PyTorch 的 ImageFolder 要求组织成 data/aligned_faces/faces/*.jpg。不需要按人脸身份分目录的话全部丢进 faces 目录即可但 ImageFolder 要求至少一层子目录所以这个容器目录必须存在。到这里DCGAN 的输入数据集才算合格。4. DCGAN 脸部自动生成128x128 输入的模型结构与训练参数4.1 生成器与判别器的结构DCGAN 的四条设计原则DCGAN 的核心论文提出了四条设计原则直接落地到代码上就好。第一用带步长的卷积和反卷积替代池化层让网络自己学习空间上采样和下采样第二生成器和判别器除最后一层外都加 BatchNorm稳定训练第三去掉全连接层输入噪声 z 直接 reshape 成特征图第四生成器里除输出层用 ReLU、输出层用 Tanh判别器里全部用 LeakyReLU。这四条原则每一条都对症一个训练症状。不加 BatchNorm深层 GAN 很容易在几十步内梯度爆炸判别器不用 LeakyReLU负半轴梯度全被 ReLU 截断判别器会快速退化到输出一条直线。我的生成器输入噪声维度取 100特征通道基数取 64输出 128x128x3判别器反向对称输入 128x128x3输出一个标量。这里要做一个明确取舍用 128x128 还是 64x64。64x64 训练快很多6G 显存就能用 batch_size 32 跑但生成出来的人脸五官模糊没有实用价值128x128 需要更大的生成器和判别器容量batch_size 64 时显存占用接近 11G。如果你手里是 8G 显存把 batch_size 降到 32 或者改 96x96 输入。我的经验是做人脸生成至少上 128x128否则糊成一团后面做超分完全是给自己找额外工作量。4.2 训练代码数据加载、BCE 损失、优化器参数与标签平滑模型定义用 PyTorch 写生成器和判别器都是简单的 Sequential 堆叠import torch import torch.nn as nn class Generator(nn.Module): def __init__(self, latent_dim100, ngf64): super().__init__() self.main nn.Sequential( nn.ConvTranspose2d(latent_dim, ngf * 8, 4, 1, 0, biasFalse), nn.BatchNorm2d(ngf * 8), nn.ReLU(True), nn.ConvTranspose2d(ngf * 8, ngf * 4, 4, 2, 1, biasFalse), nn.BatchNorm2d(ngf * 4), nn.ReLU(True), nn.ConvTranspose2d(ngf * 4, ngf * 2, 4, 2, 1, biasFalse), nn.BatchNorm2d(ngf * 2), nn.ReLU(True), nn.ConvTranspose2d(ngf * 2, ngf, 4, 2, 1, biasFalse), nn.BatchNorm2d(ngf), nn.ReLU(True), nn.ConvTranspose2d(ngf, 3, 4, 2, 1, biasFalse), nn.Tanh() ) def forward(self, z): out z.view(z.size(0), z.size(1), 1, 1) return self.main(out) class Discriminator(nn.Module): def __init__(self, ndf64): super().__init__() self.main nn.Sequential( nn.Conv2d(3, ndf, 4, 2, 1, biasFalse), nn.LeakyReLU(0.2, inplaceTrue), nn.Conv2d(ndf, ndf * 2, 4, 2, 1, biasFalse), nn.BatchNorm2d(ndf * 2), nn.LeakyReLU(0.2, inplaceTrue), nn.Conv2d(ndf * 2, ndf * 4, 4, 2, 1, biasFalse), nn.BatchNorm2d(ndf * 4), nn.LeakyReLU(0.2, inplaceTrue), nn.Conv2d(ndf * 4, 1, 4, 1, 0, biasFalse), ) def forward(self, x): return self.main(x).view(-1)生成器每层 ConvTranspose2d 都把特征图尺寸乘 2从 4x4 一路升到 128x128判别器每层步长 2 的卷积把尺寸减半最后用步长 1 的 4x4 卷积输出 1x1 再 view 成标量。这样一个生成器参数量在几个百万级别判别器略少训练速度可控。训练循环用 BCEWithLogitsLoss它把 Sigmoid 和 BCE 合并在一起数值上更稳定也方便在真实标签上做平滑from torch.utils.data import DataLoader from torchvision import transforms, datasets transform transforms.Compose([ transforms.Resize((128, 128)), transforms.ToTensor(), transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5)) ]) dataset datasets.ImageFolder(data/aligned_faces, transformtransform) loader DataLoader(dataset, batch_size64, shuffleTrue, num_workers4) device cuda netG Generator().to(device) netD Discriminator().to(device) criterion nn.BCEWithLogitsLoss() optG torch.optim.Adam(netG.parameters(), lr0.0002, betas(0.5, 0.999)) optD torch.optim.Adam(netD.parameters(), lr0.0002, betas(0.5, 0.999)) batch_size 64 real_label torch.full((batch_size,), 0.9, devicedevice) fake_label torch.zeros(batch_size, devicedevice) for epoch in range(100): for i, (real_img, _) in enumerate(loader): real_img real_img.to(device) z torch.randn(batch_size, 100, devicedevice) fake_img netG(z).detach() d_real netD(real_img) d_fake netD(fake_img) loss_d criterion(d_real, real_label) criterion(d_fake, fake_label) optD.zero_grad() loss_d.backward() optD.step() z torch.randn(batch_size, 100, devicedevice) fake_img netG(z) d_fake netD(fake_img) loss_g criterion(d_fake, torch.ones(batch_size, devicedevice)) optG.zero_grad() loss_g.backward() optG.step()优化器参数是 DCGAN 里最不能乱动的部分Adam 的 lr 固定 0.0002beta1 必须设 0.5 而不是 PyTorch 默认的 0.9。beta1 控制一阶动量0.9 会让梯度更新在 GAN 这种对抗环境下剧烈振荡训练更容易崩。数据归一化用 (0.5, 0.5, 0.5)把像素归一化到 [-1, 1]和生成器输出层的 Tanh 正好匹配。这一步漏掉生成图会出现明显的偏色或灰蒙感。4.3 训练曲线怎么看固定噪声做质检判断收敛与崩溃GAN 的 loss 不像分类任务那样有明确下降方向。判别器在 0.5 附近波动、生成器在 0.6 到 1.2 之间徘徊都是正常现象。我判断模型状态的标准有两个一是每轮 epoch 结束用固定噪声向量生成一批样例图直观对比从模糊到清晰的过程二是看生成图里的面部结构有没有破裂比如眼睛大小不一、五官错位那就是模式坍塌或训练振荡的信号。采样代码很短但建议一开始就放进训练循环import torchvision.utils as vutils fixed_z torch.randn(64, 100, devicedevice) def save_samples(netG, fixed_z, path): with torch.no_grad(): fake netG(fixed_z).cpu() vutils.save_image(fake, path, nrow8, normalizeTrue)模式坍塌的典型表现是生成图看起来还行但多样性极差64 张图里全是同一张脸的不同噪声版本。这时候先不要急着调网络结构优先检查数据是不是太单一以及学习率是不是该往下降。如果看到判别器 loss 掉到 0.001、生成器 loss 冲到 20 且持续不回落说明梯度已经断掉只能回滚到上一个正常 checkpoint把学习率减半重训。每轮保存 checkpoint 这个习惯在这个阶段就是真正的后悔药。5. 避坑手册从爬虫 403 到 DCGAN 坍缩的 5 个真实翻车现场这一章是整套流程里我实际踩过、且能稳定复现的五个问题每条按「现象 → 原因 → 解决」的顺序写。5.1 图片全部 403防盗链 Referer 和带 Cookie 的 Session现象解析出来的原图 URL 用浏览器能直接打开代码里 requests.get 却全部 403返回内容是 HTML 而不是图片。原因图片服务器做了防盗链校验检查请求头里有没有 Referer 字段、Referer 是否来自本站。裸的 requests.get 默认不带 Referer直接被拒。解决下载图片时带上详情页 URL 作为 Referer也就是 2.2 节 fetch_page 的 referer 参数另外用 requests.Session 先访问一次详情页再下载Session 会自动保留服务器下发的 Cookie很多图片站同时校验这两种字段。改完这两处403 问题基本消失。5.2 人脸框偏到角落或漏检blob 参数和 confidence 阈值现象检测出来的框要么把下半张脸切掉要么整张脸在框的边角还有一部分图完全检不到任何人脸。原因blobFromImage 的 mean 写成 (0, 0, 0) 或者 (123, 117, 104)和模型预训练时的均值不一致conf_threshold 设到 0.9把大量真实人脸挡在门外。解决按 3.2 节的写法mean 必须用 (104.0, 177.0, 123.0)这是 res10 SSD 的固定配置阈值从 0.7 往下调如果漏检明显就改成 0.5。注意检测框超过图片边界时不要整张丢弃用 x1、x2 的 clamp 裁剪处理。5.3 判别器 loss 归零、生成器 loss 飙升标签平滑和学习率现象训练到 200 到 300 步判别器 loss 骤降到接近 0生成器 loss 跳到 20 以上之后无论跑多少轮都拉不回来。原因判别器能力太强真实样本和生成样本的特征差异被一下子分开传给生成器的梯度基本消失这个现象在高分辨率、高容量判别器上特别常见。解决真实标签用 0.9 做标签平滑给判别器留一点犯错的余地确认 Adam 的 lr 是 0.0002、beta1 是 0.5如果已经崩了从最后一个正常 checkpoint 恢复把 lr 减半重训。另一个可行手段是让判别器每训练 1 次、生成器训练 2 次把天平往生成器那边压一压。5.4 训练几千步后全是噪点Tanh 输出、数据归一化和 batch_size现象loss 曲线看起来正常但固定噪声生成的样例图始终是灰绿色噪点或模糊色块。原因生成器输出层忘了接 Tanh或者数据没有归一化到 [-1, 1]生成器输出的值域和真实图的值域对不上判别器在「作弊」——它只看值域范围就能分辨真假根本不用学纹理。另一个隐蔽原因是 batch_size 小于 16BatchNorm 在小 batch 上统计的均值方差极不稳定。解决检查生成器最后一层是不是 nn.Tanh()数据 transform 里补上 Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))batch_size 至少 32能上 64 就用 64。5.5 数据量不够生成「模板脸」多源采集与增强策略现象训练到后期生成图清晰度不错但每张脸都长得差不多换噪声只换背景和光照不换五官结构。原因模式坍塌或者数据集太小、身份太集中。DCGAN 虽然是最基础的 GAN但训练集规模低于五千张时学到的人脸多样性明显不够。解决先看图集是否集中在少数几个人身上如果是就增加采集来源多站合并而不是只依赖一个站再不行就在清洗阶段做数据增强水平翻转、随机小角度旋转、轻微亮度抖动都是 DCGAN 友好的增强。这里注意一点不要做随机裁剪人脸对裁剪位置极其敏感裁歪了等于在给数据集加噪声。6. 收尾技巧用 FID 给生成结果打分并把生成器导出 ONNX6.1 用 FID 评估生成质量肉眼看了上百张生成图之后审美疲劳会让你很难分辨模型到底有没有变好。FID 是评估 GAN 生成质量最常用的指标它计算真实图集和生成图集在 Inception v3 特征空间上的分布距离越低代表两者越接近。做人脸生成FID 能进 100 以下肉眼就基本能接受低于 60 算相当好。计算时取 5000 到 10000 张生成图和同等数量的真实图做对比跑一次大概几分钟比反复肉眼盯图靠谱得多。6.2 把生成器导出为 ONNX训练结束后生成器需要脱离 PyTorch 环境运行。导出 ONNX 是最稳妥的方式之后 OpenCV 的 DNN 模块和 ONNXRuntime 都能直接加载netG.eval() dummy_z torch.randn(1, 100, devicecuda) torch.onnx.export( netG, dummy_z, generator.onnx, input_names[z], output_names[image], dynamic_axes{z: {0: batch}, image: {0: batch}} )dynamic_axes 保证导出模型支持任意 batch 大小这样线上推理可以一次生成多张。实际调用时你会发现ONNX 模型在 CPU 上生成一张 128x128 人脸只需要几十毫秒完全可以做成实时预览工具。6.3 我的训练习惯最后说一个每天都在用的习惯每次训练前把固定噪声向量存下来每个 epoch 的生成结果网格图按序号命名保存测试新参数之前先复制一份旧 checkpoint。这个习惯帮我避免了无数次「改了个参数看不到趋势又忘了原参数能出什么效果」的尴尬。GAN 训练本来就是玄学能复现比能跑通更重要。希望帮到你。本文还有配套的精品资源点击获取
