为什么我建议每个做图像模型的人都试试对抗训练模型鲁棒性这个词在深度学习圈子里被提得越来越频繁但真正把它当核心指标来做的团队其实并不多。我前阵子接手了一个图像分类项目模型在测试集上的准确率已经做到了98%以上结果随便加一点点肉眼完全看不出来的噪声准确率直接掉到40%以下。那个瞬间我才意识到平时报出来的漂亮指标很大程度上是考试型选手——题目换了个问法就抓瞎。后来我把对抗训练和对抗攻击的思路完整地引入PyTorch训练流程才把模型从高分低能里拉回来。这篇文章不是那种理论满天飞的科普而是我把自己在实战中跑通的完整方案、关键代码、参数选择和踩坑记录全部整理出来。适合的人群很明确已经在用PyTorch做过图像分类、目标检测但对对抗训练还停留在概念层面的同学以及模型鲁棒性有硬性要求、需要在真实业务里扛住输入扰动的工程团队。我会从最基础的对抗样本原理讲起再到FGSM、PGD攻击的具体实现最后落到训练细节调优和问题排查保证你看完能直接照着抄。1. 对抗样本与模型鲁棒性先搞清楚我们要防御什么1.1 一个肉眼不变却能让模型彻底翻车的例子很多人第一次接触对抗样本时会觉得这是某种高深的黑客攻击其实原理相当朴素。假设你有一张猫的图片模型正确分类为猫。对抗攻击做的就是在这张图片的每个像素上叠加一个极小的扰动向量这个向量的方向是让模型朝着错误方向移动最快的那个方向。由于扰动幅度限制得很小人眼看不出任何变化但模型内部的特征分布已经被搅乱了最终置信度最高的类别变成了狗甚至飞机。这个现象背后涉及一个重要的几何直觉深度模型学到的决策边界在高维空间里通常是过于自信的。模型在正常样本附近几乎没有留出安全距离只要输入稍微偏离训练分布的流形输出就会剧烈变化。用生活类比来解释就是——你在考试中只记住了标准答案的固定模式题目换个表达方式或者加个无关条件你就完全不会做了。对抗训练的核心思路就是把这些坏样本暴露给模型在训练过程中故意先生成对抗样本再把它们当作训练数据喂回去让模型学会看到扰动也能保持判断稳定。这相当于给学生做变式训练而不是只背标准答案。1.2 对抗攻击的两种主流思路梯度攻击与优化攻击要理解对抗训练必须先理解攻击是怎么生成的。目前主流方法分两大派系第一类是基于梯度的快速攻击方法代表是FGSM和PGD。这类方法的思路是拿到模型对输入的梯度沿着让损失增大的方向修改像素本质上是用模型的梯度攻击模型自己。FGSM只走一步速度快但攻击成功率有限PGD把FGSM的操作重复多步每步走一小步并限制在给定范围内攻击效果显著增强所以它成了对抗训练中最常用的基准攻击。第二类是基于优化的攻击方法代表是CW攻击。这类方法把找对抗样本建模成一个优化问题通过求解一个同时满足分类错误和扰动最小的目标函数来得到样本。它的攻击成功率通常更高但计算成本也大得多在训练中直接使用不太现实一般用于评估模型的上限鲁棒性。在实际项目中我常用的搭配是训练阶段用PGD做对抗样本生成因为它在效果和计算成本之间平衡得比较好评估阶段用PGD加CW交叉验证看模型的真实防御水平。这里有一个很重要的认知对抗训练的强度取决于你训练时所使用的攻击强度。你用FGSM训练出来的模型在PGD攻击下大概率还是脆弱的。2. 在PyTorch里落地对抗训练从FGSM到PGD的完整实现2.1 环境准备与核心约定我的实现环境是PyTorch 2.x配合CUDA 11.8显卡是常见的中高端消费级显卡。这里不涉及具体的项目名称就用一个模拟项目X来演示数据集选用CIFAR-10这类公开图像数据集模型用ResNet-18。因为对抗训练本身计算开销就比普通训练高出不少选轻量模型能让你更快验证方案后期再换大模型。在开始写代码前先明确三个约定。第一个约定是扰动范围。对抗样本的扰动必须限制在合理范围内否则生成的样本已经被人眼识别为噪声模型就算抗住了也没实际意义。我用的是无穷范数约束下的扰动范围常见取值为8/255或者16/255这在CIFAR-10场景下能保证扰动不可察觉且攻击有效。第二个约定是训练阶段和评估阶段使用不同的随机种子避免模型隐性记住攻击样本的顺序。第三个约定是评估指标用干净精度和鲁棒精度两个数同时报只报其中一个都是耍流氓——干净精度指模型在原始测试集上的准确率鲁棒精度指模型在攻击后测试集上的准确率。2.2 最小攻击工具集自定义FGSM攻击模块FGSM的核心代码非常短但在工程实现里有细节需要处理。攻击的本质是在梯度方向上做一次固定步长的修改公式为对抗样本 原始样本 epsilon * sign(梯度)。import torch import torch.nn.functional as F def fgsm_attack(model, images, labels, epsilon8/255): images.requires_grad True outputs model(images) loss F.cross_entropy(outputs, labels) model.zero_grad() loss.backward() # 取梯度符号方向乘以扰动范围 perturbed_images images epsilon * images.grad.sign() # 把像素裁剪回合法范围[0,1] perturbed_images torch.clamp(perturbed_images, 0, 1) return perturbed_images这里有两个容易踩的坑。第一个坑是必须设置images.requires_grad TruePyTorch默认情况下输入张量是不需要梯度的不打开这个开关images.grad就是None。第二个坑是最后一步的clamp不能省略很多数据集的归一化范围是[0,1]不做裁剪会产生越界像素影响后续训练稳定性。FGSM虽然被称为快速梯度符号法但它本质上是单步攻击对模型的真实防御能力评估不够。实践中的定位是快速测试和基线对比而不是真正用来训练强鲁棒模型。2.3 PGD攻击模块多步迭代才是关键PGDProjected Gradient Descent的思路是FGSM的迭代加强版从原始样本出发在每一步中计算梯度、沿着梯度方向走一小步、把结果投影回合法范围然后重复多次。投影的含义是保证经过多次修改后样本仍然在以原始样本为中心、半径为epsilon的球内。def pgd_attack(model, images, labels, epsilon8/255, alpha2/255, iters7): # 保存原始图像的副本用于最终投影 ori_images images.clone().detach() # 随机初始化扰动避免收敛到局部最优解 delta torch.empty_like(images).uniform_(-epsilon, epsilon) delta.requires_grad True for _ in range(iters): perturbed_images ori_images delta outputs model(perturbed_images) loss F.cross_entropy(outputs, labels) model.zero_grad() loss.backward() # 每步沿着梯度方向迈一小步 delta.data delta alpha * delta.grad.sign() # 核心投影步骤限制总扰动不超过epsilon delta.data torch.clamp(delta, -epsilon, epsilon) delta.data torch.clamp(ori_images delta, 0, 1) - ori_images return ori_images delta几个参数解释一下。alpha是每步的步长一般取epsilon / 4到epsilon / 5太小会导致迭代步数内走不到边界太大容易震荡。iters是迭代次数经验值在7到20之间次数越多攻击效果越强但计算时间线性增加。训练时用7步左右就能获得不错的效果评估时建议增加到20步以上。这里我有个自己的习惯初始化扰动时用均匀分布随机初始化而不是从全零开始。原因是全零起点会让PGD每轮生成几乎相同的攻击样本模型容易过拟合到固定的攻击模式上随机初始化能让攻击样本的多样性大幅提高最终训练的模型泛化性更好。2.4 对抗训练主循环怎么把攻击嵌进训练流程有了攻击模块对抗训练的完整流程就清晰了每个训练批次先用原始数据计算一次干净损失对参数做一次正常的梯度更新然后用PGD生成对抗样本把对抗样本作为输入再计算一次对抗损失再做一次梯度更新。两种损失的比例可以根据场景设置最朴素的方式是1:1叠加。def train_one_epoch(model, train_loader, optimizer, epsilon8/255): model.train() total_loss 0.0 correct_clean 0.0 correct_adv 0.0 total 0.0 for images, labels in train_loader: images, labels images.cuda(), labels.cuda() optimizer.zero_grad() # 第一步干净数据的标准训练 outputs_clean model(images) loss_clean F.cross_entropy(outputs_clean, labels) # 第二步生成对抗样本并计算对抗损失 adv_images pgd_attack(model, images, labels, epsilonepsilon) outputs_adv model(adv_images) loss_adv F.cross_entropy(outputs_adv, labels) # 总损失为两者之和这里也可以按比例加权 loss loss_clean loss_adv loss.backward() optimizer.step() # 统计指标 total labels.size(0) correct_clean (outputs_clean.argmax(1) labels).sum().item() correct_adv (outputs_adv.argmax(1) labels).sum().item() total_loss loss.item() return total_loss / len(train_loader), correct_clean / total, correct_adv / total这段代码里最需要注意的一个工程细节是pgd_attack函数内部会多次调用model做前向和反向传播而在主循环里我们最后又会对outputs_adv做一次loss.backward()。这意味着同一个批次的对抗样本在生成过程中已经经过了多轮梯度计算主循环的反向传播会再次累积梯度。如果不清除计算图中的中间状态显存会被快速耗尽。PyTorch默认会在每次backward()后释放非叶子节点的梯度但在显存敏感的任务中我建议在pgd_attack内部使用torch.no_grad()包裹不需要梯度更新的攻击迭代部分。具体做法是把delta.requires_grad True改为仅在需要梯度时开启其余迭代部分用no_grad模式这样可以大幅降低显存占用让批量大小可以开得更大。另外这个主循环的计算成本大约是普通训练的3到5倍取决于PGD迭代次数所以训练过程中batch size不宜开太大。我的经验是在12GB显存的显卡上ResNet-18配合CIFAR-10数据集batch size取64比较稳妥再大会显存溢出。3. 实战优化让对抗训练在精度不崩的前提下提速提质3.1 损失函数选型标准对抗训练对比TRADES和MART标准对抗训练使用的是交叉熵损失也就是让模型把对抗样本的类别也预测正确。这种方法实现简单、效果直接但它有一个隐含问题它只约束了给定对抗样本输出正确类别没有显式约束原始样本和对抗样本的输出分布要一致。当攻击强度增大时模型可能会变得过度平滑导致干净样本的准确率严重下降。我在项目后期尝试了两种改进损失函数效果差异非常明显。第一种是TRADES损失它的核心思想是把分类正确和分布一致性分开来优化。整体损失写成自然损失加上一个权重系数乘以正则项正则项衡量模型在原始样本和对抗样本输出分布之间的KL散度。这个设计让模型在保证干净样本精度的同时稳定对抗样本下的输出。TRADES在鲁棒性和干净精度的平衡上做得比标准对抗训练好很多但需要多调一个权重参数我一般取1到6之间过大会让训练变慢。第二种是MART损失它特别关注的是那些被错误分类的对抗样本。MART认为模型对错误分类的样本应该受到更大的惩罚并且对可能被误分类的样本给予更高权重。它的另一个特点是显式引入了一个正则项拉大正确类别的置信度和最高错误类别置信度之间的距离。这个损失在处理强攻击时表现出很强的稳定性我实测下来在20步PGD攻击下鲁棒精度比标准对抗训练高出3到5个百分点。选择建议很直接如果你的项目对干净精度要求极高同时希望模型扛住中等强度攻击TRADES是首选如果模型主要部署在对抗性较强的场景比如风控、内容审核MART会表现得更稳。3.2 超参数怎么定扰动半径、步长、攻击概率对抗训练中最关键的超参数是扰动半径epsilon它的选择直接决定了模型的鲁棒性边界。epsilon太小模型学到的防御能力太弱epsilon太大对抗样本已经明显偏离原始分布模型被迫在极度扭曲的输入上学习会严重损害干净精度。在图像领域我常用的参考标准是CIFAR-10和ImageNet这类标准化数据集epsilon取8/255作为标准值攻击难度相当于给每个像素点最多增减0.03的量级。轻量任务或对精度敏感的模型可以降到4/255强对抗场景可以用16/255。你在定这个参数时要结合业务里实际可能遇到的扰动幅度。比如部署在手机摄像头场景光照、抖动产生的自然噪声通常在2/255到4/255而在风控场景中恶意攻击者可能会用更激进的扰动此时16/255甚至更高都是合理的。还有一个被我重点调整过的参数是攻击概率。我们不一定每个batch都要做对抗训练因为均匀地全量对抗训练会大幅提升训练时间而且模型容易过拟合到所有样本都被攻击这一种模式上。我在实际项目中经常用50%到70%的概率随机决定当前batch是否进行对抗训练其余batch保持干净训练。这样既显著降低了训练开销又保留了样本多样性最终鲁棒精度几乎没有下降。3.3 提升稳定性的三个细节EMA、标签平滑和基础数据增强对抗训练比其他训练方法更容易出现震荡和过拟合因为对抗样本的地方梯度比较大模型参数更新相对激进。我在实战中验证了三个有效提升稳定性的手段。第一是EMA指数移动平均即对模型参数维护一个滑动平均版本在评估时使用平均参数而不是实时参数。这个技巧在普通训练里是可选优化在对抗训练中几乎是必需品。因为对抗训练的参数波动大滑动平均可以显著平滑参数空间中的震荡一般能带来2%左右的稳定提升。第二是标签平滑。对抗训练本质上希望模型对带扰动的样本不那么自信如果使用硬标签0或1模型在对抗样本上需要强行把confidence推到极致容易产生过拟合。标签平滑将正确类别的目标概率设为0.9左右其余概率均匀分配到其他类别让模型的输出分布更平滑。我用0.1的平滑系数后对抗训练收敛速度明显变快且鲁棒精度和干净精度同时小幅提升。第三是基础数据增强不能丢。有一种误区是觉得对抗训练本身就是一种数据增强传统增强手段可以省略。但我在项目中发现问题恰好在反方向如果对抗训练之前不做随机裁剪和随机翻转模型对扰动位置的敏感度会非常高鲁棒性提升非常有限。我强烈建议在输入到PGD攻击模块之前先做完整的基础数据增强让模型学会在不同的空间位置和尺度下都保持稳定。4. 踩坑实录与实战排查从训练发散到精度暴跌的全套对策4.1 对抗训练为什么会涨不动甚至直接崩掉对抗训练的收敛过程比普通训练慢两到三倍这是正常现象但如果你发现训练损失完全没有下降趋势或者指标突然恶化通常能归因到以下几个原因。最常见的原因是学习率没有降足够低。对抗训练损失面比普通训练更陡峭使用原来的学习率会直接导致震荡。我的经验是把普通训练的学习率除以3到5作为对抗训练的初始学习率并且在训练过程中使用余弦退火或阶梯式下降。比如普通训练用0.1对抗训练就降到0.02左右再开始。第二个常见原因是数据归一化处理不一致。对抗训练中模型和攻击模块必须使用完全相同的输入预处理管道。如果数据在进入模型前做了标准化均值减除、方差缩放那么攻击模块中计算扰动范围时也要在标准化之后的空间里约束。截图或者复现代码时最容易出问题的地方就是这里——你在原始像素空间里定义epsilon是8/255但模型实际接收的是标准化后的数据扰动在标准化空间里是8/255除以标准差的量级如果不做转换攻击效果会大打折扣。第三个原因是生成对抗样本时误用了训练模式。model.train()和model.eval()对BatchNorm和Dropout层的处理完全不同。在PGD迭代过程中如果模型处于训练模式BatchNorm的统计量会随着每次前向传播动态更新这会让梯度的计算不稳定。正确的做法是在生成对抗样本时让模型进入eval模式并使用torch.no_grad()但需要单独处理需要梯度的delta部分在生成完对抗样本后再切回train模式计算对抗损失并更新参数。4.2 鲁棒性与干净精度的平衡问题对抗训练最让人头疼的是鲁棒精度上去了干净精度却掉了不少。这其实不是bug而是模型为了适应带扰动输入被迫调整了决策边界导致原始分布上的性能受损。这三个方法在我的项目中起到了最核心的作用。第一是采用TRADES损失它天然地将干净样本精度和对抗扰动的正则项分开权重系数可以灵活调整。我在项目中把系数从1调到4发现干净精度保持在96%以上的同时鲁棒精度能提升10个百分点左右。第二是先用干净数据预训练再对抗微调。完整的对抗训练从头开始代价极高更务实的做法是先用标准训练把模型练到收敛然后用较小的学习率做10到20个epoch的对抗训练微调。这样干净精度几乎不掉鲁棒精度还能快速提升。第三是使用动静结合的训练策略前几个epoch使用小epsilon让模型先适应对抗训练的模式后几个epoch慢慢把epsilon加到目标值。这种课程学习的思路让训练过程更加平滑避免模型在强扰动下直接崩溃。4.3 典型问题速查表我把自己亲身遇到高频率问题整理成了表格方便你排查时快速对照。现象可能原因解决方案训练损失持续不降学习率过高 或 攻击强度过大降低学习率至原来的1/3~1/5暂时降低epsilon干净精度高但鲁棒精度极低训练时攻击强度太小或PGD迭代次数太少增大epsilon或增加iters至少到7验证攻击有效性鲁棒精度提升但干净精度暴跌模型过拟合到对抗分布改用TRADES损失加入干净数据预训练和标签平滑显存溢出PGD内部梯度图未释放在迭代生成阶段使用torch.no_grad()减小batch size攻击模块不生效数据标准化范围不一致确认攻击的epsilon是在与模型输入相同的空间内定义训练时间不可接受每个batch都跑全量PGD采用概率对抗训练50%~70%或减少迭代步数4.4 经验再补充评估鲁棒性时不要只跑一个攻击很多人在项目汇报时只跑一个FGSM攻击就说模型鲁棒性提升这是远远不够的。攻击方式之间差异很大FGSM单步攻击得到的高鲁棒精度可能只是过拟合到单步攻击模式的表现。我在每次评估时固定跑四组测试干净测试集、FGSM攻击、10步PGD攻击、20步PGD攻击。这样四组结果放在一起才能真实反映模型在不同攻击强度下的防御曲线。我个人的习惯是最后还会加一组自适应攻击测试用比PGD更复杂的优化方法来验证模型。因为对抗训练可能让模型对特定梯度方向产生虚假鲁棒性更强的优化攻击往往能揭开这个真相。如果你的模型在对抗训练后只针对训练时用过的攻击方法提升精度而面对新攻击方法立刻失效说明训练泛化性还有问题。关于对抗训练我最后的几句实在话做了几轮对抗训练项目的完整实践后我最大的体会是对抗训练不是给模型上一把锁而是让模型真正学会多角度思考。它牺牲了一部分训练效率来换取面向未知扰动的防御能力这在实际部署中往往比单纯刷高测试集上的准确率更有意义。最后再分享一个小技巧把对抗训练加入到你的模型迭代流程中时建议先在小规模子集上做一次完整的实验记录干净精度、鲁棒精度和训练时间三个数字。如果你能在这三个数字上都看到正向趋势再全量跑省时省力。我踩过直接全量训练然后损失爆炸的坑那次浪费了将近一周的算力。对抗训练是一个系统性的工程问题而不只是调包调用需要在数据、模型、攻击、优化多个环节之间反复磨合。希望这篇文章能让你少走一些弯路。
为什么我建议每个做图像模型的人都试试对抗训练模型鲁棒性这个词在深度学习圈子里被提得越来越频繁但真正把它当核心指标来做的团队其实并不多。我前阵子接手了一个图像分类项目模型在测试集上的准确率已经做到了98%以上结果随便加一点点肉眼完全看不出来的噪声准确率直接掉到40%以下。那个瞬间我才意识到平时报出来的漂亮指标很大程度上是考试型选手——题目换了个问法就抓瞎。后来我把对抗训练和对抗攻击的思路完整地引入PyTorch训练流程才把模型从高分低能里拉回来。这篇文章不是那种理论满天飞的科普而是我把自己在实战中跑通的完整方案、关键代码、参数选择和踩坑记录全部整理出来。适合的人群很明确已经在用PyTorch做过图像分类、目标检测但对对抗训练还停留在概念层面的同学以及模型鲁棒性有硬性要求、需要在真实业务里扛住输入扰动的工程团队。我会从最基础的对抗样本原理讲起再到FGSM、PGD攻击的具体实现最后落到训练细节调优和问题排查保证你看完能直接照着抄。1. 对抗样本与模型鲁棒性先搞清楚我们要防御什么1.1 一个肉眼不变却能让模型彻底翻车的例子很多人第一次接触对抗样本时会觉得这是某种高深的黑客攻击其实原理相当朴素。假设你有一张猫的图片模型正确分类为猫。对抗攻击做的就是在这张图片的每个像素上叠加一个极小的扰动向量这个向量的方向是让模型朝着错误方向移动最快的那个方向。由于扰动幅度限制得很小人眼看不出任何变化但模型内部的特征分布已经被搅乱了最终置信度最高的类别变成了狗甚至飞机。这个现象背后涉及一个重要的几何直觉深度模型学到的决策边界在高维空间里通常是过于自信的。模型在正常样本附近几乎没有留出安全距离只要输入稍微偏离训练分布的流形输出就会剧烈变化。用生活类比来解释就是——你在考试中只记住了标准答案的固定模式题目换个表达方式或者加个无关条件你就完全不会做了。对抗训练的核心思路就是把这些坏样本暴露给模型在训练过程中故意先生成对抗样本再把它们当作训练数据喂回去让模型学会看到扰动也能保持判断稳定。这相当于给学生做变式训练而不是只背标准答案。1.2 对抗攻击的两种主流思路梯度攻击与优化攻击要理解对抗训练必须先理解攻击是怎么生成的。目前主流方法分两大派系第一类是基于梯度的快速攻击方法代表是FGSM和PGD。这类方法的思路是拿到模型对输入的梯度沿着让损失增大的方向修改像素本质上是用模型的梯度攻击模型自己。FGSM只走一步速度快但攻击成功率有限PGD把FGSM的操作重复多步每步走一小步并限制在给定范围内攻击效果显著增强所以它成了对抗训练中最常用的基准攻击。第二类是基于优化的攻击方法代表是CW攻击。这类方法把找对抗样本建模成一个优化问题通过求解一个同时满足分类错误和扰动最小的目标函数来得到样本。它的攻击成功率通常更高但计算成本也大得多在训练中直接使用不太现实一般用于评估模型的上限鲁棒性。在实际项目中我常用的搭配是训练阶段用PGD做对抗样本生成因为它在效果和计算成本之间平衡得比较好评估阶段用PGD加CW交叉验证看模型的真实防御水平。这里有一个很重要的认知对抗训练的强度取决于你训练时所使用的攻击强度。你用FGSM训练出来的模型在PGD攻击下大概率还是脆弱的。2. 在PyTorch里落地对抗训练从FGSM到PGD的完整实现2.1 环境准备与核心约定我的实现环境是PyTorch 2.x配合CUDA 11.8显卡是常见的中高端消费级显卡。这里不涉及具体的项目名称就用一个模拟项目X来演示数据集选用CIFAR-10这类公开图像数据集模型用ResNet-18。因为对抗训练本身计算开销就比普通训练高出不少选轻量模型能让你更快验证方案后期再换大模型。在开始写代码前先明确三个约定。第一个约定是扰动范围。对抗样本的扰动必须限制在合理范围内否则生成的样本已经被人眼识别为噪声模型就算抗住了也没实际意义。我用的是无穷范数约束下的扰动范围常见取值为8/255或者16/255这在CIFAR-10场景下能保证扰动不可察觉且攻击有效。第二个约定是训练阶段和评估阶段使用不同的随机种子避免模型隐性记住攻击样本的顺序。第三个约定是评估指标用干净精度和鲁棒精度两个数同时报只报其中一个都是耍流氓——干净精度指模型在原始测试集上的准确率鲁棒精度指模型在攻击后测试集上的准确率。2.2 最小攻击工具集自定义FGSM攻击模块FGSM的核心代码非常短但在工程实现里有细节需要处理。攻击的本质是在梯度方向上做一次固定步长的修改公式为对抗样本 原始样本 epsilon * sign(梯度)。import torch import torch.nn.functional as F def fgsm_attack(model, images, labels, epsilon8/255): images.requires_grad True outputs model(images) loss F.cross_entropy(outputs, labels) model.zero_grad() loss.backward() # 取梯度符号方向乘以扰动范围 perturbed_images images epsilon * images.grad.sign() # 把像素裁剪回合法范围[0,1] perturbed_images torch.clamp(perturbed_images, 0, 1) return perturbed_images这里有两个容易踩的坑。第一个坑是必须设置images.requires_grad TruePyTorch默认情况下输入张量是不需要梯度的不打开这个开关images.grad就是None。第二个坑是最后一步的clamp不能省略很多数据集的归一化范围是[0,1]不做裁剪会产生越界像素影响后续训练稳定性。FGSM虽然被称为快速梯度符号法但它本质上是单步攻击对模型的真实防御能力评估不够。实践中的定位是快速测试和基线对比而不是真正用来训练强鲁棒模型。2.3 PGD攻击模块多步迭代才是关键PGDProjected Gradient Descent的思路是FGSM的迭代加强版从原始样本出发在每一步中计算梯度、沿着梯度方向走一小步、把结果投影回合法范围然后重复多次。投影的含义是保证经过多次修改后样本仍然在以原始样本为中心、半径为epsilon的球内。def pgd_attack(model, images, labels, epsilon8/255, alpha2/255, iters7): # 保存原始图像的副本用于最终投影 ori_images images.clone().detach() # 随机初始化扰动避免收敛到局部最优解 delta torch.empty_like(images).uniform_(-epsilon, epsilon) delta.requires_grad True for _ in range(iters): perturbed_images ori_images delta outputs model(perturbed_images) loss F.cross_entropy(outputs, labels) model.zero_grad() loss.backward() # 每步沿着梯度方向迈一小步 delta.data delta alpha * delta.grad.sign() # 核心投影步骤限制总扰动不超过epsilon delta.data torch.clamp(delta, -epsilon, epsilon) delta.data torch.clamp(ori_images delta, 0, 1) - ori_images return ori_images delta几个参数解释一下。alpha是每步的步长一般取epsilon / 4到epsilon / 5太小会导致迭代步数内走不到边界太大容易震荡。iters是迭代次数经验值在7到20之间次数越多攻击效果越强但计算时间线性增加。训练时用7步左右就能获得不错的效果评估时建议增加到20步以上。这里我有个自己的习惯初始化扰动时用均匀分布随机初始化而不是从全零开始。原因是全零起点会让PGD每轮生成几乎相同的攻击样本模型容易过拟合到固定的攻击模式上随机初始化能让攻击样本的多样性大幅提高最终训练的模型泛化性更好。2.4 对抗训练主循环怎么把攻击嵌进训练流程有了攻击模块对抗训练的完整流程就清晰了每个训练批次先用原始数据计算一次干净损失对参数做一次正常的梯度更新然后用PGD生成对抗样本把对抗样本作为输入再计算一次对抗损失再做一次梯度更新。两种损失的比例可以根据场景设置最朴素的方式是1:1叠加。def train_one_epoch(model, train_loader, optimizer, epsilon8/255): model.train() total_loss 0.0 correct_clean 0.0 correct_adv 0.0 total 0.0 for images, labels in train_loader: images, labels images.cuda(), labels.cuda() optimizer.zero_grad() # 第一步干净数据的标准训练 outputs_clean model(images) loss_clean F.cross_entropy(outputs_clean, labels) # 第二步生成对抗样本并计算对抗损失 adv_images pgd_attack(model, images, labels, epsilonepsilon) outputs_adv model(adv_images) loss_adv F.cross_entropy(outputs_adv, labels) # 总损失为两者之和这里也可以按比例加权 loss loss_clean loss_adv loss.backward() optimizer.step() # 统计指标 total labels.size(0) correct_clean (outputs_clean.argmax(1) labels).sum().item() correct_adv (outputs_adv.argmax(1) labels).sum().item() total_loss loss.item() return total_loss / len(train_loader), correct_clean / total, correct_adv / total这段代码里最需要注意的一个工程细节是pgd_attack函数内部会多次调用model做前向和反向传播而在主循环里我们最后又会对outputs_adv做一次loss.backward()。这意味着同一个批次的对抗样本在生成过程中已经经过了多轮梯度计算主循环的反向传播会再次累积梯度。如果不清除计算图中的中间状态显存会被快速耗尽。PyTorch默认会在每次backward()后释放非叶子节点的梯度但在显存敏感的任务中我建议在pgd_attack内部使用torch.no_grad()包裹不需要梯度更新的攻击迭代部分。具体做法是把delta.requires_grad True改为仅在需要梯度时开启其余迭代部分用no_grad模式这样可以大幅降低显存占用让批量大小可以开得更大。另外这个主循环的计算成本大约是普通训练的3到5倍取决于PGD迭代次数所以训练过程中batch size不宜开太大。我的经验是在12GB显存的显卡上ResNet-18配合CIFAR-10数据集batch size取64比较稳妥再大会显存溢出。3. 实战优化让对抗训练在精度不崩的前提下提速提质3.1 损失函数选型标准对抗训练对比TRADES和MART标准对抗训练使用的是交叉熵损失也就是让模型把对抗样本的类别也预测正确。这种方法实现简单、效果直接但它有一个隐含问题它只约束了给定对抗样本输出正确类别没有显式约束原始样本和对抗样本的输出分布要一致。当攻击强度增大时模型可能会变得过度平滑导致干净样本的准确率严重下降。我在项目后期尝试了两种改进损失函数效果差异非常明显。第一种是TRADES损失它的核心思想是把分类正确和分布一致性分开来优化。整体损失写成自然损失加上一个权重系数乘以正则项正则项衡量模型在原始样本和对抗样本输出分布之间的KL散度。这个设计让模型在保证干净样本精度的同时稳定对抗样本下的输出。TRADES在鲁棒性和干净精度的平衡上做得比标准对抗训练好很多但需要多调一个权重参数我一般取1到6之间过大会让训练变慢。第二种是MART损失它特别关注的是那些被错误分类的对抗样本。MART认为模型对错误分类的样本应该受到更大的惩罚并且对可能被误分类的样本给予更高权重。它的另一个特点是显式引入了一个正则项拉大正确类别的置信度和最高错误类别置信度之间的距离。这个损失在处理强攻击时表现出很强的稳定性我实测下来在20步PGD攻击下鲁棒精度比标准对抗训练高出3到5个百分点。选择建议很直接如果你的项目对干净精度要求极高同时希望模型扛住中等强度攻击TRADES是首选如果模型主要部署在对抗性较强的场景比如风控、内容审核MART会表现得更稳。3.2 超参数怎么定扰动半径、步长、攻击概率对抗训练中最关键的超参数是扰动半径epsilon它的选择直接决定了模型的鲁棒性边界。epsilon太小模型学到的防御能力太弱epsilon太大对抗样本已经明显偏离原始分布模型被迫在极度扭曲的输入上学习会严重损害干净精度。在图像领域我常用的参考标准是CIFAR-10和ImageNet这类标准化数据集epsilon取8/255作为标准值攻击难度相当于给每个像素点最多增减0.03的量级。轻量任务或对精度敏感的模型可以降到4/255强对抗场景可以用16/255。你在定这个参数时要结合业务里实际可能遇到的扰动幅度。比如部署在手机摄像头场景光照、抖动产生的自然噪声通常在2/255到4/255而在风控场景中恶意攻击者可能会用更激进的扰动此时16/255甚至更高都是合理的。还有一个被我重点调整过的参数是攻击概率。我们不一定每个batch都要做对抗训练因为均匀地全量对抗训练会大幅提升训练时间而且模型容易过拟合到所有样本都被攻击这一种模式上。我在实际项目中经常用50%到70%的概率随机决定当前batch是否进行对抗训练其余batch保持干净训练。这样既显著降低了训练开销又保留了样本多样性最终鲁棒精度几乎没有下降。3.3 提升稳定性的三个细节EMA、标签平滑和基础数据增强对抗训练比其他训练方法更容易出现震荡和过拟合因为对抗样本的地方梯度比较大模型参数更新相对激进。我在实战中验证了三个有效提升稳定性的手段。第一是EMA指数移动平均即对模型参数维护一个滑动平均版本在评估时使用平均参数而不是实时参数。这个技巧在普通训练里是可选优化在对抗训练中几乎是必需品。因为对抗训练的参数波动大滑动平均可以显著平滑参数空间中的震荡一般能带来2%左右的稳定提升。第二是标签平滑。对抗训练本质上希望模型对带扰动的样本不那么自信如果使用硬标签0或1模型在对抗样本上需要强行把confidence推到极致容易产生过拟合。标签平滑将正确类别的目标概率设为0.9左右其余概率均匀分配到其他类别让模型的输出分布更平滑。我用0.1的平滑系数后对抗训练收敛速度明显变快且鲁棒精度和干净精度同时小幅提升。第三是基础数据增强不能丢。有一种误区是觉得对抗训练本身就是一种数据增强传统增强手段可以省略。但我在项目中发现问题恰好在反方向如果对抗训练之前不做随机裁剪和随机翻转模型对扰动位置的敏感度会非常高鲁棒性提升非常有限。我强烈建议在输入到PGD攻击模块之前先做完整的基础数据增强让模型学会在不同的空间位置和尺度下都保持稳定。4. 踩坑实录与实战排查从训练发散到精度暴跌的全套对策4.1 对抗训练为什么会涨不动甚至直接崩掉对抗训练的收敛过程比普通训练慢两到三倍这是正常现象但如果你发现训练损失完全没有下降趋势或者指标突然恶化通常能归因到以下几个原因。最常见的原因是学习率没有降足够低。对抗训练损失面比普通训练更陡峭使用原来的学习率会直接导致震荡。我的经验是把普通训练的学习率除以3到5作为对抗训练的初始学习率并且在训练过程中使用余弦退火或阶梯式下降。比如普通训练用0.1对抗训练就降到0.02左右再开始。第二个常见原因是数据归一化处理不一致。对抗训练中模型和攻击模块必须使用完全相同的输入预处理管道。如果数据在进入模型前做了标准化均值减除、方差缩放那么攻击模块中计算扰动范围时也要在标准化之后的空间里约束。截图或者复现代码时最容易出问题的地方就是这里——你在原始像素空间里定义epsilon是8/255但模型实际接收的是标准化后的数据扰动在标准化空间里是8/255除以标准差的量级如果不做转换攻击效果会大打折扣。第三个原因是生成对抗样本时误用了训练模式。model.train()和model.eval()对BatchNorm和Dropout层的处理完全不同。在PGD迭代过程中如果模型处于训练模式BatchNorm的统计量会随着每次前向传播动态更新这会让梯度的计算不稳定。正确的做法是在生成对抗样本时让模型进入eval模式并使用torch.no_grad()但需要单独处理需要梯度的delta部分在生成完对抗样本后再切回train模式计算对抗损失并更新参数。4.2 鲁棒性与干净精度的平衡问题对抗训练最让人头疼的是鲁棒精度上去了干净精度却掉了不少。这其实不是bug而是模型为了适应带扰动输入被迫调整了决策边界导致原始分布上的性能受损。这三个方法在我的项目中起到了最核心的作用。第一是采用TRADES损失它天然地将干净样本精度和对抗扰动的正则项分开权重系数可以灵活调整。我在项目中把系数从1调到4发现干净精度保持在96%以上的同时鲁棒精度能提升10个百分点左右。第二是先用干净数据预训练再对抗微调。完整的对抗训练从头开始代价极高更务实的做法是先用标准训练把模型练到收敛然后用较小的学习率做10到20个epoch的对抗训练微调。这样干净精度几乎不掉鲁棒精度还能快速提升。第三是使用动静结合的训练策略前几个epoch使用小epsilon让模型先适应对抗训练的模式后几个epoch慢慢把epsilon加到目标值。这种课程学习的思路让训练过程更加平滑避免模型在强扰动下直接崩溃。4.3 典型问题速查表我把自己亲身遇到高频率问题整理成了表格方便你排查时快速对照。现象可能原因解决方案训练损失持续不降学习率过高 或 攻击强度过大降低学习率至原来的1/3~1/5暂时降低epsilon干净精度高但鲁棒精度极低训练时攻击强度太小或PGD迭代次数太少增大epsilon或增加iters至少到7验证攻击有效性鲁棒精度提升但干净精度暴跌模型过拟合到对抗分布改用TRADES损失加入干净数据预训练和标签平滑显存溢出PGD内部梯度图未释放在迭代生成阶段使用torch.no_grad()减小batch size攻击模块不生效数据标准化范围不一致确认攻击的epsilon是在与模型输入相同的空间内定义训练时间不可接受每个batch都跑全量PGD采用概率对抗训练50%~70%或减少迭代步数4.4 经验再补充评估鲁棒性时不要只跑一个攻击很多人在项目汇报时只跑一个FGSM攻击就说模型鲁棒性提升这是远远不够的。攻击方式之间差异很大FGSM单步攻击得到的高鲁棒精度可能只是过拟合到单步攻击模式的表现。我在每次评估时固定跑四组测试干净测试集、FGSM攻击、10步PGD攻击、20步PGD攻击。这样四组结果放在一起才能真实反映模型在不同攻击强度下的防御曲线。我个人的习惯是最后还会加一组自适应攻击测试用比PGD更复杂的优化方法来验证模型。因为对抗训练可能让模型对特定梯度方向产生虚假鲁棒性更强的优化攻击往往能揭开这个真相。如果你的模型在对抗训练后只针对训练时用过的攻击方法提升精度而面对新攻击方法立刻失效说明训练泛化性还有问题。关于对抗训练我最后的几句实在话做了几轮对抗训练项目的完整实践后我最大的体会是对抗训练不是给模型上一把锁而是让模型真正学会多角度思考。它牺牲了一部分训练效率来换取面向未知扰动的防御能力这在实际部署中往往比单纯刷高测试集上的准确率更有意义。最后再分享一个小技巧把对抗训练加入到你的模型迭代流程中时建议先在小规模子集上做一次完整的实验记录干净精度、鲁棒精度和训练时间三个数字。如果你能在这三个数字上都看到正向趋势再全量跑省时省力。我踩过直接全量训练然后损失爆炸的坑那次浪费了将近一周的算力。对抗训练是一个系统性的工程问题而不只是调包调用需要在数据、模型、攻击、优化多个环节之间反复磨合。希望这篇文章能让你少走一些弯路。
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
