先说一个我印象很深的实验。某次我把训练好的深度伪造检测器从实验室测试集切换到真实社交网络链路采集的数据上AUROC直接从0.98掉到0.84。这还没完一旦有人对伪造视频做了针对性的对抗扰动再丢给模型模型几乎变成瞎猜。这个方向我做了快一年最后得到的结论其实很朴素单靠堆模型结构解决不了问题必须在设计防御算法的时候把“社交网络传输”这个物理过程当成第一公民来对待。这篇东西适合三类人看一是正在做深度伪造检测、发现模型一上真实视频就拉胯的工程师二是做对抗机器学习、想找个有真实约束落点的研究课题的同学三是想搞清楚“攻击、压缩、防御”三者之间关系准备搭评测体系的人。我会把我踩过的坑和现在认为靠谱的防御设计思路一起写出来不是教材式的罗列而是按我实际做这个课题时的思考顺序走。1. 为什么检测器在社交网络上“一碰就碎”从传输链路说起1.1 实验室视频与线上视频之间隔着一整套“破坏性加工”很多检测器在公开数据集上表现很好因为那些视频大多是直接生成的原始文件或者只经历了轻度压缩。但真实社交网络上的视频从用户上传到别人看到中间要经历一串我们控制不了的处理平台接收源文件后重新转码、统一分辨率、压低码率、调整帧率有时候还会二次封装、抽帧生成预览图甚至为了省带宽在分片层面再做一次有损压缩。这一整套流程用一个词概括就是“破坏性加工”。以主流视频编码的量化逻辑为例编码器把图像从像素域变换到频域然后根据量化参数对频域系数做除法取整。这个过程会丢掉大量高频细节也是块效应、振铃效应、色彩偏移的来源。由于对抗扰动和深度伪造本身的高频篡改痕迹在这种量化下会被加速抹除检测器等于站在一个“信息已经被挑选过一次”的地基上做判断。我最初犯的错就是把压缩当成一个可以忽略的预处理噪声。实际上压缩不是均匀地给整张图加一点模糊它是按块、按频带、按量化步长做非均匀破坏。同一个伪造视频编码参数不同检测器提取到的特征分布可能差异非常大。实验室里的高AUROC建立在“输入分布和训练分布一致”这个隐形假设上到了真实传输链路上这个假设已经碎了。所以做这个课题的第一课不是研究某个高深的对抗样本生成算法而是老老实实把传输链路拆开逐段看它到底对你的输入做了什么。1.2 压缩反而放大了对抗攻击的杀伤力压缩让检测器变弱本质上是特征分布偏移。而对抗扰动的最可怕之处不在于它的幅度有多大而在于它非常善于利用分类器已经模糊的决策边界。当你面对一个被压缩伪影污染的特征空间时分类边界本来就漂移到了一个不安全的位置这时候攻击者只需要沿着模型梯度方向推一小步置信度就会跨过阈值。我用一个直观的类比给非专业的朋友解释过压缩相当于你隔着一层脏玻璃看一样东西本来就看不太清楚上面的划痕对抗扰动不是把划痕画得更深而是精准地在你眼睛正要下判断的位置滴了一滴墨水。两件事叠加杀伤是乘法级的不是加法级的。在实验中我观察到一个现象对同一个检测器干净测试集上的无目标对抗攻击成功率可能只有30%但经过一次压缩转码后同一种扰动配置的成功率能涨到70%以上。这不是攻击变强了而是检测器自己先“慌”了。特征分布偏移让分类边界变得脆弱扰动只是轻轻推了一下。这也是为什么很多论文里只报告“在干净视频上的防御效果”一遇到真实平台数据就大面积失效。因为干净测试集里没有“压缩导致的边界脆弱化”这个前提条件测出来的防御性能是虚高的。1.3 “鲁棒性”在这个课题里到底指什么标题里的“鲁棒性”其实是双重含义刚开始很容易忽略。第一层是攻击侧的鲁棒性。对抗扰动通常是微弱的高频信号很多研究者天然觉得压缩可以“洗掉”扰动所以防御起来很轻松。但真正有威胁的攻击者会设计对压缩鲁棒的扰动让扰动在经历缩放、转码、抽帧之后依然有效。这种攻击叫鲁棒对抗攻击也正是本课题要防的主要对象。第二层是防御侧的鲁棒性。防御算法面对的不只是“干净视频对抗扰动”而是“压缩失真对抗扰动可能是伪造内容”这个混合输入。它需要在最坏情况下依然保持较高的检出率同时对正常视频不产生误报。这两层含义经常被混在一起讨论导致做评测时口径不清。我后面会专门讲评测协议这里先记住一个原则你的防御算法如果只能对付“不经历传输的对抗扰动”那它还没有进入这个课题的门槛。2. 对抗扰动的“消失困境”与“鲁棒攻击”带来的真正威胁2.1 压缩确实能洗掉部分扰动但它靠不住先给一个听起来不错的事实H.264这类编码器的量化过程天然对高频微弱信号有很强的抑制作用。无目标对抗扰动如果只是简单的梯度符号扰动幅度又压得很小经过CRF值较高的压缩后很大一部分确实会被丢掉。我实测过某些随机初始化的扰动模式在压缩后几乎完全消失攻击成功率接近0。但这个“好消息”仅限于弱攻击。攻击者很快就发现扰动并不一定要以高频噪声的形式存在。把扰动控制在傅里叶域的低频和中频频带让它在纹理主能量区域做微调经过压缩后衰减幅度就小得多。更直接的方法是把扰动构建在一个子空间里保留压缩后依然稳住的频带分量丢弃那些注定被量化的分量。换句话说压缩可以洗掉“脆弱的扰动”但洗不掉“聪明的扰动”。如果把防御建立在“压缩会帮我杀敌”这个预期上遇到强攻击者就会瞬间破防。另外一个很实际的细节是社交网络平台不会只压一次。源视频可能被转码一次用户下载后再上传又压一次平台对二次上传的视频还会再压一次。多级压缩之后压缩伪影会呈非线性累积单靠一次低通滤波或中值滤波根本模拟不了这种复杂失真分布。2.2 EOT攻击让扰动变得“压不烂”的机制真正把威胁等级拉上去的是EOTExpectation Over Transformation期望变换攻击这类机制。它的核心思想很直接在生成扰动时不是只针对一张干净输入做梯度计算而是把输入经过一批随机变换缩放、旋转、JPEG压缩、高斯模糊、随机裁剪等然后对这些变换后的版本分别求梯度再累加起来更新扰动。这样做出的扰动优化的目标不是“在某个固定压缩参数下骗过检测器”而是“在所有可能经历的变换分布下都能骗过检测器”。这就是对传输链路不确定性的显式建模。攻击者不需要知道你部署时用的具体编码器参数他只需要让扰动对一批常见的压缩策略都有效一旦你的输入经过空间中某个点扰动就会启动。我在复现这种攻击时发现EOT生成的扰动肉眼看起来不再是那种雪花状的噪点而是叠加在边缘、纹理和高频区域上的系统性偏移。它看起来像是轻微的锐化或对比度调整几乎不可察觉。但把它抹到伪造视频上之后无论你是改CRF、改分辨率还是换封装格式检测器的预测结果都稳定地向伪造方向偏。我强烈建议做防御的人先亲手跑一遍EOT攻击拿到那种“怎么压都还活着”的扰动样本再去想防御方案。没有这批样本你设计出来的防御模型大概率只是对已知压缩噪声的过拟合。2.3 防御者真正难受的地方伪影与扰动不可分压缩伪影和对抗扰动在空间上往往重叠。压缩伪影集中出现在块边界、平坦区域和强边缘周围对抗扰动经过优化之后也会刻意选择这些视觉不敏感区域来藏匿自己。你无法用“高频就是扰动、块边界就是压缩伪影”这种简单的规则把它们分开。我也试过几种经典的输入清洗方案高斯低通滤波、中值滤波、小波软阈值。它们确实能压掉一部分扰动但同时也会把深度伪造的关键篡改痕迹一起磨掉。比如伪造人脸在眼睛周围会残留颜色不一致和模糊边界这是检测器的重要线索低通滤波一上去这些线索和对抗扰动一起消失了检测器照样失明。所以这个课题的真正难点不在“制造防御”而在“分离”——在混合信号里把压缩失真、对抗扰动和伪造痕迹三者分离开来。这也是我后面第三部分所有设计思路的出发点。3. 防御算法的设计思路把传输失真当作先验而不是噪声3.1 输入端做“扰动解耦”而不是简单滤波我最终没有选择在输入端做固定滤波而是设计了一个可学习的扰动解耦模块。思路是网络不再直接吃压缩视频帧而是先把它分解成“内容帧”和“残余项”。内容帧是经过净化后的干净表示残余项被视为“压力来源”用来约束和学习扰动的分布。关键设计细节是这个模块不能单独训练也不能只用重建损失。我一开始试过纯自监督重建结果网络学到了“把一切不确定的细节都磨平”的偷懒策略内容帧全成了磨皮效果伪造特征也丢了。后来改成联合训练同时用重建损失、感知一致性损失和检测器的分类损失来监督。这样净化器被迫学会“只清除让检测器犯错的方向同时保留让检测器判断真伪的关键结构”。另一个训练技巧是不要固定压缩参数。我在训练净化器时每次迭代随机采样一组压缩参数组合分辨率范围、CRF范围、编码器类型让模块见过足够多样的失真分布。这样它学到的不是某个压缩参数下的专用滤波器而是对传输链路变化更稳的通用映射。3.2 特征域的频域校验补上压缩打不掉的证据空间域的防御容易顾此失彼所以我第二个思路是在特征域增加频域校验分支。这个分支不对像素做操作而是把骨干网络提取出的特征图转换到DCT或FFT域在频域上观察能量分布。原理是这样的压缩是一种低通效应它压低高频能量而对抗扰动为了不被压缩洗掉必然要向中低频和特定频带注入能量。深度伪造本身又会在频域留下规律性异常比如生成器上采样导致的网格状频谱条纹。这三者在频域上的表现是可以做一定分离的。我实现的方案是双分支结构一个分支走常规空域特征另一个分支把特征图切块后做频谱变换用一组可学习的谱注意力向量决定哪些频带应该被保留、哪些频带应该视为不可信并加权抑制。两个分支的特征融合后再进入分类头。这个设计让检测器在遇到未见过压缩参数时仍能依赖频谱模式做判断。从实验效果看纯空域模型在跨压缩参数测试中掉点很厉害加了频域校验分支后稳定性明显提升。尤其是对EOT类型的鲁棒扰动频域分支的抵御效果比输入端滤波强得多。3.3 时间一致性作为“覆盖不掉”的二次校验图像级防御有个天然天花板单帧上可区分的信息太有限了。对抗扰动可以让每一帧都骗过空域检测器但它很难同时伪造一段时间内连续帧之间的动力学一致性。深度伪造在微表情、眨眼节奏、头部运动、光流场的一致性上会暴露问题这些异常在时间维上是分布式的不是一帧内的静态痕迹。我在检测器中加了一个轻量级时序模块对连续若干帧分别提取空域特征然后送入时序transformer建模帧间关系。关键不是对每帧打分再平均而是让模型学习“跨帧特征的变化模式”是否合理。如果检测到帧间特征突变异常或者运动动力学与自然视频分布偏离就标记为可疑。压缩对这个模块的影响相对较小。压缩会模糊单帧的细节但两帧之间的运动偏移、光流方向、遮挡关系这些高层时间模式并不会因为低通滤波而完全消失。实验里单帧空域检测器对鲁棒扰动很容易翻车但加上时序复核后翻车率显著下降。当然时序模块有算力代价。我实际落地时用的是分级策略第一级用轻量空域模型对所有帧做快速筛查只有分数落入“信息熵较高”的区间才触发时序复核。这样既保住了检测效果也不会让GPU吃不住。3.4 对抗训练要“对准传输失真分布”不是随便做经典的对抗训练是在原始图像上生成扰动然后拿来做数据增强但这个做法放到本课题里效果有限因为它在生成扰动时没有考虑压缩这一步。模型在“没有压缩的对抗样本”上练得再强一旦输入先经过真实传输链路分布又变了。正确做法是“变换感知的对抗训练”在每次迭代生成扰动时同步对输入施加一组随机的传输变换让训练样本的分布尽可能贴近线上真实输入。具体来说我生成对抗样本的流程是先随机采样一批传输参数压缩、缩放、加性噪声对当前训练帧做变换再在变换后的基础上计算梯度生成扰动最后把扰动叠加到原始训练帧上参与训练。这样训练出的模型对“压缩版本的扰动样本”和“带扰动的压缩样本”同时具备适应能力。我还额外加了一个置信度校准步骤因为对抗训练会让模型对正常输入的logit分布变得不光滑校准后的输出在低误报率阈值下更可控。3.5 各防御策略的边界与代价对比不同防御策略的适用场景和工程代价差距很大我整理了一个简表供参考。防御策略应对单帧扰动应对EOT鲁棒扰动跨压缩参数稳定性额外算力开销落地难度输入滤波/降噪一般差差低低可学习扰动解耦较好中中中中频域特征校验较好好好中中时间一致性复核中好好较高偏高变换感知对抗训练好好好高高从我的实践来看单靠任何一种策略都站不稳。最终可用方案是“频域校验时序复核”双主干的组合再辅以变换感知的对抗训练。输入端的扰动解耦模块我觉得可以放在第一道关口但别指望它能包打天下。4. 实验评估最容易翻车的地方从数据集到指标的完整提醒4.1 先做“成对传输模拟”再谈性能这个课题的测评环境和公共数据集不一样Y轴必须是自己搭的。我建议的第一步是定义一条标准的传输链路模拟管线把原始视频和伪造视频分别走一遍模拟转码流程生成与干净版本严格配对的“传输版本”。没有这个配对关系后面所有对比都不公平。我用的模拟工具是FFmpeg一条典型命令大致是ffmpeg -i input.mp4 -vf scale1280:720,fps30 -c:v libx264 -crf 28 -preset medium -g 120 -movflags faststart output.mp4其中crf是核心参数控制量化强度。我建议测试时至少覆盖CRF 23、28、32三档相当于覆盖“高质量、常规、低质量”三种网络传输场景。分辨率按目标场景常见规格来模拟比如720p和1080p都要测。g参数控制GOP大小也就是关键帧间隔会影响抽帧检测时碰到的帧类型分布别忽略。还有个容易踩的坑攻击扰动到底加在压缩前还是压缩后。真实威胁模型通常是攻击者拿到一段视频后先加扰动再上传平台转码发生在扰动之后所以扰动经历了压缩。但很多论文只测“在压缩视频上加扰动”这种更简单的设定。我建议两种都测并且把结果分开报告。单测一种等于给攻击者放水。4.2 切分协议防“方法泄露”和“身份泄露”数据切分看起来是最简单的一步其实坑最多。第一个坑是伪造方法泄露如果训练集和测试集用了同一种伪造方法生成的视频模型很容易学到某种伪造方法的指纹而非通用伪造痕迹。我评测时至少把伪造方法分成三类训练时用两类测试时用完全没见过的第三类。这才叫跨伪造方法泛化。第二个坑是身份泄露同一个人的真实视频和伪造视频不能同时出现在训练集和验证集。否则模型可能只是在记忆“某张脸长什么样”而不是在学真伪差异。用身份无关的切分方式之后AUROC通常会降几个点这是正常的别慌。第三个坑是压缩参数泄露。训练时模拟的压缩参数只是一个范围测试时需要加入训练范围之外的更极端的压缩设置。比如训练时CRF最高用到30测试时就要加CRF 34甚至36。跨压缩参数评估才是对“鲁棒性”的真实检验。4.3 指标陷阱别只盯AUCAUC是最常被刷的指标但它对真实场景并不完全友好。原因是AUC衡量的是整体排序质量会被大量容易样本拉高。内容治理场景更关心的是“在误报率极低的情况下还能不能找到伪造内容”所以高安全区的指标更重要。我建议至少额外报告TPRFPR1%和TPRFPR0.1%两个定点指标。对抗评估还要看攻击成功率曲线而不是只给一个默认步数下的点。正确的做法是固定攻击算法把扰动幅度从0逐步调大画出“扰动幅度→攻击成功率”的曲线。如果防御算法让这条曲线明显右移、变缓说明它有效提升了鲁棒性如果只是换了攻击参数就破防那说明防御只是针对特定强度过拟合。另外我建议把“压缩参数→攻击成功率”的关系单独画一张图。这张图能直观说明你的防御在不同传输强度下的表现趋势。我就是靠这张图发现某个防御策略在CRF 28以下很好看CRF一过32就断崖式失效——这是只看平均指标发现不了的。4.4 复现性来自压缩链路参数公开很多项目的评估结果复现不出来不是因为算法本身写得多玄而是传输链路参数根本没写清楚。分辨率、编码器、码率、GOP、抽帧策略、预处理方式数了一堆变量差一个数字结果就对不上。我把自己的实验配置固定成一个文档每次跑实验前先检查配置。下面是最基础的记录项链路参数本次实验取值输入分辨率原始分辨率测试时统一缩放至1280x720编码器libx264 / libx265 各测一轮CRF档位23 / 28 / 32GOP大小120帧 / 240帧抽帧策略均匀抽帧每30帧抽1帧帧率30 / 25对抗攻击算法PGD / MI-FGSM / EOT-PGD扰动幅度具体数值分档绘制曲线这套配置不光是为了自己记录也是为了别人拿着同样的配置能对齐你的实验结果。做对抗方向的研究最忌讳的就是在私有数据上给出一个别人永远无法复现的高分。5. 从工程落地回看这个课题可复现性与下一步方向5.1 部署管线注定是“分级检测”研究阶段你可以用完整的时序模型慢慢跑但真到了内容治理场景算力和时延必须算清楚。全帧率的时序Transformer在线上完全跑不动。我的落地思路是分成三级轻量空域模型先做帧级快速筛查从每秒抽帧样本里挑出可疑项命中可疑项的视频片段再送入时序复核模块最后用频域谱校验做兜底防止单一通道被干扰。异步处理也是一个现实选择高优先级内容走实时拦截普通内容允许排队离线复查。很多场景其实不需要毫秒级判定离线多跑几层深度模型完全可控。关键是架构上别把重模型全放在同步链路上。5.2 对抗样本库与增量更新对抗攻击是持续进化的防御模型必须有一个对抗样本库做增量训练。我维护样本库的方式是每次评估防御模型时用当前模型在测试视频上生成一批新的EOT扰动样本把高成功率的样本保留下来再定期混合旧样本做重放训练。重放缓冲区非常重要。不然模型学了新攻击类型很容易把老攻击类型的判别能力给冲掉这就是灾难性遗忘。我遇到过模型对新攻击的AUROC漂亮得很回头一测旧攻击跌了十几个点当时人都麻了。另外要提醒一点平台改压缩策略这件事会周期性发生。每次平台调整转码参数我们都会重新做一轮“压缩参数漂移”监控用一组固定旧模型跑一遍跨参数矩阵发现性能掉到阈值以下就触发适配训练。防御算法不是一锤子买卖它是一个持续对抗的过程。5.3 防御算法不应该是终点纯粹的检测防御解决的是“看到伪造内容时如何认出它”这当然重要。但对抗扰动这个方向还可以延伸到主动防御与其被动等伪造视频流到平台再拦截不如在生成源头就加入可验证的签名或水印。一旦视频经历过任何篡改或扰动签名就会被破坏这本身就是伪造行为的证据。这两条路线可以互补溯源信息作为强信号防御算法作为弱信号兜底。溯源信息没有的时候检测器必须独立判断溯源信息存在但被扰动破坏时立刻触发风险标记。现在内容治理场景的复杂度已经不允许单一方案单打独斗这是我做完这一圈之后的真实感受。最后分享一个非常实际的建议不要只在一种压缩参数的环境里反复调模型。把评估流程写成一个可以一键跑完的脚本每调整一次模型结构就完整跑一遍压缩参数矩阵和扰动幅度曲线。这个过程很费显存、很费时间但它给你的不是几个漂亮数字而是对自己算法鲁棒性的真实体感。我就是因为早期只看单点指标在某个低质量压缩档位上栽了大跟头后来改成全参数矩阵评测才把问题的边界真正看清楚。
先说一个我印象很深的实验。某次我把训练好的深度伪造检测器从实验室测试集切换到真实社交网络链路采集的数据上AUROC直接从0.98掉到0.84。这还没完一旦有人对伪造视频做了针对性的对抗扰动再丢给模型模型几乎变成瞎猜。这个方向我做了快一年最后得到的结论其实很朴素单靠堆模型结构解决不了问题必须在设计防御算法的时候把“社交网络传输”这个物理过程当成第一公民来对待。这篇东西适合三类人看一是正在做深度伪造检测、发现模型一上真实视频就拉胯的工程师二是做对抗机器学习、想找个有真实约束落点的研究课题的同学三是想搞清楚“攻击、压缩、防御”三者之间关系准备搭评测体系的人。我会把我踩过的坑和现在认为靠谱的防御设计思路一起写出来不是教材式的罗列而是按我实际做这个课题时的思考顺序走。1. 为什么检测器在社交网络上“一碰就碎”从传输链路说起1.1 实验室视频与线上视频之间隔着一整套“破坏性加工”很多检测器在公开数据集上表现很好因为那些视频大多是直接生成的原始文件或者只经历了轻度压缩。但真实社交网络上的视频从用户上传到别人看到中间要经历一串我们控制不了的处理平台接收源文件后重新转码、统一分辨率、压低码率、调整帧率有时候还会二次封装、抽帧生成预览图甚至为了省带宽在分片层面再做一次有损压缩。这一整套流程用一个词概括就是“破坏性加工”。以主流视频编码的量化逻辑为例编码器把图像从像素域变换到频域然后根据量化参数对频域系数做除法取整。这个过程会丢掉大量高频细节也是块效应、振铃效应、色彩偏移的来源。由于对抗扰动和深度伪造本身的高频篡改痕迹在这种量化下会被加速抹除检测器等于站在一个“信息已经被挑选过一次”的地基上做判断。我最初犯的错就是把压缩当成一个可以忽略的预处理噪声。实际上压缩不是均匀地给整张图加一点模糊它是按块、按频带、按量化步长做非均匀破坏。同一个伪造视频编码参数不同检测器提取到的特征分布可能差异非常大。实验室里的高AUROC建立在“输入分布和训练分布一致”这个隐形假设上到了真实传输链路上这个假设已经碎了。所以做这个课题的第一课不是研究某个高深的对抗样本生成算法而是老老实实把传输链路拆开逐段看它到底对你的输入做了什么。1.2 压缩反而放大了对抗攻击的杀伤力压缩让检测器变弱本质上是特征分布偏移。而对抗扰动的最可怕之处不在于它的幅度有多大而在于它非常善于利用分类器已经模糊的决策边界。当你面对一个被压缩伪影污染的特征空间时分类边界本来就漂移到了一个不安全的位置这时候攻击者只需要沿着模型梯度方向推一小步置信度就会跨过阈值。我用一个直观的类比给非专业的朋友解释过压缩相当于你隔着一层脏玻璃看一样东西本来就看不太清楚上面的划痕对抗扰动不是把划痕画得更深而是精准地在你眼睛正要下判断的位置滴了一滴墨水。两件事叠加杀伤是乘法级的不是加法级的。在实验中我观察到一个现象对同一个检测器干净测试集上的无目标对抗攻击成功率可能只有30%但经过一次压缩转码后同一种扰动配置的成功率能涨到70%以上。这不是攻击变强了而是检测器自己先“慌”了。特征分布偏移让分类边界变得脆弱扰动只是轻轻推了一下。这也是为什么很多论文里只报告“在干净视频上的防御效果”一遇到真实平台数据就大面积失效。因为干净测试集里没有“压缩导致的边界脆弱化”这个前提条件测出来的防御性能是虚高的。1.3 “鲁棒性”在这个课题里到底指什么标题里的“鲁棒性”其实是双重含义刚开始很容易忽略。第一层是攻击侧的鲁棒性。对抗扰动通常是微弱的高频信号很多研究者天然觉得压缩可以“洗掉”扰动所以防御起来很轻松。但真正有威胁的攻击者会设计对压缩鲁棒的扰动让扰动在经历缩放、转码、抽帧之后依然有效。这种攻击叫鲁棒对抗攻击也正是本课题要防的主要对象。第二层是防御侧的鲁棒性。防御算法面对的不只是“干净视频对抗扰动”而是“压缩失真对抗扰动可能是伪造内容”这个混合输入。它需要在最坏情况下依然保持较高的检出率同时对正常视频不产生误报。这两层含义经常被混在一起讨论导致做评测时口径不清。我后面会专门讲评测协议这里先记住一个原则你的防御算法如果只能对付“不经历传输的对抗扰动”那它还没有进入这个课题的门槛。2. 对抗扰动的“消失困境”与“鲁棒攻击”带来的真正威胁2.1 压缩确实能洗掉部分扰动但它靠不住先给一个听起来不错的事实H.264这类编码器的量化过程天然对高频微弱信号有很强的抑制作用。无目标对抗扰动如果只是简单的梯度符号扰动幅度又压得很小经过CRF值较高的压缩后很大一部分确实会被丢掉。我实测过某些随机初始化的扰动模式在压缩后几乎完全消失攻击成功率接近0。但这个“好消息”仅限于弱攻击。攻击者很快就发现扰动并不一定要以高频噪声的形式存在。把扰动控制在傅里叶域的低频和中频频带让它在纹理主能量区域做微调经过压缩后衰减幅度就小得多。更直接的方法是把扰动构建在一个子空间里保留压缩后依然稳住的频带分量丢弃那些注定被量化的分量。换句话说压缩可以洗掉“脆弱的扰动”但洗不掉“聪明的扰动”。如果把防御建立在“压缩会帮我杀敌”这个预期上遇到强攻击者就会瞬间破防。另外一个很实际的细节是社交网络平台不会只压一次。源视频可能被转码一次用户下载后再上传又压一次平台对二次上传的视频还会再压一次。多级压缩之后压缩伪影会呈非线性累积单靠一次低通滤波或中值滤波根本模拟不了这种复杂失真分布。2.2 EOT攻击让扰动变得“压不烂”的机制真正把威胁等级拉上去的是EOTExpectation Over Transformation期望变换攻击这类机制。它的核心思想很直接在生成扰动时不是只针对一张干净输入做梯度计算而是把输入经过一批随机变换缩放、旋转、JPEG压缩、高斯模糊、随机裁剪等然后对这些变换后的版本分别求梯度再累加起来更新扰动。这样做出的扰动优化的目标不是“在某个固定压缩参数下骗过检测器”而是“在所有可能经历的变换分布下都能骗过检测器”。这就是对传输链路不确定性的显式建模。攻击者不需要知道你部署时用的具体编码器参数他只需要让扰动对一批常见的压缩策略都有效一旦你的输入经过空间中某个点扰动就会启动。我在复现这种攻击时发现EOT生成的扰动肉眼看起来不再是那种雪花状的噪点而是叠加在边缘、纹理和高频区域上的系统性偏移。它看起来像是轻微的锐化或对比度调整几乎不可察觉。但把它抹到伪造视频上之后无论你是改CRF、改分辨率还是换封装格式检测器的预测结果都稳定地向伪造方向偏。我强烈建议做防御的人先亲手跑一遍EOT攻击拿到那种“怎么压都还活着”的扰动样本再去想防御方案。没有这批样本你设计出来的防御模型大概率只是对已知压缩噪声的过拟合。2.3 防御者真正难受的地方伪影与扰动不可分压缩伪影和对抗扰动在空间上往往重叠。压缩伪影集中出现在块边界、平坦区域和强边缘周围对抗扰动经过优化之后也会刻意选择这些视觉不敏感区域来藏匿自己。你无法用“高频就是扰动、块边界就是压缩伪影”这种简单的规则把它们分开。我也试过几种经典的输入清洗方案高斯低通滤波、中值滤波、小波软阈值。它们确实能压掉一部分扰动但同时也会把深度伪造的关键篡改痕迹一起磨掉。比如伪造人脸在眼睛周围会残留颜色不一致和模糊边界这是检测器的重要线索低通滤波一上去这些线索和对抗扰动一起消失了检测器照样失明。所以这个课题的真正难点不在“制造防御”而在“分离”——在混合信号里把压缩失真、对抗扰动和伪造痕迹三者分离开来。这也是我后面第三部分所有设计思路的出发点。3. 防御算法的设计思路把传输失真当作先验而不是噪声3.1 输入端做“扰动解耦”而不是简单滤波我最终没有选择在输入端做固定滤波而是设计了一个可学习的扰动解耦模块。思路是网络不再直接吃压缩视频帧而是先把它分解成“内容帧”和“残余项”。内容帧是经过净化后的干净表示残余项被视为“压力来源”用来约束和学习扰动的分布。关键设计细节是这个模块不能单独训练也不能只用重建损失。我一开始试过纯自监督重建结果网络学到了“把一切不确定的细节都磨平”的偷懒策略内容帧全成了磨皮效果伪造特征也丢了。后来改成联合训练同时用重建损失、感知一致性损失和检测器的分类损失来监督。这样净化器被迫学会“只清除让检测器犯错的方向同时保留让检测器判断真伪的关键结构”。另一个训练技巧是不要固定压缩参数。我在训练净化器时每次迭代随机采样一组压缩参数组合分辨率范围、CRF范围、编码器类型让模块见过足够多样的失真分布。这样它学到的不是某个压缩参数下的专用滤波器而是对传输链路变化更稳的通用映射。3.2 特征域的频域校验补上压缩打不掉的证据空间域的防御容易顾此失彼所以我第二个思路是在特征域增加频域校验分支。这个分支不对像素做操作而是把骨干网络提取出的特征图转换到DCT或FFT域在频域上观察能量分布。原理是这样的压缩是一种低通效应它压低高频能量而对抗扰动为了不被压缩洗掉必然要向中低频和特定频带注入能量。深度伪造本身又会在频域留下规律性异常比如生成器上采样导致的网格状频谱条纹。这三者在频域上的表现是可以做一定分离的。我实现的方案是双分支结构一个分支走常规空域特征另一个分支把特征图切块后做频谱变换用一组可学习的谱注意力向量决定哪些频带应该被保留、哪些频带应该视为不可信并加权抑制。两个分支的特征融合后再进入分类头。这个设计让检测器在遇到未见过压缩参数时仍能依赖频谱模式做判断。从实验效果看纯空域模型在跨压缩参数测试中掉点很厉害加了频域校验分支后稳定性明显提升。尤其是对EOT类型的鲁棒扰动频域分支的抵御效果比输入端滤波强得多。3.3 时间一致性作为“覆盖不掉”的二次校验图像级防御有个天然天花板单帧上可区分的信息太有限了。对抗扰动可以让每一帧都骗过空域检测器但它很难同时伪造一段时间内连续帧之间的动力学一致性。深度伪造在微表情、眨眼节奏、头部运动、光流场的一致性上会暴露问题这些异常在时间维上是分布式的不是一帧内的静态痕迹。我在检测器中加了一个轻量级时序模块对连续若干帧分别提取空域特征然后送入时序transformer建模帧间关系。关键不是对每帧打分再平均而是让模型学习“跨帧特征的变化模式”是否合理。如果检测到帧间特征突变异常或者运动动力学与自然视频分布偏离就标记为可疑。压缩对这个模块的影响相对较小。压缩会模糊单帧的细节但两帧之间的运动偏移、光流方向、遮挡关系这些高层时间模式并不会因为低通滤波而完全消失。实验里单帧空域检测器对鲁棒扰动很容易翻车但加上时序复核后翻车率显著下降。当然时序模块有算力代价。我实际落地时用的是分级策略第一级用轻量空域模型对所有帧做快速筛查只有分数落入“信息熵较高”的区间才触发时序复核。这样既保住了检测效果也不会让GPU吃不住。3.4 对抗训练要“对准传输失真分布”不是随便做经典的对抗训练是在原始图像上生成扰动然后拿来做数据增强但这个做法放到本课题里效果有限因为它在生成扰动时没有考虑压缩这一步。模型在“没有压缩的对抗样本”上练得再强一旦输入先经过真实传输链路分布又变了。正确做法是“变换感知的对抗训练”在每次迭代生成扰动时同步对输入施加一组随机的传输变换让训练样本的分布尽可能贴近线上真实输入。具体来说我生成对抗样本的流程是先随机采样一批传输参数压缩、缩放、加性噪声对当前训练帧做变换再在变换后的基础上计算梯度生成扰动最后把扰动叠加到原始训练帧上参与训练。这样训练出的模型对“压缩版本的扰动样本”和“带扰动的压缩样本”同时具备适应能力。我还额外加了一个置信度校准步骤因为对抗训练会让模型对正常输入的logit分布变得不光滑校准后的输出在低误报率阈值下更可控。3.5 各防御策略的边界与代价对比不同防御策略的适用场景和工程代价差距很大我整理了一个简表供参考。防御策略应对单帧扰动应对EOT鲁棒扰动跨压缩参数稳定性额外算力开销落地难度输入滤波/降噪一般差差低低可学习扰动解耦较好中中中中频域特征校验较好好好中中时间一致性复核中好好较高偏高变换感知对抗训练好好好高高从我的实践来看单靠任何一种策略都站不稳。最终可用方案是“频域校验时序复核”双主干的组合再辅以变换感知的对抗训练。输入端的扰动解耦模块我觉得可以放在第一道关口但别指望它能包打天下。4. 实验评估最容易翻车的地方从数据集到指标的完整提醒4.1 先做“成对传输模拟”再谈性能这个课题的测评环境和公共数据集不一样Y轴必须是自己搭的。我建议的第一步是定义一条标准的传输链路模拟管线把原始视频和伪造视频分别走一遍模拟转码流程生成与干净版本严格配对的“传输版本”。没有这个配对关系后面所有对比都不公平。我用的模拟工具是FFmpeg一条典型命令大致是ffmpeg -i input.mp4 -vf scale1280:720,fps30 -c:v libx264 -crf 28 -preset medium -g 120 -movflags faststart output.mp4其中crf是核心参数控制量化强度。我建议测试时至少覆盖CRF 23、28、32三档相当于覆盖“高质量、常规、低质量”三种网络传输场景。分辨率按目标场景常见规格来模拟比如720p和1080p都要测。g参数控制GOP大小也就是关键帧间隔会影响抽帧检测时碰到的帧类型分布别忽略。还有个容易踩的坑攻击扰动到底加在压缩前还是压缩后。真实威胁模型通常是攻击者拿到一段视频后先加扰动再上传平台转码发生在扰动之后所以扰动经历了压缩。但很多论文只测“在压缩视频上加扰动”这种更简单的设定。我建议两种都测并且把结果分开报告。单测一种等于给攻击者放水。4.2 切分协议防“方法泄露”和“身份泄露”数据切分看起来是最简单的一步其实坑最多。第一个坑是伪造方法泄露如果训练集和测试集用了同一种伪造方法生成的视频模型很容易学到某种伪造方法的指纹而非通用伪造痕迹。我评测时至少把伪造方法分成三类训练时用两类测试时用完全没见过的第三类。这才叫跨伪造方法泛化。第二个坑是身份泄露同一个人的真实视频和伪造视频不能同时出现在训练集和验证集。否则模型可能只是在记忆“某张脸长什么样”而不是在学真伪差异。用身份无关的切分方式之后AUROC通常会降几个点这是正常的别慌。第三个坑是压缩参数泄露。训练时模拟的压缩参数只是一个范围测试时需要加入训练范围之外的更极端的压缩设置。比如训练时CRF最高用到30测试时就要加CRF 34甚至36。跨压缩参数评估才是对“鲁棒性”的真实检验。4.3 指标陷阱别只盯AUCAUC是最常被刷的指标但它对真实场景并不完全友好。原因是AUC衡量的是整体排序质量会被大量容易样本拉高。内容治理场景更关心的是“在误报率极低的情况下还能不能找到伪造内容”所以高安全区的指标更重要。我建议至少额外报告TPRFPR1%和TPRFPR0.1%两个定点指标。对抗评估还要看攻击成功率曲线而不是只给一个默认步数下的点。正确的做法是固定攻击算法把扰动幅度从0逐步调大画出“扰动幅度→攻击成功率”的曲线。如果防御算法让这条曲线明显右移、变缓说明它有效提升了鲁棒性如果只是换了攻击参数就破防那说明防御只是针对特定强度过拟合。另外我建议把“压缩参数→攻击成功率”的关系单独画一张图。这张图能直观说明你的防御在不同传输强度下的表现趋势。我就是靠这张图发现某个防御策略在CRF 28以下很好看CRF一过32就断崖式失效——这是只看平均指标发现不了的。4.4 复现性来自压缩链路参数公开很多项目的评估结果复现不出来不是因为算法本身写得多玄而是传输链路参数根本没写清楚。分辨率、编码器、码率、GOP、抽帧策略、预处理方式数了一堆变量差一个数字结果就对不上。我把自己的实验配置固定成一个文档每次跑实验前先检查配置。下面是最基础的记录项链路参数本次实验取值输入分辨率原始分辨率测试时统一缩放至1280x720编码器libx264 / libx265 各测一轮CRF档位23 / 28 / 32GOP大小120帧 / 240帧抽帧策略均匀抽帧每30帧抽1帧帧率30 / 25对抗攻击算法PGD / MI-FGSM / EOT-PGD扰动幅度具体数值分档绘制曲线这套配置不光是为了自己记录也是为了别人拿着同样的配置能对齐你的实验结果。做对抗方向的研究最忌讳的就是在私有数据上给出一个别人永远无法复现的高分。5. 从工程落地回看这个课题可复现性与下一步方向5.1 部署管线注定是“分级检测”研究阶段你可以用完整的时序模型慢慢跑但真到了内容治理场景算力和时延必须算清楚。全帧率的时序Transformer在线上完全跑不动。我的落地思路是分成三级轻量空域模型先做帧级快速筛查从每秒抽帧样本里挑出可疑项命中可疑项的视频片段再送入时序复核模块最后用频域谱校验做兜底防止单一通道被干扰。异步处理也是一个现实选择高优先级内容走实时拦截普通内容允许排队离线复查。很多场景其实不需要毫秒级判定离线多跑几层深度模型完全可控。关键是架构上别把重模型全放在同步链路上。5.2 对抗样本库与增量更新对抗攻击是持续进化的防御模型必须有一个对抗样本库做增量训练。我维护样本库的方式是每次评估防御模型时用当前模型在测试视频上生成一批新的EOT扰动样本把高成功率的样本保留下来再定期混合旧样本做重放训练。重放缓冲区非常重要。不然模型学了新攻击类型很容易把老攻击类型的判别能力给冲掉这就是灾难性遗忘。我遇到过模型对新攻击的AUROC漂亮得很回头一测旧攻击跌了十几个点当时人都麻了。另外要提醒一点平台改压缩策略这件事会周期性发生。每次平台调整转码参数我们都会重新做一轮“压缩参数漂移”监控用一组固定旧模型跑一遍跨参数矩阵发现性能掉到阈值以下就触发适配训练。防御算法不是一锤子买卖它是一个持续对抗的过程。5.3 防御算法不应该是终点纯粹的检测防御解决的是“看到伪造内容时如何认出它”这当然重要。但对抗扰动这个方向还可以延伸到主动防御与其被动等伪造视频流到平台再拦截不如在生成源头就加入可验证的签名或水印。一旦视频经历过任何篡改或扰动签名就会被破坏这本身就是伪造行为的证据。这两条路线可以互补溯源信息作为强信号防御算法作为弱信号兜底。溯源信息没有的时候检测器必须独立判断溯源信息存在但被扰动破坏时立刻触发风险标记。现在内容治理场景的复杂度已经不允许单一方案单打独斗这是我做完这一圈之后的真实感受。最后分享一个非常实际的建议不要只在一种压缩参数的环境里反复调模型。把评估流程写成一个可以一键跑完的脚本每调整一次模型结构就完整跑一遍压缩参数矩阵和扰动幅度曲线。这个过程很费显存、很费时间但它给你的不是几个漂亮数字而是对自己算法鲁棒性的真实体感。我就是因为早期只看单点指标在某个低质量压缩档位上栽了大跟头后来改成全参数矩阵评测才把问题的边界真正看清楚。
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
