中国科学技术大学与西湖大学揭秘：鹰眼视觉启发的图像去模糊技术

这项由中国科学技术大学、西湖大学和密歇根大学联合完成的研究以论文编号 arXiv:2606.30030 于2026年6月29日公开发表。有兴趣深入了解的读者可以通过该编号在arXiv平台查询完整论文。你有没有拍过一张照片结果发现因为手抖或者拍摄对象动得太快整张图都模糊成一片这种令人懊恼的经历几乎每个人都有过。相机抖动、快速移动的汽车、奔跑的孩子……这些场景产生的模糊用图像处理的术语来说叫做运动模糊。而现实生活中的模糊往往比你想象的复杂得多——同一张照片里左边可能是清晰的背景右边却是一团糊影这种因地而异的模糊叫做空间非均匀模糊是让计算机视觉研究者头疼已久的难题。这支来自中国顶尖研究机构的团队提出了一个叫做**CogSENet**的新系统核心灵感来源于一个意想不到的地方——鹰的眼睛。这只数字鹰究竟是怎么看清世界的一、鹰眼的秘密为什么要向大自然取经在所有已知的生物中鹰拥有地球上最锐利的视觉系统之一。站在百米高空它能精准锁定地面上一只快速奔跑的田鼠。它是怎么做到的研究者发现鹰的视觉能力来自四个高度协调的机制主动扫视、视网膜功能分区、持续焦距调节以及将现在所见与记忆中的清晰图像进行比对。这四个机制正好对应了CogSENet系统里的四个核心设计。主动扫视对应了一个叫做语义驱动状态空间模块SDSSM的组件视网膜功能分区对应了双频融合块BFFB持续焦距调节对应了连续模糊场CBF而记忆比对则对应了引入一个事先训练好的强大视觉语言模型CLIP来提供高层次的语义知识。这套仿生逻辑的关键在于现有的图像去模糊方法大多把图像当作一个均匀的像素矩阵来处理就像用同一把锯子锯所有的木头不管木头是松木还是钢铁。但鹰看世界的方式完全不同——它会根据目标的类型、位置和重要程度动态调整自己注意力的分配方式。CogSENet的设计哲学正是如此让系统理解它在恢复什么从而指导它应该如何恢复。二、语义扫视让系统学会看懂才能看清传统的图像处理模型有一个根本性的缺陷——它们不知道自己在处理的是什么。一栋大楼的外墙纹理、一丛树叶的细碎边缘、一张人脸的轮廓在传统算法眼里都是同等地位的像素集合处理方式没有任何区别。这就好比一个翻译者把所有的词语都用同一个语气、同一个方式朗读出来不管是诗歌还是法律条文结果自然是不伦不类。SDSSM语义驱动状态空间模块的出现就是为了解决这个问题。它的工作原理可以用一个比喻来理解假设你在整理一个大型图书馆的书籍你不是按照书的编号顺序一本一本处理而是先把书分类——历史类、科学类、文学类——然后对每一类书采用最适合它的整理方式。SDSSM做的事情类似它先把图像分解成一个个小块类似图书馆里的一本本书然后通过一种叫做Gumbel-Softmax的数学技巧把这些小块按照语义内容软性地分配到不同的类别组K个簇。更聪明的地方在于这个分组过程并非拍脑袋决定而是同时生成每个小块的语义提示向量——可以理解为给每本书贴上一个内容摘要标签。系统按照这些标签重新排列所有图像块让语义相近的块挨在一起然后沿着这条重新排列后的序列进行扫描处理。这样原本相隔甚远但语义相关的区域——比如同一栋楼的不同角落——就能在信息传递过程中彼此认识、互相参考从而在恢复时保持一致性。这种非均匀扫视方式还有一个精妙的设计在不同的网络层之间扫描方向会交替翻转。这样一来原本具有方向性的单向扫描就能在全局范围内产生无方向偏见的理解效果既考虑到图像左边对右边的影响也考虑到右边对左边的影响。消融实验中去掉语义提示向量后系统在GoPro数据集专业去模糊测试标准之一上的峰值信噪比衡量图像质量的指标数值越高图像越清晰从34.72 dB降到了34.15 dB去掉语义分组功能则降到了34.21 dB彻底移除整个SDSSM数值更是跌至33.95 dB还同时增加了参数量和运行时间——这说明SDSSM在提升效果的同时反而带来了更高的计算效率。研究者还专门绘制了令牌路由图来可视化SDSSM的工作状态。从图中可以清楚地看到平滑的天空或墙面区域被统一分配到少数几个主要类别而纹理丰富的树丛、建筑边缘则激活了更多样化的类别标识。这正是语义感知的体现系统自己学会了区分什么是需要特别对待的复杂区域。三、双频解析像视网膜一样分工处理细节与结构鹰的视网膜有一个非常特别的结构中央的中央凹区域密布感知高频细节的锥细胞负责锁定猎物的精确轮廓而外围的视网膜则拥有更多感知低频宏观信息的杆细胞负责把握整体环境。这种分工让鹰能够同时保持对细节的敏锐和对全局的把握。CogSENet中的BFFB双频融合块正是这种分工思想的技术实现。每当图像特征经过这个模块系统会先用一种叫做小波变换的数学工具把特征分解成两部分低频分量类似图像的骨架决定整体形状和亮度分布和高频分量类似图像的毛发决定纹理细节和边缘锐度。分解之后这两部分走向不同的处理通道。低频分量进入一个轻量级的U形网络模块专门负责维护和恢复全局结构确保去模糊后的建筑还是那栋建筑人脸还是那张脸。高频分量则进入密集卷积网络专门负责增强和精细化局部纹理细节让树叶的脉络、衣物的纹路都能清晰重现。与此同时BFFB还有一条并行处理通道直接在频率域傅里叶变换后的世界对整体特征进行自适应滤波。这就像给图像做了一次精准的音频均衡处理——不需要的频率成分比如模糊造成的噪声被压制有用的频率成分被保留和强化。最后两个通道的处理结果通过一个可以自学习的权重参数β来动态融合系统会根据当前图像内容自动决定更偏重哪个通道的输出。消融实验同样验证了这个设计的价值。去掉显式的高低频分离后性能降至34.01 dB去掉隐式频率精炼通道降至34.15 dB彻底移除BFFB则进一步降至33.92 dB。这组数据说明两个通道各有其不可替代的价值缺一不可而且BFFB带来的性能提升相当显著但增加的参数量和计算时间却极为有限。在实践中CogSENet有两种配置轻量版Our在整个骨干网络中全部使用简化版BFFBLightBFFBLightBFFB用平均池化来快速分离高低频更节省计算资源加强版Our在骨干网络里仍然使用LightBFFB但在网络最深的瓶颈层引入完整版BFFBFullBFFB以增强最关键位置的表达能力。四、连续模糊场与语义记忆理解模糊才能消除模糊前面两个模块SDSSM和BFFB负责的是图像特征的处理方式而CogSENet的第三个核心创新则是在更根本的层次上如何理解模糊本身。大多数去模糊方法要么完全不管模糊是什么样的盲目处理要么假设整张图的模糊是均匀一致的离散核假设。但真实世界里的运动模糊复杂得多一张照片里快速移动的汽车产生横向拖影而旋转的风扇叶片产生弧形拖影远处的背景可能几乎没有模糊。用同一个简单模型来描述这些千变万化的模糊注定力不从心。CogSENet的解法是估计一个连续模糊场CBF。具体来说系统用一个轻量级的卷积网络分析输入的模糊图像输出一个与图像等大的二维向量场——每个像素位置都有一个二维向量表示该位置的模糊方向和程度。为了让这个向量场的数值保持稳定、不会出现极端值系统还用了双曲正切函数tanh进行归一化并乘以一个最大位移系数来控制模糊量级的范围。这个连续模糊场只在网络最深的瓶颈层整个编解码网络最核心、分辨率最低但语义最丰富的位置注入一次。在这里模糊场被编码成特征向量与瓶颈层的特征图拼接后经过一个轻量级1×1卷积层融合产生模糊感知描述子。与此同时来自CLIP的语义知识在这里汇合。CLIP是一个由大规模图文对训练出来的视觉-语言模型它对图像内容有极强的高层次理解能力。在CogSENet里CLIP被彻底冻结不参与训练不更新参数纯粹作为外部知识库提供语义向量。系统从这个语义向量出发通过余弦相似度计算在整个特征图的每个空间位置上寻找哪些区域的特征与高层语义最相关从而生成一张空间注意力图。最后这张注意力图用于对原始瓶颈特征进行残差门控调制——用一个初始为零、慢慢学习的标量参数γ控制注意力调制信号的引入程度。这种设计非常巧妙训练初期γ接近零系统的行为几乎和没有这个模块一样稳定随着训练推进γ逐渐增大系统开始越来越多地利用物理模糊信息和语义信息的联合指导。这就像一个初学者先扎实掌握基本功再慢慢引入更高级的技巧避免一开始就被复杂信号干扰。消融实验对这个模块的效果也做了细致拆解。在GoPro数据集上只用CBF不用CLIP时性能为33.80/0.9668PSNR/SSIM只用CLIP不用CBF时为33.78/0.9667同时用CBF和CLIP但不用完整联合调制方案为33.88/0.9673而使用完整CogSENet时达到34.31/0.9719。这组数据清楚地表明物理模糊先验CBF和高级语义知识CLIP各自的贡献有限但两者联合调制产生的协同效应远超简单相加——它们是高度互补的关系。可视化分析进一步揭示了联合调制的工作机制模糊场和模糊量级图在空间上与图像结构高度对齐在模糊严重的区域自动给出更高的模糊强度值而不是千篇一律地处理整张图像。CLIP语义引导的注意力图则会突出那些含有丰富语义内容的高频结构区域比如建筑窗户、文字边缘同时抑制对平坦无信息区域的过度关注。五、实验成绩数字说明一切CogSENet在多个标准测试集上展开了系统性评测覆盖运动去模糊、去雨、去雾和去噪四类任务。在最具代表性的GoPro运动去模糊数据集上8.9M参数量的轻量版CogSENetOur达到34.72 dB PSNR和0.9744 SSIM超越了拥有16.6M参数的FFTformer34.21 dB以及17.1M参数的EVSSM34.51 dB。加强版Our19.4M参数进一步提升至34.91 dB和0.9757 SSIM成为所有对比方法中的最优。要理解这个数字的意义每提升1 dB大约相当于图像质量肉眼可见的一个层次提升而以更少参数实现更高性能意味着系统在实际部署时更轻巧、更省资源。参数量超过150M的AdaRevD达到了34.50/0.9710而Our仅用其八分之一的参数便超过了它——这种效率优势在实际应用中意义重大。在HIDE数据集一个专注于人体运动模糊的测试集用GoPro数据训练后跨数据集测试上Our和Our分别达到32.18/0.9514和32.42/0.9533同样位居前列。在更贴近真实拍摄场景的RealBlur数据集两个子集上Our在RealBlur-R上达到41.83/0.9799在RealBlur-J上达到34.54/0.9473Our在两个子集上均进一步提升体现了对真实世界复杂模糊的强健适应能力。在去雨任务中CogSENet在轻度雨Rain100L上达到39.02 dB与最先进方法相当在难度更大的重度雨Rain100H上达到32.15 dB仅比最优方法低0.02 dB但SSIM0.9099超过了所有对比方法并且比知名的Restormer高出整整0.69 dB。在去噪任务中随着噪声强度的增加从σ15到σ25再到σ50CogSENet的优势越来越明显在σ25时达到31.50/0.8931σ50时达到28.29/0.8062均为所有对比方法中的最高或并列最高。在去雾任务中CogSENet在SOTS数据集上达到28.72/0.9692超越第二名MPRNet的28.21/0.9672以0.51 dB的明显差距领先。视觉效果上在GoPro测试图像中竞争方法往往在细微结构和高频区域留下残余模糊痕迹而CogSENet恢复出了更干净的边缘和更锐利的局部纹理。在RealBlur图像中尤其是文字和建筑轮廓区域其他方法仍然存在过度平滑的问题而CogSENet保持了更清晰的边界和更忠实的结构还原。六、诚实的局限性这只数字鹰也有盲区任何技术都有其边界研究者在论文中也坦诚指出了CogSENet的局限。当运动模糊极为剧烈以至于图像中几乎所有可辨认的语义线索都被完全抹去时冻结的CLIP编码器就无法提取出有效的语义信息。在这种极端情况下联合调制模块退化为近乎均匀的注意力分布失去了精准引导的能力与此同时连续模糊场也可能无法准确捕捉极度复杂的局部运动轨迹导致最终恢复结果仍然存在残余模糊或纵向条纹伪影。研究者在论文的失败案例分析图7中展示了这类场景图中可见极速人群图像的还原效果明显不如普通运动模糊场景。这种诚实的自我评估对于了解技术边界、指导未来改进方向非常有价值。研究者也明确指出了两条未来改进方向一是引入对降质图像更鲁棒的语义提取器替代现有的冻结CLIP二是将整套架构扩展到视频去模糊任务因为视频帧间信息可以为极端模糊场景提供额外的时序线索。七、整体设计哲学从被动像素处理到主动语义理解把CogSENet放到更大的背景下来看它代表的是图像复原领域的一次思维方式的转变。过去的方法无论是卷积神经网络还是注意力机制本质上都在做被动的像素回归——给定一张模糊图通过大量数据训练让系统学会把它映射成清晰图。这个过程里系统并不知道自己在处理什么内容也不知道模糊的物理来源是什么更不知道哪些区域在语义上更重要、更值得精细恢复。CogSENet的核心理念是把图像复原从被动的像素映射提升为主动的、语义对齐的重建过程。系统不仅要学会怎么处理像素更要理解它在处理什么——是一栋楼还是一片天空是人脸还是地面——然后根据这种理解动态调整处理策略。这种思路上的转变使得系统在面对真实世界复杂、非均匀的降质时表现出更强的适应性和鲁棒性。这项思路不仅仅对去模糊任务有价值。实验结果显示同一套架构在去雨、去雾、去噪三个完全不同的图像复原任务上都取得了有竞争力的成绩去雾任务只需禁用模糊场分支。这说明语义感知与频率分解的组合是一种具有广泛适用性的图像复原基础框架未来可能在更多复原场景中发挥作用。归根结底CogSENet做的事情是把一个工程问题图像去模糊重新包装成一个认知科学问题如何像有智识的视觉系统一样理解并复原图像。鹰不只是看到猎物它理解猎物在哪里、如何移动然后精准出击。CogSENet的雄心也在于此。对这项研究感兴趣的读者可以在arXiv平台上通过编号2606.30030检索到完整论文里面包含了更详细的数学推导、实验设置说明和更多可视化分析对于想深入了解技术细节的朋友来说是非常好的资料。---QAQ1CogSENet去模糊系统为什么要参考鹰的视觉系统来设计A鹰拥有地球上最锐利的视觉之一它能主动扫视目标、视网膜分区处理细节与宏观信息、持续调节焦距还能对比记忆中的清晰图像。这四种机制恰好对应了去模糊中的四个核心难题如何理解图像内容、如何分别处理纹理和结构、如何建模空间变化的模糊、以及如何引入高层语义知识。因此研究团队以鹰的视觉为蓝图将四种生物机制分别转化为系统的四个技术模块。Q2CogSENet中的CLIP模型是什么它在去模糊中起什么作用ACLIP是一个由海量图文对预训练的视觉-语言模型具有很强的图像内容理解能力。在CogSENet里CLIP的参数完全冻结不参与训练仅作为外部知识库。它负责从模糊图像中提取高层语义向量再与系统估计的连续模糊场共同作用生成空间注意力图引导网络优先在语义重要的模糊区域投入更多复原资源避免过度处理平坦无信息的区域。Q3CogSENet的连续模糊场和传统的模糊核估计有什么区别A传统方法通常假设整张图使用同一个固定形状的模糊核或者在有限几个位置估计离散的模糊核无法反映真实照片中模糊因位置不同而千变万化的特性。连续模糊场则为图像中的每一个像素位置单独估计一个二维向量描述该位置的模糊方向和程度形成一张与图像同等大小的密集向量图。这样可以精确刻画同一张图里同时存在多种不同模糊的复杂情况是从离散估计到连续建模的本质性跨越。