视觉 注意力机制——通道注意力、空间注意力、自注意力、交叉注意力

发布时间:2026/11/17 2:14:23

视觉 注意力机制——通道注意力、空间注意力、自注意力、交叉注意力 在计算机视觉领域注意力机制Attention Mechanism已成为提升模型性能的关键技术之一。注意力机制通过模拟人类视觉的选择性注意力能够在海量数据中自动聚焦于最相关的信息从而提高模型的效率和准确性。下面将介绍通道注意力、空间注意力、自注意力和交叉注意力四种类型。通道注意力通道注意力是一种专注于卷积神经网络CNN中特征图通道feature map channels的重要性分配的机制。其主要目的是通过为每个通道分配不同的权重来强调对任务最有贡献的通道抑制无关或冗余的通道从而提升模型的表现。以SE模块为例Squeeze通过全局平均池化Global Average Pooling, GAP将特征图HxWxC压缩成1x1xC即得到每个通道的平均池化后的特征该特征为一个值。Excitation全局特征向量通过几个全连接FC层进行非线性变换通常包括一个ReLU激活函数和一个sigmoid激活函数。将输出值压缩到0和1之间生成一个与输入通道数相同长度的权重向量1x1xC。将通道权重乘以原本的特征图即可得到通道注意力特征图。再如以下的结构图通过CAP全局平均池化再通过sigmoid得到每个通道的权重图与原来的特征相乘即可得到经过通道注意力之后的特征图。如下通道注意力全局池化对输入特征图的每个通道进行全局平均池化得到每个通道的全局空间特征。特征重塑将池化后的特征重塑为一维向量为每个通道生成一个单一的数值。1x1卷积使用1x1卷积核对重塑后的特征向量进行卷积操作生成每个通道的权重。激活函数可选地使用激活函数来引入非线性增强模型的表达能力。通道注意力的实现方法有很多总的来说就是获得通道权重再与原本特征相乘。空间注意力空间注意力是一种专注于特征图的空间维度的重要性分配的机制。它通过对特征图中的特定空间位置进行加权从而突出对任务最有贡献的区域抑制无关或冗余的区域以提高模型的性能。首先对一个尺寸为 H×W×C的输入特征图F进行通道维度的全局最大池化和全局平均池化得到两个 H×W×1 的特征图在通道维度进行池化压缩通道大小便于后面学习空间的特征然后将全局最大池化和全局平均池化的结果按照通道拼接(concat)得到特征图尺寸为HxWx2最后对拼接的结果进行7x7的卷积操作得到特征图尺寸为 HxWx1接着通过Sigmoid激活函数 得到空间注意力权重矩阵权重矩阵再与原来的特征图相乘即可得到空间注意力特征图总得来说可看下图通过局部网络从空间维度缩减特征为H×W×1通过激活函数得到权重矩阵权重矩阵与原来特征相乘混合注意力在混合注意力机制中通道注意力和空间注力可以通过串联、或者并联的方式进行组合。以下为串联和并联的两种形式一般来说串联效果会好一点。自注意力自注意力是一种专注于输入数据的内部关系的重要性分配机制广泛应用于自然语言处理和计算机视觉等领域。它通过计算输入数据中每个元素与其他所有元素之间的相似性来动态地调整各元素的重要性从而更好地捕捉全局依赖关系和上下文信息。注意力的思想类似于寻址。给定Query去Source中计算Query和不同Key的相关性即计算Source中不同Value值的权重系数Value的加权平均结果可以作为注意力值。以Transformer的自注意力为例特征映射首先将输入数据映射到查询Query、键Key和值Value三个向量表示中。这一步骤通常通过线性变换实现。其中是可训练的权重矩阵相似性计算计算查询向量和键向量之间的相似性得分通常使用点积来实现。这些相似性得分表示了输入数据中每个元素与其他所有元素之间的关系。其中S是相似性得分矩阵​​ 是缩放因子防止点积值过大。注意力权重计算将相似性得分通过Softmax函数进行归一化得到注意力权重。这些权重反映了每个元素对其他元素的重要性。其中A是注意力权重。加权求和将注意力权重与值向量进行加权求和得到经过自注意力调整后的输出表示。通过这种方式每个元素的表示包含了与其他所有元素的关联信息。交叉注意力交叉注意力是一种专注于不同模态或不同序列之间关系的重要性分配机制广泛应用于多模态任务和序列对序列的任务中。它通过计算一个模态或序列的查询Query向量与另一个模态或序列的键Key和值Value向量之间的相似性来动态地调整每个模态或序列对其他模态或序列的关注从而实现信息的综合利用。即与自注意力不同的是Q来自一个模态或序列K和V来说另模态或序列。Q决定了哪个模态或序列将聚焦于哪个模态或序列的特征信息从而实现信息的综合利用和融合。特征映射首先将两个模态或序列的输入数据分别映射到查询Query、键Key和值Value向量表示中。这一步骤通常通过线性变换实现。其中是可训练的权重矩阵相似性计算计算一个模态或序列的查询向量和另一个模态或序列的键向量之间的相似性得分通常使用点积来实现。这些相似性得分表示了一个模态或序列中每个元素与另一个模态或序列中所有元素之间的关系。其中S是相似性得分矩阵​​ 是缩放因子防止点积值过大。注意力权重计算将相似性得分通过Softmax函数进行归一化得到注意力权重。这些权重反映了一个模态或序列的每个元素对另一个模态或序列中所有元素的重要性。其中A是注意力权重。加权求和将注意力权重与值向量进行加权求和得到经过交叉注意力调整后的输出表示。通过这种方式每个模态或序列的表示包含了与另一个模态或序列的关联信息。可看下图Q来自一个序列K和V来说另一个序列再如下图是Q来自文本模态K和V来说视觉模态 。总结注意力机制通道注意力、空间注意力、自注意力和交叉注意力是现代神经网络模型中至关重要的技术。它们通过动态调整输入特征的权重增强模型对重要信息的关注从而显著提升了各种复杂任务如图像处理、自然语言处理和多模态任务的性能。这些机制的广泛应用和不断发展促进了深度学习技术的进步和创新。
延伸阅读

更多相关文章

2026/11/17 12:06:29

hekate Switch引导程序:从零开始的完整配置指南

hekate Switch引导程序:从零开始的完整配置指南 【免费下载链接】hekate hekate - A GUI based Nintendo Switch Bootloader 项目地址: https://gitcode.com/gh_mirrors/he/hekate 还在为Switch的自定义引导程序感到困惑吗?hekate作为任天堂Switc…

2026/11/17 12:05:56

电工证二级(技师)全国通用怎么考?怕考不过白交培训费?

电工证二级(技师)全国通用怎么考?怕考不过白交培训费? 怕考不过白交培训费?电工证二级(技师)全国通用怎么考? 真实的报名流程、考试内容和常见陷阱,都在这里说清楚。别再被培训机构糊弄,这篇文章就是为你准备的。 ###…

2026/11/17 12:05:56

绍兴局电工证学习保姆级教程:怕考不过白交培训费?看这篇就够了

绍兴局电工证学习保姆级教程:怕考不过白交培训费?看这篇就够了 怕考不过白交培训费?绍兴局电工证学习越来越受关注,但很多学员担心花了不少钱,结果还是没考过,白白浪费时间和金钱。其实只要你掌握对方法,顺利通过考试并不是难事。今天这篇保姆级教程,…

2026/11/17 12:05:56

电工证的初始学历怎么考?电子证书怎么拿?别被中介坑了

电工证的初始学历怎么考?电子证书怎么拿?别被中介坑了 你是不是也遇到过这种情况:手上有个电工证,但发现报名时被中介骗了钱,结果证件没拿到,或者拿到的只是个“电子证书”却不能在系统里查?其实, 电工证的初始学历…

2026/11/17 12:05:56

重庆市特种工操作证多少钱 之前考的证在外省能不能转过来

重庆市特种工操作证多少钱 之前考的证在外省能不能转过来 之前考的证在外省能不能转过来?这个问题,不少在外地打工的兄弟都问过。特别是像南阳卧龙区这样的地方,很多建筑工人常年在外,拿着外地的特种作业证,回到重庆想上岗,却发现证不被认可。那…

2026/11/17 12:05:56

设备接电工证多久拿证 考不过真的白交钱?

设备接电工证多久拿证 考不过真的白交钱? 怕考不过白交培训费,设备接电工证怎么考才靠谱?现在越来越多的水利工程从业者开始关注设备接电工证,特别是像信阳浉河区这种工程任务频繁的地区。设备接电工证不仅是从事电气设备安装、接线、调试等工作的必备资…

2026/11/17 12:00:55

葫芦岛怎么参考电工证 怎么选靠谱机构看含金量

葫芦岛怎么参考电工证 怎么选靠谱机构看含金量 你是不是也和我一样,听说要在葫芦岛考电工证,但又不知道去哪儿报名?怕被中介坑,怕交了钱考不到证,更怕拿到的证含金量不够,干几年还是个“废纸”?我也是从一线干起来的,这些年见过太多人被坑,今天就把…

2026/11/16 7:29:52

电工证考试口诉怎么准备值不值得考

电工证考试口诉怎么准备值不值得考 实操考试心里没底怕挂科,这是大多数准备考电工证的人心里最真实的感受。尤其是面对【电工证考试口诉】环节,很多人不知道该怎么准备,甚至担心自己说不好就被淘汰。其实,只要掌握方法, 值不值得考…

2026/11/16 5:30:20

桑植县考电工证千万别踩坑!报名全流程教你避坑

桑植县考电工证千万别踩坑!报名全流程教你避坑 你是不是也遇到过这种情况:想考个电工证,但不知道从哪儿下手,怕被中介坑,怕花冤枉钱,更怕考了证还不能用?别急,这正是你该看这篇文章的原因。在桑植县考电工证,确实有很多人被坑过,但只要你知道流程、…

2026/11/17 0:02:41

电工证操作和资格证有效期多久?真实经历告诉你怎么复审延期

电工证操作和资格证有效期多久?真实经历告诉你怎么复审延期 证书过期了不知道怎么复审延期,这种情况在电工圈里太常见了。我有个同事,去年刚把低压电工证给弄丢了,直到单位查岗才发现证书已经过期,差点被停工处理。今天就用我真实经历给你讲讲电工证操作…

2026/11/17 0:02:41

机修需不需要电工证 在哪考最靠谱 这些细节必须知道

机修需不需要电工证 在哪考最靠谱 这些细节必须知道 之前考的证在外省能不能转过来?这个问题几乎每个特种作业从业者都问过。特别是像你这样,之前在外省考了证,现在想在本地扎根,或者想换证、换岗的机修人员,最关心的就是【机修需不需要电工证】和【在…

2026/11/17 0:02:41

工地太忙根本没时间复习考试?真实经历告诉你电工证年检步骤是什么

工地太忙根本没时间复习考试?真实经历告诉你电工证年检步骤是什么 工地太忙根本没时间复习考试,我理解你。作为一名刚从焦作工程类院校毕业的学生,我也经历过这种困扰。电工证年检步骤是什么,听起来简单,但实际操作中,很多人因为流程不清楚、资料准备不…

2026/11/17 0:49:41

面向复杂光照与角度的宠物面部识别鲁棒性增强策略

在智慧养宠时代,基于视觉的宠物身份识别技术正逐步从实验室走向家庭应用。然而,与配合度高的人类不同,宠物是典型的“非合作生物识别对象”——它们不会主动配合摄像头调整姿态,更无法控制光照环境。实际应用中,我们常…

2026/11/16 3:17:47

SSM电子书店源码全解析:结构、原理、部署与排错实战

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

还想了解更多?直接咨询顾问

免费诊断 + 免费方案 + 透明报价。

全国咨询热线400-8866-253
免费获取方案
☎咨询二维码 ☎ ↑