SA的空间注意力和通道注意力

SA的空间注意力和通道注意力注意力机制技术总结-技术圈STN(2015)论文原文：Spatial Transformer Networks这是一篇过时的文章，读者不必了解太多，但它的主要思想却值得写一下https://jishuin.proginn.com/p/763bfbd56c67

一、前言

SA（soft attention）：包括空间注意力和通道注意力，目的是选择细粒度的重要像素点，是pixel级。

HD（hard attention）：是 local 注意力，致力于搜索粗糙的潜在判别区域，它们是region级。

空间注意力：
一般来说对于同一像素点不同通道求均值，再经过一些卷积和上采样的运算得到spitial attention mask，空间特征每层像素点被赋予不同的权重。

通道注意力：

就是针对 N C H W 的每个C赋予权重。

空间注意力 + 通道注意力：

有BAM和CBAM两种代码方式，spitial attention 矩阵与channel attention矩阵相乘得到 SA+CA的效果。

二、Bottlenet attention Module（BAM 2018）

具体结构如下图所示：利用了空洞卷积来获取更大的感受野，增加了通道注意力，方式是在feature map上全局平均池化，再降维升维，如右下角所示使用了上面那篇论文中的Attention Residual learning方式来融合。

 三、Convolutional Block Attention Module （CBAM 2018）

CBAM同样是使用空间注意力和通道注意力，不过与BAM不同的是，通道注意力并不是像BAM那样融合在空间注意力内再做归一化，而是先后分开进行。

通道注意力的生成方式：先在feature maps上进行全局最大池化和全局平均池化得到两个1维向量，再经过共享的MLP层，再进行相加，sigmoid归一化。

空间注意力的生成方式：在通道上进行最大池化和平均池化，得到两个feature map，经过7×7卷积，得到一个feature map，再BN，sigmoid归一化。

注：这种空间注意力只考虑了局部信息，在后面CVPR2021的Coordinate Attention中有所改进。

四、Coordinate Attention(2021)

这篇论文基于SE和CBAM改进而来，作者认为SE没有考虑空间信息，CBAM通过对每个位置的通道上进行池化，由于经过几层卷积和降采样后的feature maps的每个位置只包含原图的一个局部区域，因此这种做法只考虑了局部区域信息。为此，作者提出了一种新的attention机制–Coordinate Attention。

Coordinate Attention利用两个1D全局池化操作将沿垂直和水平方向的input features分别聚合为两个单独的direction-aware feature maps。 然后将具有嵌入的特定方向信息的这两个特征图分别编码为两个attention map，每个attention map都沿一个空间方向捕获输入特征图的远距离依存关系。 位置信息因此可以被保存在所生成的attention map中。 然后通过乘法将两个attention map都应用于input feature maps，以强调注意区域的表示。

具体结构如图c所示，简单说来，Coordinate Attention是通过在水平方向和垂直方向上进行平均池化，再进行transform对空间信息编码，最后把空间信息通过在通道上加权的方式融合。

五、其他注意力机制的参考论文

1. Spatial Transformer Networks

2. Object-Part Attention Model for Fine-grained Image Classifification

3. Residual Attention Network for Image Classifification

4. BAM: Bottleneck Attention Module

5. CBAM: Convolutional Block Attention Module

6. Non-local Neural Networks

7. Pyramid Attention Network for Semantic Segmentation

8. Squeeze-and-Excitation Networks

9. CCNet: Criss-Cross Attention for Semantic Segmentation

10. GCNet: Non-local Networks Meet Squeeze-Excitation Networks and Beyond

11. Dual Attention Network for Scene Segmentation

12. Coordinate Attention for Effificient Mobile Network Design

今天的文章SA的空间注意力和通道注意力分享到此就结束了，感谢您的阅读。