图像语义分割的应用_什么是语义分割「建议收藏」

图像语义分割的应用_什么是语义分割「建议收藏」PPM、GAU_globalattentionupsample

简单记录一下用于图像语义分割的2个模块

1. GAU(Global Attention Upsample, 全局注意力上采样模块)

全局注意力上采样模块 (GAU)通过全局池化将高层特征作为低层特征的加权计算的指导,提取高层次特征的全局上下文信息。

实现如下所示:

对低层次特征执行3×3的卷积操作,同时减少CNN特征图的通道数;

从高层次特征经过全局平均池化生成的全局上下文信息依次经过 1×1 卷积、批量归一化 (batch normalization) 和非线性变换操作 (nonlinearity),然后再与低层次特征相乘;

最后,高层次特征与加权后的低层次特征相加并进行逐步的上采样过程;

GAU模块不仅能够更有效地适应不同尺度下的特征映射,还能以简单的方式为低层次的特征映射提供指导信息。

图像语义分割的应用_什么是语义分割「建议收藏」

 基于keras的代码实现:

# GAU(Global Attention Upsample, 全局注意力上采样模块)
# 低层特征图low_fm进行3*3卷积
# 高层特征图high_fm进行GAP、1*1,再与低层特征图进行相乘操作、批归一化、非线性激活
# 将上述得到的低层特征图与高层特征图进行相加融合
def GAU(low_fm, high_fm, filters):
    n, h, w, c = low_fm.get_shape().as_list()
    # 3*3
    low_fm = Conv2D(filters=filters, kernel_size=3, strides=1, padding='same', 
                    use_bias=False, dilation_rate=(1, 1))(low_fm)
    # GAP
    high_fm_up = GlobalAveragePooling2D()(high_fm)
    # 1*1
    high_fm_up = Reshape(target_shape=[1, 1, int(high_fm_up.shape[-1])])(high_fm_up)
    high_fm_up = tf.image.resize_bilinear(image=high_fm_up, size=[h, w], align_corners=True,
                                          name='resize_bilinear')
    high_fm_up = Conv2D(filters=filters, kernel_size=1, strides=1, padding='same', 
                    use_bias=False, dilation_rate=(1, 1))(high_fm_up)
    # 融合
    x = Multiply()([low_fm, high_fm_up])
    x = BatchNormlization()(x)
    x = Activation('relu')(x)

    # 输出
    high_fm = tf.image.resize_bilinear(image=high_fm, size=[h, w], align_corners=True,
                                          name='bilinear')
    out = Add()([x, high_fm])
    return out

2. PPM(Pyramid pooling module, 金字塔池化模块)

PPM目的是为了聚合不同特征层的上下文信息,以提高网络获取全局信息的能力,在不同的尺度下以保留全局信息使用不同多尺度的pooling操作,比起普通的pooling操作更能保留全局上下文信息;

具体做法为:在原始特征图上使用不同尺度的池化,得到多个不同尺寸的特征图,再在通道维度上拼接这些特征图 (包含原始特征图),最终输出一个糅合了多种尺度的复合特征图,从而达到兼顾全局语义信息与局部细节信息的目的;

示意图如下所示:

图像语义分割的应用_什么是语义分割「建议收藏」

(a)图为单幅原始输入图像;
(b)图为通过CNN提取的原始特征图;CNN模块可以根据需要自行选择,论文中给出的该特征图尺寸为6*6;
(c)图为PPM模块:对(b)特征图进行不同尺度的池化操作,得到多个不同尺寸的特征图,然后对得到的特征图进行上采样操作,恢复至原始特征图大小,最后在通道维度上进行拼接,得到最终的融合了多种尺度的复合特征图;

例如图中为4个不同的池化操作,分别为红、橙、蓝和绿来表示:

红:使用6×6的池化,输出尺寸为1×1,再通过双线性插值上采样至6×6;
橙:使用3×3的池化,输出尺寸为2×2,再通过双线性插值上采样至6×6;
蓝:使用2×2的池化,输出尺寸为3×3,再通过双线性插值上采样至6×6;
绿:使用1×1的池化,输出尺寸为6×6 。

(d)图为最终预测结果, 通过1*1卷积调整通道,以实现像素级别的分类。

 基于keras的代码实现:

以下代码用于语义分割,其中模型网络使用的是ghostnet作为主干网络实现;

其中的双线性插值上采样可参考GAU模块的代码,以下代码需要根据实际需要进行更改;

# PPM(Pyramid pooling module, 金字塔池化模块)
# bin_size=[]为池化尺寸, 根据需要自行选择
def PPM(inputs, bin_sizes=[5, 9, 13]):
    n, h, w, c = inputs.get_shape().sa_list()
    
    # 1*1降维
    inputs = Conv2D(filters=c // 4, kernel_size=1, strides=1, padding='same', 
                    use_bias=False, dilation_rate=(1, 1))(inputs)
    inputs = BatchNormlization()(inputs)
    inputs = Activation('relu')(inputs)
    concat_list = [inputs]

    # 池化
    for bin_size in bin_sizes:
        x = AvgPool2D(pool_size=[bin_size, bin_size], strides=(1, 1), padding='same')(inputs)
        concat_list.append(x)

    net = Concatenate(axis=-1)(concat_list)
    net = Conv2D(filters=c, kernel_size=1, strides=1, padding='same', 
                 use_bias=False, dilation_rate=(1, 1))(net)
    net = BatchNormlization()(net)
    net = Activation('relu')(net)

    return net

今天的文章图像语义分割的应用_什么是语义分割「建议收藏」分享到此就结束了,感谢您的阅读。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
如需转载请保留出处:https://bianchenghao.cn/84543.html

(0)
编程小号编程小号

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注