深度学习超分辨率重建（总结）

本文为概述，详情翻看前面文章。

1.SRCNN：—2,3改进

开山之作，三个卷积层，输入图像是低分辨率图像经过双三次(bicubic)插值和高分辨率一个尺寸后输入CNN。

图像块的提取和特征表示，特征非线性映射和最终的重建。使用均方误差(MSE)作为损失函数。

2. FSRCNN

特征提取：低分辨率图像，选取的核9×9设置为5×5。收缩：1×1的卷积核进行降维。非线性映射：用两个串联的3×3的卷积核可以替代一个5×5的卷积核。扩张：1×1的卷积核进行扩维。反卷积层：卷积层的逆操作，如果步长为n，那么尺寸放大n倍，实现了上采样的操作。

相对于SRCNN：

在最后使用了一个反卷积层放大尺寸，因此可以直接将原始的低分辨率图像输入到网络中；改变特征维数，使用更小的卷积核和使用更多的映射层；可以共享其中的映射层，如果需要训练不同上采样倍率的模型，只需要fine-tuning最后的反卷积层。

3. ESPCN

核心概念是亚像素卷积层，输入原始低分辨率图像，三个卷积层， 将  的特征图像被重新排列成  的高分辨率图像。

ESPCN激活函数采用tanh替代了ReLU。损失函数为均方误差。

4. VDSR–7改进

只学习高分辨率图像和低分辨率图像之间的高频部分残差即可——残差网络

输入低分辨率图像插值后的图像，再将这个图像与网络学到的残差相加得到最终的网络的输出。

1.加深了网络结构(20层)，2.采用残差学习（自适应梯度裁剪将梯度限制在某一范围）。3.卷积补0操作，保证特征图和最终的输出图像在尺寸上都保持一致。4.多尺度图像共同训练

5. DRCN：–7改进

递归神经网络结构

输入的是插值后的图像,分为三个模块，第一个是Embedding network，相当于特征提取，第二个是Inference network, 相当于特征的非线性映射，第三个是Reconstruction network,即从特征图像恢复最后的重建结果。其中的Inference network是一个递归网络，即数据循环地通过该层多次。将这个循环进行展开，等效于使用同一组参数的多个串联的卷积层.

6. RED

对称的卷积层-反卷积层构成的网络结构

RED网络的结构是对称的，每个卷积层都有对应的反卷积层。卷积层用来获取图像的抽象内容，反卷积层用来放大特征尺寸并且恢复图像细节。

用到了与4同：网络中有一条线是将输入的图像连接到后面与最后的一层反卷积层的输出相加。

ED中间的卷积层和反卷积层学习的特征是目标图像和低质图像之间的残差。RED的网络深度为30层，损失函数用的均方误差。

7. DRRN：（4,5，残差网络）**********

ResNet是链模式的局部残差学习。VDSR是全局残差学习。DRCN是全局残差学习+单权重的递归学习+多目标优化。DRRN是多路径模式的局部残差学习+全局残差学习+多权重的递归学习。

选用的是1个递归块和25个残差单元，深度为52层的网络结构

8. LapSRN：**********（改进前面大部分算法）

论文中作者先总结了之前的方法存在有三点问题。一是有的方法在输入图像进网络前，需要使用预先定义好的上采样操作(例如bicubic)来获得目标的空间尺寸，这样的操作增加了额外的计算开销，同时也会导致可见的重建伪影。而有的方法使用了亚像素卷积层或者反卷积层这样的操作来替换预先定义好的上采样操作，这些方法的网络结构又相对比较简单，性能较差，并不能学好低分辨率图像到高分辨率图像复杂的映射。二是在训练网络时使用 l2 型损失函数时，不可避免地会产生模糊的预测，恢复出的高分辨率图片往往会太过于平滑。三是在重建高分辨率图像时，如果只用一次上采样的操作，在获得大倍数(8倍以上)的上采样因子时就会比较困难。

LapSRN通过逐步上采样，一级一级预测残差的方式，在做高倍上采样时，也能得到中间低倍上采样结果的输出。由于尺寸是逐步放大，不是所有的操作都在大尺寸特征上进行，因此速度比较快。LapSRN设计了损失函数来训练网络，对每一级的结果都进行监督，因此取得了不错的结果。

9. SRDenseNet：

SRDenseNet将稠密块结构应用到了超分辨率问题上，这样的结构给整个网络带来了减轻梯度消失问题、加强特征传播、支持特征复用、减少参数数量的优点

10. SRGAN(SRResNet)：**********

在这篇文章中，将生成对抗网络(Generative Adversarial Network, GAN)用在了解决超分辨率问题上

用均方误差优化SRResNet(SRGAN的生成网络部分)，文章中的实验结果表明，用基于均方误差的损失函数训练的SRResNet，得到了结果具有很高的峰值信噪比，但是会丢失一些高频部分细节，图像比较平滑。而SRGAN得到的结果则有更好的视觉效果。其中，又对内容损失分别设置成基于均方误差、基于VGG模型（损失函数）低层特征和基于VGG模型高层特征三种情况作了比较，在基于均方误差的时候表现最差，基于VGG模型高层特征比基于VGG模型低层特征的内容损失能生成更好的纹理细节。

11. EDSR：**********

EDSR最有意义的模型性能提升是去除掉了SRResNet多余的模块，从而可以扩大模型的尺寸来提升结果质量

这篇文章还提出了一个能同时不同上采样倍数的网络结构MDSR。

今天的文章深度学习超分辨率重建（总结）分享到此就结束了，感谢您的阅读。