亚像素原理_大疆无人机像素

1. 亚像素

1.1 亚像素

亚像素，英文subpixel

在相机成像的过程中，获得的图像数据是将图像进行了离散化的处理，由于感光元件本身的能力限制，到成像面上每个像素只代表附近的颜色。例如两个感官原件上的像素之间有4.5um的间距，宏观上它们是连在一起的，微观上它们之间还有无数微小的东西存在，这些存在于两个实际物理像素之间的像素，就被称为“亚像素”。亚像素实际上应该是存在的，只是缺少更小的传感器将其检测出来而已，因此只能在软件上将其近似计算出来。

这句话其实是在说，两个紧邻的像素实际上它们中间还有其他更小的像素存在，只是肉眼无法观测到。其实，存在于这两个像素之间的像素，就是 “subpiexel（亚像素）”。

亚像素可以表示为如下图所示,每四个红色点围成的矩形区域为实际原件上的像素点，黑色点为亚像素点:

   根据相邻两像素之间插值情况的不同，可以调整亚像素的精度，例如四分之一，就是将每个像素从横向和纵向上当做四个像素点。也就是上面图里的红色点之间有三个黑色点。这样通过亚像素插值的方法可以实现从小矩形到大矩形的映射，从而提高分辨率。

正因为这样的操作，所以在图像超分辨的任务里使用pixel shuffle的方式获得高分辨图像（例如ESPCN）。在一般的反卷积里会存在大量补0的区域，这可能对结果有害。因此pixel shuffle通过亚像素卷积的方式，实现从低分辨图到高分辨图的重构，具体如下所示，通过将多通道feature上的单个像素组合成一个feature上的单位即可，每个feature上的像素就相当于新的feature上的亚像素了。
  

超分辨率的效果如下

第一层是输入的模糊图像x。

中间是超分辨后的图片f(x)

最下层是对照样例y

1.2 亚像素的精度

亚像素精度是指相邻两像素之间细分情况。输入值通常为二分之一，三分之一或四分之一。这意味着每个像素将被分为更小的单元从而对这些更小的单元实施插值算法。例如，如果选择四分之一，就相当于每个像素在横向和纵向上都被当作四个像素来计算。

由上图可知，检测结果为对“插值后图像”处理的结果，由于图像分辨率提高了一倍，故用于表示小圆直径的像素数量也增加了一倍，这就是一阶亚像素元技术。我们在每两个像素之间插值一个像素，这样本来是120万像素的图像，插值后的实际处理图像就是240万像素了，相当于把一个像素拆分为1/2，同理依次有1/3拆分、1/4拆分等，一些优秀的算法甚至可以达到1/100拆分，同时还能保证处理速度。亚像素元技术相对于传统方案，检测精度是提升了1倍吗？

2. 超像素

超像素最直观的解释，便是把一些具有相似特性的像素“聚合”起来，形成一个更具有代表性的大“元素”。

（a）是原始图像，（b）是基于人类视角的分割图（groundtruth），（c）是超像素分割的图像，（d）是基于（c）进行分割的图像。

图像分割中的超像素是指具有相似纹理、颜色、亮度等特征的相邻相似构成的具有一定意义的不规则的像素块。它利用像素之间特征的相似性将像素分组，用少量的超像素代替大量的像素来表达图像特征，很大程度上降低了图像处理的复杂度，所以通常作为分割算法的预处理步骤。

2.2 超像素判别条件

市面上如此多的超像素算法，如何比较他们的优劣呢？

一般业内参考以下三个指标（具体公式请参考【1】）.

– Undersegmentation Error

如上图所示，白色是图像中的一个物体，红线是一个个超像素的轮廓，而粉红色的区域就是undersegmentation区域，这部分区域越大越不好。

• Boundary Recall

如上图所示，黑色虚线及实线是图像中物体的轮廓，红线是超像素的边界。一个好的超像素算法，应该覆盖图像中物体的轮廓。在给予一定缓冲（粉红色区域）的情况下，超像素边缘可以覆盖图像物体边缘（黑色实线）越多越好。

• Compactness score

衡量超像素是否“紧实”。

2.3 超像素生成算法

参考链接：
【遥感图像处理】什么是亚像素，超像素？
【遥感图像处理】什么是亚像素，超像素？
https://www.zhihu.com/question/?sort=created

今天的文章
亚像素原理_大疆无人机像素分享到此就结束了，感谢您的阅读。