一文搞懂仿射变换

导读

在图像处理中，我们经常需要对图像进行各种操作如平移、缩放、旋转、翻转等，这些其实都是图像的仿射变换。通过本篇文章，你能够知道它们的实现原理以及如何应用它们。

仿射变换

仿射变换也称仿射投影，是指几何中，对一个向量空间进行线性变换并接上一个平移，变换为另一个向量空间。所以，仿射变换其实也就是再讲如何来进行两个向量空间的变换
假设有一个向量空间$k$：
$$k=(x,y)$$
还有一个向量空间$j$：
$$j=(x^{\prime },y^{\prime })$$
如果我们想要将向量空间由$k$变为$j$，可以通过下面的公式进行变换
$$j=k\ast w+b$$
将上式进行拆分可得
$$\begin{gathered} x^{\prime }=w_{00}\ast x+w_{01}\ast y+b_0 \\ {y}^{\prime }=w_{10}\ast x+w_{11}\ast y+b_1 \end{gathered}$$
我们再将上式转换为矩阵的乘法
$$\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\end{array}\right]=\left[\begin{array}{ccc}{w}_{00}& w_{01}& b_0\\ w_{10}& w_{11}& b_1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=M\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]\text{\hspace{1em}(3)}$$
通过参数矩阵$M$就可以实现两个向量空间之间的转换，在进行仿射变换的时候我们也只需要一个矩阵$M$就可以实现平移、缩放、旋转和翻转变换。

接下来，会先介绍原理然后利用OpenCV来实现相应的例子，这里主要利用OpenCV的warpAffine函数来实现仿射变换

warpAffine函数参数：

• src：输入的图像数组
• M：仿射变换矩阵
• dsize：变换后图像的大小
• flags：使用的插值算法
• borderValue：边界的填充值

图像平移

在平面坐标系有点$P(x,y)$和点$P^{\prime }(x^{\prime },y^{\prime })$，如果我们想要将$P$点移动到$P^{\prime }$通过下面的变换就可以实现
$$\begin{gathered} x^{\prime }=x+\Delta x \\ {y}^{\prime }=y+\Delta y \end{gathered}$$
其中$\Delta x$和$\Delta y$就是x方向上和y方向上的偏移量，我们将其转换为矩阵的形式
$$\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\end{array}\right]=\left[\begin{array}{ccc}1& 0& \Delta x\\ 0& 1& \Delta y\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=M\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$$
上面的矩阵$M$就是仿射变换的平移参数，接下来我们利用OpenCV中的warpAffine函数来实现

import cv2
import numpy as np
import matplotlib.pyplot as plt

def show_compare_img(original_img,transform_img):
    _,axes = plt.subplots(1,2)
    #显示图像
    axes[0].imshow(original_img)
    axes[1].imshow(transform_img)
    #设置子标题
    axes[0].set_title("original image")
    axes[1].set_title("warpAffine transform image")
    plt.show()


def translation_img():
    # 定义一个图像平移矩阵
    # x向左平移(负数向左,正数向右)20个像素
    # y向下平移(负数向上,正数向下)50个像素
    M = np.array([[1, 0, -20], [0, 1, 50]], dtype=np.float)
    # 读取需要平移的图像
    img = cv2.imread("test.jpg")
    # 将图片由BGR转为RGB
    img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
    # 定义平移后图像的大小,保持和原图大小一致
    dsize = img.shape[:2][::-1]
    # 便于大家观察这里采用白色来填充边界
    translation_img = cv2.warpAffine(img, M, dsize, borderValue=(255, 255, 255))
    # 显示图像
    show_compare_img(img, translation_img)

translation_img()

图像翻转

有时候我们我们需要对图像进行水平翻转、垂直翻转、镜像翻转(同时进行水平和垂直翻转)，想要实现这个功能并不难，我们可以通过opencv内置的flip方法很容易实现，还可以通过numpy的索引来实现，这里我们主要介绍通过仿射变换矩阵来实现这个功能

上图中的$A、B、C、D$表示图像的四个顶点，如果我们需要对图像进行水平翻转，那么我们就需要将$A$点和$B$点进行交换，$C$点和$D$点进行交换，沿着x轴的中线进行对称交换位置，通过下面的式子可以实现水平翻转
$$\begin{array}{r}{x}^{\prime }=-x+w\end{array}$$
上式中的$w$表示图像的宽，同理可得垂直翻转的实现公式
$$\begin{array}{r}{y}^{\prime }=-y+h\end{array}$$
上式中的$h$表示的是图像的高

• 变换矩阵翻转图像
  图像翻转的变换矩阵
  $$\begin{array}{r}水平翻转的变换矩阵：\\ M=\left[\begin{array}{ccc}-1& 0& w\\ 0& 1& 0\end{array}\right]\\ 垂直翻转的变换矩阵：\\ M=\left[\begin{array}{ccc}1& 0& 0\\ 0& -1& h\end{array}\right]\\ 镜像变换的矩阵：\\ M=\left[\begin{array}{ccc}-1& 0& w\\ 0& -1& h\end{array}\right]\end{array}$$

def flip_img(horizontal_flip,vertical_flip,img):
    #获取输入图片的宽和高
    height,width = img.shape[:2]
    #初始化变换矩阵
    M = np.array([[0, 0, 0], [0, 0, 0]], dtype=np.float)
    #水平翻转
    if horizontal_flip:
        M[0] = [-1,0,width]
    #垂直翻转
    if vertical_flip:
        M[1] = [0,-1,height]
    # 将图片由BGR转为RGB
    img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
    # 定义缩放后图片的大小
    img_flip = cv2.warpAffine(img, M, (width,height))
    # 显示图像
    show_compare_img(img, img_flip)

img = cv2.imread("test.jpg")
flip_img(True,True,img)

• OpenCV的flip函数翻转图像

flip函数参数：

• src：输入的图像数组
• flipCode：图像翻转参数，1表示水平翻转，0表示垂直翻转，-1表示镜像翻转

img = cv2.imread("test.jpg")
#水平翻转
horizontal_flip_img = cv2.flip(img,1)
#垂直翻转
vertical_flip_img = cv2.flip(img,0)
#镜像翻转
mirror_flip_img = cv2.flip(img,-1)

• numpy的索引翻转图像

img = cv2.imread("test.jpg")
#水平翻转
horizontal_flip_img = img[:,::-1]
#垂直翻转
vertical_flip_img = img[::-1]
#镜像翻转
mirror_flip_img = img[::-1,::-1]

图像缩放

如果我们想要对坐标系的$P$点进行缩放操作，通过下面的公式就可以实现
$$\begin{gathered} x^{\prime }=f_x\ast x \\ {y}^{\prime }=f_y\ast y \end{gathered}$$
通过，在$x$和$y$前面添加一个缩放系数即可，同样我们将其转换为矩阵形式
$$\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\end{array}\right]=\left[\begin{array}{ccc}{f}_x& 0& 0\\ 0& f_y& 0\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=M\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$$
通过上面的矩阵$M$我们就可以实现对图片的缩放

def scale_img():
    #定义宽缩放的倍数
    fx = 0.5
    #定义高缩放的倍数
    fy = 2
    #定义一个图像缩放矩阵
    M = np.array([[fx,0,0],[0,fy,0]],dtype=np.float)
    #读取图像
    img = cv2.imread("test.jpg")
    #获取图片的宽和高
    height,width = img.shape[:2]
    #将图片由BGR转为RGB
    img = cv2.cvtColor(img,cv2.COLOR_BGR2RGB)
    #定义缩放后图片的大小
    scale_img = cv2.warpAffine(img,M,(int(width*fx),int(height*fy)))
    #显示图像
    show_compare_img(img,scale_img)

scale_img()

这里使用仿射变换实现的图像缩放其实和resize函数的效果是一样的

图像旋转

• 围绕原点旋转
  我们先来看看一个二维平面上的点在围绕原点是如何旋转的
  
  上图中点$v$在围绕原点旋转$\theta$度之后得到了点$v^{\prime }$，我们将坐标点用极坐标的形式来表示可以得到$v(rcos\varphi ,rsin\varphi )$，所以$v^{\prime }(rcos(\theta +\varphi ),rsin(\theta +\varphi ))$利用正弦和余弦将其展开可得
  $$\begin{array}{rl}对于v点来说：& \\ & x=rcos\varphi \\ & y=rsin\varphi \\ 对于v^{\prime }来说：& \\ x^{\prime }& =rcos(\theta +\varphi )\\ & =rcos\theta \ast cos\varphi -rsin\theta \ast sin\varphi \\ y^{\prime }& =rsin(\theta +\varphi )\\ & =rsin\theta \ast cos\varphi +rcos\theta \ast sin\varphi \\ 然后再将x和y代入上式，可得& \\ x^{\prime }& =x\ast cos\theta -y\ast sin\theta \\ y^{\prime }& =x\ast sin\theta +y\ast cos\theta \end{array}$$
  然后再将上式用矩阵$M$表示，可得
  $$\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\end{array}\right]=\left[\begin{array}{ccc}cos\theta & -sin\theta & 0\\ sin\theta & cos\theta & 0\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=M\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$$
  特别注意：我们在建立直角坐标系的时候是以左下角为原点建立的，然而对于图像而言是以左上角为原点建立的，所以我们需要对角度$\theta$进行取反，结合三角函数的特性，$M$矩阵的表达式如下
  $$M=\left[\begin{array}{ccc}cos\theta & sin\theta & 0\\ -sin\theta & cos\theta & 0\end{array}\right]$$
  还需要注意的是这里的角度都是弧度制，所以我们还需要对其进行转换，转换代码如下

#将角度转换为弧度制
radian_theta = theta/180 * np.pi

将图片围绕原点进行逆时针旋转$\theta$度的代码如下

def rotate_img_original(theta):
   #将角度转换为弧度制
   radian_theta = theta/180 * np.pi
   #定义围绕原点旋转的变换矩阵
   M = np.array([[np.cos(radian_theta),np.sin(radian_theta),0],
                 [-np.sin(radian_theta),np.cos(radian_theta),0]])
   # 读取图像
   img = cv2.imread("test.jpg")
   #定义旋转后图片的宽和高
   height,width = img.shape[:2]
   # 将图片由BGR转为RGB
   img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
   #围绕原点逆时针旋转\theta度
   rotate_img = cv2.warpAffine(img,M,(width,height))
   #显示图像
   show_compare_img(img,rotate_img)
rotate_img_original(45)

• 围绕任意点旋转
  如果我们想围绕任意坐标点旋转呢？其实也并不难，下图的v点在围绕$c$点$(a,b)$旋转90度得到$v^{\prime }$。其实我们可以将其等价于，先将$v$点平移到$v_1$点，然后再将$v_1$点围绕原点旋转90度得到$v_2$点，最后再将$v_2$点沿着$v$点平移的反方向平移相同长度，最终得到$v^{\prime }$。这样我们就将围绕任意坐标点旋转的问题转换成了围绕原点旋转的问题
  
  我们来回顾一下，围绕原点旋转坐标的变换公式：
  $$\begin{array}{rl}{x}^{\prime }& =x\ast cos\theta -y\ast sin\theta \\ y^{\prime }& =x\ast sin\theta +y\ast cos\theta \end{array}$$
  在围绕原点旋转变换公式的基础上，我们将其改进为围绕任意点$c(a,b)$旋转，我们现在原来的坐标进行平移，得到变换后的坐标，最后再沿着之前平移的反方向进行平移，就得到围绕任意点旋转的变换公式：
  $$\begin{array}{rl}{x}^{\prime }& =(x-a)\ast cos\theta -(y-b)\ast sin\theta +a\\ y^{\prime }& =(x-a)\ast sin\theta +(y-b)\ast cos\theta +b\end{array}$$
  将其展开可得
  $$\begin{array}{rl}{x}^{\prime }& =x\ast cos\theta -y\ast sin\theta +(1-cos\theta )\ast a+b\ast sin\theta \\ y^{\prime }& =x\ast sin\theta +y\ast cos\theta +(1-cos\theta )\ast b-a\ast sin\theta \end{array}$$
  将上式用矩阵$M$表示：
  $$\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\end{array}\right]=\left[\begin{array}{ccc}cos\theta & -sin\theta & (1-cos\theta )\ast a+b\ast sin\theta \\ sin\theta & cos\theta & (1-cos\theta )\ast b-a\ast sin\theta \end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=M\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$$
  上式中的c(a,b)表示旋转中心，因为坐标系问题需要对$\theta$进行取反，最终$M$矩阵的表达式如下
  $$M=\left[\begin{array}{ccc}cos\theta & sin\theta & (1-cos\theta )\ast a-b\ast sin\theta \\ -sin\theta & cos\theta & (1-cos\theta )\ast b+a\ast sin\theta \end{array}\right]$$

def rotate_img_point(point_x,point_y,theta,img):
    #将角度转换为弧度制
    radian_theta = theta / 180 * np.pi
    #定义围绕任意点旋转的变换矩阵
    M = np.array([[np.cos(radian_theta), np.sin(radian_theta),
                   (1-np.cos(radian_theta))*point_x-point_y*np.sin(radian_theta)],
                  [-np.sin(radian_theta), np.cos(radian_theta),
                   (1-np.cos(radian_theta))*point_y+point_x*np.sin(radian_theta)]])
    # 将图片由BGR转为RGB
    img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
    # 定义旋转后图片的宽和高
    height, width = img.shape[:2]
    # 围绕原点逆时针旋转\theta度
    rotate_img = cv2.warpAffine(img, M, (width, height))
    # 显示图像
    show_compare_img(img, rotate_img)

img = cv2.imread("test.jpg")
height,width = img.shape[:2]
#定义围绕图片的中心旋转
point_x,point_y = int(width/2),int(height/2)
rotate_img_point(point_x,point_y,45,img)

细心的同学也许已经发现了，上图中围绕图像中心旋转后的图片部分被裁剪掉了，如果我们想让旋转之后的图片仍然是完整，应该如何修改呢？

def rotate_img_point(point_x,point_y,theta,img,is_completed=False):
    #将角度转换为弧度制
    radian_theta = theta / 180 * np.pi
    #定义围绕任意点旋转的变换矩阵
    M = np.array([[np.cos(radian_theta), np.sin(radian_theta),
                   (1-np.cos(radian_theta))*point_x-point_y*np.sin(radian_theta)],
                  [-np.sin(radian_theta), np.cos(radian_theta),
                   (1-np.cos(radian_theta))*point_y+point_x*np.sin(radian_theta)]])
    # 将图片由BGR转为RGB
    img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
    # 定义旋转后图片的宽和高
    height, width = img.shape[:2]
    #判断旋转之后的图片是否需要保持完整
    if is_completed:
        #增大旋转之后图片的宽和高,防止被裁剪掉
        new_height = height * np.cos(radian_theta) + width * np.sin(radian_theta)
        new_width = height * np.sin(radian_theta) + width * np.cos(radian_theta)
        #增大变换矩阵的平移参数
        M[0, 2] += (new_width - width) * 0.5
        M[1, 2] += (new_height - height) * 0.5
        height = int(np.round(new_height))
        width = int(np.round(new_width))
    # 围绕原点逆时针旋转\theta度
    rotate_img = cv2.warpAffine(img, M, (width, height))
    # 显示图像
    show_compare_img(img, rotate_img)

img = cv2.imread("test.jpg")
height,width = img.shape[:2]
#定义围绕图片的中心旋转
point_x,point_y = int(width/2),int(height/2)
rotate_img_point(point_x,point_y,45,img,True)

今天的文章一文搞懂仿射变换分享到此就结束了，感谢您的阅读。