一、人脸检测

人脸检测人脸识别和人脸跟踪的基础：

1、基于知识的方法

1. 知识的方法：

基于知识的方法的具体含义就是编写各种规则，这些规则的编写根据就是人脸模式的先于经验的知识，之后再进行下一步的人脸检测。

---

简而言之：就是根据需要提取人脸的基本特征，然后再根据规则研究它们之间的关系

2. 知识方法提取人脸基本特征

灰度分布特征、结构特征、纹理特征、肤色特征、形状和轮廓特征等

---

1. 灰度分布特征
   灰度值是反应人脸图像亮度信息的一个变量，不同的人脸器官分布一般不同，从而导致人脸面部各区域的灰度分布特征也不同。所以，可以考虑从灰度分布特征入手，建立一些规则，利用这些规则在人脸图像当中的呈现状态来确定图像当中有无人脸。
2. 结构特征
   结构特征对于我们人脸来说是比较明显的，首先对称性就是一个很明显的结构特征
3. 纹理特征
   由于人脸纹理特征的特殊性，可以用来进行人脸检测，但有一定缺陷：于处理多视角问题比较有难度。
4. 肤色特征
   肤色相对于人脸的其他特征来讲是一种比较可靠和稳定的人脸特征，人脸的肤色特征是与非人脸相区分的一个显著特征。
   人脸的肤色不同主要还是亮度不同，人脸出现旋转、表情、姿态等变化时，肤色特征还是比较稳定的，而且它还能很容易地区别于大多数背景物体相区别，总体来说比较可靠稳定，比较常用。
5. 形状和轮廓特征
   人脸的边缘特征比较典型，可以利用他们进行特征提取。特征提取的第一步就是进行边缘检测，边缘检测有许多算子，比 如：Sobel 算 子、Prewitt 算 子、Canny 算 子、Roberts Cross 算子等

2、基于模板匹配的方法

1. 模板匹配的方法

模板和图像之间存在一定的自相关性，自相关性的强弱就可以反映该图像是否有可能为人脸图像。

---

主要方法：固定模板匹配、可变模板匹配

2. 该方法有以下两种分类：

• 固定模板匹配：
  固定模板匹配是指预先设定一个阈值，将人脸五官位置的比例关系做成固定模板，用该模板逐点扫描匹配候选人脸图像，并计算该模板与输入图像的各区域在人脸的各个区域如人脸边界、眼睛、鼻子和嘴等部位的相关程度，由相关程度的大小来决定该图像是否为人脸图像，若计算出的相关程度超出了预先设定的阈值，说明检测到人脸，否则为非人脸 图像 。
• 可变模板匹配：
  可变模板的构成要素是一个参数可调的器官模板和与之相应的能量函数，此器官模板是根据被测物体形状设计而成的，能量函数设计的主要依据就是图像的灰度信息，同时，一些先验知识也需要用到，比如被测物体的轮廓等。

3、基于统计模型的方法

1. 统计模型的方法

主要方法：本征脸、基于人工神经网络的方法 、 隐马尔可夫模型 、 基于支持向量机的方法 、基于 AdaBoost 算法的方法

2. 主要方法介绍：

1. 本征脸 ：
   通过代数运算的降维方法在人脸图像的特征空间进行降维，以便于计算人脸图像的特征值和特征向量。通过观察图像的代数特征信息，寻找人脸和非人脸这两种模式在所得的低维特征空间的分布规律。常用的降维方法主要是PCA(主成分分析法)
2. 基于人工神经网络的方法 ：
   人工神经网络具有自适应、自组织、和实时性等优点，可以对复杂的、难以显示描述的模式识别进行很好的处理。
3. 隐马尔可夫模型
4. 基于支持向量机的方法 ：
   支持向量机方法有效地将较少的样本信息、复杂的模型及较强的学习能力三者融合，以获得最好的推广能力。支持向量机的关键之处就是：超平面的有效建立，在这个超平面当中使正样本和负样本的分隔边界最大化。用于人脸检测的速度也很快。
5. 基于 AdaBoost 算法的方法
   Adaboost 是一种迭代算法，其核心思想是针对同一训练集训练不同的分类器（弱分类器），然后把这些弱分类器集合起来，构成一个更强的最终分类器（强分器）, 其算法本身是通过改变数据分布来实现的，它根据每次训练集之中每个样本的分类是否正确，以及上次总体分类的准确率，来确定每个样本的权值。将修改过权值的新数据集送给下层分类器进行训练，最后将每次训练得到的分类器融合起来，作为最后的决策分类器。使用 Adaboost 分类器可以排除一些不 必要的训练数据特征并将重心放在关键的技术上 [20]。运用 Adaboost 算法训练所得的最终强分类器错误率很低，效率也比较高，得到了广泛的应用。

4、人脸检测的评价指标

评价指标

评价一个人脸检测算法(detector)好坏，常用三个指标：

1. 召回率(recall)：

detector能检测出来的人脸数量越多越好，由于每个图像中包含人脸的数量不一定，所以用检测出来的比例来衡量，这个指标就是召回率recall。detector检测出来的矩形框越接近人工标注的矩形框，说明检测结果越好，通常交并比IoU大于0.5就认为是检测出来了，所以 recall = 检测出来的人脸数量/图像中总人脸数量。detector能检测出来的人脸数量越多越好，由于每个图像中包含人脸的数量不一定，所以用检测出来的比例来衡量，这个指标就是召回率recall。detector检测出来的矩形框越接近人工标注的矩形框，说明检测结果越好。
通常交并比IoU大于0.5就认为是检测出来了，
所以 recall = 检测出来的人脸数量 / 图像中总人脸数量。

---

• IoU > 0.5 检测出人脸 $$IoU=\frac{方框交集大小}{方框并集大小}>0.5$$
• $$x=\frac{检测出来的人脸数量}{图像中总人脸数量}$$

2. 误检数(false positives)：

detector也会犯错，可能会把其他东西认为是人脸，这种情况越少越好，我们用检测错误的绝对数量来表示，这个指标就是误检数false positives。与recall相对，detector检测出来的矩形框与任何人工标注框的IoU都小于0.5，则认为这个检测结果是误检，误检越少越好，比如FDDB上，论文中一般比较1000个或2000个误检时的召回率情况，工业应用中通常比较100或200个误检的召回率情况。detector也会犯错，可能会把其他东西认为是人脸，这种情况越少越好，我们用检测错误的绝对数量来表示，这个指标就是误检数false positives。与recall相对，detector检测出来的矩形框与任何人工标注框的IoU都小于0.5，则认为这个检测结果是误检，误检越少越好，比如FDDB上，论文中一般比较1000个或2000个误检时的召回率情况，工业应用中通常比较100或200个误检的召回率情况。

---

• IoU > 0.5 没有检测出人脸 $$IoU=\frac{方框交集大小}{方框并集大小}<0.5$$

4. 检测速度(speed)：

detector检测一幅图像所用的时间越少越好，通常用帧率(frame-per-second，FPS)来表示。不 过这里有点小问题，很多detector都是图像越小、图像中人脸越少、检测最小人脸越大，检测速度越快，需要注意不同论文的测试环境和测试图像可能不一样：测试图像，最常用的配置是VGA(640480)图像检测最小人脸8080给出速度，但都没有表明测试图像背景是否复杂，图像中有几个人脸（甚至是白底一人脸的图像测速度）；测试环境，差别就更大了，CPU有不同型号和主频，有多核多线程差异，GPU也有不同型号，等等。是个算法都要比速度，人脸检测更不用说，detector检测一幅图像所用的时间越少越好，通常用帧率(frame-per-second，FPS)来表示。不过这里有点小问题，很多detector都是图像越小、图像中人脸越少、检测最小人脸越大，检测速度越快，需要注意不同论文的测试环境和测试图像可能不一样：测试图像，最常用的配置是VGA(640480)图像检测最小人脸8080给出速度，但都没有表明测试图像背景是否复杂，图像中有几个人脸（甚至是白底一人脸的图像测速度）；测试环境，差别就更大了，CPU有不同型号和主频，有多核多线程差异，GPU也有不同型号，等等。

4、人脸识别方法的对比

1. 人脸检测准确率

1、最新人脸检测准确率排名：

2、深度学习的人脸检测算法比较：

误检数对应的召回率——数据来源FDDB马萨诸塞大学

2. 人脸检测算法对比

3. 召回率（recall）对比
   
   可以看到三种方法中MTCNN检测准确率是最好的

github上MTCNN算法实现：链接

5、人脸检测目前和未来的研究方向和趋势

参考：
https://blog.csdn.net/App_12062011/article/details/51474928

https://blog.csdn.net/App_12062011/article/details/80537518

https://blog.csdn.net/wfei101/article/details/80542903

https://blog.csdn.net/Julialove102123/article/details/80455600

https://blog.csdn.net/App_12062011/article/details/52537133

二、人脸识别

1、人脸识别的

1. 人脸识别：

人脸识别也叫面部识别，是一种基于人的脸部特征信息进行身份识别的生物识别技术。它用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部的一系列相关技术。

2. 人脸识别的基本流程

2、人脸识别的应用和优劣分析：

人脸识别应用：
在保险、金融、安防、教育、娱乐等行业发展迅速。例如常见的场景：如：楼宇人脸门禁、 人脸考勤系统；亘联网移动支付终端、交友、相亲终端APP系统。

---

人脸识别优势：
与其他身份识别技术相比，人 脸 识 别 具 有以下优越性：非接触性；直观性突出；可跟踪性好、防伪性好 ；性价比高精度高 、速度快 。

---

人脸识别缺陷：
但是人脸识别容易受到表情、背景、装饰物、年龄跨度等诸多因素的干扰，从而加大了精准识别的难度。

3、当前人脸识别技术改进路线

基于特征的人脸检测技术——通过采用颜色、轮廓、纹理、结构或者直方图特征等进行人脸检测。

---

基于模板匹配人脸检测技术——从数据库当中提取人脸模板，接着采取一定模板匹配策略，使抓取人脸图像与从模板库提取图片相匹配，由相关性的高低和所匹配的模板大小确定人脸大小以及位置信息。

---

基于统计的人脸检测技术——通过对于“人脸”和“非人脸”的图像大量搜集构成的人脸正、负样本库，采用统计方法强化训练该系统，从而实现对人脸和非人脸的模式进行检测和分类。

---

4、人脸识别主要的研究方向及发展前景

1. 未来研究方向：

未来人脸识别的主要研究方向将围绕目前面临的一些问题，如人脸面部结构的相似性、人脸的姿态、年龄变化、复杂环境的光照变化、人脸的饰物遮挡等。

2. 发展前景

依托于物联网与人工智能的快速推进，人脸识别应用场景会越来越广泛。随着国家科研机构的研发投入、企业对技术的钻研、市场的推广等，这些都将是人脸识别美好前景的征兆。未来人脸识别或成为有效身份识别主流。

3、公开的人脸识别数据集

公开人脸数据集

人脸识别

人脸检测

人脸表情

人脸年龄

人脸性别

人脸关键点检测

人脸其它

知乎上还有一些相关总结：知乎

♠ ⊕ ♠ ⊕ ♠ ⊕ ♠ ⊕ ♠ ⊕ ♠ ⊕ ♠ ⊕ ♠ ⊕ ♠ ⊕ ♠ ⊕ ♠ ⊕ ♠ ⊕ ♠ ⊕ ♠ ⊕ ♠ ⊕ ♠ ⊕ ♠ ⊕ ♠ ⊕ ♠ ⊕ ♠ ⊕ ♠ ⊕ ♠ ⊕ ♠ ⊕ ♠ ⊕ ♠ ⊕ ♠ ⊕ ♠ ⊕ ♠ ⊕ ♠ ⊕ ♠ ⊕ ♠

今天的文章人脸识别与人脸检测_人脸微表情识别综述「建议收藏」分享到此就结束了，感谢您的阅读，如果确实帮到您，您可以动动手指转发给其他人。