[发明专利]一种基于人脸质量评价的人脸抓拍识别方法

权利要求书

1.一种基于人脸质量评价的人脸抓拍识别方法，其特征在于该方法包括以下步骤：

步骤1、初始化系统，维护人脸状态；

步骤2、视频图像采集设备获取当前帧图像；

步骤3、人脸检测器获取图像中所有人脸矩形区域坐标；

步骤4、人脸区域输入关键点定位算法获得人脸关键点；

步骤5、根据人脸关键点将人脸区域图旋转缩放变换到固定大小；

步骤6、将步骤5中图像输入人脸质量评价模型获得人脸得分；

步骤7、使用跟踪算法串联前后帧人脸，更新每个人脸最大得分、最优人脸图像、抓拍张数和识别置信度历史；

步骤8、在一个抓拍周期内，若同一个人脸抓拍次数较多，则提高质量阈值，若识别置信度历史最大值大于一定阈值则设置近期不抓拍标志，否则跟踪状态为消失时输出最优人脸图；

步骤9、使用最优人脸图进行人脸比对识别；

所述的人脸质量评价模型通过以下方式建立：

准备整体人脸质量存在等级差异的非人脸、中等质量人脸、高质量人脸三个数据集；

将含人脸的数据集图片用人脸检测器获取人脸矩形区域坐标；

人脸矩形区域输入关键点定位算法获得人脸关键点；

根据人脸关键点将数据集图片旋转缩放变换到固定大小，得到归一化的人脸图像数据；

三个数据集按质量分别赋予0，1，2三个标签，与得到归一化的人脸图像数据一并作为训练数据输入卷积神经网络进行训练调参，得到人脸质量评价模型。

2.根据权利要求1所述的一种基于人脸质量评价的人脸抓拍识别方法，其特征在于：步骤4中的人脸关键点包括左眼、右眼、鼻尖、左嘴角、右嘴角共五个点。

3.根据权利要求1所述的一种基于人脸质量评价的人脸抓拍识别方法，其特征在于：在人脸质量评价模型建立过程中：

非人脸数据是随机从各种场景图片中裁剪得到，且确保裁剪得到的矩形区域与检测到的人脸矩形区域的交集面积和并集面积比值小于0.2，再将裁剪图缩放至64*128大小；

中等质量人脸数据选自ALFW数据集；

高质量人脸数据选自证件照人脸数据库。

4.根据权利要求1所述的一种基于人脸质量评价的人脸抓拍识别方法，其特征在于：图片旋转缩放变换到固定大小具体是：

根据人脸关键点，得到一个最小外接圆C，其半径记为r，左右眼两点连线得到直线l，直线l与水平线构成一个夹角a，将人脸旋转a度使直线l方向水平，以外接圆C圆心为中心扩充得到一个3r*6r的新矩形人脸区域，再将该区域缩放至固定大小64*128。

5.根据权利要求1所述的一种基于人脸质量评价的人脸抓拍识别方法，其特征在于：卷积神经网络主要包括四个相连的卷积-BatchNorm-ReLu-均值池化层，一个全连接-ReLu层以及最后的全连接层、欧氏距离损失函数层，使用EuclideanLoss损失函数和随机梯度下降法不断迭代，反向传播进行网络调参；最终训练出人脸质量评价模型。

6.根据权利要求1所述的一种基于人脸质量评价的人脸抓拍识别方法，其特征在于：步骤7中对于视频前后帧检测到的人脸提取识别特征向量，按照相似度最优原则匹配。

7.根据权利要求1至6中任一项所述的一种基于人脸质量评价的人脸抓拍识别方法，其特征在于：针对人脸质量评价模型，采用质量评价模型输出的抓拍图与人脸底库模版图比对得到相似度，同一个人的多个人脸质量打分按对应的相似度从小到大排序，所得到的质量分数序列的逆序数作为误差，并用逆序对的相似度之差加权得到最终误差。