[发明专利]基于人脸识别的课堂姓名提示方法

权利要求书

1.一种利用人脸识别技术和图像拼接技术实现的姓名提示方法，包括如下：

(1)采集待识别学生的人脸近照，使用深度神经网络对采集的照片进行人脸检测，将检测出的人脸从图像中裁出，对裁出的人脸图像进行人脸置正并打上标签，该标签与学生的具体身份信息相对应，用所有带标签的置正后人脸图像构成待识别人脸数据集；

(2)使用待识别人脸数据集对人脸识别网络进行训练，得到训练好的人脸识别网络；

(3)设置结束时间t和拼接结束角度γ，并开始计时；

(4)进行人脸检测与图像拼接：

(4a)通过云台控制相机转动至一系列预设角度拍照，获取教室内各处清晰图像；

(4b)对获取的图像依次进行人脸检测、人脸置正与人脸识别，获得每张图像内的各个人脸的位置L及对应的身份信息；

(4c)按照获取照片的顺序，计算后一帧图像B与前一帧图像A之间单应性变换对的单应矩阵H；

(4d)计算后一帧图像B经过单应性变换到前一帧图像A下的结果：

(4e)计算后一帧图像B中人脸位置L_B经过单应性变换到前一帧图像A下的结果L_B′：

(4f)将前一帧图像A与(4d)的结果B′拼接在一起，得到局部拼接图像：其拼接线要尽量避开前一帧图像A中的人脸位置L_A和(4e)的结果L_B′，若无法避开，则在重叠区域内保留前一帧图像A中的人脸，使用折线型拼接线以保证人脸的完整；

(4g)判断相机是否转动到预设结束位置γ：若是，则执行(5)，若否，返回(4a)；

(5)在拼接完成的清晰大图上框出各个人脸，并在每个人脸上方添加对应姓名；

(6)判断是否是第一次拼接完成：若是，则开启前台线程，将添加过姓名的清晰大图显示在界面上，并开始监听鼠标动作，当鼠标点击某一同学的人脸位置时，显示该学生的姓名、学号、学院和班级；若否，将添加过姓名的清晰大图更新显示在界面上；

(7)判断是否到达结束时间t：若是，则结束，若否，返回(4a)。

2.根据权利要求1所述的方法，其特征在于：(1)中的人脸近照包括五个角度：正面，向上、向下、向左、向右各转动θ度，其中5≤θ≤20。

3.根据权利要求1所述的方法，其特征在于：(1)中对人脸检测使用的神经网络，采用单步人脸检测器Single Stage Headless Face Detector。

4.根据权利要求1所述的方法，其特征在于：(1)中对人脸置正使用的神经网络，采用多目标级联卷积网络Multi-task Cascaded Convolutional Network。

5.根据权利要求1所述的方法，其特征在于：(1)中的具体身份信息，包括：姓名、学号、学院和班级。

6.根据权利要求1所述的方法，其特征在于：(2)中对人脸识别，采用深度神经网络ArcFace。

7.根据权利要求1所述的方法，其特征在于：(2)中使用待识别人脸数据集对人脸识别网络进行训练，其实现如下：

在训练开始前，从数据集中随机选取70％的图像作为训练集，剩下的30％作为测试集；

在训练过程中，调整人脸识别网络的学习次数、学习率，将训练集中的图像作为人脸识别网络的输入，将训练集中图像带有的标签作为人脸识别网络的期望输出，对人脸识别网络进行监督学习；

在人脸识别网络学习完设定的学习次数后，再对人脸识别网络进行测试，即将测试集中的图像送入人脸识别网络，统计人脸识别网络输出与相应标签相等的比例，即准确率，当准确率达到99％以上时，结束训练。

8.根据权利要求1所述的方法，其特征在于：(4a)中云台控制相机的预设拍照角度是指：在这些角度拍出的图像，前后帧之间重叠比例不小于20％，且要使在所有预设角度拍出的全部图像能够覆盖整个教室。

9.根据权利要求1所述的方法，其特征在于：(4c)中计算单应矩阵H，按照如下公式计算：

H＝KR_AR_B^-1K^-1

其中，K为相机内参矩阵，其由对相机标定获得；R_A、R_B分别为相机拍摄前一帧图像A和后一帧图像B时的旋转矩阵,其中：

R_A＝R_X(β_A)R_Y(α_A)

R_B＝R_X(β_B)R_Y(α_B)

α_A、β_A分别为相机拍摄前一帧图像A时绕Y_cam轴和X_cam轴旋转的角度，α_B、β_B分别为相机拍后一帧图像B时绕Y_cam轴和X_cam轴转动的角度，X_cam轴和Y_cam轴为相机所在坐标系的两个坐标轴；

R_X(β_A)为相机拍摄前一帧图像A绕X_cam轴旋转β_A角度时的旋转矩阵：

R_Y(α_A)为相机拍摄前一帧图像A绕Y_cam轴旋转α_A角度时的旋转矩阵：

R_X(β_B)为相机拍摄后一帧图像B绕X_cam轴旋转β_B角度时的旋转矩阵：

R_Y(α_B)为相机拍摄前一帧图像B绕Y_cam轴旋转α_B角度时的旋转矩阵：