[发明专利]一种基于全局人脸识别的课堂考勤方法及系统

权利要求书

1.一种基于全局人脸识别的课堂考勤方法，其特征在于，包括：

S1，从视频流的每一帧图像中提取出人脸图像，得到所述视频流中所有的人脸图像，并对所有的人脸图像进行人脸追踪，得到多条人脸轨迹，其中，所述视频流为拍摄课堂场景获得；

S2，将所述多条人脸轨迹与选课名单中所有学生对应的标准照进行全局人脸匹配，得到与每一条人脸轨迹匹配的一张标准照，根据每一张标准照对应的学生，输出课堂出勤名单。

2.根据权利要求1所述的课堂考勤方法，其特征在于，所述步骤S1具体包括：

S11，对视频流的每一帧图像进行人脸检测，从每一帧图像中提取出人脸图像，得到整个视频流的所有人脸图像，并获取每一张人脸图像在对应帧图像中的位置信息、所在帧图像的帧数信息和尺寸信息；

S12，根据每一张人脸图像的位置信息、帧数信息和尺寸信息，确定每一张人脸图像所属的人脸轨迹。

3.根据权利要求2所述的课堂考勤方法，其特征在于，所述S12具体包括：

a，针对每一张人脸图像，基于当前人脸图像的位置信息、帧数信息和尺寸信息与已经存在的每一条人脸轨迹的最后一张人脸图像的位置信息、帧数信息和尺寸信息，判断当前人脸图像能否与已经存在的每一条人脸轨迹的最后一张人脸图像衔接，若能，执行步骤b；若否，执行步骤c；

b，将当前人脸图像链接到已经存在的人脸轨迹中的其中一条人脸轨迹上，其中，所述当前人脸图像能够与该人脸轨迹上的最后一张人脸图像衔接；

c，基于当前人脸图像创建一条新的人脸轨迹，返回步骤a。

4.根据权利要求3所述的课堂考勤方法，其特征在于，所述步骤a具体包括：

a1，基于当前人脸图像的位置信息、帧数信息和尺寸信息与已经存在的每一条人脸轨迹的最后一张人脸图像的位置信息、帧数信息和尺寸信息，计算当前人脸图像链接到每一条已经存在的人脸轨迹的代价值，得到当前人脸图像对应的多个代价值；

a2，判断所述多个代价值中最小的代价值是否低于预设阈值，若否，则执行步骤c；若是，则将当前人脸图像链接到所述最小的代价值对应的人脸轨迹上。

5.根据权利要求1所述的课堂考勤方法，其特征在于，所述步骤S2具体包括：

S21，提取每一条所述人脸轨迹的人脸特征；

S22，计算每一条人脸轨迹的人脸特征与选课名单中每一个学生的标准照的人脸特征之间的相似度，得到多条人脸轨迹与多个学生的标准照之间的相似度矩阵；

S23，根据所述相似度矩阵，设定全局人脸匹配的约束条件，根据所述约束条件求解得到多条人脸轨迹与多个学生的标准照之间的匹配结果；其中，所述约束条件确保每一条人脸轨迹只能匹配一个学生的标准照，以及一个学生的标准照不能被匹配给时间上存在交集的两个人脸轨迹。

6.如权利要求5所述的课堂考勤方法，其特征在于，每一条人脸轨迹对应有多张人脸图像，所述步骤S21具体包括：

S211，对于任意一条人脸轨迹对应的多张人脸图像，基于深度卷积神经网络提取该张人脸图像的人脸特征；以及基于深度卷积神经网络提取选课名单中每一名学生的标准照的人脸特征；

S212，计算所述人脸轨迹对应的每一张人脸图像的人脸特征与每一名学生的标准照人脸特征之间的相似度，将与所有学生标准照人脸特征相似度最大的人脸特征作为对应人脸轨迹的人脸特征。

7.根据权利要求6所述的课堂考勤方法，其特征在于，所述基于深度卷积神经网络提取每一张人脸图像或每一个学生的标准照的人脸特征具体包括：

将人脸图像或者学生的标准照输入训练后的深度卷积神经网络中，输出人脸图像或学生标准照的人脸特征，其中，所述人脸特征为多维特征向量。