[发明专利]一种基于人脸识别技术的教学抬头率测量方法

摘要

本发明公开了一种基于人脸识别技术的教学抬头率测量方法，本发明由人脸采集、人脸检测、特征提取、特征匹配、人脸跟踪、视频组间的匹配以及抬头率的计算。利用教室摄像头所采集的视频流数据进行人脸识别分析，并根据教学过程中学生头部姿态变化判断抬头与否并生成相应的抬头率图表。使用人脸识别技术来测量教学抬头率本发明为教学评估中的抬头率这一指标提供一种客观评价手段；引入统计的思想计算教学抬头率，对检测到人脸进行身份验证进一步精确了教学抬头率的计算。师生可根据教学过程中抬头率变化调整相应的教学模式；为教学研究数据库的建立提供有效数据；能够在不干扰正常教学情况下获取教学抬头率得变化。

主权项

1.一种基于人脸识别技术的教学抬头率测量方法，其特征在于：包括如下步骤：首先将视频流帧序列划分为人脸识别帧与人脸跟踪帧，将最优样本数据划分为i组，每组N帧；分组后的视频帧包括第一帧的人脸识别帧以及2～N帧的人脸跟踪帧；人脸识别帧进行人脸的识别与匹配，然后人脸跟踪帧中对匹配成功的人脸进行跟踪；在整个跟踪过程中以在视频流数据中得到的人脸信息与数据库中的人脸身份信息验证成功作为抬头的依据，并且引入统计的思想，以时间为节点计算抬头率；/n具体需要执行以下步骤：/n步骤A1、人脸采集：通过教师录播系统，利用教室前后安置的摄像头采集教学视频，并将采集到的视频资源作为样本输入；/n步骤A2、人脸检测：通过人脸识别帧图像的处理从而输出人脸建议框；由于人脸检测易受图像清晰度、人脸转动的影响，为了提高人脸识别的精度，引入了双层网络级联的人脸检测算法；/n步骤A3、特征提取：在步骤A2输出人脸建议框的基础上进行深层次处理；人脸的特性需要深层次的特征提取才能将其有效地区分出来；构造一个包含多个卷积层、采样层以及全连接层的模型，对每个网络层的输入、输出尺寸和滤波器的个数进行重新设计；/n步骤A4、特征匹配：依据全连接层的输出的特征向量匹配；从用以匹配的人脸中分别提取128维特征向量，通过计算特征向量的余弦距离来判断是否为同一人脸；余弦距离所反映的是两人的相似程度，当余弦距离超过限定阈值就认为匹配成功；如果是一对多的匹配且有多数超过阈值，则取阈值最高即相识度最高的作为匹配结果；/n步骤A5、人脸跟踪：人脸跟踪帧使用的是核相关滤波的高速跟踪方法；该方法把跟踪问题简化为个二分类问题，从而找到目标与背景的边界；人脸跟踪帧在第i帧中检测到人脸位置并记录其坐标M，将其作为正样本，在此标记样本附近采集负样本，训练一个目标采集器将图像样本输入获取响应值；接着在i+1帧中的坐标M处采集样本，将样本输入目标检测模型取得响应值，响应值最大的地方即i+1帧中目标人脸所在的位置；/n步骤A6、视频组间的匹配：相邻的视频组间使用双重匹配；取出两组中前一组的最后一帧与后一组的第一帧进行匹对，过程中保存图像中所有人脸框的位置，计算两帧中每个人脸间的欧式距离，根据距离与阈值的大小判定是否为同一人脸；在完成人脸识别后比较两帧中相对应的人脸身份信息，取相识度大的为最终结果；双重匹配机制不仅连接了相邻的视频组序列，也了识别的精度；/n步骤A7、抬头率的计算：通过步骤A1～A6实时得到人脸信息，并且该人脸与数据库中的人脸身份信息匹配成功作为抬头的依据，并且考虑到学生上课做笔记等情况并非处于抬头状态以时间段为统计节点判断该时间段内是否抬头。时间段内抬头率的统计方法：以5分钟为一时间节点，该时间段内学生抬头的时间大于4分钟则认为该学生在此时间段内抬头。/n