[发明专利]一种基于人脸识别技术的教学抬头率测量方法

权利要求书

1.一种基于人脸识别技术的教学抬头率测量方法，其特征在于：包括如下步骤：首先将视频流帧序列划分为人脸识别帧与人脸跟踪帧，将最优样本数据划分为i组，每组N帧；分组后的视频帧包括第一帧的人脸识别帧以及2～N帧的人脸跟踪帧；人脸识别帧进行人脸的识别与匹配，然后人脸跟踪帧中对匹配成功的人脸进行跟踪；在整个跟踪过程中以在视频流数据中得到的人脸信息与数据库中的人脸身份信息验证成功作为抬头的依据，并且引入统计的思想，以时间为节点计算抬头率；

具体需要执行以下步骤：

步骤A1、人脸采集：通过教师录播系统，利用教室前后安置的摄像头采集教学视频，并将采集到的视频资源作为样本输入；

步骤A2、人脸检测：通过人脸识别帧图像的处理从而输出人脸建议框；由于人脸检测易受图像清晰度、人脸转动的影响，为了提高人脸识别的精度，引入了双层网络级联的人脸检测算法；

步骤A3、特征提取：在步骤A2输出人脸建议框的基础上进行深层次处理；人脸的特性需要深层次的特征提取才能将其有效地区分出来；构造一个包含多个卷积层、采样层以及全连接层的模型，对每个网络层的输入、输出尺寸和滤波器的个数进行重新设计；

所述的全连接层的模型所采用的是MFM激活函数；通过比较两个特征图各位置的大小，取相应位置的最大值输出；

假设有输入卷积层C∈R^h×ω×2n,MFM激活函数的数学表达式为式(3)：

其中，输入卷积层的通道数为2n，h×ω表示卷积核的大小，1≤i≤h,1≤j≤ω,l∈R^h×ω×n，由(3)式可得，激活函数的梯度表示为式(4)：

其中,k'为常数,1≤k'≤2n,并且有式(5)：

分析(4)式可知，激活层的梯度有1/2为0，因此MFM就能通过聚合策略得到最紧凑的特征表示；相较于Rule激活函数的高维稀疏梯度，MFM能够得到更加紧凑的特征表示，并且还能实现特征的选取，达到降维的效果；此模型的使用在不失精度的情况下加快了识别的速度，进一步释放了空间存储压力，对于在视频流中进行人脸识别有优化效果；

由于人脸的极为复杂的特性，仅使用Softmax Loss函数作为特征提取网络的损失函数只能增大不同类人脸间的距离,而无法减少同一类人脸间的距离，这将使人脸识别的精度无法得到保证；考虑到Softmax Loss函数的特性，将其与Center Loss函数联合使用，这样就能在增大类间距离的同时减小类内距离；将两损失函数进行加权处理，得到最终的联合损失函数如式(6)：

式(6)中：M为训练数据类别总数；θ为最后一个全连接层的权重集合；为对应的偏置值；λ为Center Loss的权重值，用来平衡这两个损失；M为训练类别总数；N为训练批次大小；x_i是批次中第i的样本的特征向量，属于K类；c_K是K类的中心特征向量；

步骤A4、特征匹配：依据全连接层的输出的特征向量匹配；从用以匹配的人脸中分别提取128维特征向量，通过计算特征向量的余弦距离来判断是否为同一人脸；余弦距离所反映的是两人的相似程度，当余弦距离超过限定阈值就认为匹配成功；如果是一对多的匹配且有多数超过阈值，则取阈值最高即相识度最高的作为匹配结果；

步骤A5、人脸跟踪：人脸跟踪帧使用的是核相关滤波的高速跟踪方法；该方法把跟踪问题简化为个二分类问题，从而找到目标与背景的边界；人脸跟踪帧在第i帧中检测到人脸位置并记录其坐标M，将其作为正样本，在此标记样本附近采集负样本，训练一个目标采集器将图像样本输入获取响应值；接着在i+1帧中的坐标M处采集样本，将样本输入目标检测模型取得响应值，响应值最大的地方即i+1帧中目标人脸所在的位置；

步骤A6、视频组间的匹配：相邻的视频组间使用双重匹配；取出两组中前一组的最后一帧与后一组的第一帧进行匹对，过程中保存图像中所有人脸框的位置，计算两帧中每个人脸间的欧式距离，根据距离与阈值的大小判定是否为同一人脸；在完成人脸识别后比较两帧中相对应的人脸身份信息，取相识度大的为最终结果；双重匹配机制不仅连接了相邻的视频组序列，也了识别的精度；

步骤A7、抬头率的计算：通过步骤A1～A6实时得到人脸信息，并且该人脸与数据库中的人脸身份信息匹配成功作为抬头的依据，并且考虑到学生上课时的非抬头状态以时间段为统计节点判断该时间段内是否抬头；时间段内抬头率的统计方法：以5分钟为一时间节点，该时间段内学生抬头的时间大于4分钟则认为该学生在此时间段内抬头。

2.如权利要求1所述的一种基于人脸识别技术的教学抬头率测量方法，其特征在于：步骤A2所述的双层联级网络呈现出金字塔结构，金字塔结构的第一级网络结合anchor机制实现了对视频帧图像进行不同尺度的采样；卷积分解策略和网络加速方法的使用能够增强网络的特征提取；卷积层的使用加快了对局部区域的特征提取，但是对于全局特征并不敏感；因此，第一级网络的输出中仍然存在一部分的非人脸建议框；二级深层次网络进一步提炼人脸建议框，减少网络中输出的非人脸建议框数量，降低了第一级网络输出建议框中的困难样本数，提高了识别精度；

精度的提升是以训练花费时间为代价，前向传播中全连接层的参数太多导致卷积层的计算时间增加；在双层级联网络中都引入BN层，能够加快网络训练速度同时降低权重初始化的成本；训练时，固定BN层的权重训练整个网络，训练结束后将BN层权重与它相邻的卷积层权重合并；

卷积层和BN层的表达式见式(1)和(2)：

y1＝ωx+b (1)；

其中：ω和b是卷积层的权重和偏置值，μ、σ、α和β分别代表BN层的均值、方差、刻度以及滑动系数；

BN层本质上是对卷积层的结果进行二次处理，使得两层合并后模型中的权重和偏执值优化为ω'和b'，也进一步降低了训练所花费的事件。