[发明专利]一种基于音视频分析技术的教师授课专注度的评估方法

说明书

本发明公开了一种基于音视频分析技术的教师授课专注度的评估方法。本发明对人脸的灰度和LBP图像分别采用VGG16和浅层CNN网络进行人脸的特征提取，两种方法进行互补，采用加权融合策略，将两种特征融合到一起，从而提高的识别的精度，使得分类结果更加准确。在对教师专注度评价方面，从视频分析和音频分析两个角度进行定量分析，从而有效的避免了某一角度的局限性，使得基于机器方面对教师专注度评价方面更加客观、准确、快速，解决了传统方法对于教师上课投入度的分析的主观性强，实时率低等缺点。

技术领域

本发明属于现代教育或教学评估领域，主要是一种基于音视频分析技术的教师授课专注度的评估方法。

背景技术

面部表情识别技术是机器理解人类情绪变化的重要任务。但是，对于每个人的面部差异和自身情绪强度的不同，难以提取出手动设计的特征，因此，本发明转向通过学习的方式，基于视频流的面部表情识别技术。

对于面部图像，首先需要面部检测和旋转校正的预处理，然后从面部区域内提取出面部表情特征，选取学习好的分类器提取面部特征来识别出不同的面部表情。

传统对于教师上课投入度的分析是通过其他教师听课评价和学生问卷调查的方式进行，这种方法具有主观性强，实时率低等缺点。

发明内容

为了使教师上课投入度的评价更加客观，本发明根据教师上课时的心理活动，教师上课时是否情绪饱满、态度是否认真、授课内容是否熟悉、注意力是否集中等均与教师授课质量直接相关，能够从面部表情的变化特征中反映出来。

本发明包括以下步骤：

步骤A1、人脸采集：基于教室中教师面对的摄像头采集教师上课的视频，将此视频作为样本输入。

步骤A2、人脸检测：采用人脸检测实时处理框架进行面部检测，并且确定授课教师的身份，与后台数据库进行关联。

步骤A3、旋转校正：采用面部区域的旋转校正来对齐，然后将检测到的面部区域缩放到72*72的尺寸。

步骤A4、利用局部二值模式，描述图像的局部纹理特性：在3*3的尺寸中，若周围像素值大于中心像素值，则该像素点的位置记为1，反之则为0。然后计算出每个像素的LBP值，从而得到LBP面部图像；

步骤A5、采用VGG16提取灰度面部图像的特征：将VGG16中的卷积层和池化层进行组合；去掉VGG16的两个密集层，来简化灰度面部图像的特征提取；

步骤A6、LBP面部图像的特征提取：对于LBP面部图像，构建一个浅层CNN模型，包括输入层，两个卷积层、子采样层和特征向量层。

在第一卷积层中主要是识别面部的主要信息，使用64个滤波器用于输入LBP图像，使用7*7卷积核并且输出72*72像素的64张图片，然后第一子采样层使用2*2内核的最大池将图片大小变成一半。

第二个卷积层用3*3卷积核进行256次卷积，来映射之前的层，第二子采样层也使用2*2的内核，在两个子采样层之后添加ReLu激活函数；

然后，输出一个具有500个神经元的隐藏层，隐藏层与两个子采样层相连，保证提取的特征保持不变。

步骤A7、加权融合：加权融合对象为从灰度图像提取的特征向量h₁和从浅层CNN模型的LBP面部图像提取的特征向量h₂。

在融合特征向量的基础上，采用Softmax分类方法进行识别。

步骤A8、视频的定量分析：根据步骤A7中Softmax分类方法识别出人脸表情的8种表达和教师授课专注度与人脸表情的内在联系，设计权重系数，评估教师教学投入度W_s。