[发明专利]一种基于音视频分析技术的教师授课专注度的评估方法

权利要求书

1.一种基于音视频分析技术的教师授课专注度的评估方法，包括以下步骤：

步骤A1、人脸采集：基于教室中教师面对的摄像头采集教师上课的视频，将此视频作为样本输入；

步骤A2、人脸检测：采用人脸检测实时处理框架进行面部检测，并且确定授课教师的身份，与后台数据库进行关联；

步骤A3、旋转校正：采用面部区域的旋转校正来对齐，然后将检测到的面部区域缩放到72*72的尺寸；

步骤A4、利用局部二值模式，描述图像的局部纹理特性：在3*3的尺寸中，若周围像素值大于中心像素值，则像素点的位置记为1，反之则为0；然后计算出每个像素的LBP值，从而得到LBP面部图像；

其中LBP值计算如下：

其中，s是符号函数，i_c和i_p分别表示中心像素的灰度值和相邻像素的灰度值；

步骤A5、采用VGG16提取灰度面部图像的特征：将VGG16中的卷积层和池化层进行组合；去掉VGG16的两个密集层，来简化灰度面部图像的特征提取；

步骤A6、LBP面部图像的特征提取：对于LBP面部图像，构建一个浅层CNN模型，包括输入层，两个卷积层、子采样层和特征向量层；

在第一卷积层中主要是识别面部的主要信息，使用64个滤波器用于输入LBP图像，使用7*7卷积核并且输出72*72像素的64张图片，然后第一子采样层使用2*2内核的最大池将图片大小变成一半；

第二个卷积层用3*3卷积核进行256次卷积，来映射之前的层，第二子采样层也使用2*2的内核，在两个子采样层之后添加ReLu激活函数；

然后，输出一个具有500个神经元的隐藏层，隐藏层与两个子采样层相连，保证提取的特征保持不变；

步骤A7、加权融合：加权融合对象为从灰度图像提取的特征向量h₁和从浅层CNN模型的LBP面部图像提取的特征向量h₂；在融合特征向量的基础上，采用Softmax分类方法进行识别；

步骤A8、视频的定量分析：根据步骤A7中Softmax分类方法识别出人脸表情的8种表达和教师授课专注度与人脸表情的内在联系，设计权重系数，评估教师教学投入度W_s；

步骤A9、音频的定量分析：使用OpenEAR工具包，用Z标准化对语音进行归一化，识别出教师授课音频中教师内心情感的分类，设计权重系数，评估教师授课专注度W_y；

步骤A10、综合指数计算：在得到W_s和W_y之后，设计两者的权重系数都设为0.5；这样得到教师授课专注度W：

W＝0.5*W_s+0.5*W_y。

2.根据权利要求1所述的一种基于音视频分析技术的教师授课专注度的评估方法，其特征在于：步骤A3中旋转校正采用以下公式：

其中，R_x，R_y是面部图像的初始坐标，R_x′,R_y′是经过旋转校正后得到的坐标，θ是双眼之间连线与水平轴的夹角。

3.根据权利要求1所述的一种基于音视频分析技术的教师授课专注度的评估方法，其特征在于：步骤A5中输入为1*72*72的图片，前四个块不变，学习率为0.01；改变第五个块的结构，并且将该块的学习率设为0.005，每个卷积层之后用ReLu函数激活，最终只保留一个1*500的密集层。