[发明专利]基于卷积神经网络的学生学习情绪的识别方法

权利要求书

1.基于卷积神经网络的学生学习情绪的识别方法，其特征在于，包括如下步骤：

步骤1：通过摄像头采集学生视频，并将学生视频截取为视频序列；

步骤2：采用基于Haar-like特征的AdaBoost人脸检测方法对步骤1截取的视频序列中的人脸进行检测与定位，标记出学生的人脸，得到人脸图像；

步骤3：对检测到的步骤2所述的人脸图像进行预处理，消除无用的图像信息；

步骤4：利用Gabor和LBP方法对步骤3处理过的图像进行人脸特征提取；

步骤5：将步骤4提取到到的人脸特征与预先存储的学生人脸模板进行匹配，得出对应的学生信息；

步骤6：利用步骤3中处理过的图像作为模型的输入，利用预先训练好的卷积神经网络模型识别出学生面部表情，得到表情分类；

步骤7：根据步骤6得到的学生表情分类得出学生的学习情绪；

步骤8：将步骤7中学生的学习情绪存储到步骤5中匹配到的学生信息中。

2.根据权利要求1所述的一种基于卷积神经网络的学生学习情绪的识别方法，其特征在于，所述步骤1具体为：

利用OpenCV读取所述摄像头录制的视频，对视频进行跳帧处理，每隔10帧提取一次图像，保存为视频序列。

3.根据权利要求2所述的一种基于卷积神经网络的学生学习情绪的识别方法，其特征在于，所述步骤2具体为：

步骤2.1，采用Haar-like特征来描述人脸特征，同时使用积分图对Haar-like特征的求值进行加速；

步骤2.2，将训练样本的Haar-like特征作为弱分类器，通过选取弱分类器中最具有分类价值的若干分类器来组成一个强分类器；

步骤2.3，将各个强分类器级联起来构成AdaBoost分类器；

步骤2.4，利用步骤2.3中的强分类器的识别人脸区域，标记出人脸边界框，根据人脸边界框对图像进行裁剪，得到人脸图像。

4.根据权利要求3所述的一种基于卷积神经网络的学生学习情绪的识别方法，其特征在于，所述步骤3具体为：

步骤3.1，采用SDM算法，选取49个特征点进行人脸对齐，自动定位出面部关键特征点，如眼睛、鼻尖、嘴角点、眉毛以及人脸各部件轮廓点；

步骤3.2，将步骤3.1的图像采用均值滤波进行图像去噪，使用滤波器由左到右，由上到下扫过图像，取均值代替原来的像素值，目的是提高图像质量；

步骤3.3，将步骤3.2中经过均值滤波的的图像进行灰度化，转为灰度图像既能保留图片的形态特征并能降低后续计算量，采用的灰度化方法为公式(1)，

步骤3.4，将步骤3.3中图像进行尺寸归一化，大小不一致的原始图像利用尺寸的放大或缩小变换为尺寸相同的图像，采用的表情图像的尺寸为48*48像素。

5.根据权利要求4所述的一种基于卷积神经网络的学生学习情绪的识别方法，其特征在于，所述步骤5具体为：

计算识别到的人脸和已有人脸文件中每个人脸图片的人脸特征之间的差异程度，用欧式距离表示，欧氏距离求解如公式(2)所示，按欧式距离进行排序，欧式距离最小，且小于预设的阈值的就是匹配的人脸，若大于阈值，则无匹配身份；