[发明专利]一种实时表情分析方法及其装置

说明书

本发明提出了一种实时表情分析方法以及装置，在电子班牌中设置人脸识别单元、表情分析单元、学情分析单元和状态提示单元，可以将表情识别融入学情分析，不仅为学校提供了学生学习情况数据便于督促老师改进教学方式，同时学生也可了解自身学习情况并做出学习计划的调整；另外，电子班牌本身可以存储有学生和教师的基本信息，通过摄像头获取人脸图像，根据人脸图像匹配可以快速的找到对应的人员，简化人脸识别的算法。由于电子班牌本身可以获取学生身份信息、教师身份信息和课表信息等，在现有信息的基础上增加人脸识别与表情分析功能可以简化数据采集的过程。

技术领域

本发明涉及表情分析领域，尤其涉及一种实时表情分析方法及其装置。

背景技术

高校学生管理顺应互联网、人工智能等技术变革也注入了新的方法，课堂学情分析作为检测学生学习情况、评估课堂授课质量的重要组成部分，引入了表情识别技术，更直观的让学校了解课堂管理情况以便于针对性的调整教育方式,更好的做到因材施教。但是由于表情识别技术由于光强和姿势问题，表情识别技术受到较大的干扰，导致最后的表情识别不够精确，并且表情识别技术算法复杂。因此，为解决上述问题，本发明提供一种实时表情分析方法及其装置，可以简化表情分析算法的复杂度，提高表情分析的准确率。

发明内容

有鉴于此，本发明提出了一种实时表情分析方法及其装置，可以简化表情分析算法的复杂度，提高表情分析的准确率。

本发明的技术方案是这样实现的：本发明提供了一种实时表情分析方法，包括以下步骤：

S1、建立用于存储人脸图像的人脸数据库，构建卷积神经网络，由卷积神经网络对人脸数据库中的人脸图像数据进行训练获得表情识别模型；

S2、使用OpenCV检测人脸，将检测到的人脸特征图像放入表情识别模型中，表情识别模型根据人脸特征图像内容给出每种表情的概率，选择概率最大的表情为结果表情，将该结果表情与时间标签关联；

S3、构建结果表情与学情的映射关系；

S4、根据结果表情获知学生的学情信息，分析各类结果表情的数量和总人数的关系，得出学生课堂整体学情情况；根据时间段内，个体学生的结果表情种类和数量，分析个体学生的课堂学情情况。

在以上技术方案的基础上，优选的，S1中的卷积神经网络包含5个卷积层和3个全连接层；

第一卷积层对输入的图像做过滤处理，第二卷积层的输入连接到第一卷积层的输出，其对第一卷积层输出的图像做过滤处理；第三卷积层的输入连接到第二卷积层的输出，其对第二卷积层的输出做卷积处理；第四卷积层的输入连接到第三卷积层的输出，其对第三卷积层的输出做卷积处理；第五卷积层的输入连接到第四卷积层的输出，其对第四卷积层的输出做卷积处理；第一全连接层连接到第五卷积层的输出，第二全连接层将第一全连接层的输出作为输入，第三全连接层将第二全连接层的输出作为输入。

进一步优选的，第一卷积层具有96个大小为11×11的内核，第二卷积层具有128个5×5×48的内核，第三卷积层具有192个大小为3×3×128的内核，第四卷积层具有192个大小为3×3×192的内核，第五卷积层具有128个大小为3×3×192的内核，3个全连接层均具有1024个神经元。

在以上技术方案的基础上，优选的，S2中使用OpenCV的Haar特征级联分类器检测和切割人脸，所述Haar特征级联分类器返回图片中的人脸位置信息，得到人脸位置信息后便可将图片中所有人脸图像提取出，并将提取出的人脸图像转换为单通道灰度图像。