[发明专利]学习状态的监控方法、监控装置及存储介质

说明书

本发明公开了一种学习状态的监控方法、监控装置及存储介质，该方法包括：获取上课视频；对上课视频进行人脸特征提取，获得人脸特征；基于人脸特征对上课视频进行人脸分类，获得对应的人脸分类结果；基于人脸分类结果对预处理后视频进行人脸手势识别，并基于人脸手势识别结果生成初步学生状态信息；获取综合识别模型，基于综合识别模型对初步学生状态信息进行综合识别，获得学生状态识别结果。通过预先创建基于多特征的综合识别模型，在后续的学生学习状态识别过程中，实时获取学生的上课视频，并对学生的人脸特征进行提取和识别，结合学生的手势特征对学生的学习状态进行综合识别，大大提高了识别的实时性，提高了识别精确性，满足了实际需求。

技术领域

本发明涉及教学监控技术领域，具体地涉及一种学习状态的监控方法、一种学习状态的监控装置以及一种计算机可读存储介质。

背景技术

教育是提高国民素质、提高国家竞争力的有力途径，因此良好、有效的教育必不可少。传统的教育过程往往是基于线下的面对面教育，即老师与学生面对面进行教育内容的传递，在此情况下，老师能够及时对学生的学习状态进行获知和监督。

而随着科技的不断发展，以及人们的生活需求的不断变化，人们对线上教育的需求也越来越高，例如随着通信技术的不断发展，线上视频教育被广泛应用。

然而在实际的应过程中，技术人员发现在线视频教育过程至少存在如下技术问题：

由于老师与学生并不是面对面的教育沟通，因此老师无法及时对学生的学习状态进行监督和管理，往往需要在课后通过人工查阅对应的教学录像视频，以对学生的学习状态进行判断，然而一方面，由于上课视频往往持续时间较长，因此该监督方法费时费力；另一方面，课后的监督判断时效性较差，无法满足实际需求。

发明内容

为了克服现有技术中存在的上述技术问题，本发明实施例提供一种学习状态的监控方法，通过在人脸识别的基础上，进一步结合手势识别综合对学生的学习状态进行识别，从而在满足实时监控的同时，实现更精确的学生状态识别效果。

为了实现上述目的，本发明实施例提供一种学习状态的监控方法，所述监控方法包括：获取上课视频；对所述上课视频进行人脸特征提取，获得人脸特征；基于所述人脸特征对所述上课视频进行人脸分类，获得对应的人脸分类结果；基于所述人脸分类结果对所述上课视频进行人脸手势识别，并基于人脸手势识别结果生成初步学生状态信息；获取综合识别模型，基于所述综合识别模型对所述初步学生状态信息进行综合识别，获得学生状态识别结果。

优选地，所述对所述上课视频进行人脸特征提取，获得人脸特征，包括：对所述上课视频进行预处理操作，获得预处理后图像；获取预设人脸特征提取模型；基于所述预设人脸特征提取模型对所述预处理后图像进行人脸特征提取，获得人脸特征。

优选地，所述对所述上课视频进行预处理操作，获得预处理后图像，包括：按照预设频率对所述上课视频进行图像抽取，获得对应的图像集；对所述图像集中的每张图像进行裁剪，获得每张图像对应的预设数量的裁剪图，其中当前图像对应的裁剪图中的每张裁剪图与当前图像对应的其他裁剪图存在重叠区域；分别基于每张图像以及每张图像对应的裁剪图创建多个目标图像集；对所述目标图像集中的每张图像执行归一化处理，获得对应的第一处理后图像；对所述第一处理后图像执行灰度化处理，获得第二处理后图像；对所述第二处理后图像执行图像增强处理，获得预处理后图像。

优选地，所述基于所述人脸特征对所述上课视频进行人脸分类，获得人脸分类结果，包括：对所述人脸特征进行初始权重计算，获得对应的初始特征权重；基于所述初始特征权重对所述人脸特征进行优化，获得优化后特征；获取预设约束条件，基于所述预设约束条件对所述优化后特征进行约束操作，获得约束后特征；对所述约束后特征执行人脸分类识别，获得对应的人脸分类结果。