[发明专利]基于学生学习效率检测方法、系统、设备及介质

权利要求书

1.一种基于学生学习效率检测方法，其特征在于，包括：

获取课堂上学生听课的视频图像，所述视频图像包含待测学生的人脸图像、动作图像以及表情图像；

基于所述人脸图像进行人脸识别，确定所述学生的身份信息，根据所述身份信息建立关联动作图像与表情图像的学生档案；

构建卷积神经网络，基于所述学生档案标注的训练集对所述卷积神经网络进行训练，得到检测学习效率的专注度识别模型；

将获取的待测学生档案输入所述专注度识别模型进行检测，确定待测学生的专注度分值来量化评估所述学生的学习效率。

2.根据权利要求1所述的基于学生学习效率检测方法，其特征在于，确定待测学生的专注度分值来量化评估所述学生的学习效率之前，还包括：

将获取的待测学生档案输入所述专注度识别模型进行检测，得到第一专注度分数；

获取各学生对知识点测试确定的测试成绩；其中，所述测试成绩包括在课堂测试、课后作业、周测、月测、期中考试和期末考试中至少一种测试方式中对应于所述知识点的题目的得分情况；

根据所述测试成绩与预设的学生专注度转化关系进行自评测试，得到专注度自评的第二专注度分数，所述学生专注度转化关系在预设时间段内进行知识测试所得分数与专注度分数的映射关系；

将所述专注度自评的第二专注度分数与所述第一专注度分数进行加权融合，得到待测学生最终的专注度分值来量化评估所述学生的学习效率。

3.根据权利要求1所述的基于学生学习效率检测方法，其特征在于，基于所述人脸图像进行人脸识别，确定所述学生的身份信息，根据所述身份信息建立关联动作图像与表情图像的，包括：

将学生听课的视频图像按照所述人脸图像进行聚类分析，根据相似度确定归属于同一图像的图像子集；

对所述图像子集所对应的人脸图像进行人脸识别，确定所述图像子集的身份信息；

根据所述身份信息将隶属于相同身份信息的图像子集内的动作图像与表情图像进行关联绑定，确定学生档案，其中，所述表情图像是基于人脸表情识别模型对人脸图像进行识别确定的，所述动作图像是基于肢体动作识别模型检测所得的肢体动作。

4.根据权利要求1所述的基于学生学习效率检测方法，其特征在于，构建卷积神经网络，基于所述学生档案标注的训练集对所述卷积神经网络进行训练，得到检测学习效率的专注度识别模型，包括：

提取所述动作图像中动作特征，所述动作特征至少包括以下至少之一：头像的长度参数、嘴巴开合程度、眼睛睁开程度、眼睛睁开频率以及肢体动作；

基于构建的Arousal-Valence情感模型确定表情图像所带来的情感分值，用情感分值来表征标注的表情特征；其中，横坐标为Valence，通过分值从1到5依次代表情绪从恶心、不适、平静、愉悦到兴奋；纵坐标为Arousal，通过分值从1到5依次代表情绪从平静、起伏、波澜、强烈到剧烈；

将所述表情图像中关联表情特征以及所述动作图像关联的动作特征进行标注，形成训练集；

构建卷积神经网络，基于所述训练集对所述卷积神经网络进行训练，得到检测学习效率的专注度识别模型。

5.根据权利要求4所述的基于学生学习效率检测方法，其特征在于，还包括：连续获取待测学生的嘴部开合程度图像，对所述嘴部开合程度图像进行唇语识别，确定待测学生所讲的说话内容；利用说话内容与当前场景内的知识点关联度进行判断，确定待测学生是否有课堂违规操作；若待测学生的说话内容与预设时段内当前场景内其他学生的说话内容相同，或，若待测学生的说话内容与预设时段内老师教授的知识点关联度达到预设阈值；则不存在课堂违规操作；若待测学生的说话内容与预设时段内当前场景内其他学生的说话内容不同，或，若待测学生的说话内容与预设时段内老师教授的知识点关联度未达到预设阈值；则存在课堂违规操作。

6.根据权利要求1所述的基于学生学习效率检测方法，其特征在于，还包括：对学生在预设时间周期内的学习效率进行统计分析，若检测到某待测学生在该预设时间周期内的学习效率分数低于阈值分数，则将该待测学生所对应的学习效果评估结果发送至该学生关联的家长以及老师，通过辅助分析以提高学生的学习效率。