[发明专利]基于情绪识别和视觉分析的课堂学习效率预测方法及系统

权利要求书

1.一种基于情绪识别和视觉分析的课堂学习效率预测方法，其特征在于，所述方法应用于通过人工智能模型建立学生的面部表情与对应的知识点学习效率之间的对应关系；所述人工智能模型包括第一子模型和第二子模型；所述对应关系包括第一子关系和第二子关系；

所述方法包括：

通过第一子模型建立学生的生理数据与对应的知识点成绩之间的第一子关系；其中，所述知识点成绩包括在课堂测试、课后作业、周测、月测、期中考试和期末考试中至少一种测试方式中对应于所述知识点的题目的得分情况；

通过第二子模型建立学生的面部表情与情绪等级的第二子关系；

获取目标学生在学习当前知识点时的当前面部表情；

通过所述第一子关系、所述第二子关系和预设的情绪等级与知识点成绩映射关系，确定所述当前面部表情对应的当前知识点成绩，并依据所述当前知识点成绩确定目标学生的当前学习效率。

2.根据权利要求1所述的方法，其特征在于，所述获取目标学生在学习当前知识点时的当前面部表情的步骤，包括：

确定课堂教学课程中与所述当前知识点对应的教学时间段；

获取对应于所述教学时间段的目标学生的实时人脸图像数据；

依据所述目标学生的实时人脸图像数据生成所述当前面部表情。

3.根据权利要求2所述的方法，其特征在于，所述获取对应于所述教学时间段的目标学生的实时人脸图像数据的步骤，包括：

确定对应于所述教学时间段的监测视频段；其中，所述监测视频段包括有目标学生的人脸视频画面；

确定所述监测视频段中与所述目标学生相对应的区域位置；

获取所述学习视频数据中对应于所述区域位置中的视频特征；

依据所述视频特征确定对应于所述监测视频段的所述实时人脸图像数据。

4.根据权利要求1所述的方法，其特征在于，所述通过第一子模型建立学生的生理数据与对应的知识点成绩之间的第一子关系的步骤，包括：

获取用于建立所述生理数据与所述知识点成绩之间的第一子关系的样本数据；

分析所述生理数据的特性及其规律，根据所述特性及其规律，确定所述第一子模型的网络结构及其网络参数；

使用所述样本数据，对所述网络结构和所述网络参数进行训练和测试，确定所述生理数据与所述知识点成绩的所述第一子关系。

5.根据权利要求1所述的方法，其特征在于，所述通过第二子模型建立学生的面部表情与情绪等级的第二子关系的步骤，包括：

获取用于建立所述面部表情与所述情绪等级之间的第二子关系的样本数据；

分析所述面部表情的特性及其规律，根据所述特性及其规律，确定所述第子模型的网络结构及其网络参数；

使用所述样本数据，对所述网络结构和所述网络参数进行训练和测试，确定所述面部表情与所述情绪等级的所述第二子关系。

6.根据权利要求4所述的方法，其特征在于，

对所述第一子模型的所述网络结构和所述网络参数进行训练，包括：

选取所述样本数据中的一部分数据作为训练样本，将所述训练样本中的所述生理数据输入到所述网络结构，通过所述网络结构的损失函数，激活函数和所述网络参数进行训练，得到实际训练结果；

确定所述实际训练结果与所述训练样本中的相应知识点成绩之间的实际训练误差是否满足预设训练误差；

当所述实际训练误差满足所述预设训练误差时，确定对所述网络结构和所述网络参数的所述训练完成；

和/或，

对所述第一子模型的所述网络结构和所述网络参数进行测试，包括：

选取所述样本数据中的另一部分数据作为测试样本，将所述测试样本中的所述生理数据输入到所述训练完成的所述网络结构中，以所述损失函数，激活函数和所述训练完成的所述网络参数进行测试，得到实际测试结果；

确定所述实际测试结果与所述测试样本中的相应知识点成绩之间的实际测试误差是否满足设定测试误差；

当所述实际测试误差满足所述设定测试误差时，确定对所述网络结构和所述网络参数的所述测试完成。