[发明专利]课堂学生行为分析方法及装置

权利要求书

1.一种课堂学生行为分析方法，其特征在于，包括：

基于安装在教室内的摄像头，采集预设时间区间中教室中的课堂图像，提取所述课堂图像中的人体轮廓图像；

获取所述人体轮廓图像中的人脸图像，将获取到的所述人脸图像与预先存储的多个学生的人脸图像进行匹配，确定每个学生对应的人体轮廓图像；

识别所述课堂图像中每个学生对应的人体轮廓图像中的人体关键点；

基于分类神经网络确定所识别的每个学生对应的人体关键点对应的学生行为类型，其中所述分类神经网络是以人体关键点与相对应的学生行为类型作为输入来进行训练的。

2.根据权利要求1所述的方法，其特征在于，所述识别所述课堂图像中每个学生对应的人体轮廓图像中的人体关键点包括：

基于肢体语言识别系统，识别所述课堂图像中每个学生对应的人体轮廓图像中的人体关键点，其中该肢体语言识别系统是以OpenPose为基础的。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括针对所述分类神经网络的训练步骤，具体包括：

获取训练图像，其中所述训练图像的人体关键点被人工预标注了对应的学生行为类型；

将所述训练图像输入至所述分类神经网络中，以训练所述分类神经网络。

4.根据权利要求3所述的方法，其特征在于，所述学生行为类型包括第一学生行为类型和第二学生行为类型，所述第一学生行为类型包括起立和/或举手，对应于所述第一学生行为类型的训练图像为单张训练图像，所述单张训练图像的人体关键点被预标注了对应的第一学生行为类型；以及

所述第二学生行为类型包括扭头、交谈和打闹中的一者或多者，对应于所述第二学生行为类型的训练图像为用于指示连续人体动作的多张训练图像，其中所述多张训练图像所对应的人体关键点集合被预标注了对应的第二学生行为类型；

所述基于分类神经网络确定所识别的每个学生对应的人体关键点对应的学生行为类型包括：

基于所述分类神经网络和所采集的单张课堂图像中的每个学生对应的人体关键点，输出所述单张课堂图像中的每个学生对应的所述第一学生行为类型；

基于所述分类神经网络，应用预定时间段内所采集的用于指示学生连续动作的多张课堂图像中的每个学生对应的人体关键点集合，输出所述多张课堂图像中的每个学生对应的第二学生行为类型。

5.根据权利要求3所述的方法，其特征在于，所述获取训练图像包括：

基于对应课堂学生行为类型的关键词，从搜索引擎网站服务器上获取源图片；

基于所述肢体语言识别系统，识别所述源图片上的人体关键点，其中该具有人体关键点的源图片通过人工标注对应的学生行为类型，以生成对应的训练图像。

6.根据权利要求1所述的方法，其特征在于，在基于分类神经网络确定所识别的每个学生对应的人体关键点所对应的学生行为类型之后，所述方法还包括：

统计课堂内的一段时间内每个学生所出现的各种行为类型；以及

基于预存储的行为关注度评分表和所统计的行为类型，确定每个学生在所述一段时间内的课堂行为所对应专注度评分，其中所述关注度评分表中记录有多种行为类型所分别对应的分数值。

7.根据权利要求6所述的方法，其特征在于，在确定每个学生在所述一段时间内的课堂行为所对应专注度评分之后，所述方法还包括：

当存在第一学生的专注度评分低于预定的专注度阈值时，将所述第一学生的专注度评分实时推送至与教师和/或学生家长相关联的终端。