[发明专利]基于课堂场景的学生行为识别方法及系统

权利要求书

1.一种基于课堂场景的学生行为识别方法，其特征在于，包括：

从摄像机获取课堂视频，所述摄像机用于拍摄学生正面听课视角的视频；

对于所述课堂视频，每间隔预设帧数提取一帧图像进行人脸识别和人体行为识别；对于识别的每帧图像，根据人脸识别结果构建人脸框并确定对应的身份标识，根据人体行为识别结果构建人体框并确定对应的行为标识，以及为每个所述人脸框匹配出唯一的所述人体框，得到所述身份标识和所述行为标识的匹配结果；

所述根据人体行为识别结果构建人体框，进一步包括子步骤：根据人体动作识别结果中的对应每个人体的头顶、左肩、右肩、左脚、右脚的坐标信息，以构建对应每个人体的所述人体框；

其中，所述为每个所述人脸框匹配出唯一的所述人体框，得到所述身份标识和所述行为标识的匹配结果，进一步包括子步骤：如果某个人体框内有多个人脸框，计算该人体框的上边沿的中点与该多个人脸框中每个人脸框的上边沿的中点之间的距离，选择距离最短的人脸框为该人体框的唯一匹配人脸框，得到对应该唯一匹配人脸框的身份标识和对应该人体框的行为标识的匹配结果。

2.如权利要求1所述的基于课堂场景的学生行为识别方法，其特征在于，所述对于所述课堂视频，每间隔预设帧数提取一帧图像进行人脸识别和人体行为识别，进一步包括：

对于所述课堂视频，每间隔预设帧数提取一帧图像进行人脸识别得到对应所述每帧图像的所述人脸识别结果，所述人脸识别结果包括对应每张人脸的身份标识和眼睛、嘴的坐标信息；

对于所述课堂视频，每间隔预设帧数提取一帧图像进行人体行为识别得到对应所述每帧图像的所述人体行为识别结果，所述人体行为识别结果包括对应每个人体的行为标识和头顶、左肩、右肩、左脚、右脚的坐标信息。

3.如权利要求2所述的基于课堂场景的学生行为识别方法，其特征在于，所述对于所述课堂视频，每间隔预设帧数提取一帧图像进行人体行为识别得到对应所述每帧图像的所述人体行为识别结果，进一步包括：

建立包含学生行为标签的课堂视频的训练样本集，所述学生行为标签包括坐、站立、举手和趴桌子；

用所述训练样本集对预设检测模型进行训练，该预设检测模型为OpenPose、Detectron或AlphaPose模型；

使用训练后的预设检测模型对所述每帧图像进行人体行为识别得到对应每个人体的行为标识和头顶、左肩、右肩、左脚、右脚的坐标信息。

4.如权利要求2所述的基于课堂场景的学生行为识别方法，其特征在于，所述根据人脸识别结果构建人脸框并确定对应的身份标识，进一步包括：

根据所述人脸识别结果中的对应每张人脸的身份标识，为每个人脸框确定对应的身份标识；

确定人体框对应的行为标识，进一步包括：

根据所述人体动作识别结果中的对应每个人体的行为标识，为每个人体框确定对应的行为标识。

5.如权利要求4所述的基于课堂场景的学生行为识别方法，其特征在于，所述为每个所述人脸框匹配出唯一的所述人体框，得到所述身份标识和所述行为标识的匹配结果，进一步还包括：

如果某个人体框中只有一个人脸框，则得到对应该人脸框的身份标识和对应该人体框的行为标识的匹配结果。

6.如权利要求1所述的基于课堂场景的学生行为识别方法，其特征在于，所述对于识别的每帧图像，根据人脸识别结果构建人脸框并确定对应的身份标识，根据人体行为识别结果构建人体框并确定对应的行为标识，以及为每个所述人脸框匹配出唯一的所述人体框，得到所述身份标识和所述行为标识的匹配结果之后，还包括：

周期性地获取预设时间段内的多帧图像的多组匹配结果；

根据所述多组匹配结果，为每个身份标识确定占比最高的行为标识作为该身份标识在该预设时间段的行为标识。