[发明专利]基于课堂场景的学生行为识别方法及系统

说明书

本申请涉及教学领域，公开了一种基于课堂场景的学生行为识别方法及系统。该方法包括：从摄像机获取课堂视频，该摄像机用于拍摄学生正面听课视角的视频；对于该课堂视频，每间隔预设帧数提取一帧图像进行人脸识别和人体行为识别；对于识别的每帧图像，根据人脸识别结果构建人脸框并确定对应的身份标识，根据人体行为识别结果构建人体框并确定对应的行为标识，以及为每个该人脸框匹配出唯一的该人体框，得到该身份标识和该行为标识的匹配结果。本申请的实施方式可以准确地得到课堂上每个学生的身份标识与人体行为标识的匹配结果，实现监控课堂上每个学生的实时行为的效果。

技术领域

本申请涉及教学领域，特别涉及基于课堂场景的学生行为识别技术。

背景技术

人体行为识别技术可以充分利用设备资源，从已有的课堂录播视频中提取学生听课状况相关的数据信息，辅助老师进行教学管理、教学决策。

但是，由于课堂场景学生行为识别属于复杂场景下多人姿态行为识别问题，目前通用的识别算法准确率低，使得人体行为识别结果与身份识别结果匹配准确率较低，大都只能实现整个班级学生行为数据整体粗略地统计汇总，而不能准确地将课堂人体行为细化精确到对应的每一个身份明确的学生。

发明内容

本申请的目的在于提供一种基于课堂场景的学生行为识别方法及系统，可以准确地得到课堂上每个学生的身份标识与人体行为标识的匹配结果，实现监控课堂上每个学生的实时行为的效果。

本申请公开了一种基于课堂场景的学生行为识别方法，包括：

从摄像机获取课堂视频，所述摄像机用于拍摄学生正面听课视角的视频；

对于所述课堂视频，每间隔预设帧数提取一帧图像进行人脸识别和人体行为识别；

对于识别的每帧图像，根据人脸识别结果构建人脸框并确定对应的身份标识，根据人体行为识别结果构建人体框并确定对应的行为标识，以及为每个所述人脸框匹配出唯一的所述人体框，得到所述身份标识和所述行为标识的匹配结果。

在一个优选例中，所述对于所述课堂视频，每间隔预设帧数提取一帧图像进行人脸识别和人体行为识别，进一步包括：

对于所述课堂视频，每间隔预设帧数提取一帧图像进行人脸识别得到对应所述每帧图像的所述人脸识别结果，所述人脸识别结果包括对应每张人脸的身份标识和眼睛、嘴的坐标信息；

对于所述课堂视频，每间隔预设帧数提取一帧图像进行人体行为识别得到对应所述每帧图像的所述人体行为识别结果，所述人体行为识别结果包括对应每个人体的行为标识和头顶、左肩、右肩、左脚、右脚的坐标信息。

在一个优选例中，所述对于所述课堂视频，每间隔预设帧数提取一帧图像进行人体行为识别得到对应所述每帧图像的所述人体行为识别结果，进一步包括：

建立包含学生行为标签的课堂视频的训练样本集，所述学生行为标签包括坐、站立、举手和趴桌子；

用所述训练样本集对预设检测模型进行训练，该预设检测模型为OpenPose、Detectron或AlphaPose模型；

使用训练后的预设检测模型对所述每帧图像进行人体行为识别得到对应每个人体的行为标识和头顶、左肩、右肩、左脚、右脚的坐标信息。

在一个优选例中，所述根据人脸识别结果构建人脸框并确定对应的身份标识，进一步包括：

根据所述人脸识别结果中的对应每张人脸的眼睛、嘴的坐标信息计算人脸框的上、下、左、右边界的坐标信息，以构建对应每张人脸的所述人脸框；

根据所述人脸识别结果中的对应每张人脸的身份标识，为每个人脸框确定对应的身份标识；

所述根据人体行为识别结果构建人体框并确定对应的行为标识，进一步包括：