[发明专利]基于行为识别的学生课堂行为分析的监控方法及系统

权利要求书

1.基于行为识别的学生课堂行为分析的监控方法，其特征在于，包括：

采集人体行为的视频信息以及人体骨架图关键点的深度信息；

将采集到的图像通过姿势识别算法提取到学生行为骨架图；

通过图卷积神经网络对骨架图进行特征提取，给定身体关节的2D或者3D形式的坐标的序列，构造了一个以关节为节点，以人体结构和时间为边的自然连通的时空图；

在卷积过程中，根据人体关节和骨骼之间的运动相关性，将骨骼数据表示为有向图，提取关节、骨骼及其相互关系的信息，并根据提取的特征进行预测，然后反馈给教师。

2.如权利要求1所述的基于行为识别的学生课堂行为分析的监控方法，其特征在于：采集人体行为的设备包括深度相机和监控摄像机，所述深度相机和所述监控摄像机悬挂在教室天花板的前后左右四个方向。

3.如权利要求2所述的基于行为识别的学生课堂行为分析的监控方法，其特征在于：所述姿势识别算法为OpenPose姿势识别算法，所述深度相机为Kinect深度相机。

4.如权利要求1所述的基于行为识别的学生课堂行为分析的监控方法，其特征在于：所述骨架图包括25个关节点和24条骨骼，每个骨骼为从其源关节指向其目标关节的向量，包含长度信息和方向信息。

5.如权利要求1所述的基于行为识别的学生课堂行为分析的监控方法，其特征在于：所述骨架图的特征包括空间特征和时间特征，所述空间特征从关节和骨骼提取，所述关节为3D坐标，所述骨骼为两个关节坐标之差，所述时间特征为运动信息，所述运动信息包括位移、关节方向、运动速度及加速度。

6.基于行为识别的学生课堂行为分析的监控系统，其特征在于，包括：

数据采集模块，用于采集人体行为的视频信息以及人体骨架图关键点的深度信息；

数据预处理模块，用于将采集到的图像通过姿势识别算法提取到学生行为骨架图；

行为识别模块，通过图卷积神经网络对骨架图进行特征提取，给定身体关节的2D或者3D形式的坐标的序列，构造了一个以关节为节点，以人体结构和时间为边的自然连通的时空图，并在卷积过程中，根据人体关节和骨骼之间的运动相关性，将骨骼数据表示为有向图，提取关节、骨骼及其相互关系的信息，并根据提取的特征进行预测。