[发明专利]课堂行为检测方法及电子设备

权利要求书

1.一种课堂行为检测方法，其特征在于，包括：

对待检测视频提取关键帧并形成视频关键帧序列；

从所述视频关键帧序列提取出待检测视频中至少一个教师和/或学生的人体骨骼关键点序列，并通过人脸识别赋予所述人体骨骼关键点教师和/或学生的身份信息；

将所述人体骨骼关键点序列以及对应的视频关键帧序列输入至预先训练好的人工智能模型，获得所述教师和/或学生的课堂行为类别；所述人工智能模型采用双流神经网络模型；所述视频关键帧序列作为所述双流神经网络模型中空间流深度卷积神经网络的输入得到所述视频关键帧序列中的空间行为特征，所述人体骨骼关键点序列作为所述双流神经网络模型中时间流深度卷积神经网络的输入得到所述视频关键帧序列中的时间行为特征，所述空间行为特征和时间行为特征进行融合后得到所述待检测视频中所述教师和/或学生的课堂行为类别；

其中，从所述对待检测视频提取关键帧并形成视频关键帧序列，包括：

计算所述待检测视频中相邻视频帧之间的第一相似度；

在所述第一相似度小于或等于第一预设阈值的连续视频帧的数量大于第二预设阈值，或者所述第一相似度大于所述第一预设阈值时，将所述相邻视频帧中的第一帧选取为关键帧，并从后一帧的下一视频帧开始重新选取所述关键帧；

在所述第一相似度小于或等于第一预设阈值的连续视频帧的数量小于第二预设阈值时，从所述连续视频帧中选择第一帧作为一个关键帧。

2.根据权利要求1所述的方法，其特征在于，从所述视频关键帧序列提取出待检测视频中至少一个教师和/或学生的人体骨骼关键点序列，包括：

从所述的视频关键帧序列中依次通过人体姿态估计算法预测出所述关键帧中的人体骨骼关键点信息；

从所述人体骨骼关键点信息按照时间顺序形成人体骨骼关键点序列。

3.根据权利要求1或2所述的方法，其特征在于，从所述视频关键帧序列提取出待检测视频中至少一个教师和/或学生的人体骨骼关键点序列，包括：

针对所述视频关键帧序列中的关键帧，提取人体骨骼关键点，以及识别所述教师或者学生的人脸图像；

针对同一所述关键帧，将所述教师和所述学生的人脸图像与人体骨骼关键点进行匹配，以确定所述教师和所述学生分别对应的所述人体骨骼关键点序列。

4.根据权利要求3所述的方法，其特征在于，将所述教师和所述学生的人脸图像与人体骨骼关键点信息进行匹配，包括：

在所述人脸图像与所述人体骨骼关键点中位于人体头部的所有人体骨骼关键点重合时，确定所述人脸图像与所述人体骨骼关键点相匹配。

5.根据权利要求1或2所述的方法，其特征在于，从所述视频关键帧序列提取出至少一个教师和/或学生的人体骨骼关键点序列，包括：

针对所述视频关键帧序列中任意一个关键帧，识别所述教师和/或学生的人脸图像；

针对所述视频关键帧序列中的每一关键帧，提取人体骨骼关键点；

根据所述视频关键帧序列中相邻关键帧中所述人体骨骼关键点之间的相似度确定属于同一人体的人体骨骼关键点序列；

将所述教师和所述学生的人脸图像与所述人体骨骼关键点序列进行匹配，以确定所述教师和所述学生分别对应的所述人体骨骼关键点序列。

6.根据权利要求5所述的方法，其特征在于，根据所述视频关键帧序列中相邻关键帧中所述人体骨骼关键点之间的相似度确定属于同一人体的人体骨骼关键点序列，包括：

计算相邻两关键帧中同一人体位置处的两个人体骨骼关键点之间的欧式距离；

在所述欧式距离小于或等于第三预设阈值时，确定所述两个人体骨骼关键点属于同一人体。

7.一种电子设备，其特征在于，包括存储器和处理器；其中，

所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现以下权利要求1-6所述的方法。