[发明专利]课堂行为检测方法及电子设备

说明书

本公开实施例公开了一种课堂行为检测方法及电子设备。该方法首先对待检测视频进行关键帧的提取，形成视频关键帧序列，其可以去掉视频中的冗余信息，减少网络的运算量从而大大提高预测速度。然后从视频中提取出至少一个教师和/或学生的人体骨骼关键点序列，同时结合师生人脸识别技术，再与人体骨骼关键点序列进行一一匹配，确定人体骨骼关键点序列对应的师生身份信息。最后将人体骨骼关键点序列以及对应的视频关键帧序列输入至预先训练好的双流神经网络模型，获得所述教师和/或学生的课堂行为类别。

技术领域

本公开涉及计算机技术领域，具体涉及一种基于骨骼关键点双流卷积神经网络的课堂行为检测方法及电子设备。

背景技术

在人工智能的发展下，智慧教育的概念应运而生，同时产生了对课堂教学视频分析的需求。目前对行为分析相关研究，行为识别在视频监控、辅助医疗、虚拟现实和人机智能交互等领域有着广泛应用，从而成为计算机视觉领域的研究热点。动作识别技术是指通过一些方法使计算机对视频或者图像序列中的运动行为，提取具有分辨能力的特征进行识别分析。尽管目前已经提出了许多行为识别的方法，但是这个问题依然具有挑战性，特别实在课堂教学场中人数众多的场景。行为识别的主要难点是设计合适模型，使其不仅能从背景中检测出目标和行为，而且能准确识变化多样的行为，比如部分被遮挡的动作和同一动作在不同的环境下发生时导致的变化等。

发明内容

本公开实施例提供一种课堂行为检测方法及电子设备。

第一方面，本公开实施例中提供了一种课堂行为检测方法，该方法包括：

对待检测视频提取关键帧并形成视频关键帧序列；

从所述视频关键帧序列提取出待检测视频中至少一个教师和/或学生的人体骨骼关键点序列；

将所述人体骨骼关键点序列以及对应的视频关键帧序列输入至预先训练好的人工智能模型，获得所述教师和/或学生的课堂行为类别。

其中，从所述对待检测视频提取关键帧并形成视频关键帧序列，包括：

计算所述待检测视频中相邻视频帧之间的第一相似度；

在所述第一相似度小于或等于第一预设阈值的连续视频帧的数量大于第二预设阈值，或者所述第一相似度大于所述第一预设阈值时，将所述相邻视频帧中的第一帧选取为关键帧，并从所述后一帧的下一视频帧开始重新选取所述关键帧；

在所述第一相似度小于或等于第一预设阈值的连续视频帧的数量小于第二预设阈值时，从所述连续视频帧中选择第一帧作为一个关键帧。

其中，从所述视频关键帧序列提取出待检测视频中至少一个教师和/或学生的人体骨骼关键点序列，包括：

从所述的视频关键帧序列中依次通过人体姿态估计算法预测出所述关键帧中的人体骨骼关键点信息；

从所述人体骨骼关键点信息按照时间顺序形成人体骨骼关键点序列。

其中，从所述视频关键帧序列提取出待检测视频中至少一个教师和/或学生的人体骨骼关键点序列，包括：

针对所述视频关键帧序列中的关键帧，提取人体骨骼关键点，以及识别所述教师或者学生的人脸图像；

针对同一所述关键帧，将所述教师和所述学生的人脸图像与人体骨骼关键点进行匹配，以确定所述教师和所述学生分别对应的所述人体骨骼关键点序列。

其中，将所述教师和所述学生的人脸图像与人体骨骼关键点信息进行匹配，包括：

在所述人脸图像与所述人体骨骼关键点中位于人体头部的所有人体骨骼关键点重合时，确定所述人脸图像与所述人体骨骼关键点相匹配。

其中，从所述视频关键帧序列提取出至少一个教师和/或学生的人体骨骼关键点序列，包括：