[发明专利]板书书写行为检测方法、装置、介质及电子设备

说明书

本公开涉及一种板书书写行为检测方法、装置、介质及电子设备，该方法包括：针对待检测视频中的每一图像帧，将所述图像帧输入到人体姿态检测模型中，得到所述人体姿态检测模型输出的所述图像帧中的人体关键点和人体骨架信息；根据所述人体关键点、所述人体骨架信息、板书书写行为检测模型，得到用于表征所述图像帧中是否具有板书书写行为的目标结果；根据每一图像帧各自对应的目标结果，确定所述待检测视频中的板书书写行为视频片段。通过上述技术方案，提高提取出板书书写行为视频片段的效率，而且提高板书书写行为检测的准确度。

技术领域

本公开涉及计算机技术领域，具体地，涉及一种板书书写行为检测方法、装置、介质及电子设备。

背景技术

随着教学环境的不断提升，线下课的录播成为教育场景中非常重要的环节，为了能够将线下教学过程记录下来并提供给学生，线下智慧教室中通常设置有摄像头，例如朝向黑板的摄像头，该摄像头可以用于录制教师上课时的视频，录制的视频可以供学生复习学习内容。

通常情况下，教师讲解课程中的重要内容时，一般会进行板书书写，因此对课程视频中教师的板书书写行为进行识别，可以提取出教师讲解重点内容时的视频片段，一方面提高视频剪辑效率，另一方面提高学生复习重点内容的效率，然而相关技术中对视频中教师的板书书写行为的检测不够准确。

发明内容

本公开的目的是提供一种板书书写行为检测方法、装置、介质及电子设备，以提高板书书写行为检测的准确度。

为了实现上述目的，第一方面，本公开提供一种板书书写行为检测方法，所述方法包括：针对待检测视频中的每一图像帧，将所述图像帧输入到人体姿态检测模型中，得到所述人体姿态检测模型输出的所述图像帧中的人体关键点和人体骨架信息；根据所述人体关键点、所述人体骨架信息、板书书写行为检测模型，得到用于表征所述图像帧中是否具有板书书写行为的目标结果；根据每一图像帧各自对应的目标结果，确定所述待检测视频中的板书书写行为视频片段。

可选地，所述板书书写行为检测模型包括多个模型；所述根据所述人体关键点、所述人体骨架信息、板书书写行为检测模型，得到用于表征所述图像帧中是否具有板书书写行为的目标结果，包括：针对所述多个模型中的每一模型，根据该模型、所述人体关键点、所述人体骨架信息，得到该模型对应的用于表征所述图像帧中是否具有板书书写行为的识别结果；根据每一模型各自对应的识别结果，得到用于表征所述图像帧中是否具有板书书写行为的所述目标结果。

可选地，所述多个模型包括第一板书书写行为检测模型，所述第一板书书写行为检测模型用于通过如下方式得到用于表征所述图像帧中是否具有板书书写行为的识别结果：获取所述人体关键点和所述人体骨架信息构成的第一特征图；根据所述第一特征图，确定所述图像帧中人体的手臂预测关键点的位置信息以及所述手臂预测关键点表征所述人体正在进行板书书写行为的预测概率；根据所述预测概率和所述手臂预测关键点的位置信息，得到所述第一板书书写行为检测模型对应的用于表征所述图像帧中是否具有板书书写行为的识别结果。

可选地，所述第一板书书写行为检测模型包括图像处理网络，所述图像处理网络用于对所述人体关键点和所述人体骨架信息进行特征提取，以得到所述第一特征图，其中，所述图像处理网络包括卷积核大小为1×3的卷积层和卷积核大小为3×1的卷积层。

可选地，所述第一板书书写行为检测模型包括多个转置卷积层和多个2D卷积层；所述第一板书书写行为检测模型用于通过如下方式根据所述第一特征图确定所述手臂预测关键点的位置信息和所述预测概率：根据所述第一特征图、所述多个转置卷积层，得到第二特征图；根据所述第二特征图、所述多个2D卷积层，得到第三特征图，其中，所述第三特征图中每一像素点的像素值表征该像素点具有板书书写行为的概率；根据所述第三特征图，得到所述手臂预测关键点的位置信息和所述预测概率。