[发明专利]板书书写行为检测方法、装置、介质及电子设备

权利要求书

1.一种板书书写行为检测方法，其特征在于，所述方法包括：

针对待检测视频中的每一图像帧，将所述图像帧输入到人体姿态检测模型中，得到所述人体姿态检测模型输出的所述图像帧中的人体关键点和人体骨架信息；根据所述人体关键点、所述人体骨架信息、板书书写行为检测模型，得到用于表征所述图像帧中是否具有板书书写行为的目标结果；

根据每一图像帧各自对应的目标结果，确定所述待检测视频中的板书书写行为视频片段。

2.根据权利要求1所述的方法，其特征在于，所述板书书写行为检测模型包括多个模型；所述根据所述人体关键点、所述人体骨架信息、板书书写行为检测模型，得到用于表征所述图像帧中是否具有板书书写行为的目标结果，包括：

针对所述多个模型中的每一模型，根据该模型、所述人体关键点、所述人体骨架信息，得到该模型对应的用于表征所述图像帧中是否具有板书书写行为的识别结果；

根据每一模型各自对应的识别结果，得到用于表征所述图像帧中是否具有板书书写行为的所述目标结果。

3.根据权利要求2所述的方法，其特征在于，所述多个模型包括第一板书书写行为检测模型，所述第一板书书写行为检测模型用于通过如下方式得到用于表征所述图像帧中是否具有板书书写行为的识别结果：

获取所述人体关键点和所述人体骨架信息构成的第一特征图；

根据所述第一特征图，确定所述图像帧中人体的手臂预测关键点的位置信息以及所述手臂预测关键点表征所述人体正在进行板书书写行为的预测概率；

根据所述预测概率和所述手臂预测关键点的位置信息，得到所述第一板书书写行为检测模型对应的用于表征所述图像帧中是否具有板书书写行为的识别结果。

4.根据权利要求3所述的方法，其特征在于，所述第一板书书写行为检测模型包括图像处理网络，所述图像处理网络用于对所述人体关键点和所述人体骨架信息进行特征提取，以得到所述第一特征图，其中，所述图像处理网络包括卷积核大小为1×3的卷积层和卷积核大小为3×1的卷积层。

5.根据权利要求3所述的方法，其特征在于，所述第一板书书写行为检测模型包括多个转置卷积层和多个2D卷积层；所述第一板书书写行为检测模型用于通过如下方式根据所述第一特征图确定所述手臂预测关键点的位置信息和所述预测概率：

根据所述第一特征图、所述多个转置卷积层，得到第二特征图；

根据所述第二特征图、所述多个2D卷积层，得到第三特征图，其中，所述第三特征图中每一像素点的像素值表征该像素点具有板书书写行为的概率；

根据所述第三特征图，得到所述手臂预测关键点的位置信息和所述预测概率。

6.根据权利要求5所述的方法，其特征在于，所述多个转置卷积层中的指定转置卷积层用于将所述第一特征图的宽度和高度均放大预设倍数，所述多个转置卷积层中除所述指定转置卷积层外的转置卷积层，用于将前一转置卷积层输出的特征图的宽度和高度均放大所述预设倍数，所述指定转置卷积层为所述多个转置卷积层中位于最前面的转置卷积层。

7.根据权利要求5所述的方法，其特征在于，所述多个2D卷积层包括第一2D卷积层、第二2D卷积层、第三2D卷积层；所述根据所述第二特征图、所述多个2D卷积层，得到第三特征图，包括：

将所述第二特征图输入到所述第一2D卷积层，得到所述第一2D卷积层输出的第四特征图，其中，所述第一2D卷积层的卷积核大小为1×3，卷积步长为1，输出通道数据量为128；

将所述第四特征图输入到所述第二2D卷积层，得到所述第二2D卷积层输出的第五特征图，其中，所述第二2D卷积层的卷积核大小为3×1，卷积步长为1，输出通道数据量为128；

将所述第五特征图输入到所述第三2D卷积层，得到所述第三特征图，其中，所述第三2D卷积层的卷积核大小为1，卷积步长为1，输出通道数据量为2。