[发明专利]行为识别方法和装置、电子设备、计算机存储介质

说明书

本公开实施例公开了一种行为识别方法和装置、电子设备、计算机存储介质、程序，其中方法包括：对至少一帧视频图像执行人体关键点检测，获得所述至少一帧视频图像的多个人体关键点；基于所述至少一帧视频图像的多个人体关键点的特征信息以及所述多个人体关键点的关联信息，得到所述至少一帧视频图像的行为识别结果。本公开实施例通过结合人体关键点的特征信息和人体关键点之间的关联信息，使局部信息和整体信息都得到充分的利用，提高了行为识别的准确度。

技术领域

本公开涉及计算机视觉技术，尤其是一种行为识别方法和装置、电子设备、计算机存储介质。

背景技术

行为识别是从视频中识别出人物的动作或行为，如游泳、奔跑、扫地等等，行为识别对于理解视频的内容和含义有重要作用。行为识别可以以视频图像、语音或人体关键点坐标作为输入，利用神经网络输出行为的类别。

发明内容

本公开实施例提供的一种行为识别技术。

根据本公开实施例的一个方面，提供的一种行为识别方法，包括：

对至少一帧视频图像执行人体关键点检测，获得所述至少一帧视频图像的多个人体关键点；

基于所述至少一帧视频图像的多个人体关键点的特征信息以及所述多个人体关键点的关联信息，得到所述至少一帧视频图像中每帧视频图像的行为识别结果。

在基于本发明上述方法的另一个实施例中，所述人体关键点的特征信息包括所述人体关键点的坐标信息；或者，

所述人体关键点的特征信息包括所述人体关键点的坐标信息以及所述人体关键点的估计置信度和/或所述人体关键点对应的初始特征。

在基于本发明上述方法的另一个实施例中，所述多个人体关键点的关联信息包括下列中的任意一项或多项：同一帧视频图像中的至少两个人体关键点之间的空间关联信息，以及对应于同一人体部位且属于所述至少一帧视频图像中的相邻帧视频图像的至少两个人体关键点之间的时间关联信息。

对应于同一人体部位且属于所述至少一帧视频图像中的不同帧视频图像的至少两个人体关键点之间的时间关联信息用于指示所述人体部位在所述至少一帧视频图像中随着时间的移动轨迹。

在基于本发明上述方法的另一个实施例中，所述至少一帧视频图像具体为视频中的多帧连续视频图像；和/或

所述同一帧视频图像中的至少两个人体关键点之间的空间关联信息是根据人体结构的连通关系确定的。

在基于本发明上述方法的另一个实施例中，所述至少两个人体关键点之间的空间关联信息包括所述至少两个关键点在空间上的相邻关系，和/或

所述至少两个关键点之间的时间关联信息包括：所述至少两个关键点所属的帧的相邻关系。

在基于本发明上述方法的另一个实施例中，所述对至少一帧视频图像执行人体关键点检测，获得所述至少一帧视频图像的多个人体关键点之后，还包括：

基于所述至少一帧视频图像中的多个人体关键点，建立空时图，其中，所述空时图包含所述至少一帧视频图像中的多个人体关键点的特征信息以及所述多个人体关键点的关联信息；

所述基于所述至少一帧视频图像的多个人体关键点的特征信息以及所述多个人体关键点的关联信息，得到所述至少一帧视频图像的行为识别结果，包括：

基于所述空时图，得到所述至少一帧视频图像的行为识别结果。

在基于本发明上述方法的另一个实施例中，所述空时图包括对应于所述多个人体关键点的多个节点，所述多个节点中每个节点包括对应的人体关键点的特征信息；

所述多个节点中的每个节点具有至少一条边，所述多个节点具有的多条边指示所述多个人体关键点的关联关系。