[发明专利]基于时空图卷积网络的动作识别方法、装置和设备

说明书

本申请提供一种基于时空图卷积网络的动作识别方法、装置和设备。该方法包括：获取目标对象的动作数据，根据动作数据生成多个尺度的拓扑结构图，每一拓扑结构图由人体关节点集合和人体关节点连接关系矩阵构成，人体关节点集合中包括每一人体关节点的时序数据；基于每一时空图卷积网络层，根据预设的卷积参数，对拓扑结构图组中每一拓扑结构图进行图卷积处理，输出与每一时空图卷积网络层对应的特征信息；根据各特征信息，确定动作数据的动作类别；这个过程中，实现了动作数据的时间特征和空间特征的同时提取，保持了时间特征和空间特征的一致性，并且构造了不同尺度的拓扑结构图，可以获得更加丰富的特征信息，提高了动作识别的准确性。

技术领域

本申请涉及动作识别领域，尤其涉及一种基于时空图卷积网络的动作识别方法、装置和设备。

背景技术

人体动作识别是一个热点问题，广泛应用在安防、教育、娱乐等行业。目前常见的动作识别是基于人体骨架数据进行的，基于人体骨架数据的动作识别方法可以分为手工构造特征方法和深度学习方法，基于深度学习的方法从精确度上优于基于手工设计特征的方法。

现有技术中，深度学习方法进行动作识别可以分为三类：循环神经网络(Recurrent Neural Network，简称RNN)将动作数据处理为一组时间序列，以获取动作在时间上的变化特征，根据动作在时间上的变化特征对动作进行识别；卷积神经网络(Convolution Neural Network，简称CNN)将动作数据处理为一张图片，以获得动作在空间上的变化特征，根据动作在空间上的变化特征对动作进行识别；图卷积网络(GraphConvolution Network，简称GCN)将人体看作由关节点连接成的若干张图结构，通过构造合适的卷积核对节点卷积获得动作空间特征，再经过一层时间卷积网络获得时间特征，进而根据动作在时间、空间上的变化特征对动作进行识别。

然而现有技术中，不能同时提取动作数据的时间特征和空间特征，不能保持时间特征和空间特征的一致性，并且不能获取到动作数据中没有直接相连的关节间点的空间特征，进而不能实现对动作类别的准确识别。

发明内容

本申请提供一种基于时空图卷积网络的动作识别方法、装置和设备，用以解决对动作数据的识别准确度低的问题。

第一方面，本申请提供一种基于时空图卷积网络的动作识别方法，所述时空图卷积网络包括预设个数的时空图卷积网络层，部分时空图卷积网络层特征通道数不同，所述方法包括：

获取目标对象的动作数据，并根据所述动作数据生成拓扑结构图组，其中，所述拓扑结构图组中包括多个尺度的拓扑结构图，不同尺度的拓扑结构图具有不同大小的感受野，每一拓扑结构图由人体关节点集合和人体关节点连接关系矩阵构成，所述人体关节点集合中包括每一人体关节点的时序数据；

基于每一时空图卷积网络层，根据预设的卷积参数，对所述拓扑结构图组中每一拓扑结构图进行图卷积处理，输出与每一时空图卷积网络层对应的特征信息，其中，所述特征信息包括所述拓扑结构图组中每一拓扑结构图的特征矩阵，拓扑结构图的特征矩阵包括所述拓扑结构图中每一人体关节点的时间特征和空间特征；

根据各所述特征信息，确定所述动作数据的动作类别。

在可选的一种实施方式中，所述拓扑结构图组包括全局尺度拓扑结构图、躯干尺度拓扑结构图以及核心尺度拓扑结构图；获取目标对象的动作数据，并根据所述动作数据生成拓扑结构图组，包括：

获取目标对象的动作数据，并识别提取所述动作数据中的人体骨架数据；

确定所述人体骨架数据中的人体关节点，并选取不同的人体关节点，构造全局尺度拓扑结构图、躯干尺度拓扑结构图以及核心尺度拓扑结构图。

在可选的一种实施方式中，选取不同的人体关节点，构造全局尺度拓扑结构图、躯干尺度拓扑结构图以及核心尺度拓扑结构图，包括：