[发明专利]基于时空图卷积网络的动作识别方法、装置和设备

权利要求书

1.一种基于时空图卷积网络的动作识别方法，其特征在于，所述时空图卷积网络包括预设个数的时空图卷积网络层，部分时空图卷积网络层特征通道数不同，所述方法包括：

获取目标对象的动作数据，并根据所述动作数据生成拓扑结构图组，其中，所述拓扑结构图组中包括多个尺度的拓扑结构图，不同尺度的拓扑结构图具有不同大小的感受野，每一拓扑结构图由人体关节点集合和人体关节点连接关系矩阵构成，所述人体关节点集合中包括每一人体关节点的时序数据；

基于每一时空图卷积网络层，根据预设的卷积参数，对所述拓扑结构图组中每一拓扑结构图进行图卷积处理，输出与每一时空图卷积网络层对应的特征信息，其中，所述特征信息包括所述拓扑结构图组中每一拓扑结构图的特征矩阵，拓扑结构图的特征矩阵包括所述拓扑结构图中每一人体关节点的时间特征和空间特征；

根据各所述特征信息，确定所述动作数据的动作类别。

2.根据权利要求1所述的方法，其特征在于，所述拓扑结构图组包括全局尺度拓扑结构图、躯干尺度拓扑结构图以及核心尺度拓扑结构图；获取目标对象的动作数据，并根据所述动作数据生成拓扑结构图组，包括：

获取目标对象的动作数据，并识别提取所述动作数据中的人体骨架数据；

确定所述人体骨架数据中的人体关节点，并选取不同的人体关节点，构造全局尺度拓扑结构图、躯干尺度拓扑结构图以及核心尺度拓扑结构图。

3.根据权利要求2所述的方法，其特征在于，选取不同的人体关节点，构造全局尺度拓扑结构图、躯干尺度拓扑结构图以及核心尺度拓扑结构图，包括：

选取人体所有关节点构成人体关节点集合，并根据人体骨骼连接关系确定人体关节连接关系矩阵，确定全局尺度拓扑结构图；选取人体四肢和躯干中自由度大于预设自由度阈值的关节点构成人体关节点集合，并根据人体骨骼连接关系确定人体关节连接关系矩阵，确定所述躯干尺度拓扑结构图；选取人体末端的关节点构成人体关节点集合，并根据人体骨骼连接关系确定人体关节连接关系矩阵，确定所述核心尺度拓扑结构图。

4.根据权利要求2所述的方法，其特征在于，所述全局尺度拓扑结构图用于获取所述动作数据的细节特征，所述躯干尺度拓扑结构图用于获取所述动作数据的局部特征，所述核心尺度拓扑结构图用于获取所述动作数据的全局特征；基于每一时空图卷积网络层，根据预设的卷积参数，对所述拓扑结构图组中每一拓扑结构图进行图卷积处理，输出与每一时空图卷积网络层对应的特征信息，包括：

基于每一时空图卷积网络层，根据预设的卷积参数，对所述拓扑结构图组中每一拓扑结构图的每一人体关节点进行卷积处理和聚合处理，提取每一拓扑结构图中每一人体关节点的时间特征和空间特征，并对每一拓扑结构图中各人体关节点的时间特征和空间特征进行激活和归一化处理，确定每一拓扑结构图的特征矩阵；

对各拓扑结构图的特征矩阵进行特征融合处理，输出与每一时空图卷积网络层对应的特征信息，其中，所述特征融合处理包括特征拼接、特征相加以及集成学习方法中的一种或多种。

5.根据权利要求4所述的方法，其特征在于，基于每一时空图卷积网络层，根据预设的卷积参数，对所述拓扑结构图组中每一拓扑结构图的每一人体关节点进行卷积处理和聚合处理，提取每一拓扑结构图中每一人体关节点的时间特征和空间特征，包括：

根据每一拓扑结构图中的人体关节连接关系矩阵，获取所述拓扑结构图中的每一关节点的关联关节点集合，其中，所述关联关节点集合中的每一关节点都与对应的关节点具有空间关联关系；

根据预设卷积参数对每一关联关节点集合中的关节点进行卷积处理和聚合处理，获取对应关节点的时间特征和空间特征。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：

获取所述目标对象的动作视频，对所述动作视频进行预处理，生成预设个数的动作帧；

根据所述预设个数的动作帧，确定所述目标对象的动作数据。