[发明专利]一种基于掩码图自编码器的骨架序列识别方法及系统

权利要求书

1.一种基于掩码图自编码器的骨架序列识别方法，其特征在于：所述的方法包括步骤如下：

建立骨架动作识别模型，利用骨架动作识别模型识别骨架序列，实现预测动作类别；

所述的骨架动作识别模型包括一个M层的空间-时间表示学习模型和一层分类器；

所述的空间-时间表示学习模型包括两个并联连接的掩码图自编码器，且掩码图自编码器的输出端通过1×1卷积与掩码图自编码器的输入端进行残差连接。

2.根据权利要求1所述的基于掩码图自编码器的骨架序列识别方法，其特征在于：所述掩码图自编码器包括一个编码器和一个解码器，其中，编码器包括三层GIN，解码器包括一层GIN。

3.根据权利要求1所述的基于掩码图自编码器的骨架序列识别方法，其特征在于：建立关于骨架关节和骨架关节的拓扑结构的图结构，将骨架关节的拓扑结构和骨架关节特征进行融合，得到骨架序列矩阵，N表示骨架关节的数量，T表示骨架序列的数量；将骨架序列矩阵S转化为具有可学习参数的，D表示对原始骨架序列矩阵S进行升维；

对于每个骨架关节特征矩阵，图结构表示一个骨架，其中，是包含所有骨架关节的节点集；是一个邻接矩阵，如果i和j是物理连接的，则，否则为0；节点的骨架关节特征表示为，。

4.根据权利要求2所述的基于掩码图自编码器的骨架序列识别方法，其特征在于：利用被遮蔽的骨架关节特征训练掩码图自编码器重建骨架序列，具体地，所述掩码图自编码器基于建立的骨架关节掩码策略、重加权损失函数对被遮蔽的骨架关节特征进行重建训练。

5.根据权利要求4所述的基于掩码图自编码器的骨架序列识别方法，其特征在于：建立骨架关节掩码策略，具体如下：

将按身体部位进行划分，每个部位对应一个第一关节子集，随机选择一个或多个第一关节子集，由一个或多个第一关节子集组成一个第二关节子集；

然后，用一个可学习的掩码令牌向量对人体骨架序列的每个骨架关节特征进行掩码；因此，被屏蔽的骨架关节特征在被屏蔽的关节特征矩阵定义为：如果，则，否则；

将骨架关节特征矩阵作为掩码图自编码器的输入，骨架关节特征矩阵中的每个骨架关节特征定义为；

因此，被遮蔽的骨架被表述为。

6.根据权利要求5所述的基于掩码图自编码器的骨架序列识别方法，其特征在于：所述的掩码图自编码器重建被遮蔽的骨架关节特征，定义为：

其中，H表示编码器输出的中间层特征矩阵，Y表示解码器输出的骨架关节特征矩阵；

所述的掩码图自编码器的目标是最小化H和Y之间的差异。

7.根据权利要求6所述的基于掩码图自编码器的骨架序列识别方法，其特征在于：所述重加权损失函数表示在所有被掩码的节点上，重建的骨架关节特征与输入的原始骨架关节特征之间的相似性差距的平均值，具体如下：

给定原始骨架关节特征矩阵和重建后的解码器输出的骨架关节特征矩阵，重加权损失函数定义为：

式中，原始骨架关节特征，包含在中；表示重建的骨架关节特征，包含在中，表示缩放系数。