[发明专利]一种基于掩码图自编码器的骨架序列识别方法及系统

说明书

本发明公开了一种基于掩码图自编码器的骨架序列识别方法及系统，包括步骤如下：建立骨架动作识别模型，利用骨架动作识别模型识别骨架序列，实现预测动作类别；所述的骨架动作识别模型包括一个M层的空间‑时间表示学习模型和一层分类器；所述的空间‑时间表示学习模型包括两个并联连接的掩码图自编码器，且掩码图自编码器的输出端通过1×1卷积与输入端进行残差连接。本发明将一个M层的空间‑时间表示学习模型和一层分类器构建骨架动作识别模型，其利用不同骨架关节之间的细粒度依赖关系来训练学习，是一个高效的骨架序列学习模型，可以在不同的数据集上很好地泛化。

技术领域

本发明涉及视频动作表示学习技术领域，更具体的，涉及一种基于掩码图自编码器的骨架序列识别方法及系统。

背景技术

人类动作识别在视频理解中引起了越来越多的关注，由于人类动作识别在人机交互、智能监控安全、虚拟现实等方面的广泛应用。在视觉感知方面，即使没有外观信息，人类也可以只通过观察关节的运动来识别动作类别。与RGB视频不同，骨架序列只包含人体关键关节的坐标信息，具有高层次、轻量级、对复杂背景和各种条件（包括视点、比例和运动速度）的鲁棒性。此外，随着人体姿态估计算法的发展，人体关节（即关键点）的定位方法有了很大的进步，获得准确的骨架序列是可行的。由于对人体运动的细粒度和大变化进行建模的能力潜力巨大且迅速发展，与RGB数据相比，骨架序列更适合区分具有细微差别的类似动作。为了捕捉具有鉴别力的时空运动模式，现有的基于骨架的动作识别方法都是完全监督的，通常需要大量的标记数据来训练精心设计的模型，这既费时又费力。为了缓解有限的标记训练数据的问题，基于自监督的骨架动作识别方法最近引起了越来越多的关注。一些对比性学习方法采用了数据增强的方法来产生正负样本对，但它们在很大程度上依赖于对比对的数量。随着编码器-解码器的普及，一些方法按照图编码器-解码器的范式，通过链接重构掩盖的骨架序列来鼓励拓扑的接近性。然而，这些方法通常在链接预测和节点聚类方面表现良好，但在节点和图的分类方面却不尽人意。

对于准确的动作识别，不同骨架关节之间的细粒度依赖关系（即图分类）是至关重要的。但是，以前基于自监督学习的方法往往忽略了不同骨架关节之间的细粒度依赖关系，这限制了自监督骨架表示的通用性。

发明内容

本发明为了解决以上现有技术忽略了不同骨架关节之间的细粒度依赖关系，限制了自监督骨架表示的通用性的问题，提供了一种基于掩码图自编码器的骨架序列识别方法及系统。

为实现上述本发明目的，采用的技术方案如下：

一种基于掩码图自编码器的骨架序列识别方法，所述的方法包括步骤如下：

建立骨架动作识别模型，利用骨架动作识别模型识别骨架序列，实现预测动作类别；

所述的骨架动作识别模型包括一个 M层的空间-时间表示学习模型和一层分类器；

所述的空间-时间表示学习模型包括两个并联连接的掩码图自编码器，且掩码图自编码器的输出端通过1×1卷积与掩码图自编码器的输入端进行残差连接。

优选地，所述掩码图自编码器包括一个编码器和一个解码器，其中，编码器包括三层GIN，解码器包括一层GIN。

优选地，建立关于骨架关节和骨架关节的拓扑结构的图结构，将骨架关节的拓扑结构和骨架关节特征进行融合，得到骨架序列矩阵， N表示骨架关节的数量， T表示骨架序列的数量；将骨架序列矩阵S转化为具有可学习参数的， D表示对原始骨架序列矩阵S进行升维；