[发明专利]一种基于图卷积网络的扩展动作识别方法

说明书

一种基于图卷积网络的扩展动作识别方法。然而，传统GCN中的静态骨架图拓扑不反映非相邻关节的隐含关系，其中包含动作序列中骨架姿势的重要潜在信息。此外，传统的三分类节点划分策略丢弃了非物理连接边沿时间维度的大部分运动相关性。该方法提出了一个扩展的骨架图拓扑以及扩展的分区策略，以提取模型中的大部分非相邻关节的关系信息。扩展骨架图将关节表示为顶点，加权边分别表示物理连接和非物理连接关节之间的内在和外在关系。此外，扩展分区策略将GCN的输入图划分为五类固定长度张量，以包含最大运动相关性。最后，采用时空图卷积网络(ST‑GCN)实现扩展骨架图和分区策略。此外，该方法还采用关键点信息和骨骼信息作为输入的双分支结构，每个分支网络结构相同。在两个大型数据集NTU‑RGB+D和Kinetics‑Skeleton上进行的实验表明，其性能优于传统的最先进的ST‑GCN。

一、技术领域:

本发明涉及动作识别应用领域，提出一种基于图卷积网络的扩展动作识别方法，主要作用于视频动作识别。

二、背景技术:

动作识别技术是一种对视频中人类行为进行估计的技术，其根据拍摄的视频或者实时视频，通过手工特征或者深度学习等技术对输入的视频提取出可以代表人体动作的高阶信息，最后通过对高阶信息进行处理分类得到视频中人体动作的分类。

动作识别算法按照输入数据的类型可以分为基于人体骨架序列的动作识别算法和基于视频数据的动作识别算法。基于视频的动作识别早期使用手工设计特征完成识别任务。但是，传统的手工设计的特征无法对视频进行全面建模，从而具有一定的局限性。随着深度学习的发展，人们逐渐将深度学习算法如卷积神经网络(CNN)、循环神经网络(RNN)，应用到视频动作识别中。基于骨架序列的动作识别和基于视频动作识别相比，其只记录了人体关节点的运动轨迹，因此模型更加轻量，同时因为其不会受到背景噪声的影响，具有更好的鲁棒性。基于骨骼序列的动作识别技术输入为连续时间内人体关节点的特征信息。考虑到需要对骨骼序列中的时间序列建模，因此有些研究者使用带有长短期记忆单元(LSTM)的循环神经网络来学习骨架序列的特征。虽然LSTM网络可以学习时间序列的特征，但是它仍然很难记住整个动作序列的信息。同时，构建深度LSTM来提取人体骨架的高维度信息十分困难。与LSTM不同，利用CNN模型可以高效轻松地学习人体骨架序列的高维度信息。但是基于CNN和基于LSTM的方法都不能完全表示骨架数据的结构，因为骨架数据是图形结构并不是矢量序列或者二维网格，因此研究者开始使用图卷积网络来实现动作识别。ST-GCN首次将图卷积网络引入到基于人体骨架序列的动作识别算法中，并且其实验结果精度超过了之前大多数的动作识别算法。

三、发明内容：

本发明的目的是针对现有技术的局限性，提出了一种基于ST-GCN改进的动作识别方法。在基于图卷积的动作识别系统中，首先需要利用人体关节点信息构建人体骨架图，接着利用分区策略对关节点进行分类，最后如何通过人体关节点信息获得骨骼信息也是影响动作识别系统精度的关键。

为了实现上述算法，本发明需要完成的内容有：(1)根据人体关节点信息构建扩展人体骨架图。(2)设计更加适合于人体动作识别的分区策略。(3)设计合适的骨骼信息。(4)利用关节点信息和骨骼信息进行动作识别。

在图结构上的信息可以用邻接矩阵表示，其中带权图的边是已经赋值权重的，而不带权图种的相邻节点之间的边权重为1。在ST-GCN中，空间中的人体骨架图通过人体关节点的自然连接来实现，因此将人体骨架图表示为一个不带权图。但是这种构建空间中人体骨架图的方式没有考虑到非相邻关节点对当前关节点影响，体现到邻接矩阵中为不相邻的关节点之间的权值是0，同时该建图方式也不能体现出不同关节点对当前关节点的影响大小。在发明中，考虑到人体动作是依靠所有关节点的联动来实现，因此本节提出了一种扩展人体骨架图。