[发明专利]一种基于广义图卷积和强化学习的人体骨架动作识别方法

说明书

本发明提出了一种基于广义图卷积和强化学习的人体骨架动作识别方法。本发明构建人体骨架序列矩阵，构建预定义骨架图，将训练集送入到广义图卷积网络中进行特征提取，利用全局平均池化对特征进行聚合，利用全连接层分类器对特征进行分类，根据损失函数更新网络参数；结合训练后的广义图卷积网络、分类器，广义图卷积学习到的特征，构建特征选择网络来自适应地选择时间维上对识别有用的特征，并利用强化学习方法进行训练。本发明针对人体骨架动作识别任务，设计了一个广义图卷积网络，用于捕获任意结点间的相关依赖，以提取结点间更丰富的关联特征。同时设计了一种特征选择网络，用于选择时间维上对识别有用的特征，从而实现更精确的动作识别。

技术领域

本发明属于视频图像处理技术领域，特别是涉及一种基于广义图卷积和强化学习的人体骨架动作识别方法。

背景技术

人体行为识别技术在视频监控，视频检索以及人机交互等方向有着十分广泛的应用。相较于RGB视频，人体骨架序列具有旋转不变性，光照不变性等优良性质，因此基于骨架序列的动作识别在面对复杂场景时具有显著优势。而如今随着深度传感器和人体姿态估计算法的发展，获取人体的骨架序列也变得越来越容易。

早先的传统方法主要是针对人体骨架设计对人体动作或人体-对象交互有概况性的特征描述符。一般而言，这类特征应具有平移，旋转不变性，以及对时序数据有较强的鲁棒性。虽然这类算法不需要大量数据用于学习，可以快速对识别任务进行针对性的部署。但识别精度差，容易受环境和场景的影响，当面对复杂场景或复杂动作时难以是被准确识别。

随着深度学习技术在计算机视觉领域的发展，基于深度学习的方法也被逐步应用于人体骨架动作识别。其主要分为基于递归神经网络(Recurrent Neural Network,RNN)，基于卷积神经网络(Convolutional Neural Network，CNN)和基于图卷积神经网络的方法(Graph Convolutional Neural Network，GCN)。

基于递归神经网络的方法将骨架表示成一个向量序列作为神经网络的输入，通过学习各种递归神经网络来学习骨架在时序上的关联特征。长短期记忆网络(Long-ShortTerm Memory,LSTM)目前被认为是处理长时序关联的一种较好的方法，能够有效解决普通递归神经网络中存在的梯度弥散等问题，因此这类方法也被有效迁移到人体骨架动作识别中。然而这类方法忽略了骨架的空间结构信息，因此在识别精度上还无法达到实际应用的标准。

基于卷积神经网络的方法将骨架表示为一副虚拟的图像，“长宽”分别为时间维数与关节结点数，通过参数共享的方式学习骨架动作在时空上的关联特征。其中，骨架的空间坐标和相邻帧骨架的运动向量通常作为输入特征，以双流的形式利用卷积神经网络分别学习动作的空间和时间特征。这类方法虽然特征学习能力很强，但依然没有利用骨架本身的结构特性。

基于图卷积的方法将骨架视为一个时空关联的图，其各帧的骨架结点为图的结点，骨架物理上相邻的结点之间以及同一结点相邻帧之间构成图的边。这种数据表达方式能更清晰直观的描述一个骨架序列。且图卷积能将卷积神经网络扩展到非欧式数据中，因此被用来在上述骨架图中提取时空关联的特征。这种特征同时包含了骨架的空间结构和时序信息，因此能够取得不错的识别效果。

目前，虽然基于图卷积的方法已经取得了不错的效果，但依然存在两个问题：图卷积只能提取局部的关联特征而不能获取结点间的长距离依赖。图卷积在最后对特征在时间维上采用全局平均池化的方式聚合，而时间维上并非每个特征都对最后的预测结果有用。本发明对骨架获取方式没有限制，适用于基于结构光、多目视觉、飞行时间距离原理等方法的深度相机。本发明对数据维度没有限制，2D或3D的骨架数据都能作为网络的输入。

发明内容

为了解决上述提到的问题并且进一步提升人体骨架动作识别的效果，本发明提出了一种基于广义图卷积和强化学习的人体骨架动作识别方法，具体包括以下步骤：