[发明专利]一种基于并联卷积神经网络的人体骨骼动作识别方法

说明书

本发明涉及一种基于并联卷积神经网络的人体骨骼动作识别方法，包括以下步骤：1)获取骨骼数据并进行预处理，剔除无关骨骼数据和修复不全的数据后进行归一化处理；2)设计并联卷积神经网络的基础模块结构；3)设置训练参数，并进行误差反向传播；4)将并联卷积神经网络的基础模块插入语义引导神经网络SGN网络中，构建人体骨骼动作识别网络模型，并在骨骼数据集上进行跨视角和跨物体的训练和测试5)以处理后的骨骼数据作为输入，根据训练好的人体骨骼动作识别网络模型进行人体骨骼动作识别。与现有技术相比，本发明具有提高识别精度的同时大大降低数据量、应用范围广、即插即用等优点。

技术领域

本发明涉及机器人学习与计算机视觉领域，尤其是涉及一种基于并联卷积神经网络的人体骨骼动作识别方法。

背景技术

动作识别广泛应用于视频监控、人机交互、智能驾驶等领域。基于视频的动作识别可分为基于RGB像素点的动作识别和基于骨骼的动作识别，基于骨骼的动作识别由于计算量少且能保留丰富的动作行为信息而广泛被研究。

基于骨骼的算法目前分为传统的提取特征方法，如时空兴趣点法、稠密轨迹法和能量直方图法以及深度学习算法，如卷积神经网络算法、图卷积神经网络等，卷积神经网络要求输入数据是规则且具有欧式距离，而人体骨骼拓扑是不规则的，骨骼点之间的距离是非欧式距离，图卷积网络通过邻接矩阵解决了这一问题，然而现有的图卷积网络往往需要很多层的堆栈才能达到一个比较好的识别精度。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于并联卷积神经网络的人体骨骼动作识别方法。

本发明的目的可以通过以下技术方案来实现：

一种基于并联卷积神经网络的人体骨骼动作识别方法，包括以下步骤：

1)获取骨骼数据并进行预处理，剔除无关骨骼数据和修复不全的数据后进行归一化处理；

2)设计并联卷积神经网络的基础模块结构；

3)设置训练参数，并进行误差反向传播；

4)将并联卷积神经网络的基础模块插入语义引导神经网络(SGN)网络中，构建人体骨骼动作识别网络模型，并在骨骼数据集上进行跨视角和跨物体的训练和测试；

5)以处理后的骨骼数据作为输入，根据训练好的人体骨骼动作识别网络模型进行人体骨骼动作识别。

所述的步骤1)中，剔除不符合规范或数据尺度未在设定范围内的骨骼数据，并采用插值法生成新的骨骼数据，通过深度学习框架Pytorch中的BatchNorm2d方式进行归一化处理。

所述的步骤2)中，基础模块由图卷积网络(GCN)和二维卷积网络(CNN)并联构成，分别对输入的骨骼数据进行独立卷积后经过激活函数(ReLU)进行非线性处理，增大网络的信息提取能力，所述的图卷积网络(GCN)用以提取空间信息特征，通过可学习的邻接矩阵提取人体各骨骼点之间的动作联系，所述的二维卷积网络(CNN)用以提取不同帧间的光流信息，即规则的时间帧信息。

所述的并联卷积神经网络由一个或多个基础模块通过堆栈构成，用以实现特征提取的即插即用。

所述的步骤3)中，训练参数包括学习率(lr)、损失函数(loss)、批次大小(batch_size)、迭代次数(epoch)和损失函数。

所述的步骤4)中，将并联卷积神经网络的基础模块插入语义引导神经网络SGN中具体为：

将即插即用的并联卷积神经网络代替原SGN网络中的GCN模块，形成人体骨骼动作识别网络模型。

所述的步骤4)中，在骨骼数据集NTU-RGB+D 60上进行跨视角和跨物体的训练和测试。

所述的步骤4)中，进行跨视角和跨物体的训练和测试具体包括：