[发明专利]一种基于并联卷积神经网络的人体骨骼动作识别方法

权利要求书

1.一种基于并联卷积神经网络的人体骨骼动作识别方法，其特征在于，包括以下步骤：

1)获取骨骼数据并进行预处理，剔除无关骨骼数据和修复不全的数据后进行归一化处理；

2)设计并联卷积神经网络的基础模块结构；

3)设置训练参数，并进行误差反向传播；

4)将并联卷积神经网络的基础模块插入语义引导神经网络SGN网络中，构建人体骨骼动作识别网络模型，并在骨骼数据集上进行跨视角和跨物体的训练和测试；

5)以处理后的骨骼数据作为输入，根据训练好的人体骨骼动作识别网络模型进行人体骨骼动作识别。

2.根据权利要求1所述的一种基于并联卷积神经网络的人体骨骼动作识别方法，其特征在于，所述的步骤1)中，剔除不符合规范或数据尺度未在设定范围内的骨骼数据，并采用插值法生成新的骨骼数据，通过深度学习框架Pytorch中的BatchNorm2d方式进行归一化处理。

3.根据权利要求1所述的一种基于并联卷积神经网络的人体骨骼动作识别方法，其特征在于，所述的步骤2)中，基础模块由图卷积网络GCN和二维卷积网络CNN并联构成，分别对输入的骨骼数据进行独立卷积后经过激活函数ReLU进行非线性处理，增大网络的信息提取能力，所述的图卷积网络GCN用以提取空间信息特征，通过可学习的邻接矩阵提取人体各骨骼点之间的动作联系，所述的二维卷积网络CNN用以提取不同帧间的光流信息，即规则的时间帧信息。

4.根据权利要求3所述的一种基于并联卷积神经网络的人体骨骼动作识别方法，其特征在于，所述的并联卷积神经网络由一个或多个基础模块通过堆栈构成，用以实现特征提取的即插即用。

5.根据权利要求1所述的一种基于并联卷积神经网络的人体骨骼动作识别方法，其特征在于，所述的步骤3)中，训练参数包括学习率、损失函数、批次大小、迭代次数和损失函数。

6.根据权利要求4所述的一种基于并联卷积神经网络的人体骨骼动作识别方法，其特征在于，所述的步骤4)中，将并联卷积神经网络的基础模块插入语义引导神经网络SGN中具体为：

将即插即用的并联卷积神经网络代替原SGN网络中的GCN模块，形成人体骨骼动作识别网络模型。

7.根据权利要求1所述的一种基于并联卷积神经网络的人体骨骼动作识别方法，其特征在于，所述的步骤4)中，在骨骼数据集NTU-RGB+D 60上进行跨视角和跨物体的训练和测试。

8.根据权利要求7所述的一种基于并联卷积神经网络的人体骨骼动作识别方法，其特征在于，所述的步骤4)中，进行跨视角和跨物体的训练和测试具体包括：

调整二维卷积网络CNN的卷积核尺寸，重复步骤4)，直至获取跨视角和跨物体的准确率最高时对应的卷积核尺寸，并将对应的尺寸参数作为基础模块的模型参数；

固定基础模块的尺寸参数，调整并联卷积网络的堆栈层数和中间层的通道维数，重复步骤4)，直至获取跨视角和跨物体的准确率最高时对应的堆栈层数和中间层的通道维数，完成并联卷积网络的模型参数设计。

9.根据权利要求1所述的一种基于并联卷积神经网络的人体骨骼动作识别方法，其特征在于，所述的步骤5)中，二维卷积网络CNN的卷积核尺寸的调整包括1×1尺寸、1×3尺寸和3×3尺寸。

10.根据权利要求1所述的一种基于并联卷积神经网络的人体骨骼动作识别方法，其特征在于，所述的步骤6)中，并联卷积网络的堆栈层数的调整包括1、2、3、4和5，中间层的通道维数的调整包括64、64*2和64*4。