[发明专利]基于多视角三维骨骼信息融合的动态手势识别方法

权利要求书

1.一种基于多视角三维骨骼信息融合的动态手势识别方法，其特征在于，包括以下步骤：

S1：采用基于滑动窗口的检测方法对原始动态多手势序列进行分割和处理后，得到多个等长的单手势序列；

S2：将每个单手势序列进行三维空间坐标变换，获得对应的多视角三维骨骼信息；

S3：对当前多视角三维骨骼信息进行编码，得到对应多个视角的单视角总骨骼图，每个视角的单视角总骨骼图由X坐标、Y坐标和Z坐标骨骼图组成；

S4：将各个视角的单视角总骨骼图分别输入到对应的分支卷积神经网络进行特征提取，分别得到对应的单视角深度特征，由多个单视角深度特征构成当前单手势序列的多视角深度特征；

S5：将当前单手势序列的多视角深度特征输入到基于视角注意力机制的聚合网络进行特征聚合，生成当前单手势序列的全局特征；

S6：将当前单手势序列的全局特征依次输入到展平层和全连接层中进行手势分类，全连接层输出当前单手势序列的分类结果；

S7：重复S2-S6，对剩余的单手势序列进行分类，获得对应的手势分类结果。

2.根据权利要求1所述的一种基于多视角三维骨骼信息融合的动态手势识别方法，其特征在于，所述S1具体为：

S11：采用固定长度的滑动检测窗口在原始动态多手势序列上进行滑动检测，确定各个手势的开始位置和结束位置，根据各个手势的开始位置和结束位置对对应手势进行定位，进而将原始动态多手势序列分割成多个具有单个手势的手势序列并作为单手势序列；

S12：采用二维线性插值的方法对各个单手势序列进行序列长度调整，使得各个单手势序列的长度等长。

3.根据权利要求1所述的一种基于多视角三维骨骼信息融合的动态手势识别方法，其特征在于，所述S2中，每个单手势序列利用以下公式进行三维空间坐标变换，具体公式如下：

其中，sⁱ_t,j表示当前单手势序列中第t帧的第i个视角的骨骼点坐标的集合，分别表示当前单手势序列中第t帧的第i个视角的第j个骨骼点的X坐标、Y坐标和Z坐标，i∈[1,N]，N表示视角总数；t∈[1,T]，T表示当前单手势序列的总长度；j∈[1,J]，J表示骨骼点总数，T表示转置操作，x_t,j,y_t,j,z_t,j表示当前单手势序列中第t帧的第j个骨骼点的X坐标、Y坐标和Z坐标，表示Z轴旋转矩阵，表示当前单手势序列在第i个视角下绕Z轴旋转的角度。

4.根据权利要求1所述的一种基于多视角三维骨骼信息融合的动态手势识别方法，其特征在于，所述S3中，将当前多视角三维骨骼信息在视角维度上进行拆分，获得多个单视角的三维骨骼信息，基于各个单视角的三维骨骼信息，根据骨骼点之间的链接关系将各个骨骼点的空间顺序重新编码，得到各个视角的单视角总骨骼图。

5.根据权利要求1所述的一种基于多视角三维骨骼信息融合的动态手势识别方法，其特征在于，所述S4中各个分支卷积神经网络的结构相同，包括六个卷积层、维度变换层和四个池化层，

分支卷积神经网络的输入输入到第一卷积层中，第一卷积层与第二卷积层相连，第二卷积层与维度变换层相连，维度变换层依次经第三卷积层、第一池化层、第四卷积层、第二池化层、第五卷积层、第三池化层、第六卷积层后与第四池化层相连，第四池化层的输出作为分支卷积神经网络的输出，分支卷积神经网络输出当前单手势序列的单视角深度特征。

6.根据权利要求1所述的一种基于多视角三维骨骼信息融合的动态手势识别方法，其特征在于，所述各个多分支卷积神经网络之间采用参数共享的方式进行训练。