[发明专利]基于多视角三维骨骼信息融合的动态手势识别方法

说明书

本发明提出了一种基于多视角三维骨骼信息融合的动态手势识别方法。包含：采用基于滑动窗口的检测方法对原始动态多手势序列进行分割，得到多个单手势序列；将各个单手势序列进行三维空间坐标变换，获得对应的多视角三维骨骼信息；对每个多视角三维骨骼信息进行编码，得到对应多个视角的单视角总骨骼图；将各个视角的单视角总骨骼图分别输入到对应的分支卷积神经网络进行特征提取后，再输入到基于视角注意力机制的聚合网络中，接着依次输入到展平层和全连接层中，全连接层输出单手势分类结果。本发明可以解决传统采用单一视角的手势识别方法中空间信息利用不充分，复杂手势难识别，鲁棒性差等问题，在识别准确率上有很大提升。

技术领域

本发明属于人机交互领域，涉及了一种动态手势识别方法，具体涉及了一种基于多视角三维骨骼信息融合的动态手势识别方法。

背景技术

在人机交互领域，动态手势作为一种自然且高效的交流媒介，已经被应用到机器人远程控制，虚拟装配，手语识别等多个方面。动态手势识别作为智能手势交互中最重要的一个环节，已经得到了研究者们越来越广泛的关注。现有的动态识别方法根据输入数据的不同可以分为基于图像识别方法和基于手部骨骼数据的识别方法。其中，基于图像的方法容易受光照变化的影响，导致手部特征不易提取。而基于三维骨骼数据的方法对光照和背景变化十分鲁棒并且运算量小，因此成为一种主流的研究方法。

国内外学者对基于三维骨骼数据的手势识别展开了一系列研究。一些研究者通过人工设计特征的方式进行手势分类。然而这种方式设计的特征区分能力较差，导致手势识别率较低。随着深度神经网络的快速发展，一些学者用循环神经网络(RNN)和长短期记忆单元(LSTM)对三维骨骼数据进行特征提取，达到了较好的分类效果。但是这类网络在遇到较长时间的序列时，会出现梯度消失问题，导致网络不能进一步优化。随着卷积神经网络(CNN)引入到图像分类领域，很多学者采用CNN从三维骨骼数据中提取深度特征，进一步用于手势分类，并取得了一定进展。

然而现有的基于CNN的三维骨骼数据的手势识别方法均采用单一视角观察的手势序列作为输入，这种方法忽略了“视角”这一重要因素对于手势识别准确率的影响。“视角”对于手势识别率的影响主要集中在两个方面。一方面，从不同视角观察手势序列能够更好地捕获手势序列的空间结构信息，这些空间信息有助于更加全面地描绘手势序列的特征；另一方面，某些手势从单一视角识别困难，而从另外的视角可能会更容易识别。

发明内容

为了解决上述背景技术中存在的问题，本发明提出了一种基于多视角三维骨骼信息融合的动态手势图像识别方法。本发明通过对多视角骨骼信息的充分利用，能够解决传统采用单一视角的手势识别方法中空间信息利用不充分，复杂手势难识别，鲁棒性差等问题。本发明提出的方法对于提高动态手势识别的准确率具有重要意义，可以简单有效部署在其他分类任务中，具有广泛的应用价值。

本发明的技术方案如下，主要包括以下步骤：

S1：采用基于滑动窗口的检测方法对原始动态多手势序列进行分割和处理后，得到多个等长的单手势序列；

S2：将每个单手势序列进行三维空间坐标变换，获得对应的多视角三维骨骼信息；

S3：对当前多视角三维骨骼信息进行编码，得到对应多个视角的单视角总骨骼图，每个视角的单视角总骨骼图由X坐标、Y坐标和Z坐标骨骼图组成；

S4：将各个视角的单视角总骨骼图分别输入到对应的分支卷积神经网络进行特征提取，分别得到对应的单视角深度特征，由多个单视角深度特征构成当前单手势序列的多视角深度特征；

S5：将当前单手势序列的多视角深度特征输入到基于视角注意力机制的聚合网络进行特征聚合，生成当前单手势序列的全局特征；

S6：将当前单手势序列的全局特征依次输入到展平层和全连接层中进行手势分类，全连接层输出当前单手势序列的分类结果；

S7：重复S2-S6，对剩余的单手势序列进行分类，获得对应的手势分类结果。