[发明专利]一种基于深度图像的手势识别方法与系统

说明书

技术领域

本发明属于计算机视觉技术领域，更具体地，涉及一种基于深度图像的手势识别方法与系统。

背景技术

手势识别由于其广泛应用于虚拟现实，手语识别和电脑游戏等人机交互(HCI，human-computer interaction)中而受到重视。尽管有大量的前期工作，传统基于视觉的手势识别方法在现实生活中的应用仍然远远不能令人满意。基于光学传感器的方法因为光学感测的性质，所捕获图像的质量是敏感于光线条件和杂乱背景，因而通常无法鲁棒地检测和跟踪手，这在很大程度上影响了手势识别的性能。为了提供更稳健的手势识别，有效途径之一是使用其他传感器捕获手势和运动，例如通过数据手套。不同于光学传感器，这种传感器通常更可靠且不受照明条件或杂乱背景影响。然而，因为它需要用户佩戴数据手套，使用不方便，并且通常比光学传感器更昂贵。因此，它也不是一个非常受欢迎的手势识别方法。

由于深度相机的最新发展，如Kinect传感器，手势识别出现了新的机会。由于Kinect可以利用它的景深摄像头提供深度图像，其中的像素记录了场景中各点的校准深度，可以很好的消除背景噪音，提取出人的信息。Kinect已被用来实现实时人体跟踪，这引发了基于自然界面应用的新时代。J.Shotton、A.Fitzgibbon、M.Cook、A.Blake所著，2011年发表在会议“In Proceedings of IEEE conference on Computer Vision and Pattern Recognition”的文章“Real-time human pose recognition in parts from single depth images”使用了基于对象识别的方法找到适合人体的骨架。这个想法也适用于手姿势估计问题，但人体和手之间也有一些明显的差异：(1)一只手的投影深度图像比人体小得多；(2)人体可以被假定为是直立的，但用手可以是任意方向；(3)在手的情况下，可能有意义的结构数目要大得多，而且自遮挡问题是严重的。也就是说，相对于人体来说，需要更充分地利用Kinect传感器捕获到的深度信息来检测和识别手势。Z.Ren、J.Yuan、Z.Zhang所著，2011年发表在会议“In Proceedings of ACM International Conference on Multimedia”的文章“Robust hand gesture recognition based on finger-earth mover’s distance with a commodity depth camera”最先提出了一个完整的基于Kinect的手势识别系统，采用基于手指-陆地移动器的距离(FEMD，Finger-Earth Mover’s Distance)的模板匹配方法来识别手势。它使用近凸分解检测出匹配过程中所需要的手指特征，在稳定性和精度上的表现都不错。然而，该方法的高计算复杂度对识别的效率有一定的影响，且对于复杂手势的识别存在很大程度的限制，例如手语识别。

如上所述，大多数早期的基于深度信息的手势识别方法只考虑单个视图的二维轮廓，并没有充分利用由深度图所传送的三维形状和拓扑信息。考虑到手的高度灵活性和现实场景中待识别手势类型的复杂性，一些研究人员已经意识到，有必要去探索使用Kinect传感器的基于三维信息视觉手势识别。为了从深度图中捕捉和编码3D(3Demission)形状信息，C.Zhang、X.Yang、Y.Tian所著，2011年发表在会议“IEEE International Conference and Workshops on Automatic Face and Gesture Recognition”的文章“Histogram of 3D facets:a characteristic descriptor for hand gesture recognition”提出一种名为3D小平面直方图(H3DF，Histogram of 3D Facets)的新的特征描述符。在3D深度图中定义了一个三维点云的局部支持表面，用以捕捉每一个点云的局部表面特性。然而，有效地获取局部支持表面是非常具有难度的。此外，基于H3DF的手势识别方法在复杂的大手势数据集上的分类准确率也有待进一步的提高。

发明内容

本发明的目的在于提供一种基于深度图像的手势识别方法，该方法可以有效地捕捉和描述深度图像传达的丰富三维形状和拓扑信息，并且识别准确率高。

为实现上述目的，按照本发明的一个方面，提供了一种基于深度图像的手势识别方法，包括下述步骤：