[发明专利]一种基于特征协方差矩阵的动态手势识别方法

说明书

本发明提出了一种基于特征协方差矩阵的动态手势识别方法，为二维与三维动态手势识别提供一个统一的框架；对二维动态手势识别而言，只需对连续三帧中手部区域的FAST角点进行精确地跟踪，而不需要对整个人手进行精确地跟踪，这样大大降低了跟踪的要求，实现起来更加容易；对三维动态手势识别而言，使用RealSense F200自带的SDK实时地获取人手的三维骨架信息，并获取每帧中手部关节点的三维坐标，能够对手势进行鲁棒地跟踪；对数协方差矩阵描述子为整个手势序列提供了一个紧凑的表示，大大提高了SVM模型的训练效率和整个手势识别系统的效率。

技术领域

本发明涉及图像处理与分析技术领域，具体涉及一种基于特征协方差矩阵的动态手势识别方法。

背景技术

基于视觉的手势识别在人机交互、机器人控制、虚拟现实等领域具有极其重要的作用，因此其在计算机视觉领域受到了广泛的关注。一般而言，手势可以分为两种类型：静态手势与动态手势。静态手势识别主要是从单幅图像中识别手的姿态，因此其在很大程度上受限于实际的应用场景。与静态手势相比，动态手势包含了手的运动过程，能够传递更多的信息。此外，动态手势一般在移动的环境中进行采集，使得动态手势识别具有更加广泛的应用场景。

根据采集手势的相机类型，动态手势可以分为二维或三维动态手势。在二维动态手势识别中，传统的RGB相机被用来采集一系列手势图片序列。与二维相机相比，深度相机能提供手势的深度信息，对背景扰乱以及光照变化等复杂环境具有更好的鲁棒性。因此，三维动态手势识别广泛地使用RGB-D相机作为手势采集设备。然而，在一些对成本要求较高的应用场景传统的RGB相机比RGB-D相机更有优势。

目前，主流的动态手势识别方法包括机器学习与模板匹配。对二维动态手势识别而言，一个完整的手势可以用各种各样的特征来表示，这些特征都是从人的手部区域提取而来。经典的机器学习方法，例如HMM、KNN等生成模型以及ANN、SVM等判别模型都可以被用来对手势进行分类。然而，这些模型的鲁棒性面临三个方面的挑战：(1)需要正确地分割出人手以便获取手的形状以及轮廓；(2)需要精确地跟踪人手以便获取手的运动轨迹；(3)HMM与ANN等模型的训练过程很复杂且需要大量的训练样本。基于模板匹配的二维动态手势识别方法首先从手势视频中提取一系列视频描述子，然后直接将这些提取的视频描述子与模板手势的视频描述子进行匹配。然而，这些视频描述子大多数来自人体行为识别领域，对动态手势识别而言它们并不能达到最优的性能。一个重要的原因是动态手势持续时间一般较短，能够提取的视频描述子较少，不能充分地对动态手势进行描述。其它原因包括提取特征的过程比较耗时以及当模板库较大时的匹配效率问题。

对三维动态手势识别而言，一方面，动态手势可以用深度视频序列来表示。这样就可以从深度视频中提取特征并用机器学习或模板匹配的方法对手势进行分类。另一方面，动态手势也可以用手部关节点的运动序列来表示。这些手部关节点能够提供手的形状、运动以及方向等特征。然而，到目前为止，很少有研究基于手的关节特征来实现动态手势识别。

由此可见，当前动态手势识别领域已有的算法仍有很多不足之处，尤其是二维动态手势识别中的手的跟踪、模型训练以及模板匹配效率问题。此外，如何利用手的关节特征进行三维动态手势识别也是一个值得研究的课题。

发明内容

本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于特征协方差矩阵的动态手势识别方法，利用手的关节特征实现三维动态手势识别，从而为二维与三维动态手势识别提供了一个统一的框架，提高二维动态手势识别中手的跟踪与匹配效率问题。

本发明的目的可以通过采取如下技术方案达到：

一种基于特征协方差矩阵的动态手势识别方法，所述的动态手势识别方法包括下列步骤：