[发明专利]基于Leap Motion和Kinect的手势识别方法

说明书

本发明公开了一种基于Leap Motion和Kinect的手势识别方法，通过Leap Motion传感器获取指尖3D位置，手掌心位置以及手的方向信息，由这些信息计算出手指角度、手指尖到手掌心的距离以及手指尖的高度三种特征信息；同时利用Kinect传感器获取场景的深度信息和彩色信息，通过手部区域提取，随后获取圆形度、填充率、周长比这三种手势特征信息；融合Leap Motion和Kinect两个传感器获取的手势特征信息，对需要识别的每种手势采集若干样本构成训练样本集，利用这些样本集对SVM分类器进行训练；最后将需要识别的手势输入到训练好的SVM分类器中进而对手势进行识别。

技术领域

本发明属于人机交互技术领域，更为具体地讲，涉及一种基于Leap Motion和Kinect的手势识别方法。

背景技术

传统上来说，鼠标键盘这种经典的人机交互方式已经被使用了数十年，计算机交互的界面由黑白屏发展到了现在的各式各样更加人性化的彩色界面，计算机的功能也从早期的简单计算发展到现在的各式应用。随着计算机性能的不断提高，应用的不断更新，鼠标和键盘的交互方式已经开始限制人们的应用体验，人们需要一种更加自由更加方便的交互方式。基于手势的人机交互方式可以很好的满足这一个需求，所以对手势识别的研究就变的很有意义。

随着体感技术的发展和成熟，将体感技术应用于计算机输入领域已得以实现，为人类提供了更加舒适和自然的计算机输入方式。以前，自由手势研究大体分两种，一种是基于视觉的，一种是基于数据手套的，前者容易受光线、肤色等的干扰，对手部细节动作的实时重建很困难，后者对设备要求较高，而且需要实时戴着手套，很不方便。Kinect和LeapMotion虽然均为体感设备，但是前者精度低，对于手部的动作，细节信息不够，而LeapMotion的出现，弥补了前者的精度问题，而且它的设备小，成本低，扩展性强。

张云等人在专利《一种基于Leap Motion的非接触式计算机操控方法》中公开了一种基于Leap Motion的手势识别方法，徐昆等人在专利《手势识别方法及装置，以及一种Leap Motion体感控制系统》公开了一种手势识别方法及装置，以及一种Leap Motion体感控制系统，可以构建适用于Leap Motion的三维模型操作手势库，以及相应的手势识别方法，并提高三维操作中模型变换的连贯性和稳定性。钱世奇等人在专利《基于Kinect的手势识别智能家居控制方法及系统》公开了一种基于Kinect的手势识别智能家居控制方法及系统，通过Kinect摄像机采集出现在摄像头前的用户骨架关节信息数据，并对数据进行筛选进而利用采集到的手势对家居进行控制。但是基于Leap Motion和Kinect的手势识别方法目前还未见报道。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于Leap Motion和Kinect的手势识别方法，通过Leap Motion和kinect共同检测并识别人的手势来对计算机进行操控。此方法克服了单一使用其中一种传感器对手势进行识别的精确度不足的问题，使手势识别更加精确。

为实现上述发明目的，本发明基于Leap Motion和Kinect的手势识别方法，其特征在于，包括以下步骤：

(1)、使用Leap Motion传感器获取手的相关点坐标和手的姿态特征信息；

(1.1)、Leap Motion传感器建立一个空间坐标系，坐标系原点是传感器中心，+X轴平行传感器指向右方，+Y轴指向上方，+Z轴指向背离屏幕的方向；

通过Leap Motion传感器获取指尖位置，手掌心位置以及手的方向信息；

(1.2)、计算手指角度A_i

根据步骤(1.1)获取的信息，计算相对于手方向的投影指尖的方向对应的手指角度A_i：