[发明专利]基于Leap Motion和Kinect的手势识别方法

摘要

本发明公开了一种基于Leap Motion和Kinect的手势识别方法，通过Leap Motion传感器获取指尖3D位置，手掌心位置以及手的方向信息，由这些信息计算出手指角度、手指尖到手掌心的距离以及手指尖的高度三种特征信息；同时利用Kinect传感器获取场景的深度信息和彩色信息，通过手部区域提取，随后获取圆形度、填充率、周长比这三种手势特征信息；融合Leap Motion和Kinect两个传感器获取的手势特征信息，对需要识别的每种手势采集若干样本构成训练样本集，利用这些样本集对SVM分类器进行训练；最后将需要识别的手势输入到训练好的SVM分类器中进而对手势进行识别。

主权项

1.一种基于Leap Motion和Kinect的手势识别方法，其特征在于，包括以下步骤：(1)、使用Leap Motion传感器获取手的相关点坐标和手的姿态特征信息；(1.1)、Leap Motion传感器建立一个空间坐标系，坐标系原点是传感器中心，+X轴平行传感器指向右方，+Y轴指向上方，+Z轴指向背离屏幕的方向；通过Leap Motion传感器获取指尖位置，手掌心位置以及手的方向信息；(1.2)、计算手指角度Ai根据步骤(1.1)获取的信息，计算相对于手方向的投影指尖的方向对应的手指角度Ai：Ai＝∠(Fiπ‑C,h)＝∠((xi‑a,zi‑b,‑c),(xi‑a,zi‑b,yi‑c))其中，i＝1,…10代表左右手的10个手指，1,…,5代表左手从大拇指到小拇指的5个手指，6,…,10代表右手从大拇指到小拇指的5个手指；Fi是手指尖的位置，坐标为(xi,zi,yi)，Fiπ是Fi在平面XOZ上的投影，投影点坐标为(xi,zi,0)；C是手掌心位置，坐标为(a,b,c)；h是从手心指向手指尖方向的向量(xi‑a,zi‑b,yi‑c)；(1.3)、计算手指尖距离手掌心的三维距离DiDi＝||Fi‑C||/S＝||(xi‑a,zi‑b,yi‑c)||/||(xmiddle‑a,zmiddle‑b,ymiddle‑c)||,i＝1,…10其中，S＝||Fmiddle‑C||＝||(xmiddle‑a,zmiddle‑b,ymiddle‑c)||是手心到中指尖的距离，Fmiddle为中指尖的位置，坐标为(xmiddle,zmiddle,ymiddle)，|| ||表示空间中两点的距离；(1.4)、计算手指尖的高度Ei计算手指尖到它在XOZ面的投影点之间的高度Ei：Ei＝sgn((Fi‑Fiπ)×n)||Fi‑Fiπ||/M＝sgn((0,0,yi)×n)yi/ymiddle,i＝1,…,10其中，n是垂直手心并指向向下的向量，是中指指尖到指尖投影的距离；(2)、获取手势信息(2.1)、使用Kinect传感器获取场景的深度信息和彩色信息；(2.2)、结合深度信息和彩色信息获取手部图像，提取手部区域，再结合该手部区计算出手部轮廓周长l、手部轮廓面积B、手型外接最小矩形面积Brect和手型外接最小圆的周长lcircle；(2.3)、结合步骤(2.2)获取相应的手势信息圆形度：填充率：周长比：(3)、利用Leap Motion传感器和Kinect传感器同时对待识别的手势进行采集，每种手势采集若干，得到手势样本集；按照步骤(1)所述方法计算手势样本集中所有手势样本的Aki、Dki和Eki，其中，k表示手势种类；按照步骤(2)所述方法计算手势样本集中所有手势样本的ck、fk和pk；再将Ai、Dki和Eki，ck、fk和pk融合成一个属性矩阵；(4)、构建SVM分类器，再将属性矩阵的每一行作为训练样本，依次输入到SVM分类器进行训练，得到可用于识别k种手势的SVM分类器；(5)、将待识别的手势图像按照步骤(3)所述方法组成属性矩阵，再将每一行依次输入到训练好的SVM分类器中，完成对手势的分类识别。