[发明专利]基于Kinect的视频人手指尖定位方法

说明书

技术领域

本发明涉及一种计算机图像处理及模式识别技术，特别涉及一种基于Kinect的视频人手指尖定位方法，本方法以Kinect传感器为取像工具。

背景技术

近年来，基于人手的智能人机交互技术由于其灵活、自然等特性占据着越来越重要的地位。相比传统需要接触硬件设备的技术手段，它更加接近于人机交互的核心理念，拥有着更良好的用户体验。而当中指尖的高自由和灵活性使其蕴含了相对其他部分更加丰富的内涵。指尖数目的变化，位置的变动可以映射为丰富的语义。在此基础上得以发展出一系列应用，如虚拟书写绘画、远程手势控制、虚拟键盘，体感游戏等等。因此绝大部分的人机交互技术都会涉及到指尖的定位。

当前指尖定位的技术总体可以分为两个领域：基于二维视觉的方法还有基于三维建模的方法。前者的主流算法是模板匹配法还有局部曲率最大法，这些方法依赖于人手分割的结果，对局部噪声敏感。另外，它们无法处理指尖正对着摄像头的情况。而三维建模的方法可以取得精确的定位结果，但是传统的三维建模依赖于高精度的摄像头如TOF相机，或者特殊的仪器如数据手套。这些设备由于其高昂的价格制约着它们成为一种真正实用性的应用技术。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种基于Kinect的视频人手指尖定位方法，这是一种更加鲁棒性的指尖定位方法。借助微软的Kinect传感器来捕捉视角内的用户手部彩色图信息和深度图信息，分割人手和定位指尖位置。指尖定位部分分为“多指定位”和“单指定位”两种情况。其中“多指定位”下，通过分析手部轮廓与其凸外形得到凸缺陷。计算凸缺陷顶点与相邻两谷底点形成的曲率得到候选指尖点。然后根据掌心点和手臂点的位置信息对指尖点进行筛除获得真实指尖数目与位置。在“单指定位”下，针对只需要定位单指的特殊情况。采用一种更精确的指尖定位方法。它针对手部不同的形态方向定义了两种指尖定位模式，并构建一个物理模型来确定在两种模式的切换选择。

本发明的目的通过下述技术方案实现：基于Kinect的视频人手指尖定位方法，包括如下步骤：

（1）通过Kinect采集视频信息，包括彩色图像，还有深度图像；

（2）分析处理并分割视频信息，获取用户手部；

（3）对用户手部的手掌进行椭圆拟合得到椭圆，将所述椭圆的圆心作为手掌心点；

（4）对用户手臂点进行定位；

（5）对用户指尖进行定位，所述定位包括多指定位和单指定位。

所述步骤（5）中：

所述多指定位的步骤如下：

（A）对分割得到的手部轮廓进行多边形拟合，得到拟合多边形；

（B）对轮廓的拟合多边形求凸外形，并由拟合多边形和凸外形这两个闭合曲线得到轮廓凸形缺陷；

（C）求取凸形缺陷各个顶点的曲率，曲率大于一定阈值的被当做候选指尖点；

（D）对手的部分进行分区并且筛除掉上一步的误判指尖点得到最后真实的指尖点数和位置；

所述单指定位的步骤如下：

（a）用最远模式求分割得到的手部区域距离手臂点的二维欧氏距离最大点作为该模式下候选单指尖点；

（b）用最前模式求分割得到的手部区域的最前点作为该模式下候选单指尖点；

（c）根据物理模型在两模式得到结果中选一作为最后真实的指尖点位置。

所述步骤（1）中，采用微软的Kinect传感器采集视频信息，所述视频信息包括彩色图像和深度图像，所述Kinect传感器自身还提供标示当前成像位置里面哪些像素属于用户这一功能（用户图），将用户从背景中分离出来。

所述步骤（3）中，所述椭圆拟合采用迭代拟合，所述迭代拟合的步骤如下：

①在对用户的手的建模中，可以将用户的手掌视为一个椭圆，手指视为圆柱，在求手掌的椭圆拟合里面需要去除手指的影响；

②这里先是对整个手部的轮廓进行第一次最小二乘椭圆线拟合；

③将第一次拟合得到的椭圆与原手部的重叠区域作为第二次椭圆拟合的对象；

④把第二次椭圆拟合的对象与原手部的重叠区域作为第三次椭圆拟合的对象；

⑤第三次椭圆拟合得到准确的手掌的一个椭圆拟合域，设定所述椭圆拟合域的中心为掌心点p_palm。

所述步骤（4）中，对用户手臂点进行定位的方法采用了一种二次深度阈值分割求取手臂点方法，所述二次深度阈值分割求取手臂点方法的步骤如下：