[发明专利]用于自然人机交互的多姿态指尖跟踪方法

摘要

本发明公开了一种用于自然人机交互的多姿态指尖跟踪方法，包括以下步骤：S1：采用Kinect2获取RGBD数据，包括深度信息和彩色信息；S2：对手部区域进行检测：通过颜色空间的转换，把色彩转换到对亮度反应不明显的空间进而检测肤色区域，然后通过人脸检测算法检测出人脸，从而排除人脸区域得到手部区域，并求出手部的中心点；S3：通过深度信息，并且结合HOG特征与SVM分类器对特定手势进行识别、检测；S4：通过前几帧指尖的位置，再结合手部识别出来的区域进行一个当前跟踪窗口的预测，然后通过基于深度的指尖检测和基于形态的指尖检测两种模式对指尖进行检测、跟踪。本发明主要处理运动下的、各种姿态下的单一指尖的检测与跟踪，并且需要保证较高的精度和较好的实时性。

主权项

1.用于自然人机交互的多姿态指尖跟踪方法，其特征在于：它包括以下步骤：S1：采用Kinect2获取RGBD数据，包括深度信息和彩色信息；S2：对手部区域进行检测：通过颜色空间的转换，把色彩转换到对亮度反应不明显的空间进而检测肤色区域，然后通过人脸检测算法检测出人脸，从而排除人脸区域得到手部区域，并求出手部的中心点；S3：通过深度信息，并且结合HOG特征与SVM分类器对特定手势进行识别、检测；S4：通过前几帧指尖的位置，再结合手部识别出来的区域进行一个当前跟踪窗口的预测，然后通过基于深度的指尖检测和基于形态的指尖检测两种模式对指尖进行检测、跟踪；所述的步骤S4包括以下子步骤：S41：采用一个N*N的窗口对手部区域进行滤波，即如果窗口中心与窗口周围的N*N个点的深度差值都大于一个阈值，则认为此中心点为噪声点进行排除；S42：进行基于深度的指尖检测，其中所述的特定手势为手指尖指向3D摄像头，认为手部区域深度最小值的地方为指尖检测点：I(xt,yt)＝min(I(xi,yi))；式中，(xt,yt)为指尖点坐标，I(x,y)为坐标(x,y)所对应的深度值，(xi,yi)为手部区域的所有坐标遍历；S43：进行基于形态的指尖检测，包括以下子步骤，把手部区域的坐标点作为特征，设原始数据为的均值为的均值为S431：对于2维特征，进行中心化得到矩阵：S432：对B'采用下式求出协方差矩阵C：S433：求得C的特征值与特征向量，并将特征向量按其对应的特征值大小进行降序从而选取主从方向；S434：设主特征向量为δ1，从特征向量δ2，求出对应特征向量的投影矩阵B″：B″＝B′*δiT；上式中，δi为特征向量，i为序号，上标T为转置矩阵；S435：分别找出主、从特征向量的投影矩阵B”的两个极值，得到四个待选点，对这四个待选点求出它们分别与预测指尖的距离，其中距离的度量采用基于像素值的欧氏距离，选取最近距离的点作为形态模式下的指尖检测点；其中，对于预测指尖的点的求取采用极坐标的方式：设当前帧为t帧，则轴长lt与角度θt的求取为：lt＝lt‑1+lt‑1‑lt‑2θt＝θt‑1±f((xt‑1,yt‑1),(xt‑2,yt‑2))；式中，f((xt‑1,yt‑1),(xt‑2,yt‑2))为第t‑1帧的坐标点与t‑2帧的坐标点在直角坐标系下相对于原点的夹角；S44：根据不同情况，对基于深度的指尖检测与基于形态的指尖检测的切换：当指尖距手部中心距离较近时，采用基于深度的指尖检测；当指尖距手部中心距离较远时，基于形态的指尖检测；所述的切换，如下式：即当I(lt‑1)为0时，使用基于深度的指尖检测，当I(lt‑1)为1时，使用基于形态的指尖检测；式中lt‑1为t‑1时刻的指尖距手部中心的距离；thershold表示切换长度阈值。