[发明专利]一种基于视频的捏合指尖跟踪方法

摘要

本发明提供了一种基于视频的捏合指尖跟踪方法，其特征在于：首先采用YCbCr肤色检测器、拳头检测器和捏合指尖级联分类器构成多成分相关检测器，定位捏合指尖的位置；然后提取肤色目标搜索区域，获取轮廓并采样轮廓点，通过前后帧匹配确定肤色目标搜索区域的运动距离；之后将捏合指尖区域映射到捏合指尖肤色映射表中，结合灰度值得到CbCr‑Gray颜色特征，并计算HOG特征，从而得到CbCr‑Gray‑HOG特征；最后，采用基于高斯核函数的滤波跟踪方法定位确定当前处理视频帧图的捏合指尖区域中心点。该方法应用于空中书写系统中，可准确识别捏合指尖运动轨迹，从而使捏合指尖空中书写系统得以实现。

主权项

1.一种基于视频的捏合指尖跟踪方法，用于对空中书写中的捏合手指进行持续跟踪；其特征在于：包括以下五个步骤：第一步，捕获视频帧图，将视频帧图从RGB图像转化为YCbCr图像，通过YCbCr肤色检测器分割出肤色区域，采用拳头检测器对肤色区域进行分割得出拳头区域，在拳头区域中采用捏合指尖级联分类器定位捏合指尖区域，确定捏合指尖初始位置；第二步，捕获下一帧视频帧图作为当前处理视频帧图；以上一帧视频帧图获得的捏合指尖区域中心点为中心在当前处理视频帧图上建立目标搜索区域；采用YCbCr肤色检测器提取目标搜索区域的肤色区域，从而获得当前处理视频帧图的肤色目标搜索区域；采用Canny边缘检测器分别对上一帧视频帧图的肤色目标搜索区域和当前处理视频帧图的肤色目标搜索区域进行处理获取轮廓，并采用密集采样方法获取轮廓点；采用LK光流法对上一帧视频帧图和当前处理视频帧图的轮廓点进行匹配，确定肤色目标搜索区域的运动距离；第三步，构建捏合指尖肤色映射表；将上一帧视频帧图的捏合指尖区域划分为十六个区域单元，分别寻找各个区域单元CbCr色带在捏合指尖肤色映射表中最接近的数值，结合各个区域单元的灰度值得到CbCr‑Gray颜色特征；计算上一帧视频帧图捏合指尖区域的HOG特征，从而得到捏合指尖区域的CbCr‑Gray‑HOG特征；第四步，采用基于高斯核函数的滤波跟踪方法，结合所述捏合指尖区域的CbCr‑Gray‑HOG特征，确定当前处理视频帧图的捏合指尖区域中心点；第五步，判断捏合指尖跟踪结束条件是否成立：若成立，则跟踪结束；否则跳至第二步；在第五步中，所述判断捏合指尖跟踪结束条件是否成立是指，设定阈值T3和T4，判断在若干帧连续的视频帧图中，相邻两帧视频帧图的捏合指尖区域中心点的横坐标变化值和纵坐标变化值是否分别小于T3和T4：若是，则捏合指尖跟踪结束条件成立，否则不成立。