[发明专利]一种基于单目视觉移动拍摄下的手势轨迹识别方法

摘要

一种基于单目视觉移动拍摄下的手势轨迹识别方法，其特征是通过指挥人员特征，进行指挥人员腿部和人脸检测，实现对指挥人员定位、确定尺度和手部相对位移的计算，最后通过相对位移方向特征进行手势轨迹识别。本发明能够实现在摄像头运动的情况下定位指挥人员和手势的识别，排除非指挥人员的干扰，提高效率，保证识别准确率，具有很好的鲁棒性。

主权项

一种基于单目视觉移动拍摄下的手势轨迹识别方法，其特征是它主要包括以下步骤：(1)在一帧图像上进行指挥人员的腿部检测和定位，并利用HOG‑SVM分类器对检测到的区域进一步匹配确认；(2)在步骤(1)的基础上，确定人脸检测区域；(3)在脸部检测区域内进行人脸检测和定位，从而判别该人员是否为指挥人员；若存在腿部和对应的正脸则该人员即为指挥人员；如果不存在指挥人员则结束此帧处理；(4)根据人脸区域进一步确定手势检测区域；(5)在连续帧上对人脸区域进行CamShift跟踪，若人脸在图像上产生的位移大于给定的阈值，说明摄像机产生移动，重新检测腿部和脸部；(6)利用HSV肤色模型对手部进行分割，计算手部位置；(7)基于相对位移方向进行HMM手部轨迹训练和识别，确定手势轨迹，完成手势轨迹识别；所述的基于相对位移方向的HMM手部轨迹识别方法如下：(1)按时间序列提取各帧中手势重心位置；(2)以头部中心点为原点，计算得手部向量(x,y)；x=X-X0H,y=Y-Y0H]]>l→=(x,y)]]>X,Y为手部位置，X0，Y0为头部中心位置，H为腿部区域边长；(3)计算下相邻帧图像的手部位移向量Δl→=l→curHcur-l→preHpre]]>(4)计算相邻帧图像的手部位移大小||Δl→||=(Ycur-Y0curHcur-Ypre-Y0preHpre)2+(Xcur-X0curHcur-Xpre-X0preHpre)2]]>若处于上下阈值(0.1H～0.4H)之间，则作为特征点进行下面计算；若小于下阈值，说明手部移动不明显，舍弃该帧；若大于上阈值，说明出现噪点，舍弃该帧；(5)定义方向角为位移向量与水平方向右方向的夹角，逆时针为正，计算特征点间的方向角：θ(Δl→)=arctan(ΔyΔx)=arctan(ycur-yprexcur-xpre)=arctan(Ycur-Y0curHcur-Ypre-Y0preHpreXcur-X0curHcur-Xpre-X0preHpre)]]>(6)对手势方向进行编码；(7)进行HMM手势轨迹训练和识别。