[发明专利]一种基于计算机视觉的运动手势检测及跟踪方法

说明书

本发明提出一种基于计算机视觉的运动手势检测及跟踪方法，包括以下步骤：S1图像预处理，对摄像头捕获的手势图像进行预处理；S2加速度及角度计算，计算图像中像素点的加速度及角度变化；S3光照平衡，使用直方图均衡化对光照变化进行补偿；S4手势检测，使用肤色模型对人手部分图像进行检测；S5手势轮廓查找，使用连通区域寻找人手轮廓；S6手势过滤，通过指尖点、掌间点的定位实现非手势部分过滤；S7运动手势检测，利用均值漂移方法，在窗体内迭代寻找运动的手势图像。

技术领域

本发明涉及人机交互领域，具体涉及一种基于计算机视觉的运动手势检测及跟踪方法。

背景技术

为了帮助残疾人/老年人保持与外界的交流、沟通，提高他们的独立生活能力，减轻家庭、社会的负担，世界各地许多科学家们开始探索研究新型的人机交互方式。所谓交互技术包括人与执行机构(如机器人等)的交互和执行机构与环境的交互。前者的意义在于可由人去实现执行机构在未知或非确定环境中难以做到的规划和决策；而后者的意义在于可由机器人去完成人所不能达到的恶劣环境或远距离环境中的作业任务。

传统的人机交互设备主要有键盘、鼠标、手写板、触摸屏、游戏控制器等，这些设备利用使用者的手部运动来实现人机交互的功能。手势交互支持更多更自然的交互方式，提供了以人为中心而不是以设备为中心的交互技术，从而使用户将注意力集中在本来该做的事情以及内容上而不是集中在设备上。

常见的手势交互技术分为基于数据手套传感器的手势交互技术和基于计算机视觉的手势交互技术两种。

基于数据手套传感器的手势交互技术，需要用户佩戴数据手套或者位置传感器等硬件设备，利用传感器采集手指状态及运动轨迹等信息，从而进行运算处理让计算机识别手势动作，实现各种交互控制。此方式优点在于识别精准鲁棒性能好、算法相对简单、运算数据少且快速、可以精准获取手的立体空间动作，完全没有视觉系统的环境光照变化和背景复杂等问题干扰。缺点在于设备穿戴复杂、成本高、用户操作使用不便且手势动作受一定约束限制，因此难以大量投入实际生产使用。

基于计算机视觉的手势交互技术通过机器视觉对摄像头采集到的手势图像序列处理识别，从而和计算机进行交互，这种方法使用摄像头采集手势信息，然后利用肤色模型对人手部分进行分割，从而实现手势检测和识别，最后使用帧间差法实现运动手势的跟踪。该方法的效果取决于肤色模型的准确率，然而人的皮肤颜色不一，难以得到通用、高效的肤色模型；此外，当人手运动速度不均匀时，采用帧间差法跟踪手势会出现中断现象，从而丢失被跟踪手势。

发明内容

本发明目的在于克服现有技术的不足，尤其解决现有基于计算机视觉的手势交互技术中，难以对颜色不一的肤色建立通用、高效的肤色模型，帧间差法运动跟踪出现中断现象的问题。

为解决上述技术问题，本发明提出一种基于计算机视觉的运动手势检测及跟踪方法，主要步骤包括：

S1图像预处理，对摄像头捕获的手势图像进行预处理；

S2加速度及角度计算，计算图像中像素点的加速度及角度变化；

S3光照平衡，使用直方图均衡化对光照变化进行补偿；

S4手势检测，使用肤色模型对人手部分图像进行检测；

S5手势轮廓查找，使用连通区域寻找人手轮廓；

S6手势过滤，通过指尖点、掌间点的定位实现非手势部分过滤；

S7运动手势检测，利用均值漂移方法，在窗体内迭代寻找运动的手势图像。

进一步地，所述步骤S1图像预处理操作包括：图像灰度化、图像平滑、图像二值化操作；