[发明专利]基于手势识别的非接触式虚拟鼠标的实现方法

说明书

基于手势识别的非接触式虚拟鼠标的实现方法，属于人机交互技术领域，为了解决现有非接触式人机交互方式实时性差的问题，该方法为：利用摄像头获取视频数据流；视频流截取提取帧图像；从视频信号帧图像中分割出手势；提取模型特征参数进行手势分析识别、根据模型参数对手势进行分类并依据具体需要生成手势描述；结合鼠标操作事件驱动相关应用；该方法具有实时性强、效率高的优点，能够以手势动作作为输入信号实现在非接触状态下对计算机的控制操作。

技术领域

本发明涉及一种虚拟鼠标装置的实现方法，具体涉及一种基于手势识别的非接触式虚拟鼠标的实现方法，属于人机交互技术领域。

背景技术

目前鼠标是我们和计算机“沟通和交流”的主要接口之一，但是这个沟通方式远远不能满足我们的要求，我们希望有更简洁的、智能化和人性化的人机交互方式。计算机无接触式地收集人类在计算机前的视频信号，利用计算机视觉的相关理论对捕获的视频信号进行分析，做到分辨人类的动作，明白人类的意图并实现人类希望的操作，即我们希望计算机能尽可能地“理解”我们。

手势是一种自然、直观、易于学习的人机交互手段。手势研究分为手势合成和手势识别，手势识别技术一直是人机交互的一个重要研究课题。以人手直接作为计算机的输入手段，人机之间的通讯将不再需要中间媒体，用户可以简单地定义各种适当的手势来对计算机进行控制，从而可以实现非接触式的鼠标控制事件。与其它输入方法相比较，具有自然性、简洁性、丰富性和直接性的特点。因此，用计算机来识别手势为人们提供了一个更为自然的人机接口。但是由于其难度较大，目前的研究结果实用化程度很低且效率比较低下，现有非接触式人机交互方式实时性差。

发明内容

本发明为了解决现有非接触式人机交互方式实时性差的问题，主要基于单目视觉的手势识别，从手势分割及手势表示两方面着手，提出一种基于手势识别的非接触式虚拟鼠标的实现方法，通过结合鼠标操作，实现有效的鼠标事件，从而实现对计算机的有效控制，具有实时性强、效率高的优点。

本发明采用的技术方案如下：

基于手势识别的非接触式虚拟鼠标的实现方法，该方法为：利用摄像头获取视频数据流；视频流截取提取帧图像；从视频信号帧图像中分割出手势；提取模型特征参数进行手势分析识别、根据模型参数对手势进行分类并依据具体需要生成手势描述；结合鼠标操作事件驱动相关应用。

步骤一，在Microsoft Visual Studio 2010上配置OPENCV2.3.1视觉库，运行软件程序摄像头自行启动实现对视频流的获取；

步骤二，软件程序对每一帧图像检测到交互手势并对满足条件的关键帧进行提取，获得帧图像；

步骤三，从帧图像中得到完整的手势图像需进行手势分割，首先利用HSV与YCgCr双重颜色空间的肤色提取，剔除背景非肤色区域，获得手势二值图，同时对手势二值图进行图像处理过程，处理过程包括：腐蚀、膨胀、滤波和多边形逼近，通过图像处理过程，可从视频流中的到较完整的手势图像，完整手势图像的获取能为手势识别提供更完善的输入；

步骤四，在手势识别中利用手势二值图像的重心表示手掌，应用凸缺陷检测指尖，通过不同手势凸包轮廓面积与真实轮廓面积比值Q的不同区分不同的手势，并结合MeanShift算法对重心进行跟踪，为下一步鼠标动作提供可能；

步骤五，最后结合鼠标响应程序在VS2010上实现虚拟鼠标的目的，部分动作已经超出了常规鼠标的操作范围，并由此生成能够启动多种软件运行的操作指令，能以手势动作实现对计算机的实时高效控制。

本发明的有益效果是：在HSV与YCgCr颜色空间上采用固定阈值方法分割人手，利用轮廓及凸缺陷检测指尖，根据手势面积特征识别手势的方法，简单快捷、实时性好且能适应环境的变化。