[发明专利]一种基于2D视频序列的手势识别及人机交互方法和系统

说明书

技术领域

本发明涉及一种基于2D视频序列的手势识别及人机交互方法和系统，属于人机交互技术领域。

背景技术

基于手势识别的体感控制技术，已经成为目前一种重要的人机交互手段。其通过普通摄像头采集用户的动作画面，通过模式识别算法，对图像中的手部特征进行检测和定位，再通过识别出人手的姿态和运动轨迹等，将这种识别信息转化为操作信号，反馈给智能终端，并触发相应的操作命令，如电视节目的切换，音量的调节，图片、网页的放大、缩小，简单的体感游戏的操控，如切水果、打球、驾驶类等游戏。手势识别技术基于智能终端所配备的摄像头，在终端安装相应的识别软件，即可完成以上操作，因而在硬件成本和操作方式上都具有极大的优势，该技术可以用来操控电视、个人电脑、平板电脑和智能手机等消费电子设备。

根据手势识别的研究和应用的发展过程，大致可以划分为以下几种技术手段：

(1)基于数据手套或佩戴物：通过用户佩戴特制的手套或者标识物，通过摄像头来进行识别，手套本身是特殊设计的，具有明显的特征，因而可以降低检测和识别算法的复杂性，但是这种佩戴式的操作方式，显然难以满足自然的人机交互的需要，因而该方法始终未得到广泛的应用；

(2)基于3D深度相机：代表技术为微软的KINECT产品，其通过三维扫描设备，获取操作者的动态三维模型，因为其工作在3D空间，因而避免了2D空间中存在的颜色干扰、图像分割等大量的难题。但是3D扫描设备体积较大，硬件成本较高，所需的运算能力更高，因而难以集成并应用到大众化的智能终端如电视、手机等设备上；

(3)基于普通摄像头2D图像识别的技术：由于这种技术是基于普通摄像头来实现的，因而也是最具有大规模应用潜力的技术。本申请人所提交的申请号为201310481745.X的专利申请公开了“一种基于单目视频序列的目标人手势交互方法”，其通过对人手静止姿态或单手手势进行识别，从而可以应用于低运算能力的嵌入式平台进行人机交互。但是该申请仍然存在以下缺点：a)由于缺乏深度信息，在复杂环境中人手的提取会比较困难；b)普通的2D摄像头对光线很敏感，并且要实现对于像人手这种非刚性、少纹理的目标进行高精度跟踪，在复杂环境下将会面临很大的挑战；c)由于噪声、距离、还有每个人习惯的不同，也会导致对人手的各种姿态和手势的识别造成一定的影响；d)无法实现人手的双手姿态及手势的识别；e)对于双手识别而言，如何处理两只手交叉等问题，也是一个难题。因而，仍然需要发明人继续进行研究改进。

发明内容

本发明的目的在于，提供一种基于2D视频序列的手势识别及人机交互方法和系统，它可以有效解决现有技术中存在的问题，尤其是普通的2D摄像头对光线很敏感，要实现对人手这种非刚性、少纹理的目标进行高精度跟踪，将会面临很大挑战的问题。

为解决上述技术问题，本发明采用如下的技术方案：一种基于2D视频序列的手势识别及人机交互方法，包括以下步骤：

S1，获取单目2D视频帧序列图像，并提取该图像中的运动前景(从而可以剔除静止物体，初步挑选出人手可能出现的区域，减少人手定位的计算量)；

S2，在所述的运动前景中检测人手，并构建人手的联合特征模型；

S3，预测人手目标出现的位置区域，并在该位置区域中利用人手的联合特征模型搜索、定位人手目标，获得人手在当前帧中的位置；

S4，根据人手在当前帧中的位置判断当前的操作模式类型；

S5，对人手进行跟踪，识别当前操作模式下人手的姿态和手势；将所述的姿态和手势转换为相应的指令，实现人机交互。

对于步骤S2中的联合特征模型，可采用直接融合更新、多样本库更新或在线学习等方式进行模型更新，尤其是采用直接融合的方式进行更新，更新时的权重计算函数采用模型匹配相似度的线性函数，从而可以及时的反映目标模型在短时间内的快速变化，能够实时的匹配人手的快速移动的特点。

本发明的步骤S1中，可通过GMM运动检测算法对图像中的运动前景进行提取，使得运动前景的提取更高效、更稳定，同时本发明对于运动检测模块的模型更新策略采用了局部更新速率自适应调整的方式。

本发明的步骤S2中，在所述的运动前景中通过Haar与LBP的联合特征检测人手，分类器采用Adaboost，采用此联合特征进行检测，从而可以在提升检测率的同时，使得计算速度也非常快，满足实时的要求，适合移植到嵌入式系统中。