[发明专利]手掌开合手势识别方法和装置、人机交互方法和设备

说明书

技术领域

本发明总体地涉及图像处理和机器视觉人机交互，更具体地涉及手掌开合手势识别方法和装置、人机交互方法和设备。

背景技术

手势作为一种自然直观的交流方式，它并不需要额外的设备的辅助，就能被广泛的用于与电子设备的交互。基于计算机视觉的手势识别技术已经广泛用于人机交互。基于计算机视觉的手势识别技术接受可视化图像输入，向外输出手势姿态或手势动作的类型，由此那些受计算机控制的设备就能将不同的手势姿态或手势动作解释为不同的命令来完成交互的操作，比如开/关,点击，触摸与否或电视频道的切换等。

专利文献1，美国专利US7821541B2公开了一种对手的2个状态进行识别的方法。这个2个手的状态分别是握住的拳头状态（a closed fist）和打开的手掌状态。这里的识别是对于手指状态的识别，分别对应于静态的开合手掌姿态。其中，只有单一的静态特征被用到，比如它是通过检测是否有3个连续的手指临近到另外一个手指的直观规则来判断是否为“开”状态。由于在实际的系统里，获得清晰的手的外形图像并不是件容易的事情（通常受距离，设备精度和光照条件影响），因此该方法并不鲁棒。此外该方法只是基于单帧图像来是识别姿态。

在非专利文献1，作者为Zhou Ren的文章“Robust Hand Gesture Recognition Based on Finger-Earth Mover’s Distance with a Commodity Depth Camera”,Proceedings of the19th ACM international conference on Multi-media,MM′11,ACM,New York,NY,USA,2011,pp.1093–1096中，采用了时间序列曲线（time-series curve）来表述手的形状信息，该时间序列曲线记录了手掌轮廓上每个点到手掌中心点的相对距离。另外，该文章还定义了FEMD（Finger-Earth Mover’s Distance）距离度量算子来计算2个手形状的相似性。本质上，该方法是用模板匹配技术来实现手掌姿态的识别。

在手掌姿态等的识别中，除了模板匹配和直观的规则外，另一种常用的方法是基于机器学习的分类器技术，基于机器学习的分类器技术能提供鲁棒的识别效果，这是因为它综合的考虑了各种特征对分类的影响，因此，分类器技术已经被广泛用于静态姿态和动态手势识别。

在专利文献2，发明人为章鹏的申请号为CN201200147172的专利申请中，公开了一种基于分类器的手势识别方法，该方法采用所谓的深度差分布算子来从几帧相邻的图像里抽取出CDDD特征来表述动作发生时前后深度差的分布规律。该CDDD是一组高维的特征向量，其维数随手势识别单元里所采用的图像的帧数而增加。比如3帧图像作为一个手势识别单元的话将对应于128维的特征向量，如果是4帧图像则为192维。对于该技术，一方面高维的特征向量必然要求大量的样本用于分类器的学习，另一方面，象这样用固定图像帧数作为识别单元来描述深度差分布的方法，通常不能很好解决帧数变化的手势的识别问题。此外该方法只适用于深度图像，这限制了该方法在传统彩色图像上的应用。

发明内容

本发明关注手掌开合手势动作。和静态手掌姿态不同，手掌开合手势动作是指手掌从姿态“开”到姿态“合”或从“合”到“开”的状态变化序列，包括在这两者最终状态间变化的中间状态。本发明中的姿态“合”既指五指回缩成拳头状，也指五指弯曲汇聚一点成“爪”状。

根据本发明的实施例，提供了一种手掌开合手势识别方法，用于通过图像处理识别手掌从开到合或从合到开的手势，包括如下步骤：多个图像获得步骤，获得按照时间顺序的多个图像；手掌形状分割步骤，从多个图像中分割出手掌形状图像；特征抽取步骤，从多个手掌形状图像中的每个抽取出描述手掌姿态的多个特征，其中每个特征从手掌开合手势过程中的取值变化过程看具有取值递增或递减的单调特性；最大差异特征向量计算步骤，对于该多个特征中的每个特征，计算该多个手掌形状图像在该特征上的最大差异量，该最大差异量由该多个手掌形状图像中的两个手掌形状图像按照预定顺序做差得到，具有符号和幅度两属性，且该最大差异量的绝对值是该多个手掌形状图像中的任意两个手掌形状图像在该特征上的差的绝对值中取值最大的，以及由上述多个特征的各个特征的最大差异量组成最大差异特征向量；以及手掌开合手势判定步骤，基于该最大差异特征向量来判断该多个图像中是存在手掌开手势、手掌合手势还是不存在手掌开合手势。