[发明专利]一种基于双指角域特征的手势交互系统及其工作方法

说明书

本发明涉及一种基于双指角域特征的手势交互系统及其工作方法，包括数据采集模块、特征提取模块、手势识别模块、虚拟交互模块。数据采集模块：Leap motion初始化并使用Leap motion采集手势信息；特征提取模块：三维坐标预处理和手势特征提取；手势识别模块：将提取好的双指角域特征输入到SVM‑KNN分类算法中进行手势分类；虚拟交互模块：将Leap motion与Unity3D连接，实现分类后的不同手势对健身房场景内器械的不同交互控制。本发明提高了用户体验度，增强了用户沉浸感。

技术领域

本发明涉及一种基于双指角域特征的手势交互系统及其工作方法，属于智能感知与人机交互的技术领域。

背景技术

手势作为人类使用最频繁的交流方式之一，可以完成人机交互的过程，称之为手势交互。手势交互技术涉及模式识别，图像处理，虚拟现实，人机交互等多个学科领域。目前，手势交互技术在医学，教育，绘画，体感游戏等方面都具有广泛的应用前景和实用价值。例如，在教育领域，使用三维交互软件Unity3D结合Kinect手势识别技术开发的虚拟人体解剖教学系统，增加了教学的逼真性和趣味性，在绘画领域，基于Leap motion开发的虚拟沙画系统，增加了手势交互的乐趣，加深了用户的沉浸感。一个完整的手势交互过程涵盖了数据采集、特征提取、手势识别以及虚拟交互四部分，而其中最为关键的就是手势识别。因此，为了提高手势识别的准确率以及提高用户的需求响应度和交互体验度，研究一种高精度的手势识别算法是有必要的。

目前，国内外对于手势交互系统中手势识别方法的研究有很多，但大多数的手势识别方法都是基于手部轮廓和边缘特征或者手部单指特征进行提取和分类，此类手势特征的弊端是不能全面的表达出人丰富的手势动作，容易造成某一类手指位置和方向信息的遗漏，从而降低手势的识别率和用户在完成虚拟交互时的体验度。

发明内容

针对现有方法的不足，本发明提供了一种基于双指角域特征的手势交互系统，提取手部双指角域特征，旨在提高手势识别率和用户的真实体验度。

本发明还提供了上述一种基于双指角域特征的手势交互系统的工作方法。本发明提高了手势的识别率和用户的交互体验度，增加了交互的乐趣。

术语解释：

1、Leap Motion，是面向PC以及Mac的体感控制器制造公司Leap于2013年2月27日发布的体感控制器。

2、SVM(Support Vector Machine)，称为支持向量机，是一种可以训练的机器学习方法，它的基本模型是在特征空间上找到最佳的分离超平面使得训练集上正负样本间隔最大。SVM是用来解决二分类问题的有监督学习算法，在引入了核方法之后SVM也可以用来解决非线性问题。

3、KNN(K-nearest Neighbor Classification)，称为K近邻分类算法，它是从训练集中找到和新数据最接近的K条记录，然后根据他们的主要分类来决定新数据的类别。该算法涉及3个主要因素：训练集、距离或相似的衡量、K的大小。

4、Unity3D，是由Unity Technologies开发的一个让玩家轻松创建诸如三维视频游戏、建筑可视化、实时三维动画等类型互动内容的多平台的综合型游戏开发工具，是一个全面整合的专业游戏引擎。

本发明的技术方案为：

一种基于双指角域特征的手势交互系统，包括依次首尾连接的数据采集模块、特征提取模块、手势识别模块以及虚拟交互模块；

所述数据采集模块连接特征提取模块，并由数据采集模块指向特征提取模块，所述特征提取模块连接手势识别模块，并由特征提取模块指向手势识别模块，所述手势识别模块连接虚拟交互模块，并由手势识别模块指向虚拟交互模块，所述虚拟交互模块通过获取下一帧的方式反馈回数据采集模块，形成了一个闭环回路。