[发明专利]一种基于感知设备的手语识别系统及其工作方法

说明书

本发明公开了一种基于感知设备的手语识别系统及其工作方法，包括以下步骤：实时采集用户手的关节点数据；对关节点数据进行降噪；对降噪后的关节点数据进行分割来完成手势动作分割；计算手势分类用到的手势特征；对手势动作对应的手势特征进行分类，确定手势动作的类别；匹配手势动作类别对应的手语，并显示手语结果。本发明在手势动作建模和手势分类的基础上，设计开发了在线的手语识别系统，为健听人和聋哑人的交流问题提供了一种解决方法。

技术领域

本发明属于手势感知和手语识别技术领域，具体涉及一种基于感知设备的手语识别系统及其工作方法。

背景技术

社会上，有这样的一个群体，他们听不到声音，说不出话语，只能生活在无声的世界里，他们便是我国的几千万聋哑人，无法像正常人一样交流沟通，给他们的工作、学习、就医等生活状态带去很大的困扰。现实生活中，他们也有用于沟通交流的方式—手语，但是多数的健听人并不能理解手语的含义。为此，手势感知技术被广泛地研究。目前，手势感知技术可以按感知手段分为四类，分别是基于声音信号的手势感知技术、基于人体传感器的手势感知技术、基于射频信号的手势感知技术和基于视觉的手势感知技术。其中，基于声音信号的手势感知技术容易受到环境噪声的影响，可以识别的手势动作也有限；基于人体传感器的手势感知技术往往需要用户佩戴相关的传感器，对用户是不友好的；基于射频信号的手势感知技术对环境较为敏感，系统的实现场景布置较为麻烦。基于视觉的手势感知技术则可以较好地解决上述感知技术中的问题，最具代表性的基于视觉的感知设备有Kinect和LeapMotion，Kinect感知设备可以获得人体骨骼点数据，更多应用于粗粒度的手势感知，并不能进行手指手势感知，而LeapMotion感知设备可以获取手指关节点位置数据，可以用于细粒度的手指手势感知。

因此，基于上述考虑，有必要提出一个基于感知设备的手语识别系统，从手势感知入手，识别手语手势动作，设计用户友好的系统，为聋哑人和健听人的交流问题提供一种解决方法。

发明内容

针对于上述现有技术的不足，本发明的目的在于提供一种基于感知设备的手语识别系统及其工作方法，以实现对用户手势动作的实时手语识别，为聋哑人和健听人的交流问题提供一种解决方法。

为达到上述目的，本发明采用的技术方案如下：

本发明的一种基于感知设备的手语识别系统，包括：

手势动作采集模块，用于实时采集用户手的关节点数据，对采集到的数据进行手势动作分割和特征提取；

手势动作模型库，用于存储手势动作特征和手势动作分类模型，其中，手势动作特征通过对手势动作建模得到；

计算模块，用于手势动作分类，通过手势动作模型库中的手势动作分类模型对上述采集到手的关节点数据的动作特征进行分类，从而得到手势动作分类结果。

进一步地，所述系统还包括校准模块，用于校准用户双手是否处于有效检测范围内。

进一步地，所述系统还包括显示模块，用于显示手势动作识别结果、感知设备状态、用户的双手高度和双手实时图像。

进一步地，所述手势动作建模分为静态手势建模和动态手势建模；动态手势建模分为手的运动的全局动态手势建模和手指运动的局部动态手势建模。

进一步地，所述手势动作模型库中的手势动作特征具体为：手指的弯曲角度特征，手指指尖关节点间距离特征，手指的手指指向特征，动态手势的位移特征、旋转角度特征及旋转方向特征。

进一步地，所述手势动作模型库中的手势动作分类模型具体为：通过解决手势多分类、手势动作初始化和未标记手势类别分类的问题改进支持向量机(SVM)算法，采集手势动作用于SVM算法的训练，得到手势动作分类模型。