[发明专利]基于Kinect传感器的静态手语字母识别系统及方法

说明书

技术领域

本发明涉及计算机视觉及智能人-机交互领域，具体涉及一种基于机器视觉的人-机交互系统及其交互方法。

背景技术

随着计算机的广泛应用，人-机交互(Human Computer Interaction，HCI)已成为人们日常生活中的重要部分。人类自然地与自然界沟通的认知习惯和形式是人-机交互的发展方向。因此，研究者们也正在努力让未来的终端能听、能看、能说、能感觉。简单来说，人-机交互就是人类与计算机交流互动。从键盘到鼠标控制，再从语音到触摸，再到多点触控，随着人-机交互模式使用人群的扩大，并且不断向非专业人群渗透，人-机交互方式也越来越回归“自然”。在科技技术的变革中，人-机交互技术也有了质的进展，近年来人们对人-机交互方式的需求也更加拟人化、自然化。根据人们的需求，研究者在人-机交互领域做了更多的研究，因此，设计出来一种广泛的能够被大众接受的人-机交互方式，会更好的提高人与机器之间的密切交流，同时也能够提高交互效率。

手语识别的研究顺应了人-机交互技术的发展需要。然而由于手语本身具有多样性、多义性以及时间和空间上的差异性等特点，加之人手是复杂变形体以及视觉本身的不适定性，所以手语识别成为多学科交叉的研究课题。再者由于文化背景和应用环境的不同，使得手语识别研究无法整合到一个完整的框架当中，理论及技术未形成一个完整的体系。研究者多是根据特定的项目要求实现某些特定的功能，而不能将其应用到普遍的系统或研究当中。因此迫切需要对手语识别研究领域中的一些普遍难题进行解决，使其更具通用性。

目前，手语识别已被广泛研究，尤其是基于视觉的识别方法。韩国Inda大学和Korea Polytechnic大学的JongShill Lee、YoungJOO Lee等人用熵分析法从背景复杂的视频流中分割出手势区域并进行手势识别。使用链码的方法检测手势区域的轮廓，最后计算出从手势区域的质心到轮廓边界的距离。该系统可识别6种手势，平均识别率超过95％；6个人分别做每个手势的识别率平均达到90％-100％。印度研究者Meenakshi Panwar在视觉手势识别的基础上提出了一种基于结构特征的手势识别算法，通过背景去除、方向检测、拇指检测和手指数量检测，来最终识别手势。清华大学的Shin-Han Yu,Chung-Lin Huang采用并行马尔可夫(PHMM)方法对40个台湾手语符号进行识别,准确率为94.04％；Rini Akmeliawatil,Melanie Po-Leen Ooi等人采用指间带有高亮标记的视觉手套作为输入，用肤色分割结合神经网络的方法对马来西亚手语字母进行识别，正确率为95％。这些方法都获得了很好的识别率，但是大多数都未考虑到对光照、复杂背景、角度变化这些环境因素的鲁棒性。重庆邮电大学信息无障碍工程研发中心的科研人员采用Kinect传感器结合HU不变矩算法实现了基于静态手势的智能轮椅的人-机交互，该方法通过识别预先设定的手势来控制智能轮椅的运动，深度信息的应用有效的克服了光照、复杂背景、角度变化这些环境因素带来的干扰。

在《重庆邮电大学学报(自然科学版)》第25卷第4期刊载的《一种基于改进的SURF算法的静态手语字母识别方法》中公开了一种基于最近邻匹配算法的改进的SURF算法，结合Kinect传感器进行静态手语字母的识别，以及该方法在以智能轮椅为平台的实验结果及分析。但是该方法为了克服复杂背景和光照变化对识别工作带来的干扰，采用了深度图像作为待检测图像，而深度图像的像素值信息是由距离值信息转化而来，在二值化获得手像素区域分割结果后，掌心部分由于像素值信息极为相似，容易计算出错误的特征点，从而对下一步的识别工作带来干扰。同时SURF特征向量是64维的，维数过高的特征向量也会对识别工作带来一定的干扰。

发明内容

有鉴于此，为了解决上述问题，本发明公开了一种识别率高，鲁棒性好的基于Kinect传感器的静态手语字母识别系统及方法。

本发明的目的是这样实现的：

基于Kinect传感器的静态手语字母识别系统，包括：

1)摄像模块，采用Kinect传感器获取深度图像；

2)静态手语特征提取模块，采用SURF算法提取特征点；同时采用特征点筛选算法对SURF算法的计算结果进行优化，剔除错误特征点；

3)静态手语识别模块，对生成的64维的SURF特征点描述符，采用“一对一”SVM分类法，进行分类训练及识别，得出识别的结果。