[发明专利]一种基于卷积神经网络的人机交互方法

说明书

一种基于卷积神经网络的人机交互方法，包括以下步骤：（1）训练神经网络：1.1对视频库中手势动作逐帧识别，形成手轮廓图像；1.2对识别的手轮廓图像执行通道求和操作；1.3对求和操作得到的图像输入到卷积神经网络中进行训练，得到训练好的神经网络；（2）手势判断：2.1对摄像头采集的手势动作逐帧识别，形成手轮廓图像；2.2对识别的手轮廓图像执行通道求和操作；2.3对步骤2.2求和操作得到的图像输入到步骤1.3训练好的卷积神经网络中，判断出输入的手势动作属于什么类型手势；2.4输出识别结果，进行相信手势操作。本发明充分利用了机器学习技术，可实现对单一源视频图像帧序列的手势准确判断。本发明可以快速得到鲁棒的多通道手势图，比现有的手势识别方法，更高效简单快捷。

技术领域

本发明属于人机交互技术领域，特别是涉及一种基于卷积神经网络的人机交互方法。

背景技术

人机交互的发展过程就是从人适应计算机到计算机逐步适应人的过程，人机交互的发展经历了早期的手工操作阶段、作业控制语言及交互命令语言阶段、图形用户界面(GUI)阶段、网络用户界面阶段、多通道与多媒体智能人机交互阶段。手作为身体上最灵活的部位，是最早用来进行人与人之间肢体交流的工具。动态手势识别是人机交互领域中的重要研究课题，具有重要的理论研究意义以及广泛的应用前景。

国外对基于视觉的动态手势识别技术的研究起步比较早，在该领域的研究中有着丰富的经验，并取得了一定的研究成果。M.Elmezain等人通过融合Camshift算法和Kalman滤波算法来提高动态手势跟踪的效果，然后对相应的动态手势轨迹特征进行提取，最后通过HMM算法识别数字0～9的轨迹，识别率达到95.87％。M.Al-Rousan和K.Assaleh对动态手势识别做了深入研究，他们首先从视频中分割出手部，然后采用HMM模型对阿拉伯手语进行识别，最终该手势识别系统的在线识别率达到90.6％。R.Shrivastava利用Hu矩和手势轨迹方向角作为特征进行提取，然后使用HMM算法进行手势轨迹的识别，提高了识别速度，并且平均识别率达到了90％以上。R L.Vieriu等人利用HMM算法对手势轮廓的序列点进行判断分类，实现了9个不同角度手势的识别。华南理工大学的常亚南在经典HMM算法的基础上，提出了一种基于HMM的阈值模型的动态手势识别方法，最终完成了动态手势轨迹的识别，并且对典型动态手势轨迹的识别率达到97.87％。国内大连理工大学的杨青通过定位手势指尖的方法提取轨迹特征，最终利用HMM算法实现26个英文字母的动态手势轨迹的识别，其识别率可达85％以上。电子科技大学的杜晓川提出了一种基于外接椭圆中心距离的跟踪算法，并通过HMM算法进行轨迹的识别，平均识别率达到87％。中科院自动化研究所的单彩峰等人开发出了基于动态手势识别的智能轮椅控制系统，通过改进的粒子滤波算法实现对动态手势的实时跟踪，并在提取动态手势轨迹特征后，利用训练好的手势轨迹模型对待识别手势轨迹进行识别，最后将识别结果转化为控制轮椅的指令，从而实现对轮椅的运动控制。近年来，随着人工智能、模式识别、机器学习技术的快速发展。越来越多手势识别方法应用了人工神经网络和SVM等技术。马风力提出了一种基于MLP神经网络的手势识别方法。

从上述介绍可以知道，基于手势识别的人机交互方法已经吸引了国内外众多学者的兴趣并取得了比较丰富的成果，但是已有的基于机器学习的算法在效率及通用性等方面仍存在许多亟待解决的问题。

发明内容

本发明目的在于针对现有基于机器学习的手势交互方法准确率及识别速度还不高的缺陷，提供一种高效、简便，识别率高的基于卷积神经网络的人机交互方法。

本发明为实现上述目的，采用如下技术方案：

一种基于卷积神经网络的人机交互方法，其特征在于包括下述步骤：

(1)训练神经网络：

1.1对视频库中手势动作逐帧识别，形成手轮廓图像；

1.2对识别的手轮廓图像执行通道求和操作；