[发明专利]一种AR系统手势识别方法

说明书

一种基于卷积神经网络结合用户习惯性行为分析的AR系统手势识别方法，包括以下步骤：步骤1：用户习惯性手势图像采集：由用户随机提供一组手势，将这组手势作为标准手势，采集该组手势图像，记为标准组；根据标准组手势模型图，构建其对应的实际标签类别；设置不同的标签类别触发相应AR系统指定功能；步骤2：手势区域图像检测：分别对标准组、训练样本组及测试样本组的手势图像进行手势区域图像检测，以实现图像中肤色与非肤色区域的分割；步骤3：卷积神经网络实现手势特征识别：设计卷积神经网络初步结构模型，用样本数据训练并测试调整卷积神经网络模型，将二值化图像直接输入卷积神经网络。本发明手势识别准确率较高、附加设备成本较低。

技术领域

本发明涉及一种增强现实(AR)系统手势识别方法，尤其涉及一种基于卷积神经网络结合用户习惯性行为分析的手势识别方法。

背景技术

近年来，随着人工智能不断进入人们视野当中，增强现实技术(AR技术)逐渐成为炙手可热的话题。增强现实技术通过电脑技术将虚拟信息应用到真实世界，真实的环境和虚拟的物体实时地叠加到了同一个画面或同一个空间同时存在。其中，人机交互技术显得尤为重要。手势作为一种表达方式，通常被作为重要的人机交互手段之一，手势识别也吸引了众多学者的研究。

陈志华等人在《一种基于手指分割的实时手势识别方法》中提出一种基于手指区域分割结合Labeling算法的识别方法；王子川等人在《一种增强现实眼镜的手势识别方法及增强现实眼镜系统》提出基于手势深度图像的指尖定位方法实现手势识别；张勇等人在《一种用于增强现实辅助维修的动态手势识别方法及系统》中提出根据动态手势的指尖运动轨迹结合支持向量机中的分类器进行手势识别的方法；莫冰等人在《一种基于多摄像头的可穿戴式头盔的手势交互系统及识别方法》通过信号采集发送模块、处理器和交互模块用于原始照片的采集、图像处理与手势信息形成、手势的交互；罗阳星等人在《一种基于组合神经网络的动态手势识别方法》中提出基于Haar特征的快速手掌检测器和Camshift手掌跟踪器对图像序列中的手掌进行跟踪定位，输入卷积神经网络串接时间递归神经网络，最后经由softmax分类器输出；冯蔚腾等人在《一种手势识别方法,装置和头戴式可视设备》中根据所测目标物体角度和预设的手势识别算法得到手势信息；李红波等人在《一种采用动作切分的手势识别系统和方法》采用信息切分捕捉手势视频帧图像,对手势帧图像进行预处理和特征提取；焦泽栋等人在《一种基于图像识别配合图形手套的手势识别方法》中利用图案手套结合前端程序预置图像识别软件识别手势，使用三个红外探头确定手部运动的三维位置。

经文献调研分析，目前现有的增强现实系统的手势识别存在准确率低，误差大的缺点，降低了用户在人机交互过程的体验感。外加可佩带设备的识别方法则更需要关注设备在人机交互时给用户带来的不便，以及设备的制造维护成本。

发明内容

为了克服现有AR系统的手势识别准确率较低、附加设备成本较高等不足，本发明提出一种手势识别准确率较高、附加设备成本较低的基于卷积神经网络结合用户习惯性行为分析的AR系统手势识别方法。

本发明采用的技术方案为：

一种基于卷积神经网络结合用户习惯性行为分析的AR系统手势识别方法，所述手势识别方法包括以下步骤：

步骤1：用户习惯性手势图像采集

由用户随机提供一组手势，将这组手势作为标准手势，采集该组手势图像，记为标准组；根据标准组手势模型图，构建其对应的实际标签类别；设置不同的标签类别触发相应AR系统指定功能；由用户重复n次上述手势，并采集所得n组手势图像，记为训练样本组；记录用户在AR终端实现人机交互时的N组手势图像，记为测试样本组；

步骤2：手势区域图像检测

分别对步骤1获取的标准组、训练样本组及测试样本组的手势图像进行手势区域图像检测，以实现图像中肤色与非肤色区域的分割；

步骤3：卷积神经网络实现手势特征识别