[发明专利]基于全景3D图像的微手势识别方法

说明书

本发明涉及基于全景3D图像的微手势识别方法，利用形态学滤波算法提升HoMG图像中的水平和竖直线条，增强线条与背景的对比度，通过快速模糊C均值聚类算法分割滤波图像，检测线条轮廓，根据形态学细化算法准确定位线条位置，利用线条间隔的最小方差计算基准坐标，构建网格坐标，利用网格坐标重建多张清晰的子图像，把重建后的子图像作为CNN模型的输入数据，从而完成微手势识别。本发明主要解决模糊网格导致HoMG图像识别精度低的问题，能有效提高基于HoMG图像的微手势识别精度，可广泛应用于人机交互领域。

技术领域

本发明涉及模式识别技术领域，具体涉及一种基于全景3D图像的微手势识别方法。

背景技术

手势识别是人机交互的关键步骤，在机器视觉和虚拟现实中有着广泛的应用。目前，基于手势识别的算法大致可分为两类：一类是手套采集方法；一类是视觉识别方法；第一类方法利用手套上的多个传感器来记录手势数据，虽然识别准确度高，但由于手套上传感器的限制，导致手势内容相对单一，实用性较差。第二类方法则利用Kinect和RGB-D相机捕捉手势的深度信息，通过挖掘深度信息进行手势识别，由于视觉识别具有直观、方便等特点，所以基于视觉的手势识别算法越来越受到使用者的青睐。

传统的手势识别主要由三个步骤组成，即手势分割、特征提取和分类器选择，其中手势分割是为了确定手势的大致轮廓，减少复杂背景对后续处理的干扰。特征提取是为了去除冗余信息，利用目标特征来表示原始图像。最后选择合适的分类器对特征数据进行分类。特征描述子和分类器类型较多，需凭借经验选择恰当的特征描述子和分类器类型。

由于卷积神经网络(Convolutional Neural Network,CNN)能自动学习图像特征，所以CNN模型已广泛应用于图像分类和目标检测中。近年来，学者们提出了大量改进的CNN模型并将其应用于手势识别。其中，Arenas等人提出了基于区域的CNN手势识别方法，该方法能够实现不同背景下的动态手势识别，但不利于微手势的识别。等人通过联合CNN模型和长短期记忆网络(Long Short-Term Memory,LSTM)，提出了CNN+LSTM的手势识别算法，虽然该方法能获得更高的手势识别结果，但由于需要两级网络导致该方法的计算复杂度较高。针对Kinect和RGB-D相机不能捕获图像微小变化的问题，Liu等人利用全景3D成像系统创建了全景3D微手势图库(Holoscopic 3D Micro-Gesture,HoMG)，全景3D成像系统是利用尺寸大小为28×28的微镜头阵列来采集信息，虽然每个镜头有效记录了手势的局部偏差，但也造成了HoMG图像中模糊网格的出现，由于模糊网格的干扰，导致传统的特征描述子和CNN模型难以有效提取图像特征，微手势识别精度较低。

发明内容

本发明的目的是提供一种基于全景3D图像的微手势识别方法，解决了现有技术中由于HoMG图库中模糊网格的干扰导致传统特征描述子和CNN模型不能有效提取图像特征的技术缺陷。

本发明所采用的技术方案为：

基于全景3D图像的微手势识别方法，其特征在于：

由以下步骤实现：

首先，利用形态学滤波算法提升HoMG图像中的水平和竖直线条，增强线条与背景的对比度；

其次，通过快速模糊C均值聚类算法分割滤波图像，检测线条轮廓；

然后，根据形态学细化算法准确定位线条位置，利用线条间隔的最小方差计算基准坐标，构建网格坐标；

最后，利用网格坐标重建多张清晰的子图像，把重建后的子图像作为CNN模型的输入数据，从而完成微手势识别。

具体包括以下步骤：

(1)输入HoMG图像f；

(2)对f进行水平和竖直形态学滤波，得到滤波后的图像为ξ_h和ξ_v；