[发明专利]一种基于关键帧和边界约束DTW的实时动态手势识别方法

说明书

本发明涉及一种基于关键帧和边界约束DTW的实时动态手势识别方法，在动态手势特征提取阶段，将动态手势的运动方向引入到关键帧手势图像选取中，并根据动态手势的变化趋势实现对关键帧手势图像选取阈值的动态调整，在此基础上利用局部极值的特性并结合凸包过滤实现对关键帧手势图像的指尖特征提取；在动态手势识别阶段，提出一种转换方法，用于计算不等长的二维手势序列之间的DTW下界距离，并且在DTW距离计算过程中给出设置手势数据的配对范围的方法。本发明综合考虑了动态手势的轨迹特征和结构特征，并通过关键帧图像选取、构造DTW下界距离、设置手势数据的配对范围，缩短了动态手势识别过程的计算时间。

技术领域

本发明涉及一种基于关键帧和边界约束DTW的实时动态手势识别方法，属于人机交互技术领域。

背景技术

随着人机交互技术逐渐成熟，手势识别技术被广泛应用到手语识别、智能交通、游戏娱乐等诸多领域。根据手势采集设备的不同，目前的手势识别技术可以分为基于数据手套的手势识别技术和基于视觉的手势识别技术。其中，基于视觉的手势识别技术不需要穿戴笨重的手套设备，能够以一种更加灵活、自然的方式进行人机交互，已成为目前的研究热点。该技术主要分为手势分割、手势特征提取和手势识别三个阶段，其中，手势特征提取用于表达手势，是进行手势识别的依据，而手势识别用于区分手势，是实现手势交互的重要途径。因此，手势特征提取算法和手势识别算法是决定手势识别技术准确性和实时性的关键因素。

动态手势特征提取是指消除手势图像中的重复数据，得到能够描述手势本质属性的一系列用数值表示的特征，并通过这些特征来表达手势。Ganapathyraju等人提出一种基于凸包缺陷的动态手势特征提取算法，对于凸包中的每一个凸包缺陷，根据它的起始点、中心点、距离最远点以及最远点到凸包的距离四个特征之间的相互关系，判断是否存在指尖点。但该算法只能计算出指尖的个数，并不能获取指尖点的位置信息，并且易受到噪声数据的干扰，对于相似的手势识别正确率较差。李博男等人提出一种改进k曲率的手势特征提取算法，在筛选出曲率较大的指尖点集后，采用聚类算法将候选指尖点划分成多个子集，并选择每个子集的中位点表示指尖位置。但是该算法需要依赖人为设置的曲率阈值，并且对候选指尖特征点进行聚类过滤需要消耗较长的计算时间。Pathak等人提出一种基于关键帧的手势特征提取算法，通过计算和比较相邻帧手势图像的质心距离，将距离大于阈值的手势图像作为关键帧进行特征提取。但是该算法的关键帧选取阈值的设置依赖人为的先验知识，由于不同动态手势的运动速率存在差异，很难确定合适的阈值大小。丁洪丽等人提出一种关键帧选取算法，通过计算整个视频的相邻帧图像像素差的均值和方差确定关键帧选取阈值大小，但是在手势识别过程中，动态手势视频长度是未知的，因此该算法不能用于动态手势的关键帧手势图像选取。

动态手势识别是指通过某种方式计算出手势运动轨迹与预设模板的相关系数来判断手势的交互语义。基于DTW的动态手势识别算法作为一种非线性时间规整的模板匹配算法，通过弯曲输入手势序列的时间轴使之与手势模板之间达到最大程度的重叠，可以消除手势之间的时间差异，提高手势识别的准确性，但是该算法的计算复杂度较高，计算量较大，识别时间受到模板匹配次数和手势序列长度的影响，难以实现实时手势识别。郑旭为了减少DTW距离的计算次数，提出一种DTW下界距离的计算方法，利用基于小波熵的时间序列分段聚合近似表示方法，将长度不同的序列降维成等长的序列，再通过改进的DTW下界距离函数过滤相似可能性较低的序列之间的DTW距离计算，但是该算法不能用于计算手势序列之间的DTW下界距离。何超等人提出在DTW距离的计算过程中，为手势数据设置固定的边界宽度，从而减少DTW距离的计算量。但是边界宽度的设置依赖于人的先验知识，若边界宽度过小，则可能造成DTW距离偏差过大，导致错误的识别，反之则缩短的时间可以忽略不计。

综上所述，现有的动态手势识别技术中对动态手势进行特征提取需要从手势视频的每帧手势图像中提取出能够表达该手势运动轨迹和外形结构的信息，计算量较大，会增加手势特征提取的时间。同时，在手势识别阶段，采用基于DTW的动态手势识别算法计算复杂度较高，识别时间受到模板匹配的次数和手势序列长度的影响，降低了手势识别的实时性。

发明内容