[发明专利]一种基于关键帧和边界约束DTW的实时动态手势识别方法

摘要

本发明涉及一种基于关键帧和边界约束DTW的实时动态手势识别方法，在动态手势特征提取阶段，将动态手势的运动方向引入到关键帧手势图像选取中，并根据动态手势的变化趋势实现对关键帧手势图像选取阈值的动态调整，在此基础上利用局部极值的特性并结合凸包过滤实现对关键帧手势图像的指尖特征提取；在动态手势识别阶段，提出一种转换方法，用于计算不等长的二维手势序列之间的DTW下界距离，并且在DTW距离计算过程中给出设置手势数据的配对范围的方法。本发明综合考虑了动态手势的轨迹特征和结构特征，并通过关键帧图像选取、构造DTW下界距离、设置手势数据的配对范围，缩短了动态手势识别过程的计算时间。

主权项

1.一种基于关键帧和边界约束DTW的实时动态手势识别方法，其特征在于，包括如下步骤：步骤1)根据动态手势运动特性，针对待识别动态手势图像序列，选取关键帧手势图像；上述步骤1)中，根据如下步骤，针对待识别动态手势图像序列，选取关键帧手势图像；步骤101)设动态手势图像序列为I_Input＝{I₁,I₂,...,I_n}，n为动态手势图像序列的长度，I_t,t∈[1,n]，I_t表示第t帧手势图像；g_t'表示第t帧手势图像的质心，表示第t帧手势图像的质心坐标；δ_t表示第t帧手势图像的关键帧手势图像选取阈值；表示第t₁帧手势图像与第t₂帧手势图像之间的质心距离；步骤102)针对动态手势图像序列，计算相邻帧手势图像之间质心偏移角度θ_t的正弦值和余弦值：步骤103)针对动态手势图像序列，计算相邻帧手势图像之间的相对运动方向dir_t：步骤104)针对手势图像I_t，判断dir_t≠dir_t‑1是否成立，是则将该手势图像I_t作为关键帧手势图像；否则进一步针对该手势图像I_t，判断判断dist(t,t‑1)＞δ_t‑1是否成立，是则将该手势图像I_t作为关键帧手势图像；否则将该手势图像I_t不作为关键帧手势图像；步骤105)根据更新关键帧手势图像选取阈值δ_t；步骤2)获得各个关键帧手势图像的指尖特征点，并结合关键帧手势图像的质心，构建该帧手势图像的手势特征向量，然后进一步构建待识别动态手势所对应的动态手势特征向量；步骤3)针对动态手势特征向量，分别计算手势模板库中各个动态手势模板特征向量与待识别动态手势特征向量之间的DTW下界距离，获得满足预设要求的DTW下界距离所对应的各个动态手势模板特征向量；上述步骤3)中，分别针对手势模板库中的各个动态手势模板特征向量，执行如下步骤，分别计算手势模板库中各个动态手势模板特征向量与所获待识别动态手势特征向量之间的DTW下界距离，并针对DTW下界距离进行判断，进而获得满足预设要求的DTW下界距离所对应的各个动态手势模板特征向量；步骤301)设待识别的动态手势特征向量为其中μ∈[1,n]，n为V^I的长度；为V^I中所有质心坐标的集合，为G^I在水平方向上的投影，为G^I在垂直方向上的投影；为V^I中所有指尖特征的集合；手势模板库中动态手势模板特征向量为其中k∈[1,m]，m为V^T的长度；为V^T中所有质心坐标的集合，为G^T在水平方向上的投影，为G^T在垂直方向上的投影；为V^T中所有指尖特征的集合； max为n和m的最大值，min为n和m的最小值；步骤302)重定位G^I和G^T，得到起始点相同的手势轨迹序列G^I'和G^T'；步骤303)采用插值法在G^I'和G^T'的起始位置分别添加max+1‑n和max+1‑m个起始点坐标得到长度为max+1的手势序列G^I+＝{G^I*,G^I'},和G^T+＝{G^T*,G^T'},步骤304)计算G^I+在水平方向和垂直方向上的变化程度：diff_x＝max(X^I+)‑min(X^I+),diff_y＝max(Y^I+)‑min(Y^I+)其中max()表示序列中的最大值，min()表示序列中的最小值；步骤305)若diff_x≥diff_y，则采用LB_Keogh算法计算X^I+和X^T+的DTW下界距离LB_D(X^I+,X^T+)；否则计算Y^I+和Y^T+的DTW下界距离LB_D(Y^I+,Y^T+)；步骤306)判断LB_D(X^I+,X^T+)或LB_D(Y^I+,Y^T+)是否大于当前预设最小DTW距离，是则该动态手势模板特征向量不满足预设要求，否则该动态手势模板特征向量满足预设要求；步骤4)针对满足预设要求的DTW下界距离所对应的各个动态手势模板特征向量，分别计算各个动态手势模板特征向量与待识别动态手势特征向量之间DTW距离，基于DTW距离，实现针对待识别动态手势的识别。