[发明专利]一种动态手势序列实时识别方法、系统及装置

权利要求书

1.一种动态手势序列实时识别方法，其特征在于：包括以下步骤：

分别采集含有待识别对象的彩色图像和深度图像；

根据采集的彩色图像和深度图像进行人体区域检测与分割，得到人体区域；

在人体区域中进行手部区域的检测与分割，得到手部区域；

根据手部区域，采用具备光照不变性的肤色模型以及基于高斯分布的椭圆边界模型进行手部的动态跟踪；

根据手部动态跟踪的结果，采用基于手势轨迹和静态姿态匹配的方法进行时空手势序列检测，得到动态手势序列；

对动态手势序列进行建模和分类。

2.根据权利要求1所述的一种动态手势序列实时识别方法，其特征在于：所述根据采集的彩色图像和深度图像进行人体区域检测与分割，得到人体区域这一步骤，具体包括：

使用二维头部模板及距离匹配算法在采集的深度图像中搜索可能的头部区域；

使用带有深度信息的三维头部模板从可能的头部区域中删除不匹配的区域；

使用区域增长算法从删除不匹配区域后的区域中分割得到深度图像的人体区域；

根据深度图像的人体区域计算背景掩码，进而根据背景掩码在采集的彩色图像中分割人体区域。

3.根据权利要求2所述的一种动态手势序列实时识别方法，其特征在于：所述在人体区域中进行手部区域的检测与分割，得到手部区域这一步骤，具体包括：

采用边缘检测算法计算深度图像的人体区域的二值边缘图像；

从计算的二值边缘图像中滑窗选择待匹配区域，并采用倒角距离匹配法与二维手部模板进行匹配检测，得到若干个候选手部区域，所述倒角距离匹配法中倒角距离的计算公式为：

其中，d_charm(U_T,V_Q)为U_T中的点与V_Q中的点的倒角距离，U_T为二维手部模板边缘的点集，V_Q为待匹配区域的边缘图像的点集，u_i为U_T中的第i个点，i＝1，2，…，n；n为U_T的总点数，u_j为V_Q中第j个点，j＝1，2，…，m；m为V_Q的总点数；

计算每个候选手部区域的匹配得分，并根据计算的匹配得分从所有候选手部区域中选出最终的手部区域，所述候选手部区域的匹配得分M_score的表达式为：

其中，s_max表示所有候选手部区域中最大的深度距离，s_candidate表示当前候选区域的深度距离，d_cham表示当前候选区域的点与二维手部模板的点的倒角距离。

4.根据权利要求1所述的一种动态手势序列实时识别方法，其特征在于：所述根据手部区域，采用具备光照不变性的肤色模型以及基于高斯分布的椭圆边界模型进行手部的动态跟踪这一步骤，具体包括：

将给定的肤色样本中肤色的色彩空间转换为YCbCr空间，并通过多元高斯模型拟合肤色在Y、Cb和Cr这三个通道的概率统计分布，从而得到肤色模型和基于高斯分布的椭圆边界模型的联合概率分布函数，所述得到的联合概率分布函数表达式为：

其中，p(x/skin)为在肤色skin的概率分布下的x对应的像素的似然值，x为像素的色彩向量，且x为d维随机变量，μ为训练样本肤色的高斯均值，T为转置，∑为训练样本的高斯协方差矩阵，∑^-1为∑的逆矩阵；

计算像素的色彩向量与训练样本肤色的高斯均值间的马氏距离，并结合预设的马氏距离阈值确定手部检测的边界模型，所述手部检测的边界模型将计算的马氏距离小于预设的马氏距离阈值对应的区域作为手部跟踪区域；

采用目标跟踪算法对手部跟踪区域内手部在每一图像帧中的位置进行动态跟踪。