[发明专利]一种基于特征协方差矩阵的动态手势识别方法

权利要求书

1.一种基于特征协方差矩阵的动态手势识别方法，其特征在于，所述的动态手势识别方法包括下列步骤：

S1、利用肤色信息与金字塔LK光流算法跟踪RGB视频序列中的二维手势，从而获取每帧中手部区域的FAST角点；或者使用相机捕获3D动态手势，从而获取每帧中人手的关节点在相机坐标系中的三维位置；

其中，所述的步骤S1中利用肤色信息与金字塔LK光流算法跟踪RGB视频序列中的二维手势，从而获取每帧中手部区域的FAST角点的过程如下：

S101、在第一帧中利用已训练好的人手检测器获取一个包含整个手部区域的矩形框；

S102、对该矩形框内的图像进行肤色分割，并选取最大的连通域作为粗略的手部区域；

S103、在分割出来的粗略的手部区域中提取FAST角点，并利用金字塔LK光流算法计算上述FAST角点的光流矢量；

S104、利用步骤S103中得到的光流矢量计算所有FAST角点的平均位移矢量，并将该平均位移矢量作为人手的位移矢量；

S105、根据手的位移矢量移动该帧中的矩形框到下一帧中，从而实现了对人手的跟踪；

S106、利用步骤S103中得到的光流矢量计算所有FAST角点的平均移动距离，除去移动距离小于平均移动距离的FAST角点，并且保存剩余的FAST角点；

S107、重复步骤S102～步骤S106，从而获取每帧中手部区域的FAST角点；

S2、对于每个RGB图像帧，提取能在接下来的两帧中被稳定跟踪的手部区域的FAST角点，并为每个FAST角点计算一个8维的特征向量，从而获取二维动态手势的局部运动模式；对于每个深度图像帧，估计手部关节点在3D空间中的位置，并为每个手部关节点计算一个10维的特征向量，从而获取三维动态手势的局部运动模式；

其中，所述的步骤S2中对于每个RGB图像帧，提取能在接下来的两帧中被稳定跟踪的手部区域的FAST角点，并为每个FAST角点计算一个8维的特征向量，从而获取二维动态手势的局部运动模式的过程如下：

S211、使用金字塔LK光流算法对每帧中的手部区域的FAST角点进行跟踪，并且提取能在接下来的两帧中被稳定跟踪的手部区域的FAST角点；

S212、对步骤S211中的每个FAST角点，使用公式(1)计算一个8维的特征向量：

f(x,y,t):＝[x,y,t,I_t,u,v,u_t,v_t]^T (1)

其中，x与y分别表示某FAST角点在图像中的横坐标与纵坐标，t表示该FAST角点所在的帧的索引，表示该FAST角点所在位置的像素值I(x,y,t)对时间t的一阶偏导数，u与v分别表示该FAST角点沿X轴与Y轴的光流，u_t与v_t分别表示u与v对时间的一阶偏导数；

其中，所述的步骤S2中为每个深度图像帧中的每个手部关节点计算一个10维的特征向量，从而获取三维动态手势的局部运动模式的过程如下：

S221、使用RealSense F200自带的SDK实时地获取人手的三维骨架信息，并保存每帧中手部关节点的三维坐标；

S222、对每帧中的每个关节点，使用公式(2)计算一个10维的特征向量：

f(x,y,z,t):＝[x,y,z,t,u,v,w,u_t,v_t,w_t]^T (2)

其中，(x,y,z,t)表示某关节点的时空坐标，(u,v,w)分别表示该关节点沿X轴、Y轴与Z轴的位移，(u_t,v_t,w_t)分别表示(u,v,w)对时间的一阶偏导数；

S3、将一个动态手势序列分为若干个子序列，对二维动态手势计算每个子序列中的所有的8维特征向量或对三维动态手势计算每个子序列中的所有的10维特征向量；分别计算每个子序列和整个序列中的特征向量集合的对数协方差矩阵；将所有的对数协方差矩阵的上三角部分连接起来构成一个列向量，从而获得整个二维或三维动态手势的一个特征协方差矩阵描述子；

S4、计算训练集中的每个动态手势的特征协方差矩阵描述子，并训练一个SVM分类器对动态手势进行分类；对于每个待测试的动态手势，首先计算其特征协方差矩阵描述子，然后用已训练的SVM分类器对其进行分类。