[发明专利]一种连续手语的识别方法及其装置

权利要求书

1.一种连续手语的识别方法，其特征在于，包括以下步骤：

步骤1，拍摄手语动作，并得到手语动作的深度图像和彩色图像；

步骤2，对深度图像和彩色图像进行目标手形分割处理，得到深度图像和彩色图像中的目标手形部分；

步骤3，提取目标手形部分的轮廓特征和几何特征，并且将其进行融合，得到手语特征序列；

步骤4，使用动态时间归整算法将手语的特征序列与手语模板特征库进行比对识别，具体的包括计算待识别连续手语与手语模板特征库中所有手语模板的距离，输出距离最近的手语模板的含义为待识别连续手语的含义。

2.根据权利要求1所述的连续手语的识别方法，其特征在于，所述步骤1中使用Kinect拍摄手语动作，得到待识别连续手语的深度图像和彩色图像。

3.根据权利要求2所述的连续手语的识别方法，其特征在于，所述步骤1中将深度图像和彩色图像分别按照时间顺序存储。

4.根据权利要求1所述的连续手语的识别方法，其特征在于，所述步骤2的具体过程是：首先对对深度图像进行阈值分割，得到前景目标区域和背景部分；将背景部分对应到相应的彩色图像中，并进行配准，然后对配准后的图像进行肤色分割得到手形部分。

5.根据权利要求4所述的连续手语的识别方法，其特征在于，所述步骤2中对手形部分还进行去噪平滑处理，以及去除分割结果中的小连通区域，得到标准的理想目标手形部分。

6.根据权利要求1、4或5任意一项所述的连续手语的识别方法，其特征在于，所述步骤3的具体过程是：

步骤3.1，首先提取目标手形部分轮廓的傅里叶特征，并且描绘出目标手形部分的边缘，根据边缘的坐标进行傅里叶变换，得到目标手形的轮廓特征；

步骤3.2，通过计算图像灰度加权值，计算出图像的大小、质心和形状的几何特征；

步骤3.3，将几何特征和轮廓特征进行融合得到手语特征序列。

7.根据权利要求1所述的连续手语的识别方法，其特征在于，所述步骤4中手语模板特征库为：通过概率神经网络进行模板训练，识别每一个关键帧手形的含义，并对该手形进行标识，多个标识组合形成的特征向量标识一个连续的手语。

8.根据权利要求1或7任意一项所述的连续手语的识别方法，其特征在于，所述步骤4中计算待识别连续手语与手语模板特征库中所有手语模板的距离的具体过程是：

步骤4.1将手语特征序列中的关键帧手语与手语模板特征库中的手语模板之间的差值计算，并输出相似度

步骤4.2然后根据相似度计算出一个手语模板的竞争函数得到竞争函数输出最小的为该单个关键帧的识别，及该手语模板的含义对应为该单个关键帧的含义；

步骤4.3，重复步骤4.1-4.2，依次完成手语特征序列中所有关键帧的识别，并将得到的手语模板组合成连续手语含义，并输出为待识别连续手语的含义。

9.一种连续手语的识别装置，其特征在于，包括Kinect拍摄模块，Kinect拍摄模块包括深度图像存储单元和彩色图像存储单元；目标手形分割单元，对彩色图像和深度图像进行处理，得到图像中的目标手形部分；特征整合单元，对目标手形部分的几何特征和轮廓特征进行整合，得到手语特征序列；匹配模块，将手语特征序列与手语模板库中的手语模板进行对比识别，得到与待识别连续手语识别相匹配的连续手语模板，并输出连续手续模板的含义。

10.根据权利要求9所述的连续手语的识别装置，其特征在于，所述匹配模块还包括DTW单元，DTW单元载入手语模板库和手语特征序列，并通过计算手语特征序列与模板特征库中所有手语模板的距离，并排序输出手语特种工序列的识别含义。