[发明专利]一种连续手语的识别方法及其装置

说明书

技术领域

本发明属于手语识别技术领域；涉及一种连续手语的识别方法；具体的是一种利用DTW和PNN进行连续手语识别的方法；本发明还提供了一种连续手语的识别装置。

背景技术

手语作为表达信息的一种方式，是聋哑人与外界交流的最主要途径。因此，利用计算机技术进行手语识别，可以使正常人通过计算机的翻译看懂手语，方便聋哑人与正常人之间的交流。另外，手语识别可以实现更加智能化，更加自然流畅的人机交互，是计算机人工智能的另外一种可能性。

发明内容

本发明提供了一种连续手语的识别方法；实现了连续手语的识别，提高了手语识别的准确率。

本发明还提供了一种连续手语的识别装置，该装置能够通过上述方法实现连续手语的识别。

本发明的技术方案是：一种连续手语的识别方法，包括以下步骤：

步骤1，拍摄手语动作，并得到手语动作的深度图像和彩色图像；

步骤2，对深度图像和彩色图像进行目标手形分割处理，得到深度图像和彩色图像中的目标手形部分；

步骤3，提取目标手形部分的轮廓特征和几何特征，并且将其进行融合，得到手语特征序列；

步骤4，使用动态时间归整算法将手语的特征序列与手语模板特征库进行比对识别，具体的包括计算待识别连续手语与手语模板特征库中所有手语模板的距离，输出距离最近的手语模板的含义为待识别连续手语的含义。

更进一步的，本发明的特点还在于：

其中步骤1中使用Kinect拍摄手语动作，得到待识别连续手语的深度图像和彩色图像。

其中步骤1中将深度图像和彩色图像分别按照时间顺序存储。

其中步骤2的具体过程是：首先对对深度图像进行阈值分割，得到前景目标区域和背景部分；将背景部分对应到相应的彩色图像中，并进行配准，然后对配准后的图像进行肤色分割得到手形部分。

其中步骤2中对手形部分还进行去噪平滑处理，以及去除分割结果中的小连通区域，得到标准的理想目标手形部分。

其中步骤3的具体过程是：步骤3.1，首先提取目标手形部分轮廓的傅里叶特征，并且描绘出目标手形部分的边缘，根据边缘的坐标进行傅里叶变换，得到目标手形的轮廓特征；步骤3.2，通过计算图像灰度加权值，计算出图像的大小、质心和形状的几何特征；步骤3.3，将几何特征和轮廓特征进行融合得到手语特征序列。

其中步骤4中手语模板特征库为：通过概率神经网络进行模板训练，识别每一个关键帧手形的含义，并对该手形进行标识，多个标识组合形成的特征向量标识一个连续的手语。

其中步骤4中计算待识别连续手语与手语模板特征库中所有手语模板的距离的具体过程是：步骤4.1将手语特征序列中的关键帧手语与手语模板特征库中的手语模板之间的差值计算，并输出相似度步骤4.2然后根据相似度计算出一个手语模板的竞争函数得到竞争函数输出最小的为该单个关键帧的识别，及该手语模板的含义对应为该单个关键帧的含义；步骤4.3，重复步骤4.1-4.2，依次完成手语特征序列中所有关键帧的识别，并将得到的手语模板组合成连续手语含义，并输出为待识别连续手语的含义。

本发明还提供了一种连续手语的识别装置，包括Kinect拍摄模块，Kinect拍摄模块包括深度图像存储单元和彩色图像存储单元；目标手形分割单元，对彩色图像和深度图像进行处理，得到图像中的目标手形部分；特征整合单元，对目标手形部分的几何特征和轮廓特征进行整合，得到手语特征序列；匹配模块，将手语特征序列与手语模板库中的手语模板进行对比识别，得到与待识别连续手语识别相匹配的连续手语模板，并输出连续手续模板的含义。

更进一步的，本发明的特点还在于：

其中匹配模块还包括DTW单元，DTW单元载入手语模板库和手语特征序列，并通过计算手语特征序列与模板特征库中所有手语模板的距离，并排序输出手语特种工序列的识别含义。

与现有技术相比，本发明的有益效果是：利用Kinect获取手语运动的深度图像和彩色图像用于目标分割，得到更为准确的分割效果；在此基础上进行特征提取，分别提取手形的Hu距特征和傅里叶特征进行特征融合，得到新的特征序列表示手形；最后利用DTW和PNN进行手语分类器的设计，用于手语识别，输出识别的结果，根据识别的结果做出进一步的调整，最终达到使客户满意的效果。

附图说明

图1为本发明的结构示意图。

具体实施方式

下面结合附图和具体实施例对本发明的技术方案进一步说明。