[发明专利]一种基于eSC和HOG的自适应HMM的手语识别方法

摘要

本发明公开了一种基于eSC和HOG的自适应HMM的手语识别方法，包括：步骤S1、对手语的轨迹进行基于密度的采样处理，再进行形状上下文特征的提取并结合金字塔处理方法，获得包含了空间和时间上信息的eSC特征；步骤S2、对于手型特征，通过从图像数据中提取出包含手的矩形框，在框中进行HOG特征的提取，从而实现对手型特征的描述；步骤S3、基于提取出的eSC特征与HOG特征建立自适应HMM模型；步骤S4、对于待识别的数据，通过步骤S1与步骤S2提取出eSC特征与HOG特征，再基于所述自适应HMM模型对待识别的数据中提取出的eSC特征与HOG特征进行识别，获得识别结果。通过采用本发明公开的方法能够显著的提高手语识别正确率。

主权项

1.一种基于eSC和HOG的自适应HMM的手语识别方法，其特征在于，包括：步骤S1、对手语的轨迹进行基于密度的采样处理，再进行形状上下文特征的提取并结合金字塔处理方法，获得包含了空间和时间上信息的eSC特征；步骤S2、对于手型特征，通过从图像数据中提取出包含手的矩形框，在框中进行HOG特征的提取，从而实现对手型特征的描述；步骤S3、基于提取出的eSC特征与HOG特征建立自适应HMM模型；步骤S4、对于待识别的数据，通过步骤S1与步骤S2提取出eSC特征与HOG特征，再基于所述自适应HMM模型对待识别的数据中提取出的eSC特征与HOG特征进行识别，获得识别结果；其中，所述对手语的轨迹进行基于密度的采样处理后，进行形状上下文特征的提取并结合金字塔处理方法，获得包含了空间和时间上信息的eSC特征包括：采用基于密度的采样处理，使得图像数据中手语轨迹点趋于均匀化：a、设定采样上界值，初始化手语轨迹Path为原始数据归一化后的坐标点序列；b、计算手语轨迹Path中相邻图像帧的手语轨迹点的平均距离d；c、在相邻图像帧的手语轨迹点距离最大且超过平均距离d的两个手语轨迹点之间线性插入一个手语轨迹点，并更新Path；d、判断更新后的Path中的手语轨迹点总数是否达到采样上界值；若是，则停止；若否，则继续重复上述步骤b～d；将采样处理后的三维数据(x,y,z)分成三个两维数据：(x,y)、(x,z)与(y,z)；分别获取每一个二维数据的形状上下文直方图；将形状上下文直方图平面分成t个方向，每个方向上取s层，所以将空间分成了t×s个区域，每个区域的取值为落在对应区域中手语轨迹点的个数；再进行归一化处理，将三个二维的直方图连在一起，形成一个能够描述三维空间的特征向量；引入时间金字塔处理方法，来利用时间信息：将图像数据通过前述两个步骤处理获得的三维空间的特征向量记为f₁；将图像数据从时间上划分为前半部分与后半部分，再分别对前半部分与后半部分进行上述两个步骤的处理，处理获得的三维空间的特征向量分别记为f₂与f₃；再将图像数据从时间上划分为四个部分，再分别对四个部分进行上述两个步骤的处理，处理获得的三维空间的特征向量分别记为f₄、f₅、f₆与f₇；最终获得的获得包含了空间和时间上信息的eSC特征记为：F＝(f₁,f₂,f₃,f₄,f₅,f₆,f₇)；通过从图像数据中提取出包含手的矩形框，在框中进行HOG特征的提取，从而实现对手型特征的描述包括：根据图像数据采集设备的映射函数，找到每一帧图像中手对应的骨骼点在图像数据中的像素位置，提取出预定大小且以手为中心的矩形像素框；对于每一帧图像，均从矩形像素框中提取HOG特征，其中，参数设置为n×n为一个cell单元，h×h个cell单元组成一个block块；在每个cell中取p个梯度方向，计算一个直方图；每平移一个cell选取一个block，则总共有h×h×p个block块，每个block由h×h×p维直方图表达，每一帧图像总共可以获得(h×h×p)²维的直方图特征；采用PCA方法将每一帧图像的(h×h×p)²维的直方图特征降维成W维，其中，W＜＜(h×h×p)²。