[发明专利]一种基于RGB-D图像的手语字母识别方法

摘要

本发明公开了一种基于RGB-D图像的手语字母识别方法，属于计算机视觉的行为识别技术领域。该方法根据不同的手语字母类型具有不同的手型纹理信息，对RGB-D摄像机获取的RGB-D图像视频帧提取梯度方向直方图特征和超法向量特征，采用主成分分析与线性判别分析相结合的方法进行特征属性优化处理，获取具有显著性的特征属性，并进一步对特征进行分组词典稀疏表示；采用对比数据挖掘技术，获取各个手语字母类别中具有代表性的模板实例；最后采用基于贪婪思想的分层判决策略，先采用非参数的k最近邻分类器将易分的手语字母类别快速分类，对于难以区分的手语字母采用训练的基于模板的支持向量机模型进行判决。相比现有技术，本发明的识别准确度及识别效率均较高。

主权项

一种基于RGB‑D图像的手语字母识别方法，包括训练阶段和测试阶段，其特征在于，所述训练阶段包括以下步骤：步骤A、获取各手语字母类的RGB‑D图像视频样本并从各RGB‑D图像视频样本中分别提取若干候选帧；步骤B、对所提取的候选帧进行预处理； 步骤C、对预处理后的候选帧进行特征提取，所述特征提取具体如下：步骤C1、对预处理后的每幅候选帧，分别提取其RGB图像中感兴趣区域的梯度方向直方图特征以及其深度图像中感兴趣区域的超法向量特征；步骤C2、分别从每个手语字母类所对应的梯度方向直方图特征/超法向量特征集合中选取离各个手语字母类特征集合中心最近的部分梯度方向直方图特征/超法向量特征，构成一个特征数据样本子集；步骤C3、首先利用主成分分析方法对步骤C2中得到的特征数据样本子集中的特征数据样本进行初步降维处理，得到PCA降维转换矩阵；步骤C4、利用步骤C3得到的PCA降维转换矩阵对步骤C1得到的每幅候选帧的梯度方向直方图特征、超法向量特征进行特征降维；步骤C5,、利用线性判别分析方法对步骤C4得到的降维结果进行特征属性优化筛选处理，同时得到LDA降维转换矩阵；步骤C6、对步骤C5得到的特征属性优化后的各候选帧的梯度方向直方图特征、超法向量特征进行稀疏表示；步骤D、利用对比数据挖掘方法从每个手语字母的候选帧中分别选出类内支持率和类间增长率均较高的若干帧作为该手语字母的模板帧；对每一幅模板帧，以其自身作为正样本，其他类中的模板帧作为负样本，训练一个单独的SVM分类器，训练特征为步骤C最终得到的梯度方向直方图稀疏表示特征和超法向量稀疏表示特征；所述测试阶段包括以下步骤：步骤E、对测试行为的RGB‑D图像视频的每一帧，首先判断其相比于上一帧的运动能量变化是否超过预设阈值，如否，则以上一帧的识别结果作为该帧的识别结果，并开始下一帧的识别；如是，则转步骤F；步骤F、对当前帧进行预处理，然后分别提取其RGB图像中感兴趣区域的梯度方向直方图特征以及其深度图像中感兴趣区域的超法向量特征，并利用训练阶段得到的PCA降维转换矩阵和LDA降维转换矩阵对所述梯度方向直方图特征、超法向量特征进行特征降维和特征属性优化，最后对特征降维和特征属性优化后的各候选帧的梯度方向直方图特征、超法向量特征进行稀疏表示；步骤G、首先，采用在训练阶段获得的各个手语字母的模板帧，利用kNN分类算法对当前帧进行分类，识别出当前帧所表示的手语字母；如kNN分类算法无法对当前帧进行准确分类，则利用以下方法对其进行分类识别：使用训练阶段获得的一系列SVM分类器分别对当前帧进行判决，然后对各SVM分类器的判决置信度进行归一化，综合各个SVM分类器的判决结果得到最终判决结果。