[发明专利]基于CNN-BiGRU神经网络融合的手语识别方法

权利要求书

1.一种基于CNN-BiGRU神经网络融合的手语识别方法，其特征在于，包括以下步骤：

步骤1：利用深度摄像头设备获取由拇指位置坐标F₁，食指位置坐标F₂，中指位置坐标F₃，无名指位置坐标F₄，小拇指位置坐标F₅，手掌中心位置P_C，手掌稳定位置P_S，手掌俯仰角Pitch，手掌偏航角Yaw，手掌滚动角Roll，手握球半径r，手掌宽度P_W，掌心速度v所构成的多种手语数据；且每种手语数据设有相应的类别标签；由多种手语数据及其类别标签构成手语数据集；

步骤2：对手语数据集进行数据预处理；

步骤2.1、根据所述手语数据集计算得到手握球相对半径S、指尖掌心距离D、掌心相对速度V、绝对三维手掌位置标准差P、指间距离L并作为特征数据集；

利用式(1)得到手握球相对半径大小S：

利用式(2)、式(3)和式(4)分别得到x方向的掌心相对速度V_x、y方向的掌心相对速度V_y和z方向的掌心相对速度V_z：

式(2)-式(4)中，v_k表示在k方向上的掌心速度；

步骤2.1.4、利用式(5)得到绝对三维手掌位置的标准差P：

P＝P_C-P_S (5)

步骤2.2、采用零-均值规范化的方法，对所述特征数据集进行标准化处理，得到预处理后的特征数据集；

步骤2.3、对预处理后的特征数据集进行数据增强，得到增强后的特征数据集；

步骤3：将增强后的特征数据集划分为训练数据集、验证数据集和测试数据集；

步骤4：建立一维CNN和BiGRU融合的CNN-BiGRU深度神经网络模型；所述CNN-BiGRU深度神经网络模型包括：SpatialDropout层、一维CNN网络、BiGRU网络、全连接层；所述一维CNN网络由一维卷积层和一维最大池化层组成；所述BiGRU网络结构是由一个前向传播的GRU单元和一个后向传播的GRU单元组合而成；

步骤4.1、设置超参数，并初始化CNN-BiGRU深度神经网络模型的参数，从而得到当前网络模型；

步骤4.2、所述训练数据集输入所述当前网络模型中的SpatialDropout层中并经过一维CNN网络的卷积和最大池化操作，得到初次手语特征；所述初次手语特征经过BiGRU网络后，得到手语特征的时序信息并经过全连接层输出每种手语类别概率；

步骤4.3、利用优化算法将所述手语类别概率反向传播至当前网络模型，从而更新各层网络模型参数，并得到更新后的CNN-BiGRU深度神经网络模型；

步骤4.4、利用验证数据集验证更新后的CNN-BiGRU深度神经网络模型的准确率，从而判断更新后的CNN-BiGRU深度神经网络模型是否收敛，若收敛，则将更新后的CNN-BiGRU深度神经网络模型作为当前超参数设置下的最优手语分类模型，否则，将更新后的CNN-BiGRU深度神经网络模型作为当前网络模型，并返回步骤4.2；

步骤4.5、按照步骤4.1-步骤4.4的过程，得到不同超参数下的最优手语分类模型，并比较其在测试数据集上准确率，从而选择准确率最高的最优手语分类模型作为最终用于识别手语的模型。

2.根据权利要求1所述的基于CNN-BiGRU神经网络融合的手语识别方法，其特征在于，所述步骤2.1包括：

步骤2.1.1、利用式(6)得到指尖掌心距离D：

式(6)中，F_ix表示第i个手指位置坐标中x方向的坐标值，F_iy表示第i个手指位置坐标中y方向的坐标值，F_iz表示第i个手指位置坐标中z方向的坐标值，P_Cx表示手掌中心位置坐标中x方向的坐标值，P_Cy表示手掌中心位置坐标中y方向的坐标值，P_Cz表示手掌中心位置坐标中z方向的坐标值，且i＝1、2、3、4、5分别代表拇指、食指、中指、无名指、小拇指；

步骤2.1.2、利用式(7)得到指尖距离L：

式(7)中，F_jx表示第j个手指位置坐标中x方向的坐标值，F_jy表示第j个手指位置坐标中y方向的坐标值，F_jz表示第j个手指位置坐标中z方向的坐标值，j＝1、2、3、4、5分别代表拇指、食指、中指、无名指、小拇指，且i≠j。