[发明专利]基于CNN-BiGRU神经网络融合的手语识别方法

说明书

本发明公开了一种基于CNN‑BiGRU神经网络融合的手语识别方法，包括：1采集手语数据并添加标签制作手语数据集；2对手语数据集进行数据预处理；3将增强后的特征数据划分为训练数据集、验证数据集和测试数据集；4建立一维CNN和BiGRU融合的CNN‑BiGRU深度神经网络模型；5实时采集手语数据并经过数据预处理后输入最终模型后得到手语分类结果。本发明能充分利用手语特征序列的时空信息，提高整个模型的识别精度，从而能有效且准确的实现手语的识别和分类。

技术领域

本发明涉及手语识别领域，尤其涉及一种基于CNN-BiGRU神经网络融合的手语识别方法。

背景技术

手语识别在当今智能人机交互的信息传达方式日益多样化的背景下，突出了手语交互的动态空间信息的语义重构化特点，并且直击需求痛点：我国有超过两千万的聋哑人口，基数大且识字率较低，手语作为其日常生活中的交流方式，用途广泛，翻译需求大。但手语翻译行业发展缓慢，社会培训力量薄弱、基础建设欠缺等原因导致高水平的手语翻译人才供应稀缺。其次，在线手语翻译运营成本高、普及难度大，因而针对手语的自动准确识别具有重要意义。

传统的独立手语状态获取方式有表皮肌电传感器、可穿戴数据手套、普通摄像头等。肌电传感设备采集身体肌肉运动时产生的微弱神经电流，再通过模式识别算法识别并反馈出相应的手语动作；基于普通摄像头的识别算法主要通过对目标进行背景分割以及构建局部描述因子来获取手语较低维的数据并用于分类；增加摄像头数量能帮助进一步提取手部空间轨迹信息。但拍摄图像的背景信息复杂度增加了手语姿态和手部位置的辨识难度，难以从单一图像中提取足够有效的深度信息，影响手语识别精度。而肌电传感器和可穿戴数据手套都有穿戴要求，使用不便，而且在疫情之下需考虑投放入公共场合的卫生防护问题，在实际使用的推广中存在相当大的局限性。

目前，随着人工智能兴起，深度学习逐渐深入各个领域，手语识别技术方面也逐渐转向深度学习领域，开始取得不错的成绩，但针对手语的识别技术依旧较少，并不成熟。传统手语识别的深度学习方法主要包括卷积神经网络(CNN)与长短期记忆网络(LSTM)，基于CNN的手语识别系统多局限于局部特征，无法深度学习池化后的特征；LSTM网络虽然考虑了过去的特征序列，但忽略了未来时序信息，且网络结构复杂，训练难度大。

发明内容

针对手语识别问题，为克服上述现有技术不足，本发明提出了一种基于CNN-BiGRU神经网络融合的手语识别方法，以期能充分利用手语特征序列的时空信息，提高识别模型的识别精度，从而能有效且准确的实现手语的识别和分类。

本发明为达到上述发明目的，采用如下技术方案：

本发明一种基于CNN-BiGRU神经网络融合的手语识别方法的特点在于，包括以下步骤：

步骤1：利用深度摄像头设备获取由拇指位置坐标F₁，食指位置坐标F₂，中指位置坐标F₃，无名指位置坐标F₄，小拇指位置坐标F₅，手掌中心位置P_C，手掌稳定位置P_S，手掌俯仰角Pitch，手掌偏航角Yaw，手掌滚动角Roll，手握球半径r，手掌宽度P_W，掌心速度v所构成的多种手语数据；且每种手语数据设有相应的类别标签；由多种手语数据及其类别标签构成手语数据集；

步骤2：对手语数据集进行数据预处理；

步骤2.1、根据所述手语数据集计算得到手握球相对半径S、指尖掌心距离D、掌心相对速度V、绝对三维手掌位置标准差P、指间距离L并作为特征数据集；

步骤2.2、采用零-均值规范化的方法，对所述特征数据集进行标准化处理，得到预处理后的特征数据集；

步骤2.3、对预处理后的特征数据集进行数据增强，得到增强后的特征数据集；