[发明专利]一种基于多源信息融合的手语识别方法

说明书

本发明公开了一种基于多源信息融合的手语识别方法。包括：数据收集模型，数据预处理模型，神经网络模型，实时识别模型。本发明采用多传感器融合技术和深度学习的方法来对手语进行识别，并通过扬声器发出手语动作对应的声音。流程如下：1、通过表面肌肉电信号传感器(sEMG)和惯性测量单元(IMU)来收集手语动作信息，并通过蓝牙传输数据；2、通过特征提取和去噪算法对收集的数据进行数据清洗，并处理成可以输入神经网络的数据格式；3、构建双向双层LSTM神经网络，并训练保存模型；4、将模型移植到手机上，实时切割动作数据，将处理后的动作数据输入模型得到手语动作对应的标签，使用开源语言库发出动作标号对应的语音。

技术领域

本发明属于计算机科学时频信号处理和循环神经网络模型构建技术领域，尤其涉及到一种基于多源信息融合的手语识别方法。

背景技术

聋哑人是不容争议的需要得到社会关注的弱势群体。如今的聋哑人沟通手段大多数借助手语，这确实为聋哑人与聋哑人，聋哑人与懂得手语的人之间搭起了沟通的桥梁。但大多数普通人并不熟悉手语，也就造成了大多数人无法和聋哑人正常交流，这在一定程度上降低了社会对聋哑人群体的关注程度，甚至造成了对聋哑人群体的歧视。因此我们团队萌生了帮助聋哑人与不懂得手语的多数人沟通的想法。

而目前的一项热点技术：可穿戴技术，吸引了我们的注意。可穿戴技术主要是指探索创造能直接穿在身上、或是整合进用户的衣服或配件的设备的科学技术。利用该技术可以把多媒体、传感器和无线通信等技术嵌入人们的衣着中，大大为人们提供便利。

聋哑人群与不懂得手语的多数人沟通急切的需求与可穿戴技术的无线、便利、益于集成等特性相结合，启发了我们开发一款聋哑人群能够独立使用的、具有完善功能的、且能被市场普遍接受的手语识别系统。

在传统实现手语识别方法中有：基于传感感器的数据手套识别方法、基于摄像头的图像识别方法、基于雷达发射器的雷达波反射识别方法、基于PPG的光线反射识别方法，以上几种手语识别方法存在各种不足，有如下缺陷：

1)数据手套过于笨重，便携性差，同时会引起过多的关注，从而造成失语者的心理压力；

2)手势间的遮挡使得很难精确识别手指变化，佩戴者无法在较暗的场景(夜晚，室内光线不足)使用，对手部的准确检测跟踪切割较为困难，限制了手语识别的实时性；

3)距离太短，变化太小，无论是可移动方式还是不可移动方式识别，均难以精确检测，同时便携性很差；

4)难以保证手指语和手势语识别的完整性，不能兼顾粗粒度和细粒度手语识别的结合。

由此，一种结合多传感器融合、循环神经网络构建、实时手语翻译、兼顾粗粒度和细粒度手语识别方法显得极其重要。

发明内容

本发明针对现有的手语识别方法的不足，提供了一种基于多源信息融合的手语识别方案，该方案目标是通过一种可穿戴设备来实现手语-语音的交互过程。系统应具有良好的可扩展性，能够通过对手语的识别从而实现语音与手势的交互以及信号与手势的交互。

本发明的技术方案为一种基于多源信息融合的手语识别方法，包含以下4个步骤：

一种基于多源信息融合的手语识别方法，其特征在于包含以下步骤：

步骤1，通过8轴表面肌肉电信号传感器sEMG和9轴惯性测量单元IMU来收集手语动作的原始信号，并通过蓝牙传输数据；

步骤2，通过数据预处理算法对原始信号进行去噪和特征提取，并处理成神经网络的输入数据格式；

步骤3，构建双向双层LSTM神经网络，并训练保存模型；

步骤4，将模型移植到手机上，实时切割sEMG数据和IMU数据，用开源语言库，将动作翻译成相应声音。