[发明专利]一种基于多源信息融合的手语识别方法在审
| 申请号： | 201811012934.1 | 申请日： | 2018-08-31 |
| 公开（公告）号： | CN109271901A | 公开（公告）日： | 2019-01-25 |
| 发明（设计）人： | 王志波;赵腾达;陈鸿恺;马金鑫;王骞 | 申请（专利权）人： | 武汉大学 |
| 主分类号： | G06K9/00 | 分类号： | G06K9/00;G06N3/04;G09B21/00 |
| 代理公司： | 武汉科皓知识产权代理事务所(特殊普通合伙) 42222 | 代理人： | 鲁力 |
| 地址： | 430072 湖*** | 国省代码： | 湖北;42 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于多源信息融合的手语识别方法。包括：数据收集模型，数据预处理模型，神经网络模型，实时识别模型。本发明采用多传感器融合技术和深度学习的方法来对手语进行识别，并通过扬声器发出手语动作对应的声音。流程如下：1、通过表面肌肉电信号传感器(sEMG)和惯性测量单元(IMU)来收集手语动作信息，并通过蓝牙传输数据；2、通过特征提取和去噪算法对收集的数据进行数据清洗，并处理成可以输入神经网络的数据格式；3、构建双向双层LSTM神经网络，并训练保存模型；4、将模型移植到手机上，实时切割动作数据，将处理后的动作数据输入模型得到手语动作对应的标签，使用开源语言库发出动作标号对应的语音。 | ||
| 搜索关键词： | 手语 多源信息融合 手语识别 多传感器融合技术 扬声器 电信号传感器 惯性测量单元 神经网络模型 输入神经网络 数据预处理 动作数据 动作信息 蓝牙传输 模型移植 切割动作 去噪算法 神经网络 实时识别 数据格式 数据清洗 数据收集 特征提取 语言库 构建 肌肉 标签 语音 保存 学习 | ||
【主权项】：
1.一种基于多源信息融合的手语识别方法，其特征在于包含以下步骤：步骤1，通过8轴表面肌肉电信号传感器sEMG和9轴惯性测量单元IMU来收集手语动作的原始信号，并通过蓝牙传输数据；步骤2，通过数据预处理算法对原始信号进行去噪和特征提取，并处理成神经网络的输入数据格式；步骤3，构建双向双层LSTM神经网络，并训练保存模型；步骤4，将模型移植到手机上，实时切割sEMG数据和IMU数据，用开源语言库，将动作翻译成相应声音。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于武汉大学，未经武汉大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201811012934.1/，转载请声明来源钻瓜专利网。
