[发明专利]一种基于动态手势识别的手语翻译交流系统

说明书

本发明公开了一种基于动态手势识别的手语翻译交流系统，包括手语翻译模块和语音识别模块，所述手语翻译模块包括依次连接的手语手势获取模块、手语手势识别模块、第一文字显示模块和语音播放模块，所述语音识别模块包括依次连接语音获取模块、语音识别模块、第二文字显示模块和手语动画演示模块。本发明可以解决聋哑人之间以及聋哑人和正常人之间的实时交流问题。

技术领域

本发明涉及一种手语翻译交流系统，特别涉及一种基于动态手势识别的手语翻译交流系统。

背景技术

目前我国的聋哑人数量巨大，已达到了上千万人，并且每年以一定的速度在快速增长。由于大多数正常人看不懂手语，所以使得聋哑人与正常人之间的交流存在很大的障碍。

我国目前手语翻译领域仍然处于起步阶段，一些有关手语翻译的系统仍停留在实验室阶段甚至是概念阶段。

目前手语翻译相关的系统主要有手语翻译数据手套、手语翻译臂环以及基于Kinect的手语翻译产品。人们使用基于数据手套的手语识别系统必须要穿戴复杂的数据手套，不具便携性，并且该系统价格比较昂贵；手语翻译臂环的识别不连贯并且要求使用人员的手语手势十分规范，没有达到很好的识别效果；基于Kinect的手语翻译系统因设备体积太大，所以无法便携。

发明内容

为了解决现有技术的不足，本发明提供了一种基于动态手势识别的手语翻译交流系统，该手语翻译系统的翻译精度更高、功能更加齐全、操作更加简单且价格更加低廉。

为了实现上述目的，本发明的技术方案如下：

一种基于动态手势识别的手语翻译交流系统，包括手语翻译模块和语音识别模块；

所述手语翻译模块，被配置为：

获取动态手语手势；

对手语手势图像进行特征提取与时序建模，并输出手语标签时序序列，完成对手语手势的识别；

对手语标签进行句子合成，并利用显示屏对句子进行展示，同时将句子以语音形式进行播放；

所述语音识别模块，被配置为：

获取语音；

对语音数据进行识别处理，得到离散词汇；

根据离散词汇在手语手势动画数据库中获取对应手势动画进行拼接，并通过显示屏进行演示。

进一步的，所述手语翻译模块包括依次连接的手语手势获取模块、手语手势识别模块、第一文字显示模块和语音播放模块，所述语音识别模块包括依次连接语音获取模块、语音识别模块、第二文字显示模块和手语动画演示模块。

进一步的，所述手语手势获取模块通过摄像头对动态手语手势进行获取，并对获取到的每一帧图像的大小进行统一调整后，以数组的形式存储到内存队列中。

进一步的，所述手语手势识别模块采用多层卷积神经网络对内存队列中的手语手势图像进行多次特征图提取，并采用长短期记忆神经网络对提取的特征图进行时序建模，输出手语标签的时序序列，完成手语手势的识别。

进一步的，所述第一文字显示模块采用循环神经网络对手语手势识别模块的手语标签进行句子合成，并利用显示屏对句子进行展示。

进一步的，所述句子合成过程包括：

根据手语标签形成离散词汇，根据输入的离散词汇结合已有的中文语料数据库，选取相似度最大的模板语料生成初始的句子；

通过循环神经网络结构将该句子进行初始化，通过网络迭代进行句子修正，在修正过程中，采用相似词替换方式增加句子的准确性和连贯性。

进一步的，所述语音播放模块用于将第一文字显示模块中生成的句子以语音形式进行播放。