[发明专利]一种基于动态手势识别的手语翻译交流系统

摘要

本发明公开了一种基于动态手势识别的手语翻译交流系统，包括手语翻译模块和语音识别模块，所述手语翻译模块包括依次连接的手语手势获取模块、手语手势识别模块、第一文字显示模块和语音播放模块，所述语音识别模块包括依次连接语音获取模块、语音识别模块、第二文字显示模块和手语动画演示模块。本发明可以解决聋哑人之间以及聋哑人和正常人之间的实时交流问题。

主权项

1.一种基于动态手势识别的手语翻译交流系统，其特征在于：包括手语翻译模块和语音识别模块；所述手语翻译模块，被配置为：获取动态手语手势，以数组的形式存储到内存队列中；采用多层卷积神经网络对内存队列中的手语手势图像进行多次特征图提取，并采用长短期记忆神经网络对提取的特征图进行时序建模，输出手语标签的时序序列，完成手语手势的识别；设置一个判断函数，当连续10帧中检测不到手势运动时，判断为一个句子的结束；对手语标签进行句子合成，并利用显示屏对句子进行展示，同时将句子以语音形式进行播放；所述语音识别模块，被配置为：获取语音；对语音数据进行识别处理，得到离散词汇；根据离散词汇在手语手势动画数据库中获取对应手势动画进行拼接，并通过显示屏进行演示；所述手语翻译模块包括依次连接的手语手势获取模块、手语手势识别模块、第一文字显示模块和语音播放模块，所述语音识别模块包括依次连接语音获取模块、语音识别模块、第二文字显示模块和手语动画演示模块；所述语音播放模块在对文字和语音的转换过程中构建与所述手语手势识别模块独立的线程，在该线程中设置一个事件监听函数进行监听，每当所述第一文字显示模块输出一个完整的句子时，该线程启动进行转换；所述语音识别模块采用端到端的循环神经网络算法对采集到语音声波数据进行处理识别，得到离散词汇，并将离散词汇通过第二文字显示模块进行显示，所述语音识别模块尾部，还添加有CTC语言模型；所述手语动画演示模块根据语音识别模块得到的离散词汇在手语手势动画数据库中进行检索，检索完毕后，根据之前的词汇顺序将检索的动画片段进行拼接，并通过显示屏进行演示；所述手语手势动画数据库中每一个离散词汇对应一个固定动画。