[发明专利]基于视觉以及语音智能的手语系统以及通讯方法

说明书

本发明目的提供了基于视觉以及语音智能的手语系统及通讯方法，获取自然语音或通话状态下从网络端接收到的自然语音信息，并通过语音识别技术将得到语音的文本信息，使用语音的文本信息与自然手语3D动画库进行查询识别，形成连贯的自然手语3D动画，然后进行显示；获取使用者的手势动作视屏，并对视屏中的手势进行特征识别，通过识别到的手势特征与自然手语数据库进行查询识别，得到手语的文本信息，使用手语的文本信息与文字语音库进行查询识别，得到机器语音信息，然后将机器语音信息通过网络发送给对方终端；也可在同一终端进行实施语音或文本信息的翻译；实现手语与自然语言的双向翻译以及实时通讯。

技术领域

本发明属于语言沟通转换领域，具体涉及基于视觉以及语音智能的手语系统以及通讯方法。

背景技术

现有2010年第六次人口普查数据显示，全中国大约有2075万听障人士，全世界大致有6500-7000万人为听障人士，并且这一数据还在以2-3万名的速度增长。听障人士之间用手语交流，正常人之间用有声语言沟通。正常人习得手语的人较少，加之缺乏专业的手语翻译培训，专业手语翻译人员匮乏，更缺乏某些专业领域的知识，如医疗、心理咨询、法律等专业知识，这不仅使正常人和听障人士之间沟通存在较大障碍，而且限制了听障人士群体的发展和生存质量的提高，阻碍了听障人士融入社会的步伐。

1.2手语翻译器的国内外现状为解决听障人士沟通困难问题，便于他们与社会交流国内外学者进行了一些尝试。中国清华大学、北航大学的学生利用“护腕”捕捉手部运动的肌电信号，通过“手音”APP与正常人交流；国内外都有学者研发利用传感器的“可穿戴”手套实时对手部信号进行翻译；同时利用leap motion技术做成的“项链”可以对手部移动进行视觉追踪并将追踪到的动作信息翻译成文字并展示在屏幕上；还有日本研制的手语机器人；以上方法优点是手势识别率高，但存在穿戴复杂和输入设备昂贵的缺点。

发明内容

本发明目提供了基于视觉以及语音智能的手语终端通讯系统，解决了听障人士与正常人之间日常沟通交流以及打电话的问题。

本发明所采用的技术方案为：

基于视觉以及语音智能的手语系统，包括手势采集模块、手势识别模块、语音采集模块、语音识别模块、通讯模块、语音合成模块、手语合成模块、显示模块，其中，

手势采集模块，用于采集使用人的手语手势信息；

手势识别模块，用于识别所述手语手势信息并转化为第一文本信息；

语音合成模块，用于查找第一文本信息中文字的语音库，获得第一文本信息对应的机器语音信息；

语音采集模块，用于采集自然语音信息或通话状态下从网络端接收到的自然语音信息；

语音识别模块，用于识别所述自然语音信息并转化为第二文本信息；

手语合成模块，用于查找第二文本信息中文本的手语动画库，获得第二文本信息对应的手语动画；同时用于直接根据文本信息查找手语动画库，获得文本信息的手语动画；

通讯模块，用于将所述机器语音信息通过网络发送到对方终端；以及接收对方终端通过网络发送的自然语音信息；

显示模块，用于显示所述手语动画、第一文本信息和/或第二文本信息。

当听障人士对健听人士进行交流时，听障人士打出手语，终端系统通过手势采集模块获得听障人士的手语手势特征，手势识别模块利用图像和动作识别手语含义，进而翻译成文本，利用双屏显示技术，显示在屏幕上，同时利用语音合成模块翻译成语音，通过终端的音箱设备播放，使健听人士“听懂手语”；