[发明专利]一种语音手势交互翻译装置及其控制方法

说明书

技术领域

本发明涉及传感器技术、识别技术领域，特别涉及一种语音手势交互翻译装置及其控制方法。

背景技术

手语是用手势比量动作，根据手势的变化模拟形象或者音节以构成一定意思或词语，其作为听力障碍的人（即聋哑人，以下简称为听障人）之间、听障人与健全人（即听、说能力正常的人）之间互相交流的一种手的语言，是听障人主要的交际工具。由于手语的动作较多且遵循一定的规则、需要经过系统的学习才能掌握，大多数健全人可能会理解少数手语的意思，或者完全不明白，因此听障人与健全人之间常出现交流不顺畅、甚至没有任何交流，势必会伤害听障人的感情，影响健全人与听障人的团结。

发明内容

鉴于上述现有技术的不足之处，本发明的目的在于提供一种语音手势交互翻译装置及其控制方法，以解决听障人与健全人之间的交流障碍问题。

为了达到上述目的，本发明采取了以下技术方案：

一种语音手势交互翻译装置，其特征在于，包括手势翻译器和语音翻译器；

所述手势翻译器，用于获取第一用户的手势动作，与预存的手语数据进行匹配、输出该手势动作对应的词语信息，转换为语音信号进行播放；

所述语音翻译器与所述手势翻译器通信连接，用于获取第二用户的语音信号，将所述语音信号转换为文字信息后与预存的手语数据进行匹配、生成该文字信息对应的手势动作，将手势动作按顺序进行显示。

所述的语音手势交互翻译装置，其中，所述手势翻译器包括：

手势传感器，用于感应第一用户手指的指式、动作和朝向，结合手与人体之间的相对位置生成相应的手势动作，并无线传输至第一处理器；

第一处理器，用于将接收的手势动作与预存的手语数据进行匹配，输出该手势动作对应的词语信息，将词语信息组合为语句信息后转换为语音信号输出；

语音播放模块，用于接收语音信号、将语音信号放大后播放；

所述手势传感器与第一处理器无线连接，所述第一处理器连接语音播放模块。

所述的语音手势交互翻译装置，其中，所述语音翻译器包括：

语音采集模块，用于获取第二用户的语音信号并传输；

第二处理器，用于将接收的第二用户的语音信号转换为文字信息、与预存的手语数据进行匹配、生成该文字信息对应的手势动作；

显示模块，用于获取手势动作并按手势动作生成的先后顺序逐一显示；

所述语音采集模块、第二处理器、显示模块依次连接。

所述的语音手势交互翻译装置，其中，所述手势传感器包括手套、距离传感器以及手势合成模块，所述手套、距离传感器分别连接手势合成模块；

所述手套上设置有多个加速度传感器且分别位于与手指关节相对应的位置、手背以及手心，用于感应第一用户手指的指式、动作和朝向；

所述距离传感器用于感应所述多个加速度传感器与人体之间的相对位置；

所述手势合成模块根据手指的指式、动作、朝向以及加速度传感器与人体之间的相对位置进行手势语识别，生成相应的手势动作，并无线传输至第一处理器。

所述的语音手势交互翻译装置，其中，所述手势翻译器还包括：

动作判断模块，用于根据第一用户输入的操作命令控制加速度传感器和距离传感器开始或停止感应；所述动作判断模块连接手套和距离传感器。

所述的语音手势交互翻译装置，其中，所述第一处理器还包括：

语句组合模块，用于将手势动作对应的词语信息根据预设的语句格式组合成语句信息。

一种语音手势交互翻译装置的控制方法，其包括：

A、手势翻译器获取第一用户的手势动作，与预存的手语数据进行匹配、输出该手势动作对应的词语信息，将词语信息转换为语音信号进行播放；

B、语音翻译器获取第二用户的语音信号，将所述语音信号转换为文字信息后与预存的手语数据进行匹配、生成该文字信息对应的手势动作，将手势动作按顺序进行显示。

所述的语音手势交互翻译装置的控制方法，其中，所述步骤A中，手势翻译器获取第一用户的手势动作具体包括：

A1、加速度传感器感应第一用户的手的指式、动作和朝向；

A2、距离传感器感应所述加速度传感器感与人体之间的相对位置；

A3、手势合成模块根据所述手指的指式、动作、朝向以及加速度传感器与人体之间的相对位置进行手势语识别，生成相应的手势动作。

所述的语音手势交互翻译装置的控制方法，其中，所述步骤A之前还包括：