[发明专利]基于视觉以及语音智能的手语系统以及通讯方法

权利要求书

1.基于视觉以及语音智能的手语系统，其特征在于：包括手势采集模块、手势识别模块、语音采集模块、语音识别模块、通讯模块、语音合成模块、手语合成模块、显示模块，其中，

手势采集模块，用于采集使用人的手语手势信息；

手势识别模块，用于识别所述手语手势信息并转化为第一文本信息；

语音合成模块，用于查找第一文本信息中文字的语音库，获得第一文本信息对应的机器语音信息；

语音采集模块，用于采集自然语音信息或通话状态下从网络端接收到的自然语音信息；

语音识别模块，用于识别所述自然语音信息并转化为第二文本信息；

手语合成模块，用于查找第二文本信息中文本的手语动画库，获得第二文本信息对应的手语动画；同时用于直接根据文本信息查找手语动画库，获得文本信息的手语动画；

通讯模块，用于将所述机器语音信息通过网络发送到对方终端；以及接收对方终端通过网络发送的自然语音信息；

显示模块，用于显示所述手语动画、第一文本信息和/或第二文本信息。

2.根据权利要求1所述的基于视觉以及语音智能的手语终端通讯系统，其特征在于：所述手势采集模块采用Leap Motion体感控制器。

3.基于视觉以及语音智能的手语通讯方法，包括其特征在于：包括以下步骤：

S1，选取手语动作视屏，对手语动作进行特征提取，根据手语特征对应的文本信息创建自然手语数据库；

S2，建立文本信息对应的自然手语3D动画库；

S3，获取通话状态下从网络端接收到的自然语音信息，并通过语音识别技术奖得到语音的文本信息，使用语音的文本信息与步骤S2中所述的自然手语3D动画库进行查询识别，形成连贯的自然手语3D动画，然后进行显示；

S4，获取使用者的手势动作视屏，并对视屏中的手势进行特征识别，通过识别到的手势特征与步骤S1中所述的自然手语数据库进行查询识别，得到手语的文本信息，使用手语的文本信息与文字语音库进行查询识别，得到机器语音信息，然后将机器语音信息通过网络发送给对方终端。

4.根据权利要求3所述的基于视觉以及语音智能的手语终端通讯系统，其特征在于：在步骤S3将得到自然手语3D动画进行显示的同时，也将语音的文本信息和/或步骤S4中手语的文本信息进行分屏显示。

5.根据权利要求3所述的基于视觉以及语音智能的手语终端通讯系统，其特征在于：步骤S2中所述自然手语3D动画库包括日常生活中的手语句子以及词汇的语义库，所述语义库包括同义词词典以及手语句子的文法信息，然后进行综合最大前向和最大后向的分词，在此基础上拼音和纠错；最后进行基于文法的句子含义自动匹配自然手语3D动画库，生成3D动画。

6.根据权利要求3所述的基于视觉以及语音智能的手语终端通讯系统，其特征在于：步骤S2中所述自然手语3D动画库包括还包括的手语图片信息、手语动画信息、手语视频信息；自然手语的3D动画建模技术包括角色模型建设和手语动作以及面部表情建模，其建模方法是：建立了unity人物模型，进行动作建模；利用leap motion对手语专业人士的手语动作捕捉，生成原始动画并拍摄手语视频，对手语动画人工调优，形成可用动画；再将自然手语词汇序列的每一个自然手语词汇对应的手语动画自动拼接，形成完整的手语动画；通过修改uv坐标，达到角色表情变化。

7.根据权利要求3所述的基于视觉以及语音智能的手语终端通讯系统，其特征在于：步骤S2中所述自然手语3D动画库位于云服务器端。

8.根据权利要求3所述的基于视觉以及语音智能的手语终端通讯系统，其特征在于：在步骤S3中，识别自然语音信息通过降噪算法，再经过讯飞语音云识别为文字，调用自然语言手语资源服务平台，提供自然语言处理功能，对自然语言文本进行处理，将符合自然语言文法的自然语言文本转化成符合自然手语文法的自然手语词汇序列；进而通过动画自动生成功能，生成可播放的手语动画。