[发明专利]一种信息转换方法及装置、交互辅助系统

权利要求书

1.一种信息转换方法，其特征在于，包括：

提取语音的音素特征序列；

通过以下处理确定提取的音素特征序列对应的手语特征序列：依据孪生神经网络预先建立的音素特征序列与手语特征序列的对应关系，从所述提取的音素特征序列中确定目标音素特征序列，所述目标音素特征序列为与手语特征序列i-1匹配的音素特征序列；由所述目标音素特征序列预测得到第i个手语特征序列；

依据所述手语特征序列生成与所述语音对应的手语图。

2.根据权利要求1所述的方法，其特征在于，所述提取语音的音素特征序列包括：

将所述语音转换为语谱图；

将所述语谱图作为预先训练的孪生神经网络的第一输入端的输入，得到所述孪生神经网络输出的所述音素特征序列。

3.根据权利要求1所述的方法，其特征在于，依据孪生神经网络预先建立的音素特征序列与手语特征序列的对应关系，从所述提取的音素特征序列中确定目标音素特征序列，由所述目标音素特征序列预测得到所述手语特征序列包括：

将所述音素特征序列作为预先训练的特征翻译网络的输入，得到所述特征翻译网络输出的手语特征序列；

其中，所述特征翻译网络用于：利用所述音素特征序列之间的时序关系，得到预测序列，从所述预测序列中，搜索与手语特征序列i-1的相似度满足第一预设条件的目标音素特征序列i，并依据所述目标音素特征序列i、所述目标音素特征序列的前一个音素特征序列和所述手语特征序列i-1，预测得到手语特征序列i，所述手语特征序列i-1为所述手语特征序列i的时序之前的一个手语特征序列。

4.根据权利要求3所述的方法，其特征在于，所述孪生神经网络和所述特征翻译网络构成手语特征预测模型；

所述手语特征预测模型的训练过程包括：

将样本语音的语谱图作为所述孪生神经网络的第一输入端的输入，将与所述样本语音对应的样本手语图作为所述孪生神经网络的第二输入端的输入，得到所述孪生神经网络输出的音素特征序列和手语特征序列；

将所述音素特征序列和所述手语特征序列作为所述特征翻译网络的输入，以使所述特征翻译网络基于所述音素特征序列和所述手语特征序列，搜索与手语特征序列i-1的相似度满足第三预设条件的音素特征序列，作为目标音素特征序列i；手语特征序列i-1为任意一个手语特征序列；

依据所述目标音素特征序列i、所述目标音素特征序列i的前一个音素特征序列和所述手语特征序列i-1，得到预测手语特征序列i；手语特征序列i为手语特征序列i-1的时序之后的手语特征序列；

依据手语特征预测模型的损失函数、预测手语图i和样本手语图i，训练所述手语特征预测模型；所述预测手语图i为与所述预测手语特征序列i匹配的手语图，所述样本手语图i为与所述预测手语图i对应的样本手语图。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述依据所述手语特征序列生成与所述语音对应的手语图包括：

在预设的手语图库中，按照预设的分类，检索与所述手语特征的相似度满足第四预设条件的手语图，得到所述手语图；

其中，所述预设的手语图库中的手语图按照预设规则分类，形成至少两个分类。

6.一种信息转换装置，其特征在于，包括：

提取模块，用于提取语音的音素特征；

确定模块，用于通过以下处理确定提取的音素特征序列对应的手语特征序列：依据孪生神经网络预先建立的音素特征序列与手语特征序列的对应关系，从所述提取的音素特征序列中确定目标音素特征序列，所述目标音素特征序列为与手语特征序列i-1匹配的音素特征序列；由所述目标音素特征序列预测得到第i个手语特征序列；

生成模块，用于依据所述手语特征序列生成与所述语音对应的手语图。

7.一种辅助交互系统，其特征在于，包括：

处理服务器，用于实现权利要求1-5任一项所述的方法；

用户端设备，用于接收语音，并将所述语音上传至所述处理服务器；接收并显示所述处理服务器发送的手语图。