[发明专利]一种信息转换方法及装置、交互辅助系统

说明书

本申请提供的信息转换方法及装置、交互辅助系统，提取语音的音素特征序列，依据预设的音素特征序列与手语特征序列的对应关系，确定提取的音素特征序列对应的手语特征序列，并依据手语特征序列生成与语音对应的手语图，从而解决聋哑人理解语音的问题。

技术领域

本申请涉及电子信息领域，尤其涉及一种信息转换方法及装置、交互辅助系统。

背景技术

沟通是每个人最基本的生活需求，而聋哑人由于先天的缺陷，沟通需求，特别是与正常人的沟通需求，往往需要借助特殊手段才能得到满足。

目前常见的辅助聋哑人沟通的设备为手语处理移动终端，该终端能够采集手语图像，并将手语图像转换为语音，从而使得正常人理解聋哑人的表达。但该终端只能满足聋哑人的表达需求，而无法满足聋哑人的聆听需求，也就是说，聋哑人还是无法使用该终端获知语音表达的含义。

发明内容

本申请提供了一种信息转换方法及装置、交互辅助系统，目的在于解决如何使得聋哑人理解语音的问题。

为了实现上述目的，本申请提供了以下技术方案：

一种信息转换方法，包括：

提取语音的音素特征序列；

依据预设的音素特征序列与手语特征序列的对应关系，确定提取的音素特征序列对应的手语特征序列；

依据所述手语特征序列生成与所述语音对应的手语图。

可选的，所述依据预设的音素特征序列与手语特征序列的对应关系，确定提取的音素特征序列对应的手语特征序列包括：

依据孪生神经网络预先建立的音素特征序列与手语特征序列的对应关系，从所述提取的音素特征序列中确定目标音素特征序列，所述目标音素序列为与所述手语特征序列匹配的音素特征序列；

由所述目标音素特征预测得到所述手语特征序列。

可选的，所述提取语音的音素特征序列包括：

将所述语音转换为语谱图；

将所述语谱图作为预先训练的孪生神经网络的第一输入端的输入，得到所述孪生神经网络输出的所述音素特征序列。

可选的，所述依据孪生神经网络预先建立的音素特征序列与手语特征的对应关系，从所述提取的音素特征序列中确定目标音素特征，由所述目标音素特征预测得到所述手语特征序列包括：

将所述音素特征序列作为预先训练的特征翻译网络的输入，得到所述特征翻译网络输出的手语特征序列；

其中，所述特征翻译网络用于：利用所述音素特征序列之间的时序关系，得到预测序列，从所述预测序列中，搜索与手语特征序列i-1的相似度满足第一预设条件的目标音素特征序列i，并依据所述目标音素特征序列i、所述目标音素特征序列的前一个音素特征序列和手语特征序列i-1，预测得到手语特征i，所述手语特征序列i-1为所述手语特征序列i的时序之前的一个手语特征序列。

可选的，所述孪生神经网络和所述特征翻译网络构成手语特征预测模型；

所述手语特征预测模型的训练过程包括：

将样本语音的语谱图作为所述孪生神经网络的第一输入端的输入，将与所述样本语音对应的样本手语图作为所述孪生神经网络的第二输入端的输入，得到所述孪生神经网络输出的音素特征序列和手语特征序列；

将所述音素特征序列和所述手语特征序列作为所述特征翻译网络的输入，得到所述音素特征序列和所述手语特征序列；

搜索与手语特征序列i-1的相似度满足第三预设条件的音素特征序列，作为目标音素特征序列i；手语特征序列i-1为任意一个手语特征序列；