[发明专利]一种降低端到端语音翻译跨模态跨语言障碍的方法及系统

权利要求书

1.一种降低端到端语音翻译跨模态跨语言障碍的系统，其特征在于，所述降低端到端语音翻译跨模态跨语言障碍的系统，包括语音编码器和文本解码器；

其中，所述语音编码器由用于编码声学信号的几层卷积神经网络和堆叠在卷积神经网络层之上的几层Transformer编码器层组成；语音特征序列输入到模型中在经过语音编码器得到一个语音状态序列解码端采用自回归的方式基于语音编码端解码得到的状态序列生成目标语言的文本，用公式表达如下：

h＝SpeechEncoder(x)；

y_i＝TranslationDecoder(h,y_i-1)；

其中，x为输入的语音特征序列，y_i为第i个目标词；

所述文本解码器的每一层由多头语音-文本混合注意力子层和全连接前馈神经网络子层组成，用于将语音编码器的最后一层输出的高维语音状态序列与目标语言词嵌入序列连接，并将连接后的序列作为解码器的输入；其中，连接的输入序列还包括位置编码和模态编码，用于区分目标语言词嵌入和语音状态序列。

2.一种实施权利要求1所述的降低端到端语音翻译跨模态跨语言障碍的系统的降低端到端语音翻译跨模态跨语言障碍的方法，其特征在于，所述降低端到端语音翻译跨模态跨语言障碍的方法包括以下步骤：

步骤一，数据集以及数据处理：数据集中包含训练集和测试集，利用英语到德语数据集IWSLT18和英语到法语的数据集Augmented Librispeech实现；

步骤二，模型预训练：利用源语音特征和英文转录文本数据在CNN+Transformer的语音识别模型上进行预训练，并将得到的编码端的参数来初始化语言翻译模型的编码器；

步骤三，模型训练：使用平行语料在本发明所提出的可以降低端到端语言翻译跨语言跨模态障碍的模型上进行训练；

步骤四，模型解码：在模型训练收敛后，使用测试集的数据进行测试，采用beam search算法解码，解码得到的句子使用BLEU作为翻译的评价指标。

3.如权利要求2所述的降低端到端语音翻译跨模态跨语言障碍的方法，其特征在于，步骤一中，所述IWSLT18语音翻译数据集来自TED演讲，包含271小时的演讲，171K的英语转录文本和德语翻译文本；从训练集中随机抽取2000个样本作为验证集，使用此数据集的tst2013作为测试集；

Augmented Librispeech数据集为每个实例提供英语语音信号、英语转录文本、对齐电子书中的法语文本翻译；使用100小时的干净数据进行训练；其中2小时的数据作为验证集，4小时作为测试集，分别对应47271、1071和2048个句子；通过谷歌翻译将对于转录文本进行翻译，进而得到弱标签数据；

在输入到模型之前先对数据进行预处理，将文本的句子改写成全部小写，对于解码的粒度，在IWSLT18数据集上使用字符级别，在Augmented Librispeech数据集使用子词级别，通过sentencepiece工具实现，同时生成字典；将音频信号通过开源工具kaldi提取80维的Fbank特征，步长设为10ms，窗口大小设为25ms，将每一句的语音特征长度大于4000和对齐的效果比较差的句子删除。

4.如权利要求2所述的降低端到端语音翻译跨模态跨语言障碍的方法，其特征在于，步骤二中，所述模型预训练，包括：所采用的两个数据集中都包含英文的转录文本，首先利用源语音特征和英文转录文本数据在CNN+Transformer的语音识别模型上进行预训练；由于CNN+Transformer结构的声学编码器端和声学编码器端的结构完全一致，直接将语音识别预训练得到的声学编码器端的参数来初始化声学编码器参数，并使用速度扰动技术和SpecAugment策略，扰动因子分别置为0.9，1.0和1.1。