[发明专利]基于可逆分离卷积的模型训练方法、装置和计算机设备

说明书

本申请涉及基于可逆分离卷积的模型训练方法，模型包括处理音频的网络、处理文本的网络，处理音频的网络和处理文本的网络均包括可逆分离卷积层，方法包括：获取处理音频的网络计算训练集中的指定数据对的语音数据，得到的第一高维向量，获取处理文本的网络计算指定数据对的文本数据，得到的第二高维向量，其中训练集由语音数据和文本数据形成的数据对组成，指定数据对为训练集中的任意数据对；通过损失函数在训练集上训练处理音频的网络和处理文本的网络，损失函数为第一高维向量和第二高维向量的空间距离；判断损失函数是否达到最小值；若是则判定训练收敛，得到由处理音频的网络和处理文本的网络组成的孪生网络结构。节省模型构建、训练成本。

技术领域

本申请涉及到计算机领域，特别是涉及到基于可逆分离卷积的模型训练方法、装置和计算机设备。

背景技术

“语音识别”和“语音合成”是成对偶关系的两个“序列到序列”的预测任务，可采用encoder-decoder框架来建模。由于“语音识别”和“语音合成”的训练数据不通用，现有的语音识别系统只是做到了将语音信息对齐到文本信息的单向映射，语音合成也是只做到了将文本信息对齐到语音信息的单向映射。由于序列的多样性，每一个单向映射系统规模都非常大，且训练系统时所需的数据量也非常大，因此每个单向映射系统的构建和训练成本都非常高，不利于“语音识别”和“语音合成”系统的普遍推广使用。

发明内容

本申请的主要目的为提供基于可逆分离卷积的模型训练方法，旨在解决现有单向映射系统的构建和训练成本都非常高，不利于“语音识别”和“语音合成”系统的普遍推广使用的技术问题。

本申请提供了基于可逆分离卷积的模型训练方法，所述模型包括处理音频的网络、处理文本的网络，所述处理音频的网络和所述处理文本的网络均包括可逆分离卷积层，所述方法包括：

获取所述处理音频的网络计算训练集中的指定数据对的语音数据，得到的第一高维向量，获取所述处理文本的网络计算所述指定数据对的文本数据，得到的第二高维向量，其中，所述训练集由语音数据和文本数据形成的数据对组成，所述指定数据对为训练集中的任意数据对；

通过损失函数在所述训练集上训练所述处理音频的网络和所述处理文本的网络，其中，所述损失函数为所述第一高维向量和第二高维向量的空间距离；

判断所述损失函数是否达到最小值；

若是，则判定训练收敛，得到由所述处理音频的网络和所述处理文本的网络组成的孪生网络结构。

优选地，所述模型还包括声纹提取网络，所述处理音频的网络包括串联连接的第一可逆分离卷积层、第一可逆循环神经网络层和第一全连接层，所述获取所述处理音频的网络计算训练集中的指定数据对的语音数据，得到的第一高维向量的步骤，包括：

从所述语音数据中提取声学特征得到声学特征矩阵；

将所述声学特征矩阵输入所述第一可逆分离卷积层进行前向编码运算，得到第一计算结果；

将所述第一计算结果输入所述第一可逆循环神经网络层进行前向编码运算，得到第二计算结果；

获取所述声纹提取网络从所述语音数据中提取声纹信息，并从所述第二计算结果中去除掉所述声纹信息，得到所述语音数据对应的第三计算结果；

将所述第三计算结果输入所述第一全连接层，由所述第一全连接层输出所述第一高维向量。

优选地，所述第一计算结果包括并存的第一结果和第二结果，所述第一结果为所述声学特征矩阵的特征信息，所述第二结果为恢复所述声学特征矩阵的保留信息，将所述声学特征矩阵输入所述第一可逆分离卷积层进行前向编码运算，得到第一计算结果的步骤，包括：

将所述声学特征矩阵按照预设分配方式分成第一数据和第二数据；