[发明专利]基于可逆分离卷积的模型训练方法、装置和计算机设备

权利要求书

1.一种基于可逆分离卷积的模型训练方法，其特征在于，所述模型包括处理音频的网络、处理文本的网络，所述处理音频的网络和所述处理文本的网络均包括可逆分离卷积层，所述处理音频的网络和处理文本的网络均具有可逆计算的能力，包括前向计算的编码和逆向计算的解码恢复,前向计算输入数据投射到高维空间的过程，然后由逆向计算从高维空间上恢复出输入数据，所述方法包括：

获取所述处理音频的网络计算训练集中的指定数据对的语音数据，得到的第一高维向量，获取所述处理文本的网络计算所述指定数据对的文本数据，得到的第二高维向量，其中，所述训练集由语音数据和文本数据形成的数据对组成，所述指定数据对为训练集中的任意数据对；

通过损失函数在所述训练集上训练所述处理音频的网络和所述处理文本的网络，其中，所述损失函数为所述第一高维向量和第二高维向量的空间距离；

判断所述损失函数是否达到最小值；

若是，则判定训练收敛，得到由所述处理音频的网络和所述处理文本的网络组成的孪生网络结构。

2.根据权利要求1所述的基于可逆分离卷积的模型训练方法，其特征在于，所述模型还包括声纹提取网络，所述处理音频的网络包括串联连接的第一可逆分离卷积层、第一可逆循环神经网络层和第一全连接层，所述获取所述处理音频的网络计算训练集中的指定数据对的语音数据，得到的第一高维向量的步骤，包括：

从所述语音数据中提取声学特征得到声学特征矩阵；

将所述声学特征矩阵输入所述第一可逆分离卷积层进行前向编码运算，得到第一计算结果；

将所述第一计算结果输入所述第一可逆循环神经网络层进行前向编码运算，得到第二计算结果；

获取所述声纹提取网络从所述语音数据中提取声纹信息，并从所述第二计算结果中去除掉所述声纹信息，得到所述语音数据对应的第三计算结果；

将所述第三计算结果输入所述第一全连接层，由所述第一全连接层输出所述第一高维向量。

3.根据权利要求2所述的基于可逆分离卷积的模型训练方法，其特征在于，所述第一计算结果包括并存的第一结果和第二结果，所述第一结果为所述声学特征矩阵的特征信息，所述第二结果为恢复所述声学特征矩阵的保留信息，将所述声学特征矩阵输入所述第一可逆分离卷积层进行前向编码运算，得到第一计算结果的步骤，包括：

将所述声学特征矩阵按照预设分配方式分成第一数据和第二数据；

获取所述第一数据经由深度卷积得到的第一卷积结果，获取所述第二数据经由逐点卷积得到的第二卷积结果；

将所述第一数据与所述第二卷积结果叠加，得到所述第一结果，将所述第二数据与所述第一卷积结果叠加，得到所述第二结果。

4.根据权利要求2所述的基于可逆分离卷积的模型训练方法，其特征在于，所述处理文本的网络包括串联连接的第二可逆分离卷积层和第二可逆循环神经网络层，所述获取所述处理文本的网络计算所述指定数据对的文本数据，得到的第二高维向量的步骤，包括：

从所述文本数据中提取语音学特征，得到所述文本数据对应的特征矩阵；

将所述文本数据对应的特征矩阵输入所述第二可逆分离卷积层进行前向编码运算，得到第四计算结果；

将所述第四计算结果输入所述第二可逆循环神经网络层进行前向编码运算，得到第五计算结果；

将所述第五计算结果输入第二全连接层，由所述第二全连接层输出所述第二高维向量。

5.根据权利要求1所述的基于可逆分离卷积的模型训练方法，其特征在于，所述判断所述损失函数是否达到最小值的步骤，包括：

通过所述训练数据集最小化所述损失函数；

判断所述损失函数的函数值的变化趋势是否不再继续下降；

若是，则判定所述损失函数达最小值，判定所述第一高维向量和第二高维向量在高维空间的对齐。