[发明专利]前馈生成式神经网络

说明书

公开了一种前馈生成式神经网络，该前馈生成式神经网络生成在单个神经网络推理中包括特殊类型的多个输出示例的输出示例。可选地，生成可以以上下文输入为条件。例如，前馈生成式神经网络可以生成语音波形，语音波形是以文本片段的语言特征为条件的输入文本片段的语言化。

背景技术

本说明书涉及生成式神经网络。

神经网络是采用一层或多层非线性单元来预测所接收的输入的输出的机器学习模型。一些神经网络除了输出层之外还包括一个或多个隐藏层。每个隐藏层的输出被用作网络中的下一层(即下一个隐藏层或输出层)的输入。网络的每一层根据相应的一组参数的当前值从所接收的输入中生成输出。

发明内容

总的来说，本说明书描述了前馈生成式神经网络。前馈生成式神经网络是在单个神经网络推理中生成包括多个特殊类型的输出样本的输出示例的神经网络。可选地，生成可以以上下文输入为条件。例如，前馈生成式神经网络可以生成语音波形，语音波形是以文本片段的语言特征为条件的输入文本片段的语言化。

因此，在一个实施方案中，本说明书描述了一种训练前馈生成式神经网络的方法，该前馈生成式神经网络具有多个前馈参数，并且被配置为生成以第二类型的上下文输入为条件的第一类型的输出示例。每个输出示例包括在多个生成时间步骤的每一个处的相应的输出样本。前馈生成式神经网络被配置为接收包括上下文输入的前馈输入，并被配置为处理前馈输入以生成前馈输出，对于生成时间步骤中的每一个，该前馈输出定义在该生成时间步骤处的输出样本的可能值的相应的似然性分布。该训练包括获得训练上下文输入；根据前馈参数的当前值，使用前馈生成式神经网络处理包括该训练上下文输入的训练前馈输入，以生成训练前馈输出；以及使用经训练的自回归生成式神经网络处理训练上下文输入。对于多个生成时间步骤中的每一个，经训练的自回归生成式神经网络已被训练为自回归地生成自回归输出，该自回归输出定义了在该生成时间步骤处的以前一生成时间步骤处的输出样本为条件的输出样本的可能值的似然性分布。该方法还包括确定相对于前馈参数的第一梯度，以使散度损耗最小化。对于生成时间步骤中的每一个，散度损耗取决于来自由自回归输出定义的、该生成时间步骤的似然性分布和由训练的前馈输出定义的、该生成时间步骤的似然性分布(由自回归输出定义的、该生成时间步骤的似然性分布和由训练的前馈输出定义的、该生成时间步骤的似然性分布之间)的第一散度。该方法还包括至少部分基于第一梯度确定对前馈参数的当前值的更新。

此类方法的优点将稍后描述。通常，但并不一定，前馈输入还包括在生成时间步骤中的每一个处的相应的噪声输入。在一些实施方案中，这便于以并行方式生成一组样本的输出分布，因此这比自回归方法快得多。

例如，第一散度可以是KL散度或Jensen-Shannon散度。散度损耗可以至少部分地取决于在时间步骤中的每一个处的第一散度的总和。

该训练可以还包括获得训练上下文输入的真值输出示例，并且通过从概率分布采样来根据训练的前馈输出生成预测的输出示例。预测的输出示例可以用于确定训练的另一梯度。

因此，真值输出示例和预测的输出示例可以定义诸如语音波形的波形。然后，训练可以还包括生成真值输出示例的第一幅度谱；生成预测的输出示例的第二幅度谱；以及确定相对于前馈参数的第二梯度，以使取决于第一与第二幅度谱之间的差异的幅度损耗最小化。确定对前馈参数的当前值的更新可以包括至少部分地基于第二梯度来确定更新。幅度谱可以包括例如定义波形的振幅、能量或类似幅度谱(例如，表示不同频带中的功率)的数据。

附加地或可替换地，训练可以包括使用经训练的特征生成神经网络处理真值输出示例，以获得真值输出示例的特征。经训练的特征生成神经网络可以是以波形为输入的经预先训练的神经网络。该训练可以还包括使用经训练的特征生成神经网络处理预测的输出示例，以获得预测的输出示例的特征。然后，该方法可以包括确定相对于前馈参数的第三梯度，以使感知损耗最小化。感知损耗可以被定义为取决于真值输出示例的特征与预测的输出示例的特征之间的差异的量度的损耗。确定对前馈参数的当前值的更新可以包括至少部分地基于第三梯度来确定更新。