[发明专利]前馈生成式神经网络

权利要求书

1.一种训练前馈生成式神经网络的方法，所述前馈生成式神经网络具有多个前馈参数，并且被配置为生成以第二类型的上下文输入为条件的第一类型的输出示例，

其中，每个输出示例包括在多个生成时间步骤中的每一个生成时间步骤处的相应的输出样本，

其中，所述前馈生成式神经网络被配置为接收包括上下文输入的前馈输入，并被配置为处理所述前馈输入以生成前馈输出，对于所述生成时间步骤中的每一个生成时间步骤，所述前馈输出定义在所述生成时间步骤处的输出样本的可能值的相应的似然性分布。

其中，所述训练包括：

获得训练上下文输入；

根据所述前馈参数的当前值，使用所述前馈生成式神经网络处理包括所述训练上下文输入的训练的前馈输入，以生成训练的前馈输出。

使用经训练的自回归生成式神经网络处理所述训练的上下文输入，

其中，对于所述多个生成时间步骤中的每一个生成时间步骤，所述经训练的自回归生成式神经网络已被训练为自回归地生成自回归输出，所述自回归输出定义在所述生成时间步骤处的以前一生成时间步骤处的输出样本为条件的输出样本的可能值的似然性分布；

确定相对于所述前馈参数的第一梯度以使散度损耗最小化，对于所述生成时间步骤中的每一个生成时间步骤，所述散度损耗取决于来自由所述自回归输出定义的、所述生成时间步骤的似然性分布和由所述训练的前馈输出定义的、所述生成时间步骤的似然性分布的第一散度；以及

至少部分地基于所述第一梯度确定对所述前馈参数的当前值的更新。

2.根据权利要求1所述的方法，其中，所述前馈输入还包括在所述生成时间步骤中的每一个生成时间步骤处的相应的噪声输入。

3.根据权利要求1或2中任一项所述的方法，其中，所述训练还包括：

获得所述训练的上下文输入的真值输出示例；以及

通过从所述概率分布采样来根据所述训练的前馈输出生成预测的输出示例。

4.根据权利要求3所述的方法，其中，所述真值输出示例和所述预测的输出示例是语音波形，其中，所述训练还包括：

生成所述真值输出示例的第一幅度谱；

生成所述预测的输出示例的第二幅度谱；

确定相对于所述前馈参数的第二梯度，以使取决于所述第一幅度谱和所述第二幅度谱之间的差异的幅度损耗最小化，并且其中，确定对所述前馈参数的当前值的更新包括至少部分地基于所述第二梯度确定更新。

5.根据权利要求3至4中任一项所述的方法，其中，所述训练还包括：

使用经训练的特征生成神经网络处理所述真值输出示例，以获得所述真值输出示例的特征，其中，所述经训练的特征生成神经网络是以波形为输入的经预先训练的神经网络；

使用所述经训练的特征生成神经网络处理所述预测的输出示例，以获得所述预测的输出示例的特征，

确定相对于所述前馈参数的第三梯度，以使取决于所述真值输出示例的特征和所述预测的输出示例的特征之间的差异的度量的感知损耗最小化，并且其中，确定对所述前馈参数的当前值的更新包括至少部分地基于所述第三梯度确定更新。

6.根据权利要求5所述的方法，其中，所述特征生成神经网络是语音识别神经网络。

7.根据权利要求5或6中任一项所述的方法，其中，所述特征是所述特征生成网络中的中间层的输出。

8.根据权利要求5至7中任一项所述的方法，其中，所述特征生成神经网络是经训练的自回归生成式神经网络。