[发明专利]前馈生成式神经网络在审
| 申请号： | 201880027095.2 | 申请日： | 2018-05-22 |
| 公开（公告）号： | CN110546656A | 公开（公告）日： | 2019-12-06 |
| 发明（设计）人： | A.G.A.范登奥德;K.西蒙扬;O.文雅尔斯 | 申请（专利权）人： | 渊慧科技有限公司 |
| 主分类号： | G06N3/04 | 分类号： | G06N3/04;G06N3/08;G10L13/08;G10L13/027 |
| 代理公司： | 11105 北京市柳沈律师事务所 | 代理人： | 金玉洁<国际申请>=PCT/EP2018 |
| 地址： | 英国*** | 国省代码： | 英国;GB |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 公开了一种前馈生成式神经网络，该前馈生成式神经网络生成在单个神经网络推理中包括特殊类型的多个输出示例的输出示例。可选地，生成可以以上下文输入为条件。例如，前馈生成式神经网络可以生成语音波形，语音波形是以文本片段的语言特征为条件的输入文本片段的语言化。 | ||
| 搜索关键词： | 神经网络 生成式 前馈 语音波形 输入文本 文本片段 语言特征 输出 语言化 可选 推理 | ||
【主权项】：
1.一种训练前馈生成式神经网络的方法，所述前馈生成式神经网络具有多个前馈参数，并且被配置为生成以第二类型的上下文输入为条件的第一类型的输出示例，/n其中，每个输出示例包括在多个生成时间步骤中的每一个生成时间步骤处的相应的输出样本，/n其中，所述前馈生成式神经网络被配置为接收包括上下文输入的前馈输入，并被配置为处理所述前馈输入以生成前馈输出，对于所述生成时间步骤中的每一个生成时间步骤，所述前馈输出定义在所述生成时间步骤处的输出样本的可能值的相应的似然性分布。/n其中，所述训练包括：/n获得训练上下文输入；/n根据所述前馈参数的当前值，使用所述前馈生成式神经网络处理包括所述训练上下文输入的训练的前馈输入，以生成训练的前馈输出。/n使用经训练的自回归生成式神经网络处理所述训练的上下文输入，/n其中，对于所述多个生成时间步骤中的每一个生成时间步骤，所述经训练的自回归生成式神经网络已被训练为自回归地生成自回归输出，所述自回归输出定义在所述生成时间步骤处的以前一生成时间步骤处的输出样本为条件的输出样本的可能值的似然性分布；/n确定相对于所述前馈参数的第一梯度以使散度损耗最小化，对于所述生成时间步骤中的每一个生成时间步骤，所述散度损耗取决于来自由所述自回归输出定义的、所述生成时间步骤的似然性分布和由所述训练的前馈输出定义的、所述生成时间步骤的似然性分布的第一散度；以及/n至少部分地基于所述第一梯度确定对所述前馈参数的当前值的更新。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于渊慧科技有限公司，未经渊慧科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201880027095.2/，转载请声明来源钻瓜专利网。
- 上一篇：纳米孔测量结果的机器学习分析
- 下一篇：用于评估组件的生命周期的方法和设备
