[发明专利]训练方法、装置、计算机设备和可读存储介质有效
申请号: | 201810694480.4 | 申请日: | 2018-06-29 |
公开(公告)号: | CN108846124B | 公开(公告)日: | 2022-05-17 |
发明(设计)人: | 崔少波;连荣忠;姜迪;何径舟 | 申请(专利权)人: | 北京百度网讯科技有限公司 |
主分类号: | G06N3/08 | 分类号: | G06N3/08;G06N3/04;G06F16/332;G06F40/211;G06F40/216 |
代理公司: | 北京清亦华知识产权代理事务所(普通合伙) 11201 | 代理人: | 宋合成 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 训练 方法 装置 计算机 设备 可读 存储 介质 | ||
本申请提出一种训练方法、装置、计算机设备和可读存储介质,应用于对话生成网络,对话生成网络包括具有对偶关系的第一生成器和第二生成器,还包括第一判别器以及第二判别器;方法包括:对第一生成器输出的第一文本,采用第一判别器进行质量判别,得到第一判别信息;第一文本,是第一生成器根据对话上文输出的,用于回复对话上文;对第二生成器输出的第二文本,采用第二判别器进行质量判别,得到第二判别信息;第二文本,是第二生成器根据对话下文输出的,用于作为上文接续在对话下文之前;在对偶关系的约束下,根据第一判别信息对第一生成器进行训练,以及根据第二判别信息对第二生成器进行训练。能够降低训练的难度,提升训练的效率。
技术领域
本申请涉及人工智能技术领域,尤其涉及一种训练方法、装置、计算机设备和可读存储介质。
背景技术
通用对话系统可以应用于聊天机器人、手机助手等,其作为人工智能的重要场景,得到越来越多的关注。目前,可以基于检索式和生成式,对通用对话系统中的对话生成网络进行训练。其中,由于检索式需要大量的人工辅助工作,训练的效率较低,并且检索式受限于语料质量,导致通用对话系统输出的准确性较低。因此,基于生成式,对通用对话系统中的对话生成网络进行训练越来越受到重视。
但是,基于生成式进行训练,存在通用对话系统输出的逻辑性较低,且包含一些无信息含量的通用回复的问题。相关技术中,可以通过提取对话上文的主题(topic)或者关键词(keyword),将提取出的主题或者关键词引入到对话下文的生成过程中,而后通过最大化互信息来解决基于生成式进行训练,存在包含无信息含量的通用回复的问题。并且,通过对抗学习的方法,对对话生成网络进行训练,来解决通用对话系统输出的逻辑性较低的问题。
但是,申请人发现,通过将提取出的主题或者关键词引入到对话下文的生成过程中,难度较大,并且,最大化互信息的计算过程极为耗时;通过对抗学习的方法,对对话生成网络进行训练,稳定性较低,且通用对话系统输出的多样性并未明显提高。
发明内容
本申请提出一种训练方法、装置、计算机设备和可读存储介质,用于解决现有技术中通过将提取出的主题或者关键词引入到对话下文的生成过程中,难度较大,并且,最大化互信息的计算过程极为耗时;通过对抗学习的方法,对对话生成网络进行训练,稳定性较低,且通用对话系统输出的多样性并未明显提高的技术问题。
本申请一方面实施例提出了一种训练方法,应用于对话生成网络,所述对话生成网络包括具有对偶关系的第一生成器和第二生成器,还包括第一判别器以及第二判别器;所述训练方法,包括:
对所述第一生成器输出的第一文本,采用所述第一判别器进行质量判别,得到第一判别信息;所述第一文本,是所述第一生成器根据对话上文输出的,用于回复所述对话上文;
对所述第二生成器输出的第二文本,采用所述第二判别器进行质量判别,得到第二判别信息;所述第二文本,是所述第二生成器根据对话下文输出的,用于作为上文接续在所述对话下文之前;
在所述对偶关系的约束下,根据所述第一判别信息对所述第一生成器进行训练,以及根据所述第二判别信息对所述第二生成器进行训练。
本申请实施例的训练方法,通过对第一生成器输出的第一文本,采用第一判别器进行质量判别,得到第一判别信息,其中,第一文本,是第一生成器根据对话上文输出的,用于回复对话上文,而后对第二生成器输出的第二文本,采用第二判别器进行质量判别,得到第二判别信息,其中,第二文本,是第二生成器根据对话下文输出的,用于作为上文接续在对话下文之前,最后在对偶关系的约束下,根据第一判别信息对第一生成器进行训练,以及根据第二判别信息对第二生成器进行训练。由此,无需从对话上文中提取主题或者关键词,从而无需引入新的任务,可以有效降低训练的难度。此外,由于无需计算最大化互信息,可以提升训练的效率。并且,在对偶关系的约束下,利用判别器的输出对生成器进行训练,可以提升对话生成网络的稳定性,且提升对话生成网络输出的逻辑性、真实性和多样性。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810694480.4/2.html,转载请声明来源钻瓜专利网。