[发明专利]摘要生成模型的训练方法、装置、设备和存储介质有效
申请号: | 202110734020.1 | 申请日: | 2021-06-30 |
公开(公告)号: | CN113408272B | 公开(公告)日: | 2023-08-18 |
发明(设计)人: | 吴文浩;李伟;肖欣延;刘家辰 | 申请(专利权)人: | 北京百度网讯科技有限公司 |
主分类号: | G06F40/279 | 分类号: | G06F40/279;G06F40/30 |
代理公司: | 北京鸿德海业知识产权代理有限公司 11412 | 代理人: | 田宏宾 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 摘要 生成 模型 训练 方法 装置 设备 存储 介质 | ||
本公开提供了一种摘要生成模型的训练方法、装置、设备和存储介质,涉及计算机技术领域,具体涉及自然语言处理、深度学习等人工智能领域。摘要生成模型的训练方法包括:获取文档样本对应的文档表示;基于所述文档表示,构造所述文档表示对应的摘要表示,所述摘要表示包括正摘要表示和负摘要表示;基于所述文档表示、所述正摘要表示、所述负摘要表示,构建总对比损失函数,并基于所述总对比损失函数训练摘要生成模型。本公开可以提高摘要生成模型的准确度。
技术领域
本公开涉及计算机技术领域,具体涉及自然语言处理、深度学习等人工智能领域,尤其涉及一种摘要生成模型的训练方法、装置、设备和存储介质。
背景技术
自动摘要旨在为一篇或多篇文档自动生成一份简洁的摘要,并要求该生成的摘要语意连贯,语言通畅并且忠实于原文本的内容。自动摘要分为抽取式摘要和生成式摘要,其中生成式摘要旨在通过大数据技术模仿人类总结文章的方式理解输入文档并组织语言生成目标摘要。生成式摘要的处理过程可以包括采用摘要生成模型对输入的文档进行处理,以获得输入的文档对应的摘要。
相关技术中,摘要生成模型在训练时,以最大似然概率函数作为损失函数进行训练。
发明内容
本公开提供了一种摘要生成模型的训练方法、装置、设备和存储介质。
根据本公开的一方面,提供了一种摘要生成模型的训练方法,包括:获取文档样本对应的文档表示;基于所述文档表示,构造所述文档表示对应的摘要表示,所述摘要表示包括正摘要表示和负摘要表示;基于所述文档表示、所述正摘要表示、所述负摘要表示,构建总对比损失函数,并基于所述总对比损失函数训练摘要生成模型。
根据本公开的另一方面,提供了一种摘要生成模型的训练装置,包括:获取模块,用于获取文档样本对应的文档表示;构造模块,用于基于所述文档表示,构造所述文档表示对应的摘要表示,所述摘要表示包括正摘要表示和负摘要表示;训练模块,用于基于所述文档表示、所述正摘要表示、所述负摘要表示,构建总对比损失函数,并基于所述总对比损失函数训练摘要生成模型。
根据本公开的另一方面,提供了一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如上述任一方面的任一项所述的方法。
根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据上述任一方面的任一项所述的方法。
根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据上述任一方面的任一项所述的方法。
根据本公开的技术方案,可以提高摘要生成模型的准确度。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要表示,也不用于限制本公开的范围。本公开的其它表示将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1是根据本公开第一实施例的示意图;
图2是根据本公开第二实施例的示意图;
图3是根据本公开第三实施例的示意图;
图4是根据本公开第四实施例的示意图;
图5是根据本公开第四实施例的示意图;
图6是根据本公开第四实施例的示意图;
图7是用来实现本公开实施例的摘要生成模型的训练方法中任一方法的电子设备的示意图。
具体实施方式
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110734020.1/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种网络优化方法、装置、计算机设备及存储介质
- 下一篇:一种锆酸钙碳砖