[发明专利]机器阅读理解模型训练方法、装置、电子设备和存储介质有效
申请号: | 201911376949.0 | 申请日: | 2019-12-27 |
公开(公告)号: | CN111160568B | 公开(公告)日: | 2021-04-06 |
发明(设计)人: | 刘凯;佘俏俏 | 申请(专利权)人: | 北京百度网讯科技有限公司 |
主分类号: | G06N20/00 | 分类号: | G06N20/00;G06N3/08 |
代理公司: | 北京清亦华知识产权代理事务所(普通合伙) 11201 | 代理人: | 戎郑华 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 机器 阅读 理解 模型 训练 方法 装置 电子设备 存储 介质 | ||
本申请公开了机器阅读理解模型训练方法、装置、电子设备和存储介质,涉及NLP领域。具体实现方案为:基于获取的样本数据,对初始模型进行训练,生成中间模型;按照第一预设的规则从样本数据中,抽取待处理样本;按照预设的噪声生成方法,生成噪声文本;将噪声文本,分别加入各待处理样本中,得到噪声样本;基于噪声样本,对中间模型进行修正训练,生成机器阅读理解模型。该方法通过在机器阅读理解模型训练过程中,自动生成噪声文本,来训练模型,以提高机器阅读理解模型的抗噪声能力,提高模型的鲁棒性,无需修改模型,且无需人工参与,成本低。
技术领域
本申请涉及计算机技术领域,具体涉及自然语言处理(Natural LanguageProcessing,NLP)技术领域,尤其涉及一种机器阅读理解模型训练方法、装置、电子设备和存储介质。
背景技术
在没有任何噪声的前提下,机器阅读理解模型可以在给定段落中正确地找出问题的答案。目前为了提高机器阅读理解模型的鲁棒性,通常通过在模型输入中增加更多其他来源的数据,比如加入强语言模型作为输入,来增强机器阅读理解模型对抗噪声的能力。
但是这种方式,需要修改阅读理解模型,增加了阅读理解模型的难度和训练的复杂度。
发明内容
本申请提出一种机器阅读理解模型训练方法、装置、电子设备和存储介质,用于解决相关技术中,通过在模型输入中增加更多其他来源的数据,提高模型的抗噪声能力的方式,会增加阅读理解模型的难度和训练的复杂度的问题。
本申请一方面实施例提出了一种机器阅读理解模型训练方法,包括:
基于获取的样本数据,对初始模型进行训练,生成中间模型;
按照第一预设的规则从所述样本数据中,抽取待处理样本;
按照预设的噪声生成方法,生成噪声文本;
将所述噪声文本,分别加入各待处理样本中,得到噪声样本;
基于所述噪声样本,对所述中间模型进行修正训练,生成机器阅读理解模型。
本申请实施例的机器阅读理解模型训练方法,通过基于获取的样本数据,对初始模型进行训练,生成中间模型,按照第一预设的规则从样本数据中,抽取待处理样本,然后按照预设的噪声生成方法,生成噪声文本,之后将噪声文本,分别加入各待处理样本中,得到噪声样本,再基于噪声样本,对中间模型进行修正训练,生成机器阅读理解模型。该方法通过在机器阅读理解模型训练过程中,自动生成噪声文本,来训练模型,以提高机器阅读理解模型的抗噪声能力,提高模型的鲁棒性,无需修改模型,且无需人工参与,成本低。
本申请另一方面实施例提出了一种机器阅读理解模型训练装置,包括:
第一生成模块,用于基于获取的样本数据,对初始模型进行训练,生成中间模型;
抽取模块,用于按照第一预设的规则从所述样本数据中,抽取待处理样本;
第二生成模块,用于按照预设的噪声生成方法,生成噪声文本;
获取模块,用于将所述噪声文本,分别加入各待处理样本中,得到噪声样本;
第三生成模块,用于基于所述噪声样本,对所述中间模型进行修正训练,生成机器阅读理解模型。
本申请实施例的机器阅读理解模型训练装置,通过基于获取的样本数据,对初始模型进行训练,生成中间模型,按照第一预设的规则从样本数据中,抽取待处理样本,按照预设的噪声生成方法,生成噪声文本,将噪声文本,分别加入各待处理样本中,得到噪声样本,基于噪声样本,对中间模型进行修正训练,生成机器阅读理解模型。由此,通过在机器阅读理解模型训练过程中,自动生成噪声文本,来训练模型,以提高机器阅读理解模型的抗噪声能力,提高模型的鲁棒性,无需修改模型,且无需人工参与,成本低。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911376949.0/2.html,转载请声明来源钻瓜专利网。