[发明专利]阅读理解模型的训练方法及装置、阅读理解方法及装置有效

专利信息
申请号: 202111111031.0 申请日: 2021-04-08
公开(公告)号: CN113792121B 公开(公告)日: 2023-09-22
发明(设计)人: 潘璋;李长亮;李小龙 申请(专利权)人: 北京金山数字娱乐科技有限公司
主分类号: G06F16/33 分类号: G06F16/33;G06F40/289;G06F18/214
代理公司: 北京智信禾专利代理有限公司 11637 代理人: 刘晓楠
地址: 100085 北京市海淀区*** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 阅读 理解 模型 训练 方法 装置
【说明书】:

本申请提供一种阅读理解模型的训练方法及装置、阅读理解方法及装置,其中阅读理解模型的训练方法包括:通过阅读理解模型的图构建网络层构建样本文本片段和样本答案的初始第一图网络,以及构建样本问题和样本答案的初始第二图网络;将所述样本文本片段、所述样本问题和所述样本答案输入所述阅读理解模型的文本处理层,分别为所述初始第一图网络和所述初始第二图网络包括的节点和边添加注意力值,得到第一图网络和第二图网络;将第一图网络和第二图网络输入阅读理解模型的图卷积网络层中,得到预测答案;基于预测答案与样本答案间的差值对阅读理解模型进行训练,直至达到训练停止条件。

技术领域

本申请涉及自然语言处理技术领域,特别涉及阅读理解模型的训练方法及装置、阅读理解方法及装置、计算设备和计算机可读存储介质。

背景技术

机器阅读理解是致力于教会机器阅读人类的语言并理解其内涵的研究,随着自然语言处理技术的发展,机器阅读理解作为自然语言处理领域中一个热门方向被广泛应用。机器阅读理解任务更注重于对于文本的理解,并从文本中学习到相关信息,以便可以回答与文本相关的问题。

现有技术中,训练机器理解文本的方法主要是构建一种待训练模型,并通过对该待训练模型进行训练,得到符合需求的阅读理解模型,使得该阅读理解模型可以尽可能准确地完成阅读理解任务。具体地,可以将样本问题和样本答案作为训练样本输入待训练模型中,待训练模型可以输出预测答案,根据预测答案和样本答案间的差值对待训练模型进行优化,以便得到想要的阅读理解模型。

但上述方式仅考虑问题和答案之间的关联关系,比较单一,并且有些问题可以适用于不同的文本,且对于不同的文本得到的答案不同,因此,通过上述方式训练得到的阅读理解模型执行阅读理解任务的准确率可能较低。

发明内容

有鉴于此,本申请实施例提供了一种阅读理解模型的训练方法。本申请同时涉及一种阅读理解模型的训练装置,一种计算设备,以及一种计算机可读存储介质,以解决现有技术中存在的技术缺陷。

根据本申请实施例的第一方面,提供了一种阅读理解模型的训练方法,包括:

通过阅读理解模型的图构建网络层构建样本文本片段和样本答案的初始第一图网络,以及构建样本问题和所述样本答案的初始第二图网络;

将所述样本文本片段、所述样本问题和所述样本答案输入所述阅读理解模型的文本处理层,分别为所述初始第一图网络和所述初始第二图网络包括的节点和边添加注意力值,得到第一图网络和第二图网络;

将所述第一图网络和所述第二图网络输入所述阅读理解模型的图卷积网络层中,得到预测答案;

基于所述预测答案与所述样本答案间的差值对所述阅读理解模型进行训练,直至达到训练停止条件。

根据本申请实施例的第二方面,提供了一种阅读理解方法,包括:

通过阅读理解模型的图构建网络层构建目标文本和目标答案的初始第一图网络,以及构建目标问题和所述目标答案的初始第二图网络;

将所述目标文本、所述目标问题和所述目标答案输入所述阅读理解模型的文本处理层,分别为所述初始第一图网络和所述初始第二图网络包括的节点和边添加注意力值,得到第一图网络和第二图网络;

将所述第一图网络和所述第二图网络输入所述阅读理解模型的图卷积网络层中,得到所述目标问题的答案。

根据本申请实施例的第三方面,提供了一种阅读理解模型的训练装置,包括:

第一图网络构建模块,被配置为通过阅读理解模型的图构建网络层构建样本文本片段和样本答案的初始第一图网络,以及构建样本问题和所述样本答案的初始第二图网络;

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京金山数字娱乐科技有限公司,未经北京金山数字娱乐科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202111111031.0/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top