[发明专利]文本预测方法、装置、设备以及存储介质在审
申请号: | 202110380399.0 | 申请日: | 2021-04-08 |
公开(公告)号: | CN113704391A | 公开(公告)日: | 2021-11-26 |
发明(设计)人: | 王唯康;胡敏达 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F16/33 | 分类号: | G06F16/33;G06F16/35;G06F40/126;G06F40/194;G06F40/30;G06N3/04;G06N3/08 |
代理公司: | 北京市立方律师事务所 11330 | 代理人: | 张筱宁 |
地址: | 518000 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文本 预测 方法 装置 设备 以及 存储 介质 | ||
1.一种文本预测方法,其特征在于,所述方法包括:
获取目标查询文本以及所述目标查询文本对应的目标结果文本;
基于所述目标查询文本和所述目标结果文本,通过文本预测模型从所述目标结果文本中确定目标答案文本;
其中,所述文本预测模型是基于以下方式训练得到的:
获取多个训练文本组,每一所述训练文本组包括查询文本、所述查询文本的结果文本以及所述查询文本对应的答案文本,每一所述结果文本包括相对应的答案文本;
确定每一所述结果文本和相对应的查询文本所对应的编码特征,将各所述编码特征输入初始模型,通过所述初始模型,确定每一所述结果文本中各词对应于相对应的结果文本中答案文本所在位置的位置概率;
对于每一所述结果文本,基于该结果文本对应的位置概率和答案文本,确定该结果文本对应的第一训练损失值,基于所述第一训练损失值确定总训练损失值;
基于所述总训练损失值对所述初始模型进行迭代训练,直至所述总训练损失值满足预设的训练结束条件时,基于训练结束后的模型确定所述文本预测模型。
2.根据权利要求1所述的方法,其特征在于,对于每一所述结果文本,该结果文本对应的位置概率包括该结果文本中各词为该结果文本中答案文本的起始位置的第一预测概率、以及结束位置的第二预测概率;
所述基于该结果文本对应的位置概率和答案文本,该结果文本对应的第一训练损失值,包括:
确定该结果文本中答案文本的起始位置和结束位置;
基于该结果文本中第一目标词对应的第一预测概率、以及第二目标词对应的第二预测概率,确定该结果文本对应的第一训练损失值;
其中,所述第一目标词对应于该结果文本中答案文本的起始位置,所述第二目标词对应于该结果文本中答案文本的结束位置。
3.根据权利要求1所述的方法,其特征在于,对于每一所述结果文本,所述基于所述第一训练损失值确定总训练损失值,包括:
确定该结果文本中各词属于该结果文本中的目标文本的第一真实概率;
通过所述初始模型,基于该结果文本对应的编码特征确定该结果文本中各词属于该结果文本中的目标文本的第三预测概率,其中,该结果文本中的目标文本为与相对应的答案文本相关联的文本;
基于该结果文本对应的第三预测概率和第一真实概率,确定该结果文本与相对应的查询文本的文本相关度;
基于该结果文本对应的文本相关度和所述第一训练损失值,确定总训练损失值。
4.根据权利要求3所述的方法,其特征在于,对于每一所述结果文本,所述确定该结果文本中各词属于该结果文本中的目标文本的第一真实概率,包括:
确定该结果文本中答案文本的起始位置和结束位置;
对于该结果文本中的每一词,基于该词在该结果文本中的位置、以及该结果文本中答案文本的起始位置和结束位置,确定该词属于该结果文本中的目标文本的第一真实概率。
5.根据权利要求3所述的方法,其特征在于,对于每一所述结果文本,所述基于该结果文本对应的编码特征确定该结果文本中各词属于该结果文本中的目标文本的第三预测概率,包括:
对于该结果文本中的每一词,基于该结果文本对应的编码特征,确定该词为该结果文本中的目标文本的起始位置的第四预测概率、以及结束位置的第五预测概率;
基于该结果文本中各词对应的第四预测概率和第五预测概率,确定该结果文本中各词属于该结果文本中的目标文本的第三预测概率。
6.根据权利要求5所述的方法,其特征在于,对于每一所述结果文本,所述基于该结果文本中各词对应的第四预测概率和第五预测概率,确定该结果文本中各词属于该结果文本中的目标文本的第三预测概率,包括:
对于该结果文本中的每一词,确定该结果文本中位置在该词之前的第三目标词、以及位置在该词之后的第四目标词;
对于该结果文本中的每一词,基于该词对应的第四预测概率、该词对应的第三目标词对应的第四预测概率、该词对应的第五预测概率以及该词对应的第四目标词对应的第五预测概率,确定该词属于该结果文本中的目标文本的第三预测概率。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110380399.0/1.html,转载请声明来源钻瓜专利网。