[发明专利]文本编码模型的训练方法、信息检索方法及设备在审
申请号: | 202110572323.8 | 申请日: | 2021-05-25 |
公开(公告)号: | CN113761124A | 公开(公告)日: | 2021-12-07 |
发明(设计)人: | 欧子菁;赵瑞辉 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F16/33 | 分类号: | G06F16/33;G06F40/126;G06F40/30 |
代理公司: | 北京三高永信知识产权代理有限责任公司 11138 | 代理人: | 张所明 |
地址: | 518057 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文本 编码 模型 训练 方法 信息 检索 设备 | ||
1.一种文本编码模型的训练方法,其特征在于,所述方法包括:
将文本关系网络中的样本文本输入文本编码模型,得到各个样本文本对应的样本特征向量,所述文本关系网络是以所述样本文本为节点,以邻居节点之间的连线为边的无向图,所述邻居节点之间具有相同的文本属性;
基于所述样本特征向量以及目标函数确定模型损失,所述目标函数包含第一函数项和第二函数项,所述第一函数项用于表征所述样本特征向量对所述样本文本中语义信息的表示质量,所述第二函数项用于表征所述样本特征向量之间的相关性对所述文本关系网络的模拟质量;
基于所述模型损失对所述文本编码模型进行迭代训练。
2.根据权利要求1所述的方法,其特征在于,所述将文本关系网络中的样本文本输入文本编码模型之前,所述方法包括:
对所述样本文本进行语义信息提取,得到所述样本文本的所述文本属性;
将具有相同所述文本属性的所述样本文本相连,生成所述文本关系网络;
基于所述文本关系网络的网络结构生成邻接矩阵,所述邻接矩阵是用于表征所述文本关系网络中节点之间关系的二维数组;
将所述邻接矩阵输入所述文本编码模型,得到所述目标函数。
3.根据权利要求2所述的方法,其特征在于,所述文本编码模型为生成模型;
所述将所述邻接矩阵输入所述文本编码模型,得到所述目标函数,包括:
将所述邻接矩阵输入所述文本编码模型,得到所述目标函数中的先验分布函数,所述先验分布函数是以目标协方差矩阵为方差的高斯分布函数,所述目标协方差矩阵为所述邻接矩阵对应的精度矩阵的逆矩阵;
基于所述先验分布函数构建所述目标函数。
4.根据权利要求3所述的方法,其特征在于,所述基于所述先验分布函数构建所述目标函数,包括:
以目标期望为所述第一函数项,以目标相对熵的相反数为所述第二函数项,构建所述目标函数,所述目标期望为所述样本文本与所述样本特征向量的联合概率分布的期望,所述目标相对熵为后验分布函数与所述先验分布函数之间的相对熵,所述后验分布函数为所述样本特征向量与所述样本文本之间联合概率分布的变分分布。
5.一种信息检索方法,其特征在于,所述方法包括:
响应于文本检索操作,基于所述文本检索操作获取检索信息;
将所述检索信息输入文本编码模型,得到所述检索信息对应的检索信息特征向量,所述文本编码模型是以目标函数为训练目标,基于文本关系网络训练得到的模型,所述文本关系网络是以文本为节点,以文本之间的关系为边的无向图,所述目标函数包含第一函数项和第二函数项,所述第一函数项用于表征样本特征向量对样本文本中语义信息的表示质量,所述第二函数项用于表征所述样本特征向量之间的相关性对所述文本关系网络的模拟质量;
基于所述检索信息特征向量从文本库中确定目标文本,所述目标文本是与所述检索信息之间存在相关性的文本;
通过检索结果展示界面显示所述目标文本。
6.根据权利要求5所述的方法,其特征在于,所述基于所述检索信息特征向量从文本库中确定目标文本,包括:
获取所述文本库中各个候选文本的候选文本特征向量,所述候选文本特征向量是通过将所述候选文本输入所述文本编码模型得到的;
计算所述检索信息特征向量与各个候选文本特征向量之间的相似度;
将所述相似度大于相似度阈值的所述候选文本确定为所述目标文本。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110572323.8/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种气化粗渣回收精碳粉—玻璃微珠的工艺方法
- 下一篇:混合动力车辆的控制装置