[发明专利]文本编码模型的训练方法、信息检索方法及设备

说明书

本申请实施例公开了一种文本编码模型的训练方法、信息检索方法及设备，属于机器学习技术领域。该方法包括：将文本关系网络中的样本文本输入文本编码模型，得到各个样本文本对应的样本特征向量；基于样本特征向量以及目标函数确定模型损失；基于模型损失对文本编码模型进行迭代训练。响应于文本检索操作，基于文本检索操作获取检索信息；将检索信息输入文本编码模型，得到检索信息对应的检索信息特征向量；基于检索信息特征向量从文本库中确定目标文本；通过检索结果展示界面显示目标文本。基于样本文本的网络关系进行建模，同时在文本关系网络的网络边稀疏、噪声较多的情况下，模型也能够通过捕捉文本本身的语义信息得到较为准确的向量表示。

技术领域

本申请实施例涉及机器学习技术领域，特别涉及一种文本编码模型的训练方法、信息检索方法及设备。

背景技术

信息检索是日常生活中使用较为频繁的操作，例如论文检索、新闻检索以及医疗咨询检索等。用户在检索框中输入关键词或关键句，终端依据文档搜索规则从文档库中检索出与关键词或关键句相关的内容，并显示检索结果供用户查看。

相关技术通常是将用户输入的文本内容编码成一个连续型向量，然后利用模型计算其与文档库中各个文档的向量表示之间的相似度，进而基于向量距离确定检索结果。对于模型的训练过程，相关技术采用对比学习的方式构建模型，并利用正负样本最大化似然函数。

然而，上述对比式学习更注重文本网络中各个节点之间的关系，当文本网络边较为稀疏、边噪声较大时，模型性能会下降；并且该方法需要正样本之间的向量内积尽可能大，负样本之间的向量内积尽可能小，若不能恰当地选取负样本，则会对模型性能有较大负面影响。

发明内容

本申请实施例提供了一种文本编码模型的训练方法、信息检索方法及设备，能够提高文本编码模型的文本编码性能，提高信息检索准确率。所述技术方案如下：

一方面，本申请实施例提供了一种文本编码模型的训练方法，所述方法包括：

将文本关系网络中的样本文本输入文本编码模型，得到各个样本文本对应的样本特征向量，所述文本关系网络是以所述样本文本为节点，以邻居节点之间的连线为边的无向图，所述邻居节点之间具有相同的文本属性；

基于所述样本特征向量以及目标函数确定模型损失，所述目标函数包含第一函数项和第二函数项，所述第一函数项用于表征所述样本特征向量对所述样本文本中语义信息的表示质量，所述第二函数项用于表征所述样本特征向量之间的相关性对所述文本关系网络的模拟质量；

基于所述模型损失对所述文本编码模型进行迭代训练。

另一方面，本申请实施例提供了一种信息检索方法，所述方法包括：

响应于文本检索操作，基于所述文本检索操作获取检索信息；

将所述检索信息输入文本编码模型，得到所述检索信息对应的检索信息特征向量，所述文本编码模型是以目标函数为训练目标，基于文本关系网络训练得到的模型，所述文本关系网络是以文本为节点，以文本之间的关系为边的无向图，所述目标函数包含第一函数项和第二函数项，所述第一函数项用于表征样本特征向量对样本文本中语义信息的表示质量，所述第二函数项用于表征所述样本特征向量之间的相关性对所述文本关系网络的模拟质量；

基于所述检索信息特征向量从文本库中确定目标文本，所述目标文本是与所述检索信息之间存在相关性的文本；

通过检索结果展示界面显示所述目标文本。

另一方面，本申请实施例提供了一种文本编码模型的训练装置，所述装置包括：

第一输入模块，用于将文本关系网络中的样本文本输入文本编码模型，得到各个样本文本对应的样本特征向量，所述文本关系网络是以所述样本文本为节点，以邻居节点之间的连线为边的无向图，所述邻居节点之间具有相同的文本属性；