[发明专利]一种语义相关性检索模型的确定方法及装置

说明书

本申请公开了一种语义相关性检索模型的确定方法及装置，通过对预训练语料进行整词遮盖处理获得的预训练样本，对初始语言模型进行预训练，调整完成预训练的初始语言模型获得语义相关性的初始检索模型；通过包括样本标签的训练样本对初始检索模型进行训练，获得语义相关性的目标检索模型。其中，预训练基于上下文语义信息预测被遮盖处理的部分，由此学习目标检索词和检索结果的语义相关性知识；通过训练样本进行进一步学习检索词和检索结果的语义相关性知识。相较于现有技术中基于检索词与检索结果的字面匹配度返回检索结果的检索方式，能够基于二者的语义相关性进行检索结果的返回，提高返回检索结果与检索词之间整体匹配度。

技术领域

本申请涉及数据处理领域，特别是涉及一种语义相关性检索模型的确定方法及装置。

背景技术

语义检索，是指搜索引擎基于用户输入的检索词捕捉用户意图，以此进行检索，从而为用户返回最符合其需求的检索结果。

语义检索方法，在信息检索、搜索引擎中有着重要的地位，在检索结果召回与精准排序等环节发挥着重要作用。相关技术中，语义检索方法是基于检索词与检索结果的字面匹配度为用户返回检索结果的，如此导致返回的检索结果可能不符合用户的检索预期，尤其当检索词本身比较泛化的情况下，基于字面匹配返回的检索结果并不理想。

由此可见，优化语义检索方法具有重要的意义。

发明内容

为了解决上述技术问题，本申请提供了一种语义相关性检索模型的确定方法及装置，提升语言模型对检索词和检索结果的语义相关性的理解，由此提高返回的检索结果与检索词之间整体匹配度。

本申请实施例公开了如下技术方案：

一方面，本申请实施例提供了一种语义相关性检索模型的确定方法，所述方法包括：

构建由目标检索词和检索结果组成的预训练语料；

通过对所述预训练语料进行整词遮盖处理，获得预训练样本；

根据所述训练样本对初始语言模型进行预训练，基于对所述预训练样本中被遮盖部分的预测结果与所述被遮盖部分之间的差异对所述初始语言模型进行参数调整；

调整完成预训练的所述初始语言模型得到语义相关性的初始检索模型；

获取包括样本标签的训练样本；所述训练样本的样本标签用于标识所述训练样本中的检索词和检索结果的相关性；

根据所述训练样本对所述初始检索模型进行训练，根据对所述训练样本的训练结果和所述训练样本的样本标签之间的差异对所述初始检索模型进行参数调整，获得语义相关性的目标检索模型。

另一方面，本申请实施例提供了一种语义相关性检索模型的确定装置，所述装置包括构建单元、处理单元、预训练单元、调整单元、获取单元和训练单元：

所述构建单元，用于构建由目标检索词和检索结果组成的预训练语料；

所述处理单元，用于通过对所述预训练语料进行整词遮盖处理，获得预训练样本；

所述预训练单元，用于根据所述训练样本对初始语言模型进行预训练，基于对所述预训练样本中被遮盖部分的预测结果与所述被遮盖部分之间的差异对所述初始语言模型进行参数调整；

所述调整单元，用于调整完成预训练的所述初始语言模型得到语义相关性的初始检索模型；

所述获取单元，用于获取包括样本标签的训练样本；所述训练样本的样本标签用于标识所述训练样本中的检索词和检索结果的相关性；

所述训练单元，用于根据所述训练样本对所述初始检索模型进行训练，根据对所述训练样本的训练结果和所述训练样本的样本标签之间的差异对所述初始检索模型进行参数调整，获得语义相关性的目标检索模型。