[发明专利]语义检索网络训练方法、装置、电子设备及存储介质

说明书

本公开提供了一种语义检索网络训练方法、装置、电子设备及存储介质，涉及数据处理领域，具体涉及自然语言处理、深度学习等人工智能领域。具体实现方案为：获取训练样本；训练样本中包括搜索词，以及搜索词对应的n个候选文档；其中，n为大于1的整数；将训练样本输入至精排模型，获得精排模型输出的n个第一相关度，每个第一相关度用于表示对应候选文档与搜索词间的相关性；将训练样本输入至语义检索模型，获得语义检索模型输出的n个第二相关度，每个第二相关度用于表示对应候选文档与搜索词间的相关性；根据n个第一相关度和n个第二相关度，对语义检索模型和精排模型进行联合训练。该方案可以提高训练效率，提升训练效果。

技术领域

本公开涉及数据处理领域，具体涉及自然语言处理、深度学习等人工智能领域，尤其涉及一种语义检索网络训练方法、装置、电子设备及存储介质。

背景技术

相关技术中，信息检索系统通常包括两部分：召回阶段和精排阶段。在召回阶段，通常采用基于语义模型从大规模候选库中得到K个候选；在精排阶段，采用更为复杂的模型对K个候选进行重排序，最终返回排序后的答案列表。语义检索模型和精排模型之间是互相依赖的关系：精排模型需要适应语义检索模型产出候选的分布，语义检索模型需要不断学习精排模型从而增强自身的能力。

但是相关技术中的检索系统，对于语义检索模型和精排模型的训练效率低、且训练后的效果较差。

发明内容

本公开提供了一种语义检索网络训练方法、装置、电子设备及存储介质。

根据本公开的第一方面，提供了一种语义检索网络训练方法，所述语义检索网络包括语义检索模型和精排模型，所述方法包括：

获取训练样本；所述训练样本中包括搜索词，以及所述搜索词对应的 n个候选文档；其中，n为大于1的整数；

将所述训练样本输入至所述精排模型，获得所述精排模型输出的n个第一相关度，每个所述第一相关度用于表示对应候选文档与所述搜索词间的相关性；

将所述训练样本输入至语义检索模型，获得所述语义检索模型输出的n个第二相关度，每个所述第二相关度用于表示对应候选文档与所述搜索词间的相关性；

根据所述n个第一相关度和所述n个第二相关度，对所述语义检索模型和所述精排模型进行联合训练。

根据本公开的第二方面，提供了一种语义检索网络训练装置，所述语义检索网络包括语义检索模型和精排模块，所述装置包括：

第一获取模块，用于获取训练样本；所述训练样本中包括搜索词，以及所述搜索词对应的n个候选文档；其中，n为大于1的整数；

第二获取模块，用于将所述训练样本输入至所述精排模型，获得所述精排模型输出的n个第一相关度，每个所述第一相关度用于表示对应候选文档与所述搜索词间的相关性；

第三获取模块，用于将所述训练样本输入至语义检索模型，获得所述语义检索模型输出的n个第二相关度，每个所述第二相关度用于表示对应候选文档与所述搜索词间的相关性；

训练模块，用于根据所述n个第一相关度和所述n个第二相关度，对所述语义检索模型和所述精排模型进行联合训练。

根据本公开的第三方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述第一方面所述的方法。

根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述第一方面所述的方法。