[发明专利]文本检索方法及装置

说明书

本公开涉及计算机技术领域，提供了一种文本检索方法及装置。该方法包括：将待检索问题语句输入到预置的相关性评分模型的问题编码器，其中，相关性评分模型具有双塔式框架，双塔式框架的两个分支分别为文档编码器和问题编码器，相关性评分模型的训练数据中的部分负难例使用第一语言模型生成；将根据文档库中的在库文档使用第一语言模型生成的伪问题语句和对应的在库文档输入文档编码器，其中，文档编码器具有交互式框架；获取相关性评分模型输出的待检索问题语句与文档库中的在库文档的相关性得分；根据相关性得分获取待检索问题语句的检索文本。本公开的技术方案可以在文本检索过程中在提升文档表征的准确性的同时不失查询的高效性。

技术领域

本公开涉及计算机技术领域，尤其涉及一种文本检索方法及装置。

背景技术

目前，稠密向量检索已在信息检索中起着至关重要的地位。稠密向量是使用数组的数据结构对向量建模得到的向量。相较于传统的BM25（Best Match 25，第25次算法迭代最佳匹配）检索方式，稠密向量检索可以更好地获取问题与文档之间的语义信息。

针对问题与文档之间的相关性评分主要有非交互式框架和交互式框架两种评分框架。交互式框架计算量太大从而会影响文本检索的效率，非交互式框架则无法很好地表现长文档中的多主题内容，因而准确度不高。

如何在提升文档表征的准确性的同时不失查询的高效性是当前亟需解决的技术问题。

发明内容

有鉴于此，本公开实施例提供了一种文本检索方法、装置、电子设备及计算机可读存储介质，以解决现有技术中文本检索过程中文档表征准确度不高或者检索效率不高的技术问题。

本公开实施例的第一方面，提供了一种文本检索方法，该方法包括：将待检索问题语句输入到预置的相关性评分模型的问题编码器，其中，相关性评分模型具有双塔式框架，双塔式框架的两个分支分别为文档编码器和问题编码器，相关性评分模型的训练数据中的部分负难例使用第一语言模型生成；将根据文档库中的在库文档使用第一语言模型生成的伪问题语句和对应的在库文档输入文档编码器，其中，文档编码器具有交互式框架；获取相关性评分模型输出的待检索问题语句与文档库中的在库文档的相关性得分；根据相关性得分获取待检索问题语句的检索文本。

本公开实施例的第二方面，提供了一种文本检索装置，该装置包括：问题编码模块，用于将待检索问题语句输入到预置的相关性评分模型的问题编码器，其中，相关性评分模型具有双塔式框架，双塔式框架的两个分支分别为文档编码器和问题编码器，相关性评分模型的训练数据中的部分负难例使用第一语言模型生成；文档编码模块，用于将根据文档库中的在库文档使用第一语言模型生成的伪问题语句和对应的在库文档输入文档编码器，其中，文档编码器具有交互式框架；相关性得分获取模块，用于获取相关性评分模型输出的待检索问题语句与文档库中的在库文档的相关性得分；检索文本获取模块，用于根据相关性得分获取待检索问题语句的检索文本。

本公开实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。

本公开实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。

本公开实施例与现有技术相比存在的有益效果是：本公开实施例的技术方案通过使用具有局部交互式框架和总体双塔式框架的相关性评价模型实现了文本检索的过程，并且结合使用第一语言模型生成相关性评分模型的训练数据的部分负难例，同时使用第一语言模型根据在库文档生成伪问题语句，实现了在提升文档表征的准确性的同时不失查询的高效性的技术效果。

附图说明