[发明专利]一种信息检索方法、装置、电子设备及可读存储介质

说明书

本发明提供一种信息检索方法、装置、电子设备及可读存储介质，其中，所述信息检索方法包括以下步骤：获取待查询语句；基于预先训练的检索模型，输出与所述待查询语句具有文本对应关系的ID；其中，所述检索模型是基于海量文本样本和ID训练得到的，且所述检索模型中存储有各所述海量文本样本与ID的文本对应关系。相比于现有技术在检索时需要对待检索语句和文本进行向量相似度计算，本发明在检索时不需要对检索文本进行编码、存储、计算，降低了计算代价和存储代价，提高了检索的效率。

技术领域

本发明涉及机器学习技术领域，尤其涉及一种信息检索方法、装置、电子设备及可读存储介质。

背景技术

传统文本检索大多基于词语匹配计算相似度，例如：稠密向量检索将所有文本转换成向量，通过计算向量点积，来计算文本相似度，这种算法往往使得模型忽略语义相似性。

同时，稠密向量检索需要对所有的待检索文本进行编码，并存储对应的向量。检索时需要计算查询的向量表示，相似度计算需要大规模的向量乘法，计算代价、存储代价高昂。

发明内容

本发明提供一种信息检索方法、装置、电子设备及可读存储介质，用以解决现有技术中计算代价、存储代价高昂，检索模型忽略语义相似性的缺陷，实现低成本准确高效检索。

本发明提供一种信息检索方法，包括：

获取待查询语句；

基于预先训练的检索模型，输出与所述待查询语句具有文本对应关系的ID；

其中，所述检索模型是基于海量文本样本和ID训练得到的，且所述检索模型中存储有各所述海量文本样本与ID的文本对应关系。

根据本发明提供的一种信息检索方法，对所述检索模型进行预先训练的过程具体包括：

获取所述海量文本样本，利用预先训练的稠密向量模型将所有文本样本表示为稠密向量；

基于所述稠密向量，对所述海量文本样本进行聚类，以得到各文本样本对应的路径；

将聚类得到的路径转换为分别与各所述文本样本对应的ID；

基于所述海量文本样本和与所述海量文本样本对应的ID，对所述检索模型进行记忆训练。

根据本发明提供的一种信息检索方法，预先训练的稠密向量模型的训练过程具体包括：

确定查询语句q及与所述查询语句q相关的正例文本d；

在查询语料库中，随机采集负例文本

将所述查询语句q、所述正例文本d、所述文本输入预存的语言模型中进行训练，以得到所述稠密向量模型；

其中，n为正整数。

根据本发明提供的一种信息检索方法，基于所述稠密向量，对所述海量文本样本进行聚类，具体包括：

获取所述海量文本样本生成的稠密向量；

根据预设值x将所述稠密向量聚类为x个子类；

将新生成的x个子类中的每个子类再聚类成x个子类；

多次对子类进行聚类，直至新生成的每个子类中的文本数量少于所述预设值x；

其中，所述预设值x为正整数。

根据本发明提供的一种信息检索方法，将聚类得到的路径转换为分别与各所述文本样本对应的ID，具体包括：

根据聚类路径得到每层聚类的标号，并以各层聚类对应的标号组合作为初始ID；

基于待训练的检索模型对所述初始ID进行迭代优化，以生成与各所述文本样本对应的ID。