[发明专利]基于文本嵌入的文本相似性搜索方法、装置、设备和介质

说明书

本申请提供的一种基于文本嵌入的文本相似性搜索方法、装置、设备和介质，通过获取查询字符串；通过基于文本数据训练的离线模型将所述查询字符串转化为查询向量；以所述查询向量作为参数发送搜索请求至预设的搜索引擎，并将所述查询向量与所述离线模型训练出的词向量做相关性匹配；解析查询结果并输出相关文档。本申请将把自然语言处理领域的文本嵌入技术应用在分布式搜索引擎之中，超越传统的单词级的相似性匹配方法，把语义考虑进去，准确地捕捉到用户所输入语句后面的真正意图，并以此来进行搜索，从而更准确地向用户返回最符合其需求的搜索结果；利用Elasticsearch的分布式特性和对高维向量的支持，加速查询。

技术领域

本申请涉及文本嵌入搜索技术领域，特别是涉及一种基于文本嵌入的文本相似性搜索方法、装置、设备和介质。

背景技术

在传统的信息检索中，大多数文本搜索算法都是建立在分词的基础上，通过TF-IDF计算词在文本中的权重，把文本转化为向量之后通过基于余弦相似性的向量空间模型算法计算文本相似性，这种计算方法只考虑单词而不考虑文本内在的含义。

当检索词或句子与目标词或句子在字面上不一样，如某些特定词汇的中文与其英文或中英文结合，如果使用传统算法，句子之间会没有任何相似性，但实际上两者语义是完全接近的。

发明内容

鉴于以上所述现有技术的缺点，本申请的目的在于提供一种基于文本嵌入的文本相似性搜索方法、装置、设备和介质，以解决现有技术中的问题。

为实现上述目的及其他相关目的，本申请提供一种基于文本嵌入的文本相似性搜索方法，所述方法包括：获取查询字符串；通过基于文本数据训练的离线模型将所述查询字符串转化为查询向量；以所述查询向量作为参数发送搜索请求至预设的搜索引擎，并将所述查询向量与所述离线模型训练出的词向量做相关性匹配；解析查询结果并输出相关文档。

于本申请的一实施例中，所述离线模型的构建方法包括：获取用于训练的文本数据；基于Doc2Vec模型训练为离线模型，利用自然语言处理技术对所述文本数据进行文本嵌入处理，以使切分出的词或字段进行转换为词向量，并在训练时指定向量的维度。

于本申请的一实施例中，所述利用自然语言处理技术对所述文本数据进行文本嵌入处理，包括：将所述文本数据按一行一段落的数据格式进行处理；按按行读取文本数据，依据中文停用词表，对每一行进行中文分词和停用词过滤；把分词结果进行存储。

于本申请的一实施例中，所述基于Doc2Vec模型训练为离线模型，包括：使用Python的Gensim工具包对所述文本数据进行无监督学习，以得到文本隐层的主体的词向量；所述Doc2Vec模型训练后离线加载以形成离线模型，以供对外提供输入字符串输出词向量的转换服务。

于本申请的一实施例中，所述搜索引擎的预设方法包括：预设所述搜索引擎的映射结构，对其中需要做文本嵌入的字段设置数据类型为向量，并与所述离线模型的向量维度保持一致。

于本申请的一实施例中，所述搜索引擎的预设方法还包括：通过所述离线模式计算需要检索的字段的词向量；将所述文本数据和所述词向量索引至搜索引擎。

于本申请的一实施例中，所述解析查询结果并输出相关文档，包括：依据所述查询向量与所述离线模型训练出的词向量计算向量角度；根据所述向量角度得到匹配的相关性；由解析的所述查询结果，按相关性进行排序以输出搜索出的相关文档。

为实现上述目的及其他相关目的，本申请提供一种基于文本嵌入的文本相似性搜索装置，所述装置包括：获取模块，用于获取查询字符串；处理模块，用于通过基于文本数据训练的离线模型将所述查询字符串转化为查询向量；以所述查询向量作为参数发送搜索请求至预设的搜索引擎，并将所述查询向量与所述离线模型训练出的词向量做相关性匹配；解析查询结果并输出相关文档，并按相关性排序输出搜索出的相关文档。