[发明专利]基于文本嵌入的文本相似性搜索方法、装置、设备和介质

权利要求书

1.一种基于文本嵌入的文本相似性搜索方法，其特征在于，所述方法包括：

获取查询字符串；

通过基于文本数据训练的离线模型将所述查询字符串转化为查询向量；

以所述查询向量作为参数发送搜索请求至预设的搜索引擎，并将所述查询向量与所述离线模型训练出的词向量做相关性匹配；

解析查询结果并输出相关文档。

2.根据权利要求1所述的方法，其特征在于，所述离线模型的构建方法包括：

获取用于训练的文本数据；

基于Doc2Vec模型训练为离线模型，利用自然语言处理技术对所述文本数据进行文本嵌入处理，以使切分出的词或字段进行转换为词向量，并在训练时指定向量的维度。

3.根据权利要求2所述的方法，其特征在于，所述利用自然语言处理技术对所述文本数据进行文本嵌入处理，包括：

将所述文本数据按一行一段落的数据格式进行处理；

按按行读取文本数据，依据中文停用词表，对每一行进行中文分词和停用词过滤；

把分词结果进行存储。

4.根据权利要求2所述的方法，其特征在于，所述基于Doc2Vec模型训练为离线模型，包括：

使用Python的Gensim工具包对所述文本数据进行无监督学习，以得到文本隐层的主体的词向量；

所述Doc2Vec模型训练后离线加载以形成离线模型，以供对外提供输入字符串输出词向量的转换服务。

5.根据权利要求2所述的方法，其特征在于，所述搜索引擎的预设方法包括：

预设所述搜索引擎的映射结构，对其中需要做文本嵌入的字段设置数据类型为向量，并与所述离线模型的向量维度保持一致。

6.根据权利要求2所述的方法，其特征在于，所述搜索引擎的预设方法还包括：

通过所述离线模式计算需要检索的字段的词向量；

将所述文本数据和所述词向量索引至搜索引擎。

7.根据权利要求1所述的方法，其特征在于，所述解析查询结果并输出相关文档，包括：

依据所述查询向量与所述离线模型训练出的词向量计算向量角度；

根据所述向量角度得到匹配的相关性；

由解析的所述查询结果，按相关性进行排序以输出搜索出的相关文档。

8.一种基于文本嵌入的文本相似性搜索装置，其特征在于，所述装置包括：

获取模块，用于获取查询字符串；

处理模块，用于通过基于文本数据训练的离线模型将所述查询字符串转化为查询向量；以所述查询向量作为参数发送搜索请求至预设的搜索引擎，并将所述查询向量与所述离线模型训练出的词向量做相关性匹配；解析查询结果并输出相关文档，并按相关性排序输出搜索出的相关文档。

9.一种计算机设备，其特征在于，所述设备包括：存储器、及处理器；所述存储器用于存储计算机指令；所述处理器运行计算机指令实现如权利要求1至7中任意一项所述的方法。

10.一种计算机存储介质，其特征在于，存储有计算机程序，所述计算机程序被运行时执行如权利要求1至7中任意一项所述的方法。