[发明专利]一种长文本数据检索方法、装置、设备、存储介质

权利要求书

1.一种长文本数据检索方法，其特征在于，包括：

对待搜索文本进行分词处理以得到相应的目标单词，并计算所述待搜索文本的指纹序列；

从预先构建的权重搜索字典中提取出与所述目标单词对应的词性权重向量与词频权重向量；

基于所述词性权重向量与所述词频权重向量从所有的所述目标单词中筛选出权重满足预设条件的特征单词；

根据预先构建的全文指纹哈希桶查找与所述特征单词对应的历史文本的全文指纹序列；

计算所述待搜索文本的指纹序列与所述历史文本的全文指纹序列的相似度得分，并基于所述相似度得分得到所述待搜索文本的检索结果。

2.根据权利要求1所述的长文本数据检索方法，其特征在于，所述从预先构建的权重搜索字典中提取出与所述目标单词对应的词性权重向量与词频权重向量之前，还包括：

对预设历史文本进行分词处理，并按照预设权重确定规则确定经过分词处理后得到的所述预设历史文本的单词的词性权重向量和词频权重向量；

构建携带所述词性权重向量与所述词频权重向量的单词的权重搜索字典。

3.根据权利要求2所述的长文本数据检索方法，其特征在于，所述根据预先构建的全文指纹哈希桶查找与所述特征单词对应的历史文本的全文指纹序列之前，还包括：

获取所述预设历史文本的全文指纹序列；

构建所述权重搜索字典的单词与包含所述单词的所述预设历史文本的全文指纹序列之间的哈希映射关系，并将所述哈希映射关系存储在所述权重搜索字典的单词的全文指纹哈希桶中。

4.根据权利要求2或3所述的长文本数据检索方法，其特征在于，所述对预设历史文本进行分词处理之前，还包括：

对所述预设历史文本进行结构化处理以得到相应的结构化数据，并将所述结构化数据保存在本地数据库中。

5.根据权利要求1所述的长文本数据检索方法，其特征在于，所述基于所述词性权重向量与所述词频权重向量从所有的所述目标单词中筛选出权重满足预设条件的特征单词，包括：

利用提取的所述目标单词对应的词性权重向量与词频权重向量对所述目标单词进行加权计算，以得到所述目标单词的权重向量结果；

从所述权重向量结果中筛选出基于预设筛选条件的所述权重向量结果，并基于筛选出的所述权重向量结果对所述目标单词进行筛选，以得到所述特征单词。

6.根据权利要求1所述的长文本数据检索方法，其特征在于，所述计算所述待搜索文本的指纹序列与所述历史文本的全文指纹序列的相似度得分，包括：

对所述待搜索文本的指纹序列进行分段处理，以得到不同的所述待搜索文本的指纹序列片段；

对每一条所述历史文本的全文指纹序列进行分段处理，以得到不同的历史文本的指纹序列片段；

计算所述待搜索文本的指纹序列片段与对应位置的所述历史文本的指纹序列片段的相似度，以得到所述待搜索文本的指纹序列与所述历史文本的全文指纹序列之间的相似度得分。

7.根据权利要求6所述的长文本数据检索方法，其特征在于，所述基于所述相似度得分得到所述待搜索文本的检索结果，包括：

按照所述历史文本的全文指纹序列的相似度得分大小顺序，对所述历史文本进行排列，并生成与所述待搜索文本对应的检索结果列表，以得到所述待搜索文本的检索结果。

8.一种长文本数据检索装置，其特征在于，包括：

预处理模块，用于对待搜索文本进行分词处理以得到相应的目标单词，并计算所述待搜索文本的指纹序列；

向量提取模块，用于从预先构建的权重搜索字典中提取出与所述目标单词对应的词性权重向量与词频权重向量；

单词筛选模块，用于基于所述词性权重向量与所述词频权重向量从所有的所述目标单词中筛选出权重满足预设条件的特征单词；

指纹序列查找模块，用于根据预先构建的全文指纹哈希桶查找与所述特征单词对应的历史文本的全文指纹序列；

文本检索模块，用于计算所述待搜索文本的指纹序列与所述历史文本的全文指纹序列的相似度得分，并基于所述相似度得分得到所述待搜索文本的检索结果。