[发明专利]一种长文本数据检索方法、装置、设备、存储介质

说明书

本申请公开了一种长文本数据检索方法、装置、设备、存储介质，包括：对待搜索文本进行分词处理以得到相应的目标单词，并计算待搜索文本的指纹序列；从预先构建的权重搜索字典中提取出与目标单词对应的词性权重向量与词频权重向量；基于词性权重向量与词频权重向量从所有的目标单词中筛选出权重满足预设条件的特征单词；根据预先构建的全文指纹哈希桶查找与特征单词对应的历史文本的全文指纹序列；计算待搜索文本的指纹序列与历史文本的全文指纹序列的相似度得分，并基于相似度得分得到待搜索文本的检索结果。通过本申请能够实现垂直领域下的高效率的长文本数据搜索，减少搜索等待时间和系统资源占用，提高运行效率。

技术领域

本发明涉及计算机信息检索技术领域，特别涉及一种长文本数据检索方法、装置、设备、存储介质。

背景技术

目前对数据库条目进行查找的方式主要是通过数据库提供的索引功能，然后根据查找的需要，对特定的字段进行查找，然后层层筛选，最后得到目标数据集合，而现有数据库或搜索引擎检索技术面向的都是通用领域，在面对特定领域下的文本检索效率不高，数据库一般采用顺序扫描法对目标字段的长文本进行关键字匹配，在面对海量数据时需要扫描全部数据，且长文本数据所占用的系统资源较高，字符串匹配效率很低，浪费时间。

综上，如何实现高效率的垂直领域下的长文本数据检索，减少检索时的系统资源占用，提高运行效率是本领域有待解决的问题。

发明内容

有鉴于此，本发明的目的在于提供及一种长文本数据检索方法、装置、设备、存储介质，能够实现高效率的垂直领域下的长文本数据检索，减少检索时的系统资源占用，提高运行效率。其具体方案如下：

第一方面，本申请公开了一种长文本数据检索方法，包括：

对待搜索文本进行分词处理以得到相应的目标单词，并计算所述待搜索文本的指纹序列；

从预先构建的权重搜索字典中提取出与所述目标单词对应的词性权重向量与词频权重向量；

基于所述词性权重向量与所述词频权重向量从所有的所述目标单词中筛选出权重满足预设条件的特征单词；

根据预先构建的全文指纹哈希桶查找与所述特征单词对应的历史文本以及与所述历史文本对应的全文指纹序列；

计算所述待搜索文本的指纹序列与所述历史文本的全文指纹序列的相似度得分，并基于所述相似度得分得到所述待搜索文本的检索结果。

可选的，所述从预先构建的权重搜索字典中提取出与所述目标单词对应的词性权重向量与词频权重向量之前，还包括：

对预设历史文本进行分词处理，并按照预设权重确定规则确定经过分词处理后得到的所述预设历史文本的单词的词性权重向量和词频权重向量；

构建携带所述词性权重向量与所述词频权重向量的单词的权重搜索字典。

可选的，所述根据预先构建的全文指纹哈希桶查找与所述特征单词对应的历史文本的全文指纹序列之前，还包括：

获取所述预设历史文本的全文指纹序列；

构建所述权重搜索字典的单词与包含所述单词的所述预设历史文本的全文指纹序列之间的哈希映射关系，并将所述哈希映射关系存储在所述权重搜索字典的单词的全文指纹哈希桶中。

可选的，所述对预设历史文本进行分词处理之前，还包括：

对所述预设历史文本进行结构化处理以得到相应的结构化数据，并将所述结构化数据保存在本地数据库中。

可选的，所述基于所述词性权重向量与所述词频权重向量从所有的所述目标单词中筛选出权重满足预设条件的特征单词，包括：