[发明专利]一种大容量文本内容检索方法和系统

说明书

本发明涉及数据检索技术领域，具体公开了一种大容量文本内容检索方法和系统，所述方法包括根据预设的间隔字长截取已存储的文本信息，得到待检文本；提取所述待检文本的关键词，并向所述关键词插入所述待检文本的标号；统计含有标号的关键词，得到基于标号排序的查询表；其中，所述查询表中包括关键词项以及对应的次数项；其中，所述关键词还包括相对于待检文本头部字节的偏移量。本发明通过提取文本信息的含有偏移量的关键词，生成以关键词为内容的检索表，当含有检索词条的检索请求时，根据检索词条中的关键字匹配，找到对应的偏移量，确定目标信息并显示，无需对文本信息进行遍历，检索速度极快。

技术领域

本发明涉及数据检索技术领域，具体是一种大容量文本内容检索方法和系统。

背景技术

传统的检索方式是对文本进行遍历，然后在遍历的过程中不断进行比对，然后得到检索内容，但是对于超大文本文件来说，遍历一次的工作量极大，传统检索方式显然不适用，因此，需要提供一种专用于超大文本文件的检索方式。

发明内容

本发明的目的在于提供一种大容量文本内容检索方法和系统，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种大容量文本内容检索方法，包括：

根据预设的间隔字长确定读取节点；

根据所述读取节点截取已存储的文本信息，得到含有标号的待检文本；

提取所述待检文本的关键词，并向所述关键词插入所述待检文本的标号；

统计含有标号的关键词，得到基于标号排序的查询表；其中，所述查询表中包括关键词项以及对应的次数项；

接收到含有检索词条的检索请求时，提取检索词条中的关键词，基于所述检索词条中的关键词遍历查询表，确定目标信息并显示；

其中，所述关键词还包括相对于待检文本头部字节的偏移量。

作为本发明技术方案进一步的限定：所述根据预设的间隔字长确定读取节点的步骤包括：

随机确定间隔字长，基于所述间隔字长从预设的参考文本中随机截取出一个待检文本；

对所述待检文本进行关键词提取，获取单位提取时间；

根据所述单位提取时间计算总提取时间，并根据所述总提取时间确定预设的间隔字长。

作为本发明技术方案进一步的限定：所述根据所述读取节点截取已存储的文本信息，得到含有标号的待检文本的步骤包括：

对所述读取节点进行排序，并根据排序结果生成与所述读取节点为映射关系的标号；

读取文本信息，以所述读取节点作为端点截取文本信息，得到待检文本；

获取所述待检文本头部的读取节点的标号，并将所述标号插入所述待检文本。

作为本发明技术方案进一步的限定：所述提取所述待检文本的关键词的步骤包括：

遍历所述待检文本，定位空白符，基于所述空白符将所述待检文本转换为多段文本数组；

依次获取所述多段文本数组的数组长度，并将所述数组长度与预设的长度阈值进行比对；

当所述数组长度小于所述长度阈值时，提取相应的文本数组中的内容，作为关键词；

当所述数组长度大于所述长度阈值时，对相应的文本数组进行内容识别，提取关键词。

作为本发明技术方案进一步的限定：所述当所述数组长度大于所述长度阈值时，对相应的文本数组进行内容识别，提取关键词的步骤包括：