[发明专利]一种大容量文本内容检索方法和系统

权利要求书

1.一种大容量文本内容检索方法，其特征在于，所述方法包括：

根据预设的间隔字长确定读取节点；

根据所述读取节点截取已存储的文本信息，得到含有标号的待检文本；

提取所述待检文本的关键词，并向所述关键词插入所述待检文本的标号；

统计含有标号的关键词，得到基于标号排序的查询表；其中，所述查询表中包括关键词项以及对应的次数项；

接收到含有检索词条的检索请求时，提取检索词条中的关键词，基于所述检索词条中的关键词遍历查询表，确定目标信息并显示；

其中，所述关键词还包括相对于待检文本头部字节的偏移量。

2.根据权利要求1所述的大容量文本内容检索方法，其特征在于，所述根据预设的间隔字长确定读取节点的步骤包括：

随机确定间隔字长，基于所述间隔字长从预设的参考文本中随机截取出一个待检文本；

对所述待检文本进行关键词提取，获取单位提取时间；

根据所述单位提取时间计算总提取时间，并根据所述总提取时间确定预设的间隔字长。

3.根据权利要求1所述的大容量文本内容检索方法，其特征在于，所述根据所述读取节点截取已存储的文本信息，得到含有标号的待检文本的步骤包括：

对所述读取节点进行排序，并根据排序结果生成与所述读取节点为映射关系的标号；

读取文本信息，以所述读取节点作为端点截取文本信息，得到待检文本；

获取所述待检文本头部的读取节点的标号，并将所述标号插入所述待检文本。

4.根据权利要求1所述的大容量文本内容检索方法，其特征在于，所述提取所述待检文本的关键词的步骤包括：

遍历所述待检文本，定位空白符，基于所述空白符将所述待检文本转换为多段文本数组；

依次获取所述多段文本数组的数组长度，并将所述数组长度与预设的长度阈值进行比对；

当所述数组长度小于所述长度阈值时，提取相应的文本数组中的内容，作为关键词；

当所述数组长度大于所述长度阈值时，对相应的文本数组进行内容识别，提取关键词。

5.根据权利要求4所述的大容量文本内容检索方法，其特征在于，所述当所述数组长度大于所述长度阈值时，对相应的文本数组进行内容识别，提取关键词的步骤包括：

将所述文本数组输入训练好的词性分析模型，得到带有词性标记的预处理文本；

剔除所述预处理文本中的虚词，得到初筛文本；

遍历所述初筛文本的修饰词，基于词库获取所述修饰词的常用度，并标记常用度小于预设的常用度阈值的修饰词；

根据标记的修饰词读取相邻的主体词，作为关键词；

其中，所述修饰词包括形容词和副词，所述主体词包括名词和动词。

6.根据权利要求1所述的大容量文本内容检索方法，其特征在于，所述统计含有标号的关键词，得到基于标号排序的查询表的步骤包括：

读取含有标号的关键词，并根据所述标号对关键词进行分类，得到以标号为名称的子词库；

遍历所述子词库，生成含有标号的子查询表，所述子查询表包括关键词及其重复次数；

根据标号顺序连接子查询表，生成查询表。

7.根据权利要求6所述的大容量文本内容检索方法，其特征在于，所述方法还包括：

接收用户的反馈信息，根据所述反馈信息获取预计字长；

根据所述预计字长修正预设的间隔字长。