[发明专利]一种基于倒排索引的评估类文档不定长词句的查询方法

摘要

一种基于倒排索引的评估类文档不定长词句的查询方法，它涉及数据科学领域的索引方法以及NLP领域的分词方法，解决了评估类文档不定长词句的查询问题。本发明的步骤为：一、对待查询文档进行数据预处理，利用jieba分词方法进行分词处理，得到单词词典与词频信息；二、基于完全重建策略的倒排索引原理建立自适应倒排表；三、结合待查找不定长词句的信息，通过自适应倒排表索引词句中各个单词位置信息，识别不定长词句位置信息并索引其所在段落，来完成评估类文档不定长词句的查询功能。本发明的基本思想是对文本数据进行分词，建立倒排索引，进而实现快速搜索不定长词句，从而实现对评估类文档的查询功能。应用场景广泛，因而具有很高的社会经济价值。

主权项

1.一种基于倒排索引的评估类文档不定长词句的查询方法，其特征在于它包括以下步骤：步骤一：将待查询文档进行数据预处理，统一转换为纯文本格式存储，并添加自定义词典和停用词表，利用jieba分词方法，采用Tire树结构存储单词，生成DAG图并基于DP算法计算最优切分方案，并通过中文词汇BMES状态表记法来进行分词处理，得到单词词典与词频信息；步骤二：基于完全重建策略的倒排索引原理，通过调整存储结构、强化单词位置信息、压缩存储空间，建立自适应倒排表和倒排生成文件，实现快速提取单词位置、频率等信息；步骤三：结合所需要查找不定长词句的信息，通过倒排表索引词句中各个分词位置信息，基于字符串匹配方法识别不定长词句位置信息并索引其所在段落，来完成评估类文档不定长词句的查询功能。