[发明专利]一种基于动态K-均值算法的语料库索引构建方法

说明书

一种基于动态K‑均值算法的语料库索引构建方法，包括以下步骤：获取语料库中的文本；对语料库中的文本进行格式处理；对各文本进行分词处理，并去除停用词；对各文本中的词汇进行词性标注和词义标注；对各文本进行关键词提取，生成各文本的关键词集合；基于各文本的关键词集合，获取各文本的词汇特征向量；通过K‑means算法对各文本的词汇特征向量进行聚类处理，获取多个文本集合；采用索引引擎对每个文本集合进行处理，建立各文本集合的可达性索引；生成语料库的可达性索引表。本发明优化了语料库索引构建方法，操作简单，人们能够快速有效的从语料库中查询到所需的文件，使用效果极佳。

技术领域

本发明涉及语料库索引构建技术领域，尤其涉及一种基于动态K-均值算法的语料库索引构建方法。

背景技术

对大数据进行智能化管理和有效分析成为一个迫切需求，对大数据进行定量建模以及关联分析，并研究有效的分析挖掘方法，是有效分析大数据的关键，也是提高科学化水平的基础；

但是，语料库内部的文件较多，现有的语料库索引构建方法较为复杂，使用效果不佳，人们难以快速的从语料库中查询到所需文件。

发明内容

(一)发明目的

为解决背景技术中存在的技术问题，本发明提出一种基于动态K-均值算法的语料库索引构建方法，优化了语料库索引构建方法，操作简单，人们能够快速有效的从语料库中查询到所需的文件，使用效果极佳。

(二)技术方案

为解决上述问题，本发明提出了一种基于动态K-均值算法的语料库索引构建方法，包括以下步骤：

S1、获取语料库中的文本；

S2、对语料库中的文本进行格式处理，使所有文本的格式一致；

S3、对各文本进行分词处理，并去除停用词；

S4、对各文本中的词汇进行词性标注和词义标注；

S5、对各文本进行关键词提取，生成各文本的关键词集合；

S6、基于各文本的关键词集合，获取各文本的词汇特征向量；

S7、通过K-means算法对各文本的词汇特征向量进行聚类处理，获取多个文本集合；

S8、采用索引引擎对每个文本集合进行处理，建立各文本集合的可达性索引；

S9、生成语料库的可达性索引表。

优选的，在S3中，分词处理的具体步骤如下：

将获取的文本分割成多个段落；

将每个段落分割成多个句子；

对每个句子分词并得到词的序列。

优选的，在S3中，还需要去除语气词、HTML/XML标记、数字、时间和噪音词。

优选的，在S5中，关键词提取的步骤如下：

S51、采用并行化计算方式对文本进行处理，获取文本内各词汇的词频；

S52、设置词频阈值，并将各词汇词频词频与词频阈值进行比较，保存词频大于词频阈值的词汇，获得候选关键词集合；

S53、计算各候选关键词的TF-IDF值；

S54、设置TF-IDF值阈值，并将各词汇的TF-IDF值与TF-IDF值阈值相比较，保存TF-IDF值大于TF-IDF值阈值的词汇，获得各文本的关键词集合。

优选的，在S6中，其具体步骤如下：