[发明专利]一种基于K-MEANS、WORD2VEC的抽取关键词的方法

说明书

本发明公开了一种基于K‑MEANS、WORD2VEC的抽取关键词的方法，该方法通过归纳全局语义和各分支主题，利用WORD2VEC算法构建出空间向量，使用K‑means算法剔除模糊词，计算质心距，聚类评估后得到高质量的关键词，并且通过提升权重值，实现词库的动态优化，使关键词提取具备学习进化能力。本发明抽取的关键词能够体现文档的内部分类主题，每一个关键字能够很好地的体现该分类，具有最终关键词质量高，适应性更广泛，结果更加准确等特点。

技术领域

本发明涉及关键词抽取方法，尤其涉及一种基于K-MEANS和WORD2VEC的抽取关键词方法。

背景技术

文档关键词可让阅读者快速把控文档主旨内容、高效的把控和检索文档，在搜索结果排序、文本摘要、文档分类、文档聚类、用户画像、构建文档关联网络等领域多有应用。

通常新闻稿、学术论文等领域作者会主动提出文档的关键词，但绝大多数已知文档是不具备关键词的。随着信息时代的数据增长，人们对自动处理文档并生成关键词的方法需求与日俱增，目前业界也涌现了大量自动处理文档生成抽取关键词的方法或装置。

但是目前各类方法中关键词会存在语义相近、不能反应整个文档内容全貌、不能反应文档内部内容分类等不足。自动抽取关键词的技术或方法通常会涉及到对文档进行分词处理，分词过程会一定程度上影响到关键词抽取，获取已经分词完毕的文档是后续抽取关键词的基础前置条件。

对于基于词频的关键字抽取算法，是基于词语的出现频率作为抽取该关键词的主要依据，基于这个思路很多算法又进行了优化，例如引入IDF逆向文件频率、引入特定领域词库进行优化。但该类算法很难从主题分类的角度来进行分析文档。

对于基于主题模型关键字抽取算法，引入概率模型，构建整个文档的主题模型。这类算法的代表是LDA(线性判别分析Linear Discriminant Analysis，LDA)。但是这种算法不具备从词语向量空间中反应词语关联度的能力。

判断一个词在一篇文档中是否重要，一个很容易想到的衡量指标就是词频，重要的词往往会在文档中出现多次。但另一方面，不是出现次数多的词就一定重要，因为有些词在各个文档中都反复出现，那么它的重要性肯定远不如那些只在某篇文章中频繁出现的词重要性强。从统计学的角度，那就是给予那些不常见的词以较大的权重，减少常见词的权重。使用k-means算法对文本全局语义和各分支主题进行归纳，实现高质量关键词的提取，并且通过提升权重值，实现词库的动态优化，提取关键词的方法具备学习进化能力，基于k-means算法的关键词抽取方法，不仅可以大幅度文本分类效率，而且分类准确性也能得到很大程度的提高，

综上，现有的关键词抽取方法都不具备能够从全局语义和数类主题分支中分别归纳出每一类关键词的方法，使用基于K-MEANS、WORD2VEC的抽取关键词的方法，不仅能根据全局词义和数类主题分支进行归纳，并且依赖一个可维护文档所在领域的词库，该词库会在使用中动态优化，具备一定的学习进化能力，并且k-means算法作为一种广泛使用的聚类算法，其最大优势就是容易快速实现大型数据集的聚类，使用k-means聚类算法将大幅度提高关键词分析的效率，最终得到的关键词质量也会更高。

发明内容

本发明的目的在于克服现有技术的不足，如现有的关键词抽取方法都还不具备能够从全局语义、从整体、从数类主题分支、从各分支中归纳出每一类的关键词的能力，并且传统关键词抽取方法步骤繁重，就上述缺点，本发明特提供一种能够从整体和分支归纳、文档可维护的领域词库、该词库会在使用中动态优化，具备一定的学习进化能力且步骤简化的高质量关键词抽取方法。

本发明的目的是通过以下技术方案来实现的：