[发明专利]一种中文短文本聚类方法

说明书

本发明涉及一种中文短文本聚类方法，具体涉及一种基于词向量及其相似度计算的中文短文本聚类方法。具体步骤如下,利用Word2Vec词向量训练模型获得所需要的词向量；利用词权重计算算法获取短文本集中所有词的权重；根据词向量和所有词的权重通过短文本相似度算法计算短文本集中每两个文本之间的相似度值；根据短文本集中每两个文本之间的相似度值对短文本进行聚类。本发明提出一种“搬运优化”的短文本相似度计算方法，解决了短文本文法特征稀疏和语义缺失等问题；基于图模型不断迭代计算词的权重，提高句子相似度计算的准确度；选择基于密度峰值聚类方法应用到短文本的聚类中，有效地提高聚类方法的效率。

技术领域

本发明涉及自然语言处理领域，具体涉及一种基于词向量及其相似度计算的中文短文本聚类方法。

背景技术

近年来，由于移动设备的普及与社交媒体平台的更新，社交媒体的表现形式发生了巨大的变化。其变化具体体现在：实现了从长文本向短文本的过渡，重心也从博客、论坛等传统的长文本社交媒体平台向新浪微博、Twitter等短文本社交媒体平台转移。

短文本社交媒体平台的即时性与便利性大大促进了信息量的增长。与传统文本相比，社会网络中的短文本具有文本短、话题多样、垃圾多、带有感情倾向性等特点，给用户快捷地获取客观有用的信息带来了巨大的挑战。中文短文本摘要技术能够将海量的文本信息归类到不同的主题下，有效缓解信息过载问题，同时可在诸多领域得到实际应用，如话题检测与跟踪、交互式问答系统以及舆情监测系统等。

短文本聚类技术通过对大量的短信息进行分析、处理、组织，将短文本集进行划分归类，其本质是句子相似度计算和聚类算法的选择。现有的短文本相似度的计算方法主要包括计算相同词汇个数、Jaccard相似系数、cosine相似度等，这些算法未考虑到短文本的语义知识。文本的聚类算法主要有k-means，k-means改进方法bisecting k-means、k-means++、层次聚类、训练模型贝叶斯分类器等，这些算法均需通过迭代数次直到结果最优为止。

因此，本发明针对目前社交媒体中短文本信息过载，以及还有现有的短文本相似度的计算方法主要包括计算相同的词汇个数、Jaccard相似系数、cosine相似度等，这些算法未考虑到短文本的语义知识的问题，提供了一种中文短文本聚类方法，具体涉及一种基于词向量及其相似度计算的中文短文本聚类方法。

发明内容

本发明的目的是解决目前社交媒体中短文本信息过载，以及还有现有的短文本相似度的计算方法主要包括计算相同的词汇个数、Jaccard相似系数、cosine相似度等，这些算法未考虑到短文本的语义知识的问题。

为实现上述目的，本发明提供了一种中文短文本聚类方法，具体涉及一种基于词向量及其相似度计算的中文短文本聚类方法，包括以下步骤：

利用Word2Vec词向量训练模型获得所需要的词向量；利用词权重计算算法获取短文本集中所有词的权重；根据词向量和所有词的权重通过短文本相似度算法计算短文本集中每两个文本之间的相似度值；根据短文本集中每两个文本之间的相似度值对所述短文本进行聚类。

所述获得所需要的词向量的步骤包括：将语料库进行预处理，预处理后的语料库利用所述Word2Vec词向量训练模型进行训练；经过所述Word2Vec词向量训练模型训练结束后获得语料库中所有词的所述词向量。

所述获得短文本集中所有词的权重的步骤包括：将短文本集进行预处理，经过所述预处理后获得词集，根据所述词集的位置关系构建一个有向图；根据所述有向图，分别计算词的IF-IDF转移权重、左右熵转移权重以及覆盖度转移权重；根据所述IF-IDF转移权重、左右熵转移权重以及覆盖度转移权重构建权值转移矩阵；给短文本中每个词分配权重初值，再根据所述权重初值以及所述权值转移矩阵通过迭代计算更新词的权重；设定阈值，若更新后词的权值与更新前的权值的差值小于阈值，则迭代计算停止；根据所述迭代更新后获得所述短文本集中每个词的权重。