[发明专利]文本聚类方法及装置

说明书

本发明提供一种文本聚类方法及装置，该方法包括：对每个待聚类文本进行分词，将每个待聚类文本中的词语转换为词向量；将每个待聚类文本中所有词语的词向量进行融合，将融合结果作为每个待聚类文本的文档向量；根据所述待聚类文本的文档向量，计算任意两个待聚类文本之间的相似度，若任意两个待聚类文本之间的相似度大于预设阈值，则将所述任意两个待聚类文本作为一类，若任意两类中存在相同的待聚类文本，则将所述任意两类中的待聚类文本归为一类。本发明实现不仅可以最大限度地将相似度低的待聚类文本分离，使得聚类结果更加准确，还可以自动确定聚类的簇的数量。

技术领域

本发明涉及文本数据挖掘技术领域，尤其涉及一种文本聚类方法及装置。

背景技术

随着计算机技术的不断发展与应用，数字化文本数据的数量不断增长。随着互联网的发展，进一步加剧了文本数据的增加。在这种背景下，利用聚类技术对文本数据进行简化分析，将文本分门别类，便于用户在海量的网络信息中查找有用的信息，提高网络的服务质量。

高效快速的文本聚类技术可以将海量的文本数据分成多个有意义的类别，广泛应用于文本挖掘与信息检索等方面。文本聚类技术在大规模文本集的组织与浏览、文本集层次归类的自动生成等方面都具有重要的应用价值。文本聚类技术的目标是将文本集合分成若干个类，要求同一类中的文本内容的相似度尽可能的大，而不同类之间相似度尽可能的小。

常见的聚类算法有K-means(K均值)聚类算法、DBSCAN(Density-Based SpatialClustering of Applications with Noise，基于密度的聚类)和BIRCH(BalancedIterative Reducing and Clustering using Hierarchies，综合层次聚类)等。其中，K-means聚类算法是一种迭代求解的聚类分析算法，首先随机选取K个对象作为初始的聚类中心，然后计算每个对象与各个种子聚类中心之间的距离，把每个对象分配给与其距离最近的聚类中心。每个聚类中心以及分配给聚类中心的对象代表一个聚类。每分配一个样本，根据聚类中现有的对象重新计算聚类的聚类中心。但是采用这种聚类算法对文本进行聚类时，需要预先设定簇的数量。通常由于文本类型和数量较多，很难准确确定簇的数量，导致聚类结果不准确。

发明内容

本发明提供一种文本聚类方法及装置，用以解决现有技术中使用K-means聚类算法对文本进行聚类需要预先设定簇的数量，导致聚类不准确的缺陷，实现自动确定聚类的簇的数量，并对文本进行准确聚类。

本发明提供一种文本聚类方法，包括：

对每个待聚类文本进行分词，将每个待聚类文本中的词语转换为词向量；

将每个待聚类文本中所有词语的词向量进行融合，将融合结果作为每个待聚类文本的文档向量；

根据所述待聚类文本的文档向量，计算任意两个待聚类文本之间的相似度，若任意两个待聚类文本之间的相似度大于预设阈值，则将所述任意两个待聚类文本作为一类，若任意两类中存在相同的待聚类文本，则将所述任意两类中的待聚类文本归为一类。

根据本发明提供的一种文本聚类方法，所述将每个待聚类文本中的词语转换为词向量，包括：

将每个待聚类文本中的词语输入Word2vec模型，输出每个待聚类文本中词语的词向量；其中，所述Word2vec模型为，以样本词语为样本训练得到。

根据本发明提供的一种文本聚类方法，所述将每个待聚类文本中的词语输入Word2vec模型，输出每个待聚类文本中词语的词向量，包括：

将所有所述待聚类文本中的词语作为所述样本词语，对所述Word2vec模型进行训练；

将每个待聚类文本中的词语输入训练后的Word2vec模型，输出每个待聚类文本中词语的词向量。