[发明专利]基于关键词匹配的文本聚类方法、系统、储存介质及终端

说明书

本发明公开一种基于关键词匹配的文本聚类方法、系统、储存介质及终端，涉及数据处理技术领域。对分析数据进行清洗，采用TextRank算法计算文本关键词；根据不同文本间关键词的重复占比判断文本相似度，实现初步聚类；对文本簇中不同文本关键词依据汇总计算得出文本簇的关键词；文本簇聚类后形成新的文本簇同时通过相同方式再进行聚类，直至满足设定聚类轮数。本发明在不将文本转化为向量的情况下，基于不同文本间关键词的重复占比判断不同文本的相似度，实现文本聚类，简化了文本相似度的计算过程，提升了计算效率。本方法能够根据文本内容自动判断聚类个数k，无需预先指定，具有较强适用性。

技术领域

本发明涉及数据处理技术领域，尤其公开一种基于关键词匹配的文本聚类方法、系统、储存介质及终端。

背景技术

目前，聚类是一种无监督学习方式，目的是把一个数据根据某种规则划分为多个子数据，一个子数据就称为一个聚类。文本聚类则是将聚类的方法应用于文本类数据，通过对不同文本进行相似度比较，将相似度高的文本归为一类的计算方法。由于数据应用场合不同，不同的聚类方式侧重点不同，各有优势和缺陷，因此目前没有一个通用的聚类算法，目前聚类算法主要分为以下几类：基于划分的聚类算法、基于层次的聚类算法、基于密度的聚类算法、基于网格的聚类算法、基于模型的聚类算法以及基于模糊的聚类算法。

现有技术方案所采用的聚类算法属于凝聚式层次聚类算法(HierarchicalAgglomerative Clustering，HAC)，凝聚式层次聚类顾名思义是凝聚数据样本，它的聚类方向是从子数据向上不断合并，该算法经常运用于话题检测中。凝聚式层次聚类首先从底部分散的单个样本开始依次计算与其他样本的距离，然后选择距离最小样本并与其合并成一个新的样本集，再重复上述过程直到形成一个包含所有样本的簇，或者达到迭代次数。

通过上述分析，现有技术存在的问题及缺陷为：

(1)现有技术所采用的聚类算法属于凝聚式层次聚类算法，判断不同文本相似度的主要思路是将文本分词后转化为词向量，并进一步计算不同向量间的距离(欧式距离、夹角余弦距离等)，通过向量距离大小判断不同文本的相似度，最终达到文本聚类的目的。将文本转换为向量并针对不同向量进行距离计算需要占用大量计算资源，导致文本聚类算法计算效率相对较低。

(2)将文本转换为向量进行计算会增加模型的复杂度，且对文本质量要求相对较高，否则会影响聚类结果的准确性。

解决以上问题及缺陷的难度为：如何在不将文本转换为向量的情况下计算不同文本间相似度，实现文本聚类，以简化计算复杂度，提升模型计算效率与鲁棒性。这是业内急需要解决的技术难题。

解决以上问题及缺陷的意义为：能够提供一种判断不同文本的相似度的新方法，降低计算复杂度，提升计算效率，为研究人员实现文本聚类提供新的思路；能够提升模型计算的鲁棒性，适度降低对分析文本质量的要求，具有更好的适用性。

发明内容

为克服相关技术中存在的问题，本发明公开实施例提供了一种基于关键词匹配的文本聚类方法、系统、储存介质及终端。所述技术方案如下：

根据本发明公开实施例的第一方面，提供一种基于文本关键词匹配度的文本聚类方法，应用于信息数据处理终端，所述基于文本关键词匹配度的文本聚类方法包括：

在不将目标文本转化为向量的情况下，通过不同文本间关键词的重复度评估所述文本的相似度，实现文本聚类；

能够根据聚类文本内容及设定的文本相似度阈值，自动判断聚类个数，无需预先指定。

优选地，所述实现文本聚类包括：

文本数据清洗；

文本关键词计算；

初步聚类；

文本簇筛选；