[发明专利]文本聚类的方法、设备和存储介质

说明书

本发明揭示了一种文本聚类的方法、设备和存储介质，所述方法包括：获取待聚类的文本标题列表；以所述文本标题为顶点，以所述文本标题向量化后的距离为边，构建所述文本标题之间的初始连通图；移除所述初始连通图的大于初始距离阈值的边，得到一个或者多个子连通图；计算每个所述子连通图的聚集程度，若一个所述子连通图的聚集程度大于或等于分簇阈值，所述子连通图对应的文本集合即为一个文本簇。与现有技术相比，本发明能够对文本进行快速、稳定地聚类，同样的文本数据每次聚类的结果是一致的。同时，使用此方法对企业相关的新闻进行聚类，能够快速的实现对企业热点新闻的稳定提取，对于企业相关的新闻热点提取有较好的效果。

技术领域

本发明涉及信息处理技术，尤其涉及一种文本聚类的方法、设备和存储介质。

背景技术

文本是信息的主要载体，随着互联网的发展，浏览网络上及时发布的新闻文本成为人们获取信息的重要手段，当前网络上的新闻文本信息数量巨大，为了使人们能够快速、方便地导航和浏览新闻，需要对新闻文本使用文本聚类技术进行聚类。文本聚类技术能够将文本集自动划分成多个簇，使得处于同一个簇中的文本具有一定的相似性，不同簇中的文本之间的相似性尽可能低。目前常用的聚类方法有Kmeans，层次聚类，Single pass算法等。

但是Single pass算法具有输入次序依赖特性，即对于同一聚类对象按不同的次序输入，会出现不同的聚类结果。其他聚类算法，如Kmeans需要指定类别的数量，层次聚类算法也存在层次选取的问题，对于指定类别的数量不同或者选取的层次不同，都会造成聚类结果的不一致。

发明内容

本发明的目的在于提供一种文本聚类的方法、设备和存储介质。

为实现上述发明目的之一，本发明一实施方式提供一种文本聚类的方法，所述方法包括：

获取待聚类的文本标题列表；

以所述文本标题为顶点，以所述文本标题向量化后的距离为边，构建所述文本标题之间的初始连通图；

移除所述初始连通图的大于初始距离阈值的边，得到一个或者多个子连通图；

计算每个所述子连通图的聚集程度，若一个所述子连通图的聚集程度大于或等于分簇阈值，所述子连通图对应的文本集合即为一个文本簇。

作为本发明一实施方式的进一步改进，所述方法还包括：

S21、若一个所述子连通图的聚集程度小于分簇阈值，获取所述子连通图的当前距离阈值，移除所述子连通图的大于当前距离阈值的边，得到一个或者多个子连通图；

S22、计算每个所述子连通图的聚集程度，重复步骤S21～S22，直至所有的子连通图的聚集程度都大于或者等于分簇阈值，每个大于或者等于分簇阈值的子连通图对应的文本集合即为一个文本簇。

作为本发明一实施方式的进一步改进，所述子连通图的聚集程度是指所述子连通图的群聚系数与最大图直径的比值。

作为本发明一实施方式的进一步改进，所述“所述文本标题向量化后的距离”的获取方法包括：

通过对所述文本标题列表中的文本标题进行主题训练得到主题模型；

利用所述主题模型将每条所述文本标题向量化，得到文本标题向量；

计算两两所述文本标题向量之间的相似度；

计算两两文本标题向量之间的距离。

作为本发明一实施方式的进一步改进，所述方法还包括：

将所述文本簇对应的子连通图中度最高的顶点所代表的文本作为所述文本簇的代表文本，提取所述文本簇的关键词作为所述文本簇的内容。

作为本发明一实施方式的进一步改进，所述方法还包括：