[发明专利]数据聚类方法、装置、电子设备及可读存储介质

说明书

本申请提供一种数据聚类方法、装置、电子设备及可读存储介质，涉及数据挖掘技术领域。该方法通过将文本数据进行初次聚类后，根据初次聚类结果将高维特征向量中多个维度的语义特征替换为一个维度的类簇标签，实现数据的降维，再将降维后的数据再次进行聚类，从而可以在再次聚类的过程中有效减少计算量，提高聚类效率，并且通过再次聚类可以确保聚类效果，该实现方式可以兼顾聚类效率和聚类精度。

技术领域

本申请涉及数据挖掘技术领域，具体而言，涉及一种数据聚类方法、装置、电子设备及可读存储介质。

背景技术

聚类是指将物理或抽象对象的集合分成由类似的对象组成的多个类的过程，其在图像分析、文本检索等领域有着广泛应用。

目前的聚类是基于原始数据对应的高维向量进行聚类，由于高维向量的维度较多，所以，在进行聚类时的计算量较大，导致聚类效率较低，这种方式不适用于大数据量的聚类场景。

发明内容

本申请实施例的目的在于提供一种数据聚类方法、装置、电子设备及可读存储介质，用以改善现有技术中聚类效率较低的问题。

第一方面，本申请实施例提供了一种数据聚类方法，所述方法包括：获取待聚类的文本数据对应的高维特征向量，所述高维特征向量包括多个维度的语义特征；根据语义特征对所述文本数据进行初次聚类，并根据初次聚类结果确定所述高维特征向量对应的类簇标签；将所述高维特征向量中多个维度的语义特征替换为一个维度的类簇标签，形成低维特征向量；对所述低维特征向量再次进行聚类，获得最终聚类结果。

在上述实现过程中，通过将文本数据进行初次聚类后，根据初次聚类结果将高维特征向量中多个维度的语义特征替换为一个维度的类簇标签，实现数据的降维，再将降维后的数据再次进行聚类，从而可以在再次聚类的过程中有效减少计算量，提高聚类效率，并且通过再次聚类可以确保聚类效果，该实现方式可以兼顾聚类效率和聚类精度。

可选地，所述根据语义特征对所述文本数据进行初次聚类，并根据初次聚类结果确定所述高维特征向量对应的类簇标签，包括：

计算所述高维特征向量与由历史文本数据聚类形成的类簇集合中潜在簇的第一相似度，所述潜在簇为所述类簇集合中文本数量大于预设数量的类簇；

确定目标潜在簇，所述目标潜在簇与所述高维特征向量的第一相似度最大且大于第一预设相似度；

将所述文本数据聚类到所述目标潜在簇中，并将所述目标潜在簇的类簇标签确定为所述高维特征向量对应的类簇标签。

在上述实现过程中，先将文本数据与潜在簇计算相似度，而不是与所有的类簇计算相似度，则可以在初次聚类的过程中减少计算量，提高初次聚类的聚类效率。

可选地，所述根据语义特征对所述文本数据进行初次聚类，并根据初次聚类结果确定所述高维特征向量对应的类簇标签，包括：

计算所述高维特征向量与由历史文本数据聚类形成的类簇集合中潜在簇的第一相似度，所述潜在簇为所述类簇集合中文本数量大于预设数量的类簇；

若不存在所述第一相似度大于第一预设相似度的潜在簇，则计算所述高维特征向量与所述类簇集合中孤立簇的第二相似度，所述孤立簇为所述类簇集合中文本数量小于或等于所述预设数量的类簇；

确定目标孤立簇，所述目标孤立簇与所述高维特征向量的第二相似度最大且大于第二预设相似度；

将所述文本数据聚类到所述目标孤立簇中，并将所述目标孤立簇的类簇标签确定为所述高维特征向量对应的类簇标签。

在上述实现过程中，在文本数据与潜在簇不相似时，再计算其与孤立簇的相似度，可避免将文本数据聚类到错误的潜在簇中，确保聚类效果。

可选地，所述计算所述高维特征向量与所述类簇集合中孤立簇的第二相似度之后，还包括：