[发明专利]一种基于机器学习的大规模分布式的数据聚类方法

说明书

技术领域

本发明涉及计算机及数据挖掘领域，具体来说涉及一种基于机器学习的大规模分布式的数据聚类方法。

背景技术

目前，随着大数据、云计算为核心的互联网技术的迅速发展，作为大数据核心技术的数据分析技术正在吸引越来越多的研究和关注。其中数据聚类是数据处理中最关键的步骤。在面对如今庞大的数据时，为了得到准确的数据分析结果，必须尽可能的提高数据聚类算法的准确率与效率。

在现有的数据聚类算法中，分别有基于划分，基于密度，基于网格等不同的算法，这些算法采用不同的方法来分割与度量数据点，从而得到不同的聚类。

这些算法往往是基于单机设备进行设计的，在面对小规模数据时，上述算法尚可以得到理想的结果，而在处理大规模数据时，由于算法无法在多机上进行有效的扩展，因此存在准确度下降，迭代次数过多等问题。这样一来，可能会导致算法无法在有效时间内得出结果，或者是得出的聚类不准确。

发明内容

为了解决现有聚类算法在面对大规模数据时性能不足的问题，本发明将聚类算法根据MapReduce框架进行了并行化创新，提出了一种基于机器学习的大规模分布式的数据聚类方法，该方法是能够提供有效扩展的高性能的基于大规模分布式平台Spark的并行化数据聚类算法。

为了实现以上目的，本发明的技术方案为：

一种基于机器学习的大规模分布式的数据聚类方法，包括以下步骤：

1)输入需要分类的数据点以及聚类个数k，其中包含数据点索引以及数据点的坐标，数据形式如下，<n,coordinate>，其中n表示第n个数据点，coordinate表示数据点的坐标；

2)对数据点进行预处理，即给数据加上索引；

3)根据索引数据计算距离矩阵；

4)根据步骤3)得到的距离矩阵计算每个数据点的密度信息；

5)根据步骤3)得到的距离矩阵以及步骤4)得到的密度信息得到每个数据点的最小距离信息以及其对应索引；

6)根据步骤4)的密度信息以及步骤5)得到的最小距离信息确定k个聚类中心；

7)根据步骤4)的最小距离信息以及步骤6)确定的聚类中心对所有未被分配类标的数据点进行聚类，直到所有数据点都被分到一个类标。上述步骤2)输入包含的索引指的是点索引，是一个一维坐标，表明是第n个点；预处理中的索引是所求距离在距离矩阵的索引，是一个二维坐标，表明是求第i个点和第j个点的之间的距离。

进一步地，所述步骤4)的实现方式为：

步骤41)，对每一个数据点i，由距离矩阵得到与数据点i距离大于给定值d_c的所有数据点，对每一个数据点输出(i，1)；

步骤42)，对数据点i相同的所有数据进行求和，即可得到数据点i的密度。

进一步地，所述步骤6)的实现方式为：

步骤61)，将每个数据点的最小距离与密度求出乘积。

步骤62)，对该结果进行降序排序，取前k个点作为聚类中心。是根据聚类中心在其聚类中拥有最大密度，与此同时，聚类中心应当与其他类的中心的距离极大，因此上述结果较大的点最有可能是聚类中心，故取前k个点作为聚类中心。

与现有技术相比，本发明具有以下效果：本发明是能够在可扩展的大规模分布式平台上执行聚类算法，在面对大规模数据量的时候可以适量扩展机器以提升计算能力，在可接受的时间内得出准确度较高的聚类结果。

附图说明

图1为本发明的算法流程图。

图2为MapReduce运行原理图。

图3为本发明并行化运行原理图。

图4为本发明的聚类结果图。

具体实施方式

下面结合附图对本发明做进一步的描述，但本发明的实施方式并不限于此。

一种基于机器学习的大规模分布式的数据聚类方法，包括以下步骤：

1)输入需要分类的数据点以及聚类个数k，其中包含数据点索引以及数据点的坐标，数据形式如下，<n,coordinate>。

2)对数据点进行预处理，即使用MapReduce框架中的Map函数为数据点添加索引，步骤如下：

21)对每一个数据点，根据距离矩阵生成若干个键值对，其中每一个点生成的键值对的数量根据它在距离矩阵中需要的次数而定，生成的键值对形如<<index_x,index_y>，coordinate>；