[发明专利]基于轮廓系数的差分隐私保护K-means聚类方法

说明书

本发明公开了一种基于轮廓系数的差分隐私保护K‑means聚类方法，具体按照以下步骤实施：步骤1、对数据集D中的所有数据做归一化处理；步骤2、将具有N条记录的数据集D平均分为K个集合；步骤3、对于集合C_k求各记录的属性向量之和及记录数步骤4、计算每个记录a_i到k个聚类中心u_k的距离；步骤5、计算该聚类的记录数量num和各记录的属性向量之和sum；步骤6、计算k个聚类的轮廓系数S_k，并对num_k和sum_k添加随机噪声步骤7、计算新的聚类中心；步骤8、计算新的聚类中心和上次迭代的聚类中心的距离，若小于阈值，算法结束，本发明解决了现有技术中存在的分布式环境下大数据聚类分析中信息泄露严重的问题。

技术领域

本发明属于信息安全技术领域，具体涉及一种基于轮廓系数的差分隐私保护K-means聚类方法。

背景技术

数据挖掘作为当前大数据环境下获取信息的重要方法，通过统计、机器学习和模式识别等多种方法来获取有用的信息，这些信息广泛应用于商务管理、生产控制、市场分析和科学研究等领域。聚类分析是一种典型的数据挖掘方法，其主要思想是将数据聚集为若干类，使得各个聚类之间的差别最大，聚类内的数据差别最小。K-means算法是一种思想简单，聚类收敛速度快的，被广泛应用于各个领域的聚类算法。

在大数据聚类分析中，敏感信息的隐私泄露问题成为此类应用的一个严重障碍。如何高效的实现数据挖掘，同时保护个体的隐私，就是隐私保护的数据挖掘算法要解决的问题。差分隐私保护是2006年Dwork首次提出的，能适应于任意背景知识下的攻击技术，并且因为它不受数据集的大小限制而受到关注。在K-means聚类分析中，通过差分隐私保护技术能够有效的减少个体隐私的泄露，具有差分隐私保护的K-means聚类算法具有重要的实际应用意义。

发明内容

本发明的目的是提供一种基于轮廓系数的差分隐私保护K-means聚类方法，解决了现有技术中存在的分布式环境下大数据聚类分析中信息泄露严重的问题。

本发明所采用的技术方案是，基于轮廓系数的差分隐私保护K-means聚类方法，其特征在于，具体按照以下步骤实施：

步骤1、将数据集分为M个大小相同的数据片分别执行Map任务和Reduce任务，假设数据集为D，数据集中的总记录数为N，记录记为a_i，其中，1≤i≤N，记录的维数为d，聚类个数为K，第k个中心点记为u_k，1≤k≤K，隐私预算ε，第t次迭代中第k个聚类的随机噪声为t为迭代次数；

步骤2、对数据集D中的所有数据做归一化处理；

步骤3、将有N条记录的数据集D平均分为K个集合C_k，1≤k≤K，集合C_k有N/K条数据；

步骤4、对于集合C_k求各记录的属性向量之和及记录数分别对和添加随机噪声得到和计算初始中心点

步骤5、计算每个记录a_i到k个聚类中心u_k的距离；

步骤6、计算该聚类的记录数量num和各记录的属性向量之和sum；

步骤7、计算第k个聚类的轮廓系数S_k，并对num_k和sum_k添加随机噪声

步骤8、计算新的聚类中心

步骤9、计算新的聚类中心和上次迭代的聚类中心的距离，若小于阈值，则结束，输出聚类集合，否则返回步骤5。

本发明的特点还在于，

步骤2中做归一化处理时所有的点分布到[0,1]^d空间中。