[发明专利]一种Spark框架下的基于差分隐私保护的数据发布方法

摘要

本发明公开了一种Spark框架下的基于差分隐私保护的数据发布方法，包括步骤1将原始数据集导入Hadoop分布式文件系统，从Hadoop分布式文件系统读取到Spark框架形成弹性分布式数据集并分类统计；步骤2对k‑means聚类算法进行二范数关联优化，然后利用优化后的k‑means聚类算法对分类统计形成的待发布数据集进行聚类分组；步骤3对每个分组求均值步骤4在各分组的均值上添加Laplace噪声得到数据集；步骤5对差分隐私保护后的发布数据进行直方图发布。本发明所述的一种Spark框架下的基于差分隐私保护的数据发布方法，能够提高判断离群点和差值集的计算效率，并有效控制直方图数据发布方法中离群点对发布数据的敏感度的影响。

主权项

一种Spark框架下的基于差分隐私保护的数据发布方法，其特征在于，包括如下步骤：步骤1：将原始数据集导入Hadoop分布式文件系统，从Hadoop分布式文件系统读取数据到Spark框架形成弹性分布式数据集并分类统计；步骤2：对k‑means聚类算法进行二范数关联优化，然后利用优化后的k‑means聚类算法对分类统计形成的发布数据集进行聚类分组C＝{C1,C2,…,Ck}；步骤3：对每个分组求均值：Ck_avg=Σi=1nxi/n]]>其中，Ck_avg为每个分组均值，xi为每个分组中的样本，n为每个分组的样本量；步骤4：在各分组的均值Ck_avg上添加Laplace噪声得到数据集Ds＝{C1',C2',…,Ck'}，所述各组分均值添加Laplace噪声为Ck'_avg：Ck′_avg=Ck_avg+Lapdk(1/ϵ)]]>其中，ε为隐私预算，d为查询维数；步骤5：对差分隐私保护后的发布数据Ds进行直方图发布。