[发明专利]一种基于MapReduce的分布式数据匿名处理方法

说明书

本发明公开一种基于MapReduce的分布式数据匿名处理方法，包括服务器端和计算机终端，服务器端内存储有数据原表，对数据进行全域泛化，给出可能满足k‑匿名的泛化格；服务器端利用二分法分配给各计算机终端计算节点；各计算机终端并行进行计算，将计算情况向服务器端返回数值；若返回值表示不满足k‑匿名，服务器端则向计算机终端发送一个利用二分法确定的子孙节点；反之，服务器端则向计算机发送一个利用二分法确定的祖先节点；各个计算机终端根据服务器端给出新的节点再次计算，直至找到所有满足k‑匿名的节点。本发明解决了数据爆炸式增长与现今服务器存储和计算能力不足的矛盾，提高了海量数据处理的效率。

技术领域

本发明涉及一种基于MapReduce的分布式数据匿名处理方法，属于数据处理技术领域。

背景技术

由于知识决策、信息共享、科学研究的需求，数据拥有者需要将数据对外发布。为了减少数据发布过程中隐私泄露的可能性，数据拥有者有必要在发布前对数据进行隐私保护的相关处理。

目前，Sweeney和Samarati等人提出了k-anonymity隐私保护模型。k-anonymity隐私保护模型能够避免连接攻击发生，对隐私数据信息起到有效的防护作用，但是对于敏感属性信息并没有采取有效的防护手段，仍然存在着隐私数据信息泄漏的风险。在发生同质攻击、背景知识攻击、相似性攻击等情况下，k-anonymity隐私保护模型并不能有效地保护敏感属性信息的安全。

k-anonymity模型作为现今研究最为广泛的匿名模型，近年来不断有学者提出各种算法来实现或者改进k-anonymity隐私模型。Dtafly算法首先统计出每个准标识符属性值出现的次数，然后泛化相同属性值出现次数小于k的属性值，最终使得每个准标识符均满足k-anonymity算法的要求。MinGen最小泛化算法目的在于获得最小信息损失量的泛化结果，它采用完全搜索的方式选出每一步的最优泛化结果，直到所有的数据都满足k-anonymity模型。Incognito算法首先构建包含全域泛化方案的泛化格，然后根据自底向上原则对原始数据进行泛化，使得数据满足k-anonymity模型。Mondrian算法提出了多维k-anonymity模型的概念。

以上提出的隐私模型都是基于单机模式下，它们在处理大数据的隐私保护方面存在着低效率的缺陷。现今流行的隐私保护算法大多都是在单机模式下进行研究的，然而随着大数据时代的来临，这些算法在处理海量数据方面的效率不容乐观。

虽然现今已经有不少学者针对这一缺点提出了许多解决方案，如：Roy等人提出了一个名为Airavat的基于MapReduce的系统，它是强制访控制和差分隐私的集成。Blass等人提出了一个名为PRISM的隐私保护方案，它以Hadoop平台的MapReduce分布式编程模型为基础来执行对加密数据集的文字搜索。Ko等人提出了一个名为HybrEx的MapReduce模型，它提出用一个私有云来处理敏感和隐私数据，然后由其他人安全地扩展到公共云上。但在全域匿名方面还没有一个可行的方案。

发明内容

针对上述现有技术存在的问题，本发明提供一种基于MapReduce的分布式数据匿名处理方法，可以利用多计算机终端协作的优势来实现海量数据的匿名化处理，能解决数据爆炸式增长与现今服务器存储和计算能力不足的矛盾，提高海量数据处理的效率。