[发明专利]一种基于MapReduce的分布式数据匿名处理方法

摘要

本发明公开一种基于MapReduce的分布式数据匿名处理方法，包括服务器端和计算机终端，服务器端内存储有数据原表，对数据进行全域泛化，给出可能满足k‑匿名的泛化格；服务器端利用二分法分配给各计算机终端计算节点；各计算机终端并行进行计算，将计算情况向服务器端返回数值；若返回值表示不满足k‑匿名，服务器端则向计算机终端发送一个利用二分法确定的子孙节点；反之，服务器端则向计算机发送一个利用二分法确定的祖先节点；各个计算机终端根据服务器端给出新的节点再次计算，直至找到所有满足k‑匿名的节点。本发明解决了数据爆炸式增长与现今服务器存储和计算能力不足的矛盾，提高了海量数据处理的效率。

主权项

1.一种基于MapReduce的分布式数据匿名处理方法，其特征在于，包括服务器端和多个与服务器端连接的计算机终端，所述服务器端内存储有数据原表，对数据进行全域泛化，给出可能满足k‑匿名的泛化格，将泛化节点进行分布式判断；通过分布式计算机终端访问泛化格，服务器端利用二分法分配给各计算机终端计算节点；各个计算机终端同时对分配的节点进行计算，并根据各自的计算情况向服务器端返回数值0或1，0代表节点不满足k‑匿名，1代表节点满足k‑匿名；若服务器端接收的返回值为0，则服务器端会向相应计算机终端发送一个利用二分法确定的子孙节点；若服务器端接收的返回值为1，则服务器端会向相应计算机发送一个利用二分法确定的祖先节点；各个计算机终端根据服务器端给出的节点再次计算查询节点是否满足k‑匿名，直至找到所有满足k‑匿名的节点；所述匿名处理方法的具体步骤如下：步骤一、给定一个数据，表T(A₁,...,A_n)及其相关联的准标识符QI_T＝(A_i,...,A_j)，根据先验知识，对准标识符制定相应的泛化规则，预先确定需要满足的k，泛化目的是使当且仅当T[QI_T]中的每一个元组至少在T[QI_T]中出现k次；步骤二、根据泛化规则、准标识符及其泛化等级生成泛化格，在泛化格的基础上进行全域k‑匿名处理；同时，将泛化格的数据结构存储在服务器端的公共存储空间；步骤三、借鉴二分法的思想，利用子格二分搜索法，将泛化格第4层处的各个节点分布式分配给各个计算机终端；各个计算机终端根据自身存储的原始数据表、节点准标识符泛化层次及其泛化规则遍历检索计算机终端原始事务数据表，判断是否满足k‑匿名，并将所分配节点的检索结果以返回值0或1的形式返回至服务器端；步骤四、服务器端根据各个计算机终端的返回值，按照以下两种性质返回给相应计算机终端下一次的计算节点：a、在同一泛化路径中，如果泛化格中的节点m是k‑匿名节点，那么比节点m高的节点也是k‑匿名节点；b、在同一泛化路径中，如果泛化格中的节点m是非k‑匿名节点，那么比节点m低的节点也是非k‑匿名节点；如果返回值为1，则服务器端mark此节点所在公共存储空间的泛化格中的所有子孙节点，并向对应的计算机终端发送根据二分法确定的祖先节点；如果返回值为0，则服务器端删除此节点及其所有祖先节点，并向对应的计算机终端发送根据二分法搜索未被mark的子孙节点，等待分配；步骤五、各计算机终端接收服务器端再次分配的节点，并循环执行步骤三至四，直至泛化格中所有的节点都被mark完毕；步骤六、服务器端将所有被mark过的节点，按照存储格式导出所有满足k‑匿名的节点数据表。