[发明专利]通过部分删除某些项目达到对集合型数据匿名化的系统

摘要

本发明提供通过部分删除某些项目达到对集合型数据匿名化的系统，其首先对集合型数据集进行预处理；其次利用多轮迭代方法对数据集中危险敏感的强关联规则进行消去并保证删除掉的项目尽量少。具体迭代的实施过程为：不断从数据集中筛选出敏感的强关联规则；从数据集中部分删除该规则中某些项目，以使得该危险敏感的强关联规则变为安全敏感的弱关联规则或不再存在于数据集中，直到最终数据集中不再存在危险敏感的强关联规则即可跳出该迭代过程。系统为了能让该匿名化处理过程以更快的速度进行，该系统结合了分而治之的思想，使得匿名化过程可以通过多个线程并发的执行，在保证不剧烈增加删除项目数目的前提下，匿名化处理过程效率大大提升。

主权项

一种通过部分删除某些项目达到对集合型数据匿名化的系统，其特征在于，包括数据集预处理模块、起到加速匿名化的分治模块、危险敏感的强关联规则筛选模块及通过部分删除方法实现的关联规则消去模块，还包括检测危险敏感的强关联规则存在与否模块和最终结果整合模块，其中：‑数据集预处理模块，用于对原始集合型数据集进行前期处理，包括对数据集的信息统计，对项目的标识符进行正向哈希映射，对记录的排序及对记录的预删除处理；‑危险敏感的强关联规则筛选模块，用于从数据集中筛选出危险敏感的强关联规则；‑关联规则消去模块，用于对危险敏感的强关联规则筛选模块筛选出的敏感的强关联规则，利用部分删除策略使得危险敏感的强关联规则变为安全敏感的弱关联规则或不再存在于数据集中；‑检测危险敏感的强关联规则存在与否模块，用于检查数据集中是否仍然存在危险敏感的强关联规则；‑最终结果整合模块，用于将各个子数据集匿名化的结果进行整合，对项目的标识符进行反向哈希映射，并对整合后结果进行信息统计。