[发明专利]一种可还原脱敏的数据清洗及交换办法

说明书

本发明提出了一种可还原脱敏的数据清洗及交换办法，对脱敏数据进行预处理，可以消除所有的“脏数据”，即冗余数据、异常数据和无用数据等；预处理的数据清洗部分可以处理缺失数据、检测和过滤异常值，移除重复数据；预处理的数据交换部分可以将不同来源的脱敏数据进行统一标识，进而可以对数据进行归一化处理，将其转换为有利于分析与挖掘的形式；本发明的方法安全复杂系数更高，使得算法模型的安全性更高，鲁棒性更强。有效地降低了敏感数据的危险系数，提高了敏感数据的安全性与破解难度系数，实现了敏感数据的脱敏，保护敏感数据安全与可靠。

技术领域

本发明涉及大数据领域，尤其涉及一种可还原脱敏的数据清洗及交换办法。

背景技术

同时，随着大数据分析的成熟和价值挖掘的深入，从看似安全的数据中还原出用户的敏感、隐私信息已不再困难。传统的安全技术已无法直接使用，如何在大数据量的交换、共享及使用等过程中实现对敏感数据的精准定位和保护，达到数据安全、可靠、受控使用的目标，是数据产生者和管理者亟待解决的技术问题。因此，为解决上述问题，本发明提供一种可还原脱敏的数据清洗及交换办法，可以实现了敏感数据的脱敏，并且有效地降低了敏感数据的危险系数。

发明内容

有鉴于此，本发明提出了一种可还原脱敏的数据清洗及交换办法，可以实现了敏感数据的脱敏，并且有效地降低了敏感数据的危险系数。

本发明的技术方案是这样实现的：本发明提供了一种可还原脱敏的数据清洗及交换办法，包括以下步骤：

S1、在敏感数据脱敏使用前进行预处理；所述预处理具体包括：数据清洗、数据变换、数据规约；

S2、在敏感数据脱敏使用后进行溯源审计。

在以上技术方案的基础上，优选的，S1中数据清洗包括以下步骤：

S101、对敏感数据进行缺失值检测，所述缺失值为敏感数据中数据取值为空的数据，删除检测到的缺失值；

S102、对缺失值检测后的敏感数据进行异常值检测，所述异常值为超过预设的离散程度的数据，删除检测到的异常值；

S103、对异常值检测后的敏感数据进行重复值检测，并删除检测到的重复值。

进一步优选的，S1中数据变换包括以下步骤：

S201、将敏感数据汇集成异构数据集，对异构数据集的所有记录进行统一用户标识；

S202、采用不对称加密算法对敏感数据中的敏感属性字段进行加密替换。

进一步优选的，S201统一用户标识具体包括以下步骤：

S301、将异构数据集中的异构数据分为两类：用户的属性信息和用户的社交网络关系；用户的属性信息为用户的基本信息；用户的社交网络关系为根据用户行为产生的数据形成数据间的社交网络关系；

S302、根据异构数据之间的字段相似性和用户对之间的社交网络关系匹配性判断异构数据是否为同一个用户的数据，并将判断为同一用户的数据存储在数据库中；

S303、对数据库中的同一用户的数据进行特征提取，所述特征为用户的唯一标识。

进一步优选的，S202中不对称加密算法具体包括以下步骤：

S401、生成一对公开密钥和私有密钥；

S402、在加密前，未加密的脱敏数据称为字符串明文，通过编码将字符串明文转换成字节流明文；

S403、利用加密公式对字节流明文、公开密钥和私有密钥进行计算得到密文。

进一步优选的，加密公式具体包括以下内容：

S501、选择两个相异的大质数记为P和Q；