[发明专利]数据脱敏方法及装置

权利要求书

1.一种数据脱敏方法，其特征在于，包括：

脱敏平台配置HBase数据库的脱敏策略；

所述脱敏平台根据所述脱敏策略从所述HBase数据库获取表结构，配置用于脱敏的MapReduce作业；

所述脱敏平台提交所述MapReduce作业给Hadoop集群执行脱敏操作；

其中，配置所述HBase数据库的所述脱敏策略包括：将所述Hadoop的应用程序编程接口API作为提交所述MapReduce作业的通道；将所述MapReduce作业需要依赖脱敏平台的其它类、脱敏平台的数据库配置信息、以及第三方JAR包配置在包括所述MapReduce作业的胖JAR包；设置系统环境变量Hadoop_USER_NAME对提交所述MapReduce作业的用户进行鉴权；

根据脱敏策略从HBase数据库获取表结构，配置用于脱敏的MapReduce作业包括：

根据表结构对所述HBase数据库的表做全表扫描，和/或，根据预配置的表项和记录数对所述HBase数据库的表做全表扫描；

对扫描得到的所述HBase数据库的表和表结构进行脱敏算法的配置得到所述MapReduce作业。

2.根据权利要求1所述的方法，其特征在于，所述表结构为：字段名。

3.根据权利要求1所述的方法，其特征在于，提交所述MapReduce作业给Hadoop集群执行脱敏操作包括：

根据预设规则判断是否覆盖所述HBase数据库的原表；

在覆盖所述HBase数据库的原表的情况下，删除所述原表并重命名脱敏后的表为所述原表的名称；在不覆盖所述HBase数据库的原表的情况下，创建表并保存脱敏后的表数据，其中，创建的表配置原表名的后缀名。

4.根据权利要求1所述的方法，其特征在于，提交所述MapReduce作业给Hadoop集群执行脱敏操作包括：

获取所述脱敏策略配置的脱敏字段及脱敏算法，以及查询用于脱敏的预设数据字典；

根据所述脱敏字段和所述预设数据字典执行所述脱敏算法，返回脱敏数据。

5.一种数据脱敏装置，应用于脱敏平台，其特征在于，包括：

配置模块，配置HBase数据库的脱敏策略；

获取模块，用于根据所述脱敏策略从所述HBase数据库获取表结构，配置用于脱敏的MapReduce作业；

提交模块，用于提交所述MapReduce作业给Hadoop集群执行脱敏操作；

其中，所述配置模块包括：第一配置单元，用于将所述Hadoop的应用程序编程接口API作为提交所述MapReduce作业的通道；第二配置单元，用于将所述MapReduce作业需要依赖脱敏平台的其它类、脱敏平台的数据库配置信息、以及第三方JAR包配置在包括所述MapReduce作业的胖JAR包；第三配置单元，用于设置系统环境变量Hadoop_USER_NAME对提交所述MapReduce作业的用户进行鉴权；

所述获取模块包括：

扫描单元，用于根据表结构对所述HBase数据库的表做全表扫描，和/或，根据预配置的表项和记录数对所述HBase数据库的表做全表扫描；

获取单元，用于对扫描得到的所述HBase数据库的表和表结构进行脱敏算法的配置得到所述MapReduce作业。

6.根据权利要求5所述的装置，其特征在于，所述表结构为：字段名。

7.根据权利要求5所述的装置，其特征在于，所述提交模块包括：

判断单元，用于根据预设规则判断是否覆盖所述HBase数据库的原表；

处理单元，用于在覆盖所述HBase数据库的原表的情况下，删除所述原表并重命名脱敏后的表为所述原表的名称；在不覆盖所述HBase数据库的原表的情况下，创建表并保存脱敏后的表数据，其中，创建的表配置原表名的后缀名。

8.根据权利要求5所述的装置，其特征在于，所述提交模块包括：

处理单元，用于获取所述脱敏策略配置的脱敏字段及脱敏算法，以及查询用于脱敏的预设数据字典；

脱敏单元，用于根据所述脱敏字段和所述预设数据字典执行所述脱敏算法，返回脱敏数据。