[发明专利]一种集群式文本化海量敏感数据处理方法及系统

说明书

技术领域

本发明涉及数据处理技术领域，具体涉及一种集群式文本化海量敏感数据处理方法及系统。

背景技术

目前对于敏感数据进行处理时，基本分为两种方式。第一种为手工处理方式，即工作人员手工编写SQL程序或存储过程程序，对存储于数据库的敏感数据进行处理。SQL是一种用于访问和处理数据库的标准计算机语言。第二种为工具处理方式，即使用市场上敏感数据处理产品进行处理，这类产品一般为源数据与目标数据库建立数据处理服务，通过源数据库系统所提供的DML接口进行处理。DML的全称为Date Manipulation Languang，即数据操控语言，用于操作数据库对象中包含的数据。以上两种敏感数据处理方式都具有缺陷。手工处理方式无法保证脱敏数据的质量以及无法适应流程化管理，现已逐渐被淘汰。工具处理方式近些年才开始普遍起来，可以保证脱敏工作的质量以及可审计，满足管理需要，但一般都是单服务器对特定数据库进行处理，缺乏可扩展性，因为数据库、网络、硬件等一系列瓶颈等原因，对于海量数据的脱敏处理效率问题越来越凸显。

发明内容

本申请提供一种针对海量（TB级或PB级）敏感数据进行快速处理的方法，其解决的技术问题是现有数据量越来越大的数据库进行数据脱敏时，因为硬件、网络、数据库系统所形成的单点瓶颈造成脱敏操作效率太低，难以满足数据量越来越大的数据库系统的数据脱敏工作需要的问题。

根据第一方面，一种实施例中提供一种集群式文本化海量敏感数据处理方法,包括获取对象数据库的元数据，获取对象数据库的结构化数据文本，建立服务集群，对所述结构化数据文本进行分页和分组，对所述结构化数据文本进行脱敏处理，获得目标数据库，对所述对象数据库执行结构化文本导入，以导入所述目标数据库。进一步的，建立服务集群为建立由Web服务管控的服务集群。进一步的，对所述结构化数据文本进行脱敏处理，包括所述服务集群通过并行处理对所述结构化数据文本进行脱敏处理。进一步的，获取对象数据库的元数据，为通过数据库直连的方式获取对象数据库的元数据。

根据第二方面，一种实施例中提供一种集群式文本化海量敏感数据处理系统,包括用于获取对象数据库的元数据的装置，用于获取对象数据库的结构化数据文本的装置，服务集群，用于对所述结构化数据文本进行分页和分组的装置，用于对所述结构化数据文本进行脱敏处理获得目标数据库的装置，用于对所述对象数据库执行结构化文本导入以导入所述目标数据库的装置。

根据第三方面，一种实施例中提供一种产品，包括主控处理服务器和数据处理服务器。主控处理服务器用于设置脱敏处理的数据处理规则、数据处理范围和运行参数。数据处理服务器用于对对象数据库执行访问配置文件处理、数据读取处理、数据脱敏处理和数据写入处理，主控处理服务器和数据处理服务器的协同作用获得目标数据库。进一步的，数据处理服务器可根据对象数据库中数据量的多寡进行配置。当配置多个数据处理服务器时，多个数据处理服务器采用多线程、多进程和负载均衡的处理方式并行工作。进一步的，主控处理服务器通过Web服务管控的方式管控数据处理服务器的工作。

根据第四方面，一种实施例中提供一种产品，包括存储器和处理器，存储器用于存储程序，处理器用于通过执行存储器存储的程序以实现如第一方面实施例所述的方法。

根据第五方面，一种实施例中提供一种计算机可读存储介质，包括程序，所述程序能够被处理器执行以实现如第一方面实施例所述的方法。

依据上述实施例的集群式文本化海量敏感数据处理方法，由于搭配数据库读写和文本读写两种方式构成了数据库敏感信息脱敏方法，利用文本的读写可线性并发并且不存在数据库读写时的并发瓶颈的特点，使得对于数据库数据进行结构化文本数据方式的导入和导出，能够实现硬件叠加，并且该硬件叠加还能够利用负载均衡集群的方式进行简单扩展，实现了对于海量敏感数据的快速处理。

附图说明

图1为实施例一中集群式文本化海量敏感数据处理方法的流程图；

图2为实施例二中集群式文本化海量敏感数据处理系统的结构示意图；

图3为实施例三中产品的结构示意图；

图4为实施例四中产品的的结构示意图。

具体实施方式