[发明专利]Greenplum数据脱敏方法、装置、设备及介质

说明书

本发明提供了一种Greenplum数据脱敏方法、装置、设备及介质。其中，该方法包括：将脱敏方法提交到Greenplum数据库集群；创建Greenplum脱敏任务；将Greenplum脱敏任务提交到Greenplum数据库集群，以使Greenplum数据库集群调用脱敏方法执行Greenplum脱敏任务。通过本发明，解决了相关技术中采用内存式脱敏Greenplum数据的脱敏效率低的问题，提高了Greenplum数据的脱敏效率。

技术领域

本发明涉及领域，具体而言，涉及一种Greenplum数据脱敏方法、装置、设备及介质。

背景技术

术语解释

Greenplum：

Greenplum是一家总部位于美国加利福尼亚州，为全球大型企业用户提供新型企业级数据仓库(EDW)、企业级数据云(EDC)和商务智能(BI)提供解决方案和咨询服务的公司，在全球已有：纳斯达克，纽约证券交易所，Skype.FOX，T-Mobile；中国已有：中信实业银行，东方航空公司，阿里巴巴，华泰保险，中国远洋(Cosco)，李宁公司等大型企业用户选择Greenplum的产品。

Greenplum就是一个与Oracle、DB2、PostgreSQL一样面向对象的关系型数据库。我们通过标准的SQL可以对Greenplum中的数据进行访问存取。

本质上讲，Greenplum是一个关系型数据库集群，它实际上是由数个独立的数据库服务组合成的逻辑数据库。与OracleRAC的Shared-Everything架构不同，Greenplum采用Shared-Nothing架构，整个集群由很多个数据节点(SegmentHost)和控制节点(MasterHost)组成，其中每个数据节点上可以运行多个数据库。简单来说，Shared-Nothing是一个分布式的架构，每个节点相对独立。在典型的Shared-Nothing中，每一个节点上所有的资源(CPU,内存，磁盘)都是独立的，每个节点都只有全部数据的一部分，也只能使用本节点的资源。

基于对Shared-Nothing分布式架构模式的分析，Greenplum高效处理I/O数据吞吐和并发计算的过程就很好理解了。在Greenplum中，需要存储的数据在进入数据库时，将先进行数据分布的处理工作，将一个表中的数据平均分布到每个节点上，并为每个表指定一个分发列(distributeColumn)，之后便根据Hash来分布数据。基于Shared-Nothing的原则，Greenplum这样处理可以充分发挥每个节点处I/O的处理能力。在这一过程中，控制节点(MasterHost)将不再承担计算任务，而只负责必要的逻辑控制和客户端交互。I/O瓶颈的解决为并行计算能力的提升创造了良好的环境，所有节点服务器组成一个强大的计算平台，实现快速的海量并行运算。Greenplum在数据仓库、商业智能的应用上，尤其是在海量数据的处理方面性能极其优异。

Greenplum是面向数据仓库应用的关系型数据库，它是基于目前流行的PosgreSQL开发的，跟PostgreSQL的兼容性非常好，大部分的PostgreSQL客户端工具及PostgreSQL应用都能运行在Greenplum平台上。

OLTP与OLAP：

数据库系统一般分为两种类型，一种是面向前台应用的，应用比较简单，但是重吞吐和高并发的OLTP类型；一种是重计算的，对大数据集进行统计分析的OLAP类型。Greenplum属于后者，下面简单介绍下这两种数据库系统的特点。

OLTP(On-LineTransactionProcessing，联机事务处理)系统也称为生产系统，它是事件驱动的、面向应用的，比如电子商务网站的交易系统就是一个典型的OLTP系统。OLTP的基本特点是：

■数据在系统中产生；

■基于交易的处理系统(Transaction-Based)；