[发明专利]一种基于海量数据迁移的数据抽取加载方法

说明书

本发明公开了一种基于海量数据迁移的数据抽取加载方法，其实现过程为：首先进行数据抽取，通过创建临时用户，使外部表与数据源分离，对海量数据进行分区并行切分产生若干个dump文件；然后进行数据加载，即对数据进行解析与处理，转换过滤异常数据，最终采用批量导入数据的方式将数据迁移到目标数据源中。本发明的一种基于海量数据迁移的数据抽取加载方法与现有技术相比，可以快速将海量数据从各类数据源中进行抽取及加载，并且对数据源系统的影响非常小，保证数据的准确性，最大程度降低对业务系统的影响，实用性强，适用范围广泛，具有很好的推广应用价值。

技术领域

本发明涉及数据迁移技术领域，具体地说是一种基于海量数据迁移的数据抽取加载方法。

背景技术

在数据库海量数据迁移时，其一般具有以下需求：

1、数据库版本异构版本升级：如Oralce 8i 升级到 9i，甚至是Oracle10g，等等；

2、操作系统升级：如AIX 4.3 升级 5.2，甚至是HP Unix环境下，等等；

3、磁盘阵列扩容：从老的磁盘升级到新的、其他不同厂家的高端磁盘中，等等。

但是在实际迁移过程中，也存在以下问题：

1、大数据迁移时，数据抽取及加载消耗大量物理资源并且耗时无法保证，一旦加载出现错误，需重新开始，费力费时。

2、减少大数据迁移对源数据产生的影响，降低事故产生几率。

3、大数据迁移时，数据加载耗时过长，容易造成数据损坏或丢失。

基于以上现状，本发明提出一种基于海量数据迁移的数据抽取加载方法，来解决上述问题。

发明内容

本发明的技术任务是针对以上不足之处，提供一种基于海量数据迁移的数据抽取加载方法。

一种基于海量数据迁移的数据抽取加载方法，其实现过程为：首先进行数据抽取，通过创建临时用户，使外部表与数据源分离，对海量数据进行分区并行切分产生若干个dump文件；然后进行数据加载，即对数据进行解析与处理，转换过滤异常数据，最终采用批量导入数据的方式将数据迁移到目标数据源中。

所述临时用户是指只读用户、外部表用户，其中只读用户具有数据源中的select权限；外部表用户，该用户通过创建外部表生成dump文件，外部表用户继承只读用户中的select权限。

当开始抽取数据的时候，首先查找是否有权限读取数据，满足权限条件后，开始生成外部表dump，一个表可并行生成若干个dump，具体为：使用外部表的数据泵oracle_datadump引擎，在指定的目录下生成若干个dump文件，并可指定并行度，指定dump名称。

数据加载时，在目标环境中创建只读用户、外部表用户，外部表用户中存放需要加载的外部表，整个外部表的dump文件加载可即插即用，使用完毕后直接卸载即可；

数据加载通过insert append的方式进行数据导入，根据数据情况进行切分粒度控制，将大数据在数据抽取的时候进行细粒度切分，产生若干个dump文件，缓解undo操作的压力。

在数据加载前还包括数据比较的步骤，通过比较只读用户和外部表用户中的外部表数据，即目标数据和源数据，匹配主键列，进行数据的冗余比较。

本发明的一种基于海量数据迁移的数据抽取加载方法和现有技术相比，具有以下有益效果：

本发明的一种基于海量数据迁移的数据抽取加载方法，在海量数据迁移时，处理复杂海量数据迁移，从迁移必要性出发，在理论、方法和应用三个层次上提出的数据抽取及加载方法，降低迁移成本，提高大数据迁移效率，保证整个数据迁移过程灵活性及开放性，满足数据迁移性能扩展性；