[发明专利]一种基于海量数据迁移的数据抽取加载方法

权利要求书

1.一种基于海量数据迁移的数据抽取加载方法，其特征在于，其实现过程为：首先进行数据抽取，通过创建临时用户，使外部表与数据源分离，对海量数据进行分区并行切分产生若干个dump文件；然后进行数据加载，即对数据进行解析与处理，转换过滤异常数据，最终采用批量导入数据的方式将数据迁移到目标数据源中；

当开始抽取数据的时候，首先查找是否有权限读取数据，满足权限条件后，开始生成外部表dump，一个表可并行生成若干个dump；

一个表并行生成若干个dump的具体过程为：使用外部表的数据泵oracle_datadump引擎，在指定的目录下生成若干个dump文件，并可指定并行度，指定dump名称；

数据加载时，在目标环境中创建只读用户、外部表用户，外部表用户中存放需要加载的外部表，整个外部表的dump文件加载可即插即用，使用完毕后直接卸载即可；

数据加载通过insert append的方式进行数据导入，根据数据情况进行切分粒度控制，将大数据在数据抽取的时候进行细粒度切分，产生若干个dump文件，缓解undo操作的压力；

在数据加载前还包括数据比较的步骤，通过比较只读用户和外部表用户中的外部表数据，即目标数据和源数据，匹配主键列，进行数据的冗余比较。

2.根据权利要求1所述的一种基于海量数据迁移的数据抽取加载方法，其特征在于，所述临时用户是指只读用户、外部表用户，其中只读用户具有数据源中的select权限；外部表用户，该用户通过创建外部表生成dump文件，外部表用户继承只读用户中的select权限。