[发明专利]一种数据迁移的方法及装置

权利要求书

1.一种数据迁移的方法，其特征在于，包括：

加载数据迁移组件，并读取配置文件中记录的配置信息；

从源数据库抽取待迁移的数据，并导入内存；

在所述内存中的SPARK任务执行时，通过所述数据迁移组件中的数据迁移逻辑，根据所述配置信息确定目标库表；

将所述待迁移的数据分配到所述目标库表；

在数据迁移组件运行的过程中，通过DataSourceRegister读取SCM或者Jar包里面XML的配置文件，其中，配置文件中记录了数据库连接配置和由数据库连接配置和分表分库的配置组合而成的数据源配置；

通过读取配置文件，明确在本次数据迁移过程中，源数据库中的待迁移的数据的分表和分表的规则，并确定数据源头在生产环境的分库；

还包括：在从源数据库抽取待迁移的数据后，将所述待迁移的数据复制到分布式文件系统(HDFS)；当所述待迁移的数据导入所述内存不成功时，从所述分布式文件系统提取所述待迁移的数据导入所述内存；

还包括：

从所述配置信息中，读取数据库连接配置、分库配置和分表配置，所述数据库连接配置中记录了所述源数据库与目标数据库的映射关系；

根据所述数据库连接配置确定所述源数据库；

所述从源数据库抽取待迁移的数据，包括：

根据所述分库配置和所述分表配置，在所述源数据库中查询得到指定分库中的数据表；

抽取查询得到的数据表作为所述待迁移的数据；

所述根据所述配置信息确定目标库表，包括：

根据所述数据库连接配置确定目标数据库；

根据所述分库配置和所述分表配置，确定所述目标库表的表名和表结构；

根据所述表名和所述表结构，在所述目标数据库中查询得到所述目标库表；

所述将所述待迁移的数据分配到所述目标库表，包括：

在所述内存中建立SPARK任务，所述SPARK任务中的SparkConf配置根据所述配置信息设置；

获取所述待迁移的数据中的各数据表的表名；

利用所获取的表名将各数据表分配到所述目标库表。

2.一种数据迁移的装置，其特征在于，包括：

组件管理模块，用于加载数据迁移组件，并读取配置文件中记录的配置信息；

数据管理模块，用于从源数据库抽取待迁移的数据，并导入内存；

分析模块，用于运行所述数据迁移组件中的数据迁移逻辑，并根据所述配置信息确定目标库表；

导入模块，用于将所述待迁移的数据分配到所述目标库表；

在数据迁移组件运行的过程中，通过DataSourceRegister读取SCM或者Jar包里面XML的配置文件，其中，配置文件中记录了数据库连接配置和由数据库连接配置和分表分库的配置组合而成的数据源配置；

通过读取配置文件，明确在本次数据迁移过程中，源数据库中的待迁移的数据的分表和分表的规则，并确定数据源头在生产环境的分库；

还包括：备份模块，用于在从源数据库抽取待迁移的数据后，将所述待迁移的数据复制到分布式文件系统(HDFS)；

所述数据管理模块，还用于当所述待迁移的数据导入所述内存不成功时，从所述分布式文件系统提取所述待迁移的数据导入所述内存；

所述数据管理模块，具体用于从所述配置信息中，读取数据库连接配置、分库配置和分表配置，所述数据库连接配置中记录了所述源数据库与目标数据库的映射关系；并根据所述数据库连接配置确定所述源数据库；

之后根据所述分库配置和所述分表配置，在所述源数据库中查询得到指定分库中的数据表；抽取查询得到的数据表作为所述待迁移的数据；

所述分析模块，具体用于根据所述数据库连接配置确定目标数据库；并根据所述分库配置和所述分表配置，确定所述目标库表的表名和表结构；之后，根据所述表名和所述表结构，在所述目标数据库中查询得到所述目标库表；

所述导入模块，具体用于在所述内存中建立SPARK任务，所述SPARK任务中的SparkConf配置根据所述配置信息设置；并获取所述待迁移的数据中的各数据表的表名；之后利用所获取的表名将各数据表分配到所述目标库表。