[发明专利]用于数据库集群数据迁移的方法和系统

说明书

本发明涉及一种用于数据库集群数据迁移的方法和系统。该方法包括通过接收源端数据库集群采用批量调用点对点数据复制方式并行复制过来的全部数据；采用insert select方式做数据重分布，将接收到的数据重新打散到计算节点上。根据本发明的实施例，目的端数据库集群在并行复制完数据后，直接在数据库内部采用insert select的方式进行数据重分布，大幅提高了数据抽取、传输、加载的安全性和性能，大大节省了数据搬迁的时间，减少了对业务的影响。

技术领域

本发明涉及数据库领域，尤其涉及一种用于数据库集群数据迁移的方法和系统。

背景技术

随着移动4G业务的迅速发展，大量4G信令数据传输到大规模并行处理(massivelyparallel processing，MPP)数据库中，该数据采用多种BI工具，利用数据集成的方式，将企业内部的各生产平台数据集中到MPP数据库中。通过统计分析、数据挖掘等手段，为市场经营服务、为领导决策提供分析支撑。库数据库目前存放的基础数据主要为：客户资料、用户资料、话单、业务受理等，同时也包含了客服、网管、信令等平台传递给经分系统的数据。然而，与日俱增的数据导致数据库运行压力倍增，已不能承载当前日益增长的业务需求，急需建立一套更高性能的MPP数据库来承载数据仓库业务，并让数据库数据在最短的时间内迁移到新库上。

传统的数据库迁移方法主要包括以下几种：

(一)数据备份恢复；

(二)数据直接拷贝；

(三)第三方迁移工具；

发明人在研究的过程中发现，上述数据迁移方法存在如下缺陷：

(一)数据备份恢复：

1、传统的数据备份和恢复需要消耗大量的本地CPU和磁盘IO资源。

2、备份出来的数据文件需要借助网络或其他存储介质传输到目标库。在数据传输过程中存在网络丢包、异常中断、数据丢失等风险。而采用存储介质传输又涉及设备采购、部署、维护等工作。再次，在目的库对备份数据进行恢复操作时，存在数据文件损坏无法导入的风险，而且恢复时间比备份时间更长，甚至达到两倍。

3、数据恢复完成后需要做数据重分布操作，重分布期间对数据库性能影响巨大。

(二)数据直接拷贝：

1、数据直接拷贝的方式对源端和目的端主机的磁盘IO资源损耗巨大。

2、数据通过网络或其他存储介质传输到目的端过程中存在网络丢包、异常中断、数据丢失等风险，导致拷贝操作失败。

3、源端和目的端主机只能严格的一对一进行数据拷贝，一旦拷贝过程中数据文件丢失或损坏，存在数据库无法启动的风险。

4、如果目标主机和源主机个数不一致的话，数据库启动后需要做数据重分布操作，数据重分布期间对数据库性能影响巨大。

(三)第三方迁移工具：

类似kettle、informatica等第三方工具受限于自身服务器的性能，使用需要相应的专业知识，操作相对复杂，而且某些软件需要另行购买。

由于上述方法的数据库迁移需要对源库数据备份导出，传送到目标库，在目标库上进行数据恢复，耗时长，操作费时费力，中间实施风险较大，对业务影响大。因此如何进行大规模数据安全、高效的迁移就成了当前急需解决的问题。

发明内容

本发明提供了一种用于数据库集群数据迁移的方法和系统，至少能够解决了大数据迁移过程中耗时长、费事费力、风险大的问题，大幅提高了数据抽取、传输、加载的安全性和性能，节省了数据搬迁的时间，减少了对业务的影响。