[发明专利]数据迁移方法及装置

说明书

本发明公开了一种数据迁移方法及装置，涉及分布式技术领域，该方法包括：读取预先配置的数据迁移规则，其中，数据迁移规则包括：数据表垂直拆分规则和数据表水平拆分规则；根据数据表垂直拆分规则对源数据库的源数据表进行垂直拆分处理；根据数据表水平拆分规则对源数据库的数据表进行水平拆分处理；将垂直拆分处理后的数据和水平拆分处理后的数据，存储到目标数据库的多个目标数据表中。本发明能够实现数据拆分、迁移的自动化处理，提高数据迁移效率。

技术领域

本发明涉及分布式技术领域，尤其涉及一种数据迁移方法及装置。

背景技术

本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

随着分布式系统的崛起，商业银行积极探索进行主机系统的下移。在主机系统中，客户数据存储于大型集中式数据库，而在分布式系统中，为了达到高扩展、高可用的目的，客户数据一般存储于分布式数据库中，因而，当进行主机系统下移时，需要将集中式数据库中的客户数据迁移到分布式数据库中。

因受限于分布式数据库的系统架构，每个分布式数据库实例的存储容量与处理能力是有限的，在进行数据迁移时，必然面临数据拆分问题。

当集中式数据库中数千张表按照多维度进行垂直拆分和水平拆分时，一个来自集中式数据库的源数据可能分配到的目的地(分布式数据库中某个实例的某个分表的某个目的字段)的数量将是指数级的，例如，亿级的客户数据在分布式数据库系统中，可能需要几十个甚至上百个数据库实例才可以支撑，对这些数据进行人工迁移，存在难度大、效率低的问题。

发明内容

本发明实施例中提供了一种数据迁移方法，用以解决现有技术依靠人工方式将集中式数据库中的数据迁移到分布式数据库时存在数据拆分工作难度大、效率低的技术问题，该方法包括：读取预先配置的数据迁移规则，其中，数据迁移规则包括：数据表垂直拆分规则和数据表水平拆分规则；根据数据表垂直拆分规则对源数据库的源数据表进行垂直拆分处理；根据数据表水平拆分规则对源数据库的数据表进行水平拆分处理；将垂直拆分处理后的数据和水平拆分处理后的数据，存储到目标数据库的多个目标数据表中。

本发明实施例中还提供了一种数据迁移装置，用以解决现有技术依靠人工方式将集中式数据库中的数据迁移到分布式数据库时存在数据拆分工作难度大、效率低的技术问题，该装置包括：数据迁移规则读取模块，用于读取预先配置的数据迁移规则，其中，数据迁移规则包括：数据表垂直拆分规则和数据表水平拆分规则；数据拆分处理模块，用于根据数据表垂直拆分规则对源数据库的源数据表进行垂直拆分处理；根据数据表水平拆分规则对源数据库的数据表进行水平拆分处理；数据存储模块，用于将垂直拆分处理后的数据和水平拆分处理后的数据，存储到目标数据库的多个目标数据表中。

本发明实施例中还提供了一种计算机设备，用以解决现有技术依靠人工方式将集中式数据库中的数据迁移到分布式数据库时存在数据拆分工作难度大、效率低的技术问题，该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述数据迁移方法。

本发明实施例中还提供了一种计算机可读存储介质，用以解决现有技术依靠人工方式将集中式数据库中的数据迁移到分布式数据库时存在数据拆分工作难度大、效率低的技术问题，该计算机可读存储介质存储有执行上述数据迁移方法的计算机程序。

本发明实施例中提供的数据迁移方法、装置、计算机设备及计算机可读存储介质，通过预先配置数据迁移规则，进而根据配置好的数据表垂直拆分规则对源数据库的源数据表进行数据拆分处理，最后将数据拆分处理后的数据存储到目标数据库的多个目标数据表中，能够实现数据拆分、迁移的自动化处理，提高数据迁移效率。将本发明实施例中提供的数据迁移方法应用于集中式系统向分布式系统的数据迁移，能够快速将集中式系统的数据迁移到分布式系统中。

附图说明