[发明专利]一种面向数据库数据迁移的数据验证方法

说明书

本发明涉及一种面向数据库数据迁移的数据验证方法，与现有技术相比，本申请数据库数据迁移方法及系统将每个数据表当作一个迁移任务，以数据库导入导出工具或者定制程序作为异构数据库读写数据的主要手段，在分布式集群中运行这些任务，同时在数据处理中加入自定义的分库算法，将读出的数据划分到多个文件中，再在任务中调用数据库导入导出工具或者定制程序将数据导入到多个新的数据库中。各路数据迁移同时进行而不互相影响，大大的加快了数据迁移的速度。同时，提供了数据校验功能，保证了迁移过程中的稳定性及迁移过程中的数据正确性。在数据迁移过程中，对数据进行分布式验证，而保证数据验证的安全性和完备性。同时允许用户自定义数据验证方式，最终将验证的结果数据返回给对应的用户。

【技术领域】

本发明致力于数据安全访问，通过在数据库数据迁移的过程中，对迁移数据进行分布式验证，而保证在迁移过程中数据无缺失且完整。

【背景技术】

早期互联网应用中，底层数据普遍采取单库存储所有数据的存储方案。随着互联网应用的发展，用户量的激增，数据存储数量呈指数递增，底层数据单库存储方案制约甚至限制着互联网应用的进一步扩展。为此，为解决单库存储的瓶颈问题，需逐步采用另外一种支持横向存储的解决方案。而要解决数据存储的瓶颈，必须切换现有的存储结构，但由于目前底层数据量非常庞大，在切换存储结构的同时，如何将原有的海量数据迁移到新的支持横向扩展的存储结构上也是一个很大的瓶颈点，特别是这种扩展不能保证最终获得正确、完整的数据结果。且普通的扩展方式不仅成本大、效率低下，且安全性和可靠性不能得到保证。因此，本申请提出以下方案。

【发明内容】

为了解决现有技术中的上述问题，本发明提出了一种面向数据库数据迁移的数据验证方法。本发明采用的技术方案如下：

一种面向数据库数据迁移的数据验证方法

步骤S10，配置数据库数据移动任务的多个任务信息对；其中，每个任务信息对包括给出从第一数据库中需要迁移的源数据表的源任务信息，以及需要迁移到的第二数据库中的目标数据表的目标任务信息；

步骤S20，根据所调度的任务信息对从第一数据库读出该任务信息对中需迁移的源数据表的数据，并对该源数据表的数据进行分库得到多个分库数据表，再将该多个分库数据表导入到分布式文件系统中；

步骤S30，从所述分布式文件系统中读出所述多个分库数据表，在所述分布式文件系统中的至少两个节点中的每个节点的数据提交区内存储其余节点上的分库数据表数据集及其元数据，并在所述至少两个节点中的每个节点中合并所述至少两个节点中的元数据形成元数据总表，以及合并所述至少两个节点中的分库数据表数据集形成数据集合，依照所述元数据总表对数据集合进行校验；当数据集合通过校验时，则将所述数据集合发送至安全数据模块，由安全数据模块合并来自各集群节点上的通过校验的分库数据表数据集后，将合并结果导出到第二数据库中；

步骤S40，数据校验模块比较第一数据库与第二数据库中的数据，校验在迁移过程中数据是否有缺失以及数据是否不完整。

本发明的有益效果包括：与现有技术相比，本申请数据库数据迁移方法及系统将每个数据表当作一个迁移任务，以数据库导入导出工具或者定制程序作为异构数据库读写数据的主要手段，在分布式集群中运行这些任务，同时在数据处理中加入自定义的分库算法，将读出的数据划分到多个文件中，再在任务中调用数据库导入导出工具或者定制程序将数据导入到多个新的数据库中。各路数据迁移同时进行而不互相影响，大大的加快了数据迁移的速度。同时，提供了数据校验功能，保证了迁移过程中的稳定性及迁移过程中的数据正确性。在数据迁移过程中，对数据进行分布式验证，而保证数据验证的安全性和完备性。同时允许用户自定义数据验证方式，最终将验证的结果数据返回给对应的用户。

【附图说明】

此处所说明的附图是用来提供对本发明的进一步理解，构成本申请的一部分，但并不构成对本发明的不当限定；

图1是本发明方法的流程图。