[发明专利]一种面向数据库数据迁移的数据验证方法

摘要

本发明涉及一种面向数据库数据迁移的数据验证方法，与现有技术相比，本申请数据库数据迁移方法及系统将每个数据表当作一个迁移任务，以数据库导入导出工具或者定制程序作为异构数据库读写数据的主要手段，在分布式集群中运行这些任务，同时在数据处理中加入自定义的分库算法，将读出的数据划分到多个文件中，再在任务中调用数据库导入导出工具或者定制程序将数据导入到多个新的数据库中。各路数据迁移同时进行而不互相影响，大大的加快了数据迁移的速度。同时，提供了数据校验功能，保证了迁移过程中的稳定性及迁移过程中的数据正确性。在数据迁移过程中，对数据进行分布式验证，而保证数据验证的安全性和完备性。同时允许用户自定义数据验证方式，最终将验证的结果数据返回给对应的用户。

主权项

1.一种面向数据库数据迁移的数据验证方法步骤S10，配置数据库数据移动任务的多个任务信息对；其中，每个任务信息对包括给出从第一数据库中需要迁移的源数据表的源任务信息，以及需要迁移到的第二数据库中的目标数据表的目标任务信息；步骤S20，根据所调度的任务信息对从第一数据库读出该任务信息对中需迁移的源数据表的数据，并对该源数据表的数据进行分库得到多个分库数据表，再将该多个分库数据表导入到分布式文件系统中；步骤S30，从所述分布式文件系统中读出所述多个分库数据表，在所述分布式文件系统中的至少两个节点中的每个节点的数据提交区内存储其余节点上的分库数据表数据集及其元数据，并在所述至少两个节点中的每个节点中合并所述至少两个节点中的元数据形成元数据总表，以及合并所述至少两个节点中的分库数据表数据集形成数据集合，依照所述元数据总表对数据集合进行校验；当数据集合通过校验时，则将所述数据集合发送至安全数据模块，由安全数据模块合并来自各集群节点上的通过校验的分库数据表数据集后，将合并结果导出到第二数据库中；步骤S40，数据校验模块104比较第一数据库与第二数据库中的数据，校验在迁移过程中数据是否有缺失以及数据是否不完整。