[发明专利]数据迁移方法及装置

权利要求书

1.一种数据迁移方法，用于将待迁移的数据表从原数据库迁移至目标数据库，所述目标数据库为包含多个存储节点的分布式数据库，所述方法包括：

从所述原数据库中获取与所述待迁移的数据表相对应的全量数据，并为所述全量数据中的各条数据记录设置分布列；

根据所述分布列，将所述全量数据中的各条数据记录分别迁移至所述目标数据库的各个存储节点中；

根据所述待迁移的数据表对应的日志文件确定与所述全量数据相对应的日志点位信息；

从所述日志文件中获取在所述日志点位信息之后产生的日志记录，确定与所述日志记录相对应的数据操作，针对所述目标数据库的各个存储节点中存储的全量数据执行所述数据操作。

2.根据权利要求1所述的方法，其中，所述根据所述分布列，将所述全量数据中的各条数据记录分别迁移至所述目标数据库的各个存储节点中的步骤具体包括：

针对所述全量数据中的每条数据记录，根据所述分布列确定该数据记录中包含的分布键；

按照预设的分布规则确定目标数据库中与所述分布键相对应的存储节点，并将该数据记录迁移到目标数据库中与所述分布键相对应的存储节点中。

3.根据权利要求1或2所述的方法，其中，所述与所述日志记录相对应的数据操作具体为多个按照时间顺序依次排列的数据操作；

则所述针对所述目标数据库的各个存储节点中存储的全量数据执行所述数据操作的步骤具体包括：

针对每个数据操作，根据所述分布列确定与该数据操作相对应的数据记录中包含的分布键；

按照预设的分布规则确定目标数据库中与所述分布键相对应的存储节点；

针对与所述分布键相对应的存储节点中存储的全量数据执行所述数据操作。

4.根据权利要求2或3所述的方法，其中，所述预设的分布规则包括：范围规则、和/或哈希规则。

5.根据权利要求1-4任一所述的方法，其中，所述将所述全量数据中的各条数据记录分别迁移至所述目标数据库的各个存储节点中的步骤具体包括：

对所述全量数据的各条数据记录中符合预设的字段转换规则的字段进行转换，并将转换后的各条数据记录分别迁移至所述目标数据库的各个存储节点中；和/或，

所述针对所述目标数据库的各个存储节点中存储的全量数据执行所述数据操作的步骤具体包括：

在执行每个数据操作时，确定与该数据操作相对应的数据记录中包含的各个字段，针对其中符合预设的字段转换规则的字段进行转换。

6.根据权利要求5所述的方法，其中，所述方法执行之前，进一步包括步骤：

确定与所述原数据库相对应的第一字段规则，以及与所述目标数据库相对应的第二字段规则；

根据所述第一字段规则与所述第二字段规则中存在差异的各个字段设置所述字段转换规则；

其中，所述存在差异的各个字段包括：字段名称不同、和/或字段类型不同的字段。

7.根据权利要求1-6任一所述的方法，其中，所述从所述原数据库中获取与所述待迁移的数据表相对应的全量数据的步骤具体包括：

针对所述待迁移的数据表执行加锁操作，开启用于针对所述待迁移的数据表执行快照处理的事务；

当所述事务开启完毕后，针对所述待迁移的数据表执行解锁操作，并根据与所述待迁移的数据表相对应的快照数据获取所述全量数据；

则所述根据所述待迁移的数据表对应的日志文件确定与所述全量数据相对应的日志点位信息的步骤具体包括：将执行加锁操作后对应的日志点位信息确定为与所述全量数据相对应的日志点位信息。

8.一种数据迁移装置，用于将待迁移的数据表从原数据库迁移至目标数据库，所述目标数据库为包含多个存储节点的分布式数据库，所述装置包括：

获取模块，适于从所述原数据库中获取与所述待迁移的数据表相对应的全量数据，并为所述全量数据中的各条数据记录设置分布列；

全量数据迁移模块，适于根据所述分布列，将所述全量数据中的各条数据记录分别迁移至所述目标数据库的各个存储节点中；

确定模块，适于根据所述待迁移的数据表对应的日志文件确定与所述全量数据相对应的日志点位信息；

操作模块，适于从所述日志文件中获取在所述日志点位信息之后产生的日志记录，确定与所述日志记录相对应的数据操作，针对所述目标数据库的各个存储节点中存储的全量数据执行所述数据操作。