[发明专利]一种数据迁移的方法和装置

说明书

本发明公开了数据迁移的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：根据迁移数据的配置信息，获取切分字段、切分数据的范围参数和数据批次步长；根据切分字段和切分数据的范围参数，通过预设的切分数据的方式获得迁移数据并排序，以获得每条迁移数据的行号信息，进而得到符合数据批次步长的行号信息及其对应的迁移数据；将对应的迁移数据进行等值分片，以获得切分后的数据分片进行迁移。该实施方式能够解决现有技术中数据迁移效率低下和质量差的问题。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据迁移的方法和装置。

背景技术

目前现有由关系型数据库到目标数据库的数据迁移平台在作业迁移的时候，需要对目标数据源的数据进行切分，进行分布式多并发的数据迁移。

在海量数据量迁移过程中，无论根据各自规则和迁移字段进行数据切分均需要使用关系型数据的索引或者主键等，做到快速数据分片的定位，通常迁移数据的数据分片用到的手段为关系型数据的分页语句或数据库切分字段的大小范围两种方式，或者两者方案的结合，即先进行数据范围大小的切分，再根据切分后的数据进行分页切分。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：如果根据数据库分页语句进行数据切分，会存在数据库分页语句的效率瓶颈，在海量数据的分页查询中会越来越慢导致分页切分数据效率低下。而如果根据数据库字段的范围查找切分数据，会存在数据分布不平均导致数据范围内切分数据过多或者过少，验证影响数据迁移同步的效率。而如果根据范围查找后在进行分页，同样会导致数据切分多份，会有切分数据不平均切分数据浪费等情况，对于分布不平均的数据同样存在效率低下问题。

发明内容

有鉴于此，本发明实施例提供一种数据迁移的方法和装置，能够解决现有技术中数据迁移效率低下和质量差的问题。

为实现上述目的，根据本发明实施例的一个方面，提供了一种数据迁移的方法，包括根据迁移数据的配置信息，获取切分字段、切分数据的范围参数和数据批次步长；根据切分字段和切分数据的范围参数，通过预设的切分数据的方式获得迁移数据并排序，以获得每条迁移数据的行号信息，进而得到符合数据批次步长的行号信息及其对应的迁移数据；将对应的迁移数据进行等值分片，以获得切分后的数据分片进行迁移。

可选地，通过预设的切分数据的方式获得迁移数据并排序，以获得每条迁移数据的行号信息，进而得到符合数据批次步长的行号信息及其对应的迁移数据，包括：

按照切分字段对迁移数据进行排序；

对排序后的迁移数据进行补位，以获得每条数据的行号信息；

根据行号信息依次对迁移数据进行等值查找，以确定符合数据批次步长的行号信息及其对应的迁移数据。

可选地，还包括：

将数据分片下发至多并发进程中进行数据迁移，以获得迁移数据结果集。

可选地，获得迁移数据结果集，包括：

将各个机器执行的结果反馈给任务分发机器，同时记录各个机器执行数据迁移的日志信息，任务分发机器合并汇总迁移数据的结果集同时展示详细迁移过程的日志信息。

另外，根据本发明实施例的一个方面，提供了一种数据迁移的装置，包括获取模块，用于根据迁移数据的配置信息，获取切分字段、切分数据的范围参数和数据批次步长；切分模块，用于根据切分字段和切分数据的范围参数，通过预设的切分数据的方式获得迁移数据并排序，以获得每条迁移数据的行号信息，进而得到符合数据批次步长的行号信息及其对应的迁移数据；迁移模块，用于将对应的迁移数据进行等值分片，以获得切分后的数据分片进行迁移。

可选地，所述切分模块通过预设的切分数据的方式获得迁移数据并排序，以获得每条迁移数据的行号信息，进而得到符合数据批次步长的行号信息及其对应的迁移数据，包括：