[发明专利]数据迁移方法、装置、存储介质及服务器

权利要求书

1.一种数据迁移方法，其特征在于，所述方法包括：

确定待迁移的数据表中的迁移对象，所述迁移对象为有分区的数据表中的最小粒度分区或无分区的数据表；

对于每个迁移对象，计算所述迁移对象在迁移过程中所需使用的线程数；

根据所述线程数对所述迁移对象进行分片，得到多个数据分片，每个数据分片对应于一个线程；

利用各个线程并行对对应的数据分片进行迁移；

所述对于每个迁移对象，计算所述迁移对象在迁移过程中所需使用的线程数，包括：

获取每个迁移对象的对象信息，所述对象信息是所述迁移对象中预定N个字段的字段信息，N为正整数，所述N个字段为迁移对象物理大小、迁移对象数据量、迁移对象使用的数据块个数、迁移对象是否包含BLOB字段和迁移对象是否包含CLOB字段；

对于每个迁移对象，将所述迁移对象的对象信息输入预设的评分模型中，得到预期迁移耗时，所述评分模型用于根据所述预定N个字段的字段信息计算每个迁移对象的预期迁移耗时；

根据每个迁移对象的预期耗时评分计算每个迁移对象所需使用的线程数。

2.根据权利要求1所述的方法，其特征在于，所述根据每个迁移对象的预期耗时评分计算每个迁移对象所需使用的线程数，包括：

获取源设备的第一中央处理器CPU线程数和目的设备的第二CPU线程数，所述源设备是提供迁移的数据的设备，目标设备是接收迁移的数据的设备；

计算所有迁移对象的预期耗时评分中的最大值减去最小值的差值，并取第一CPU线程数和所述第二CPU线程数中的最小值，将所述差值除以所述最小值，得到第一中间数值；

对于每个迁移对象，将所述第一中间数值乘以所述迁移对象的预期耗时评分，对得到的第二中间数值进行向下取整，得到所述迁移对象所需使用的线程数。

3.根据权利要求1所述的方法，其特征在于，在所述将所述迁移对象的对象信息输入预设的评分模型中之前，所述方法还包括：

获取预设的训练集和测试集，所述训练集中包括用于训练所述评分模型的数据表，所述测试集中包括用于测试所述评分模型的数据表；

分别对所述训练集和所述测试集中的数据表中M个字段的数据进行量化，M≥N；

根据量化后的数据表，从所述M个字段中选择N个字段；

根据所述训练集中所述N个字段的数据训练所述评分模型，直至根据所述测试集中所述N个字段的数据对所述评分模型的验证结果满足预设条件时停止训练。

4.根据权利要求1所述的方法，其特征在于，所述根据所述线程数对所述迁移对象进行分片，得到多个数据分片，包括：

从所述迁移对象的多个字段中选择一个预定字段，所述预定字段的数据值各不相同；

根据所述线程数和所述预定字段中的数据值对所述迁移对象进行分片，得到多个数据分片，每个数据分片中预定字段的数据值为所述迁移对象中预定字段的数据值的一个分区。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

创建数据迁移对账表和数据迁移监控表；

对于每个迁移成功的数据分片，将所述数据分片的迁出数据量和迁入数据量写入所述数据迁移对账表中；

对于每个迁移失败的数据分片，将所述数据分片的异常信息写入所述数据迁移监控表中。

6.根据权利要求1至5中任一项所述的方法，其特征在于，所述利用各个线程并行对对应的数据分片进行迁移，包括：

对于并行运行的每个线程，通过所述线程调用的数据导出工具从源设备获取对应的数据分片，并将所述数据分片存储在系统的管道文件中；

通过数据导入工具将所述管道文件中的所述数据分片发送至目的设备。