[发明专利]一种快速校验集群间的数据迁移的方法及装置

说明书

本发明公开了一种快速校验集群间的数据迁移的方法及装置。所述快速校验集群间的数据迁移的方法，包括：获取数据迁移的相关集群的校对数据表；将所述数据迁移的相关集群的校对数据表中的数据，有选择性的存储在校验型数据模型中；将所述校验型数据模型中数据内容发送到多个计算机中；将所述多个计算机反馈的结果写入结果库；将所述结果库中的校验结果通过web页面或者相应的展示文件进行展示。本发明可避免了对数据表进行切割，同时极大的加速了对迁移数据的准确性的核对过程，还可根据用户需求直接对数据表中某些特定数据列进行核对。

技术领域

本发明涉及计算机集群技术领域，特别涉及一种快速校验集群间的数据迁移的方法及装置。

背景技术

在计算机集群的使用过程中，经常需要在计算机集群之间进行数据迁移。迁移的数据量往往是海量的数据，这就需要在迁移以后进行校验。在发送方的计算机集群和接受方的计算机集群都有一个与该次数据迁移相关的数据表，校验也是通过核对该数据表之中的内容是否一致。但是，海量的数据迁移，也带来了该数据表中海量的数据量，动辄很多个GB的数据量，是无法直接进行核对的。需要对该数据表进行切割，但是如何选择合适的切割点，也是困扰业界的一个课题。无法直接的对数据表中某些特定数据列进行定制化的对比。使用一台设备进行关于该数据表的单线程的核对任务，效率也不尽如意人。如何妥善的解决上述问题，就成为了业界亟待解决的课题。

发明内容

本发明提供一种快速校验集群间的数据迁移的方法及装置，用以避免了对数据表进行切割，同时极大的加速了对迁移数据的准确性的核对过程，还可根据用户需求直接对数据表中某些特定数据列进行核对。

根据本发明实施例的第一方面，提供一种快速校验集群间的数据迁移的方法，包括：

获取数据迁移的相关集群的校对数据表；

将所述数据迁移的相关集群的校对数据表中的数据，有选择性的存储在校验型数据模型中；

将所述校验型数据模型中数据内容发送到多个计算机中；

将所述多个计算机反馈的结果写入结果库；

将所述结果库中的校验结果通过web页面或者相应的展示文件进行展示。

在一个实施例中，所述获取数据迁移的相关集群的校对数据表，包括：

分析出数据迁移相关的发送方集群和接受方集群的数量，其中，所述发送方集群和所述接受方集群的数量都可以为多个；

获取数据迁移的各个发送方集群和各个接受方集群的校对数据表。

在一个实施例中，所述将所述数据迁移的相关集群的校对数据表中的数据，有选择性的存储在校验型数据模型中，包括：

根据预设的过滤器，对所述校对数据表进行过滤式读取；

将过滤式读取的数据存储在预设的校验型数据模型中。

在一个实施例中，所述将所述校验型数据模型中数据内容发送到多个计算机中，包括：

将所述存入数据后的校验数据模型转化为多个分布式内存型数据集合；

将所述多个分布式内存型数据集合发送到多个计算机，并附带令接收端的计算机进行校验运算的指令。

在一个实施例中，，所述将所述多个计算机反馈的结果写入结果库，包括：

收集所述多个计算机的校验运算的结果；

拼接所述多个计算机的校验运算的结果并写入结果库。

根据本发明实施例的第二方面，提供一种快速校验集群间的数据迁移的装置，包括：

获取模块，用于获取数据迁移的相关集群的校对数据表；