[发明专利]一种快速校验集群间的数据迁移的方法及装置

权利要求书

1.一种快速校验集群间的数据迁移的方法，其特征在于，包括：

获取数据迁移的相关集群的校对数据表，所述校对数据表是接受方集群和发送方集群的数据表，数据表中记录发送数据的数据名称和数据列；

将所述数据迁移的相关集群的校对数据表中的数据，有选择性的存储在校验型数据模型中，包括：根据预设的过滤器，对所述校对数据表进行过滤式读取；将过滤式读取的数据存储在预设的校验型数据模型中，其中，预设的过滤器设置被过滤掉的数据列，预设的校验型数据模型设置数据模型中包含的数据列、数据列相对应的数据格式和数据公式中的任一者或多者；

将所述校验型数据模型中数据内容发送到多个计算机中，包括：通过Spark计算引擎将所述存入数据后的校验数据模型转化为多个分布式内存型数据集合；将所述多个分布式内存型数据集合发送到多个计算机，并附带令接收端的计算机进行校验运算的指令；

将所述多个计算机反馈的结果写入结果库；

将所述结果库中的校验结果通过web页面或者相应的展示文件进行展示。

2.如权利要求1所述的方法，其特征在于，所述获取数据迁移的相关集群的校对数据表，包括：

分析出数据迁移相关的发送方集群和接受方集群的数量，其中，所述发送方集群和所述接受方集群的数量都可以为多个；

获取数据迁移的各个发送方集群和各个接受方集群的校对数据表。

3.如权利要求1所述的方法，其特征在于，所述将所述多个计算机反馈的结果写入结果库，包括：

收集所述多个计算机的校验运算的结果；

拼接所述多个计算机的校验运算的结果并写入结果库。

4.一种快速校验集群间的数据迁移的装置，其特征在于，包括：

获取模块，用于获取数据迁移的相关集群的校对数据表，所述校对数据表是接受方集群和发送方集群的数据表，数据表中记录发送数据的数据名称和数据列；

存储模块，用于将所述数据迁移的相关集群的校对数据表中的数据，有选择性的存储在校验型数据模型中；

发送模块，用于将所述校验型数据模型中数据内容发送到多个计算机中；

写入模块，用于将所述多个计算机反馈的结果写入结果库；

展示模块，用于将所述结果库中的校验结果通过web页面或者相应的展示文件进行展示；

所述存储模块，包括：

过滤子模块，用于根据预设的过滤器，对所述校对数据表进行过滤式读取；

存储子模块，用于将过滤式读取的数据存储在预设的校验型数据模型中；其中，预设的过滤器设置被过滤掉的数据列，预设的校验型数据模型设置数据模型中包含的数据列、数据列相对应的数据格式和数据公式中的任一者或多者；

所述发送模块，包括：

转化子模块，用于通过Spark计算引擎将所述存入数据后的校验数据模型转化为多个分布式内存型数据集合；

发送子模块，用于将所述多个分布式内存型数据集合发送到多个计算机，并附带令接收端的计算机进行校验运算的指令。

5.根据权利要求4所述的装置，其特征在于，所述获取模块，包括：

分析子模块，用于分析出数据迁移相关的发送方集群和接受方集群的数量，其中，所述发送方集群和所述接受方集群的数量都可以为多个；

获取子模块，用于获取数据迁移的各个发送方集群和各个接受方集群的校对数据表。

6.根据权利要求4所述的装置，其特征在于，所述写入模块，包括：

收集子模块，用于收集所述多个计算机的校验运算的结果；拼接子模块，用于拼接所述多个计算机的校验运算的结果并写入结果库。