[发明专利]表数据的迁移方法、装置、计算机设备和存储介质

说明书

本发明揭示了一种向大数据集群网络迁移表数据的方法、装置、计算机设备和存储介质，应用于包括多个节点的大数据集群网络的数据迁移中，属于数据迁移技术领域，所述方法包括：分别读取源节点存储的表的数据项信息和表结构信息；读取大数据集群网络中每个节点的剩余处理能力；根据读取的每个节点的剩余处理能力，在大数据集群网络中确定迁移目标节点和与迁移目标节点对应的数据分配比例；将数据项信息按照与迁移目标节点对应的数据分配比例进行划分，传送到迁移目标节点；向确定的迁移目标节点发送表结构信息，以便迁移目标节点将接收的数据项信息按照表结构信息进行组装。这样，大大提高了数据迁移的效率，避免了数据处理过程中变慢、死机的情况。

技术领域

本发明涉及数据迁移技术领域，特别是涉及向大数据集群网络迁移表数据的方法、装置、计算机设备和存储介质。

背景技术

现有技术中，大数据集群间表数据迁移没有成熟的解决方案，在hadoop中虽然提供了数据迁移的工具，但是表数据的迁移还需要把表的结构迁移并且重建，而且表本身的原数据存储在metastore中，如果想迁移就必须读出来重新拼接之后再迁移。用这种方式实现数据迁移非常的麻烦，而且任务量会非常大，传输起来也不方便，容易出现机器卡死、崩溃甚至死机的情况。

发明内容

基于此，为解决相关技术中大数据集群网络间表数据迁移步骤繁琐不方便的技术问题，本发明提供了一种向大数据集群网络迁移表数据的方法、装置、计算机设备和存储介质。

第一方面，提供了一种向大数据集群网络迁移表数据的方法，包括：

分别读取源节点存储的表的数据项信息和表结构信息；

读取大数据集群网络中每个节点的剩余处理能力；

根据读取的每个节点的剩余处理能力，在大数据集群网络中确定迁移目标节点和与迁移目标节点对应的数据分配比例；

将数据项信息按照与迁移目标节点对应的数据分配比例进行划分，传送到迁移目标节点；

向确定的迁移目标节点发送表结构信息，以便迁移目标节点将接收的数据项信息按照表结构信息进行组装。

在其中一个实施例中，所述剩余处理能力包括剩余内存容量、剩余外存容量、处理器内核未使用率中的至少一项。

在其中一个实施例中，，所述根据读取的每个节点的剩余处理能力，在大数据集群网络中确定迁移目标节点和与迁移目标节点对应的数据分配比例，具体包括：

根据读取的每个节点的剩余处理能力，确定所述每个节点的剩余处理能力分数：

根据所述每个节点的剩余处理能力分数，在大数据集群网络中确定迁移目标节点和与迁移目标节点对应的数据分配比例。

在其中一个实施例中，所述根据读取的每个节点的剩余处理能力，确定所述每个节点的剩余处理能力分数，具体包括：

根据所述每个节点的剩余内存容量，赋予所述每个节点一个第一分数；

根据所述每个节点的剩余外存容量，赋予所述每个节点一个第二分数；

根据所述每个节点的处理器内核未使用率，赋予所述每个节点一个第三分数；

确定所述每个节点的第一、第二、第三分数的加权和，以所述每个节点的加权和作为所述每个节点的剩余处理能力分数。

在其中一个实施例中，所述迁移目标节点为所述大数据集群网络中的每个节点；

所述根据所述每个节点的剩余处理能力分数，在大数据集群网络中确定迁移目标节点和与迁移目标节点对应的数据分配比例，具体包括：

将大数据集群网络中每个节点的剩余处理能力分数的比，作为与迁移目标节点对应的数据分配比例。