[发明专利]一种数据迁移方法和装置

说明书

本发明公开了一种数据迁移方法和装置，涉及大数据技术领域，该方法包括：从待迁移的数据槽中选定待迁移的键值数据；判断键值数据的数据量是否大于风险阈值；若是，将键值数据中的数据元素分批次发送至分布式集群中的目标节点；其中，每批次发送的数据元素的数据量小于所述风险阈值。通过上述方法可以有效避免键值数据过大而导致的线程阻塞、客户端超时、服务端业务成功率下降等问题，使集群可以平滑地完成扩容和缩容。

技术领域

本发明涉及大数据技术领域，尤其涉及一种数据迁移方法和装置。

背景技术

数据可以通过分布式集群的方式进行存储。集群的伸缩包括新节点的加入和旧节点的退出。当新节点加入时，需要把一部分数据迁移到新节点来达到集群的负载均衡，当旧节点退出时，需要把旧节点上的数据迁移到其他节点上，以确保旧节点上的数据能够被正常访问。当集群伸缩产生数据迁移时，可能会遇到键值数据过大导致线程阻塞、节点对外服务能力下降等问题。

基于现有的数据迁移方法，无法及时有效地处理键值数据过大造成线程阻塞的问题。

针对上述问题，目前尚未提出有效的解决方案。

发明内容

本说明书实施例提供了一种数据迁移方法和装置，以解决现有技术无法及时有效地处理键值数据过大的问题。

本说明书实施例提供一种数据迁移方法，该方法包括：

从待迁移的数据槽中选定待迁移的键值数据；

判断键值数据的数据量是否大于风险阈值；

若是，将键值数据中的数据元素分批次发送至分布式集群中的目标节点；其中，每批次发送的数据元素的数据量小于所述风险阈值。

进一步地，所述将键值数据中的数据元素分批次发送至分布式集群中的目标节点，包括：

向分布式集群中的目标节点发送一个批次的数据元素，在接收到目标节点反馈的确收响应以后，向分布式集群中的目标节点发送另一个批次的数据元素。

进一步地，所述键值数据包括：字符型键值数据，相应地，将键值数据中的数据元素分批次发送至分布式集群中的目标节点，包括：

获取拆分单元；

按照拆分单元对字符型键值数据中的数据元素进行分割处理，得到多个分割键值数据；

将多个分割键值数据分批次发送至分布式集群中的目标节点。

进一步地，所述键值数据还包括：集合型键值数据，相应地，将键值数据中的数据元素分批次发送至分布式集群中的目标节点，还包括：

按照所述拆分单元对所述集合型键值数据中的数据元素进行打包处理，得到多个数据包键值数据；

将多个数据包键值数据分批次发送至分布式集群中的目标节点。

进一步地，所述方法还包括：

判断所述键值数据是否迁移完毕；

在确定迁移完毕时，修改所述待迁移的数据槽的归属状态；其中，所述归属状态表征所述待迁移的数据槽是否归属目标节点。

进一步地，所述方法还包括：

在确定迁移完毕时，删除所述键值数据。

进一步地，所述方法还包括：

接收客户端发送的写请求；所述写请求包括键值数据；

判断所述键值数据中是否存在键数据；

在确定存在所述键数据时，将所述键值数据中的键数据对应的值数据写入本地数据表中。本说明书实施例还提供一种数据迁移装置，该装置包括：