[发明专利]数据迁移方法及装置、存储介质及电子设备

说明书

本公开提供一种数据迁移方法及装置、计算机可读存储介质及电子设备；涉及数据管理技术领域。所述数据迁移方法包括：接收数据迁移指令；确定缓存数据集群中现有的各原缓存数据分片与新部署的各目标缓存数据分片之间的数据迁移方向；依据所述数据迁移指令，将所述原缓存数据分片中的待迁移数据依据所述数据迁移方向迁移至所述目标缓存数据分片，并在所述原缓存数据分片中维护迁移状态；将所述迁移状态中记录的迁移结果发送至迁移管理模块。本公开可以实现在不停服的前提下，通过数据迁移对缓存系统进行扩容，该迁移过程优化了对待迁移数据状态的管理，且迁移可以从中断处再次开始，使得数据迁移过程更加便捷高效。

技术领域

本公开涉及数据管理技术领域，具体而言，涉及一种数据迁移方法、、数据迁移装置、电子设备以及计算机可读存储介质。

背景技术

为了解决传统开发模式中采用关系型数据库存储数据的弊端，利用缓存对热点数据进行存储的方法应运而生，缓存的高性能可以提供高吞吐和低延迟的数据访问。但随着移动互联网用户数量的增加，单机的缓存逐渐满足不了用户对海量数据进行存储和访问的需求，人们开始使用分布式缓存系统来对数据进行存储，从而可以利用服务器集群的计算能力来满足用户的海量并发请求。而对于一个分布式缓存系统而言，最重要的能力就是扩容能力，分布式缓存系统可以通过部署新的存储空间资源，并将一部分数据从原有的存储空间迁移至新部署的存储空间中来实现。因此，扩容过程实质上即为对系统中的部分数据进行数据迁移的的过程。

现有对分布式缓存系统进行扩容方案主要有以下三种：停机扩容、镜像平滑扩容以及槽位迁移。这三种方案虽然在一定程度上可以实现对分布式缓存系统进行扩容的功能，但同时也存在操作复杂、需要数据镜像、影响到业务方访问数据、扩容过程和业务方高度耦合、对于现有的分布式缓存系统不具有普适性等一系列问题。

因此需要提供一种与业务系统低耦合的便捷高效的数据迁移方法，以实现对分布式缓存系统进行扩容的功能。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开实施例提供一种数据迁移方法、数据迁移装置、电子设备以及计算机可读存储介质，进而可以在实现对分布式缓存系统进行扩容功能的同时，解决扩容过程中存在的操作复杂、需要数据镜像、影响到业务方访问数据、扩容过程和业务方高度耦合、对于现有的分布式缓存系统不具有普适性等一系列问题。

根据本公开的第一方面，提供一种数据迁移方法，包括：

接收数据迁移指令；

确定缓存数据集群中现有的各原缓存数据分片与新部署的各目标缓存数据分片之间的数据迁移方向；

依据所述数据迁移指令，将所述原缓存数据分片中的待迁移数据依据所述数据迁移方向迁移至所述目标缓存数据分片，并在所述原缓存数据分片中维护迁移状态；

将所述迁移状态中记录的迁移结果发送至管理模块。

在本公开的一种示例性实施例中，所述确定缓存数据集群中现有的各原缓存数据分片与新部署的各目标缓存数据分片之间的数据迁移方向，包括：

确定各所述目标缓存数据分片在所述缓存数据集群对应的一致性哈希环中的节点位置；

依据所述节点位置确定所述数据迁移方向。

在本公开的一种示例性实施例中，所述数据迁移指令包括第一迁移步长及第二迁移步长；

所述将所述原缓存数据分片中的待迁移数据依据所述数据迁移方向迁移至所述目标缓存数据分片，并在所述原缓存数据分片中维护迁移状态，包括：

初始化一个迁移状态文件来维护所述迁移状态，其中，所述迁移状态包含第一复制偏移量及第二复制偏移量；