[发明专利]一种数据迁移方法、装置、设备及可读存储介质

说明书

本申请公开了一种数据迁移方法、装置、设备及可读存储介质，该方法包括：在待迁移集群与目标集群之间进行全量迁移；在全量迁移期间，监听待迁移集群的数据变动业务，并记录操作日志；在全量迁移完成后，关闭待迁移集群的数据变动业务；利用操作日志，确定在全量迁移期间变动的存储对象；迁移存储对象至目标集群。在本申请中，全量迁移期间不影响对外服务，二次迁移又可免去全量列举对象流程。相比直接中断读写业务的全量迁移，本申请采用全量迁移和二次迁移的方式，大大降低了业务中断时间，可以有效保障集群业务。

技术领域

本申请涉及存储技术领域，特别是涉及一种数据迁移方法、装置、设备及可读存储介质。

背景技术

随着各行各业都先后涌现出了不同规模的数据中心，海量数据迁移已经成为企业解决存储空间不足和信息系统升级改造等过程中，必须面对的现实问题。

其中，对象存储一般基于全量迁移方法进行数据迁移。这种场景下的迁移，一般要求新旧集群暂停对外提供数据服务，且一旦迁移过程中因各种问题导致迁移进程中断，则需要从头开始再次迁移。从而导致长时间影响业务正常运行。

综上所述，如何有效地解决对象存储的集群间数据迁移等问题，是目前本领域技术人员急需解决的技术问题。

发明内容

本申请的目的是提供一种数据迁移方法、装置、设备及可读存储介质，以降低全量迁移对集群业务的影响。

为解决上述技术问题，本申请提供如下技术方案：

一种数据迁移方法，包括：

在待迁移集群与目标集群之间进行全量迁移；

在全量迁移期间，监听所述待迁移集群的数据变动业务，并记录操作日志；

在全量迁移完成后，关闭所述待迁移集群的数据变动业务；

利用所述操作日志，确定在全量迁移期间变动的存储对象；

迁移所述存储对象至所述目标集群。

优选地，监听所述待迁移集群的数据变动业务，并记录操作日志，包括：

监听所述数据变动业务，得到数据变动操作信息；

将所述数据变动操作信息写入所述操作日志。

优选地，所述在待迁移集群与目标集群之间进行全量迁移，包括：

创建迁移表；

遍历所述待迁移集群中桶分片，并在所述迁移表中记录所述桶分片的迁移状态；

对所述迁移状态为未执行的桶分片中对象进行迁移，并修改对应所述迁移状态为执行中；

在迁移完成后，在所述迁移表中修改对应所述迁移状态为已执行；

若所述待迁移集群所有所述桶分片的所述迁移状态均为已执行，则确定完成全量迁移。

优选地，还包括：

全量迁移中断后，利用所述迁移表确定迁移断点；

从所述迁移断点处，恢复全量迁移。

优选地，利用所述迁移表确定迁移断点，包括：

遍历所述迁移表，确定所述迁移状态为执行中的目标桶分片；

确定所述目标桶分片所在位置为所述迁移断点。

优选地，对所述迁移状态为未执行的桶分片中对象进行迁移，包括：

为所述迁移表中的桶分片各自分配一个迁移线程；

利用所述迁移线程对所述迁移状态为未执行桶分片中对象进行迁移。