[发明专利]数据迁移方法、装置、介质及电子设备

说明书

本发明的实施例提供了一种数据迁移方法、装置、介质及电子设备，涉及大数据技术领域。该方法包括：在接收到对迁移源中一个或多个槽Slot的以Slot为单位的数据迁移请求时，将所述数据迁移请求放入待迁移的任务队列中；通过定时任务检测所述任务队列中是否存在所述数据迁移请求；在检测到存在所述数据迁移请求时，异步地将与所述数据迁移请求对应的Slot上的待迁移数据发送至迁移目标。本发明实施例的技术方案能够降低迁移过程中正常业务请求的阻塞，并且能够更好地保障数据一致性。

技术领域

本发明的实施例涉及大数据领域，更具体地，本发明的实施例涉及数据迁移方法、数据迁移装置、计算机可读存储介质以及电子设备。

背景技术

本部分旨在为权利要求书中陈述的本发明的实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

Redis是一个开源的、可基于内存亦可持久化的键值对(key-value)存储数据库，Redis基于单线程处理用户请求，数据迁移是Redis数据库的高频需求。

目前，在一种技术方案中，Redis数据库在进行数据迁移时，采用的是同步迁移方式。在采用同步迁移方式进行数据迁移时，Redis服务器接收到迁移命令后，开始解析迁移命令，基于迁移命令以Key为单位打包迁移源上需要迁移的数据，每个数据封装对应一个迁移命令，将打包后的迁移数据发送给迁移目标，并等待接收到迁移目标返回的所有迁移数据的反馈。

发明内容

但是，在这种技术方案中，打包迁移数据以及同步等待迁移目标的反馈都会造成其他请求的阻塞，以单个键值为单位进行数据迁移，在迁移失败后难以保障迁移源与迁移目标的数据一致性。

因此在现有技术中，难以达到令人满意的数据迁移效果。

为此，非常需要一种改进的数据处理方法，以使得能够降低在迁移数据过程中导致的业务请求的阻塞，保障数据一致性。

在本上下文中，本发明的实施例期望提供一种数据处理方法、数据处理装置、计算机可读存储介质以及电子设备。

在本发明实施例的第一方面中，提供了一种数据迁移方法，包括：在接收到对迁移源中一个或多个槽Slot的以Slot为单位的数据迁移请求时，将所述数据迁移请求放入待迁移的任务队列中；通过定时任务检测所述任务队列中是否存在所述数据迁移请求；在检测到存在所述数据迁移请求时，异步地将与所述数据迁移请求对应的Slot上的待迁移数据发送至迁移目标。

在本公开的一种示例性实施例中，所述数据迁移方法还包括：对所述待迁移数据的键Key的迁移状态进行标识，所述迁移状态包括：未迁移、迁移中、已迁移以及业务请求中，每个所述Slot包含有多个所述Key。

在本公开的一种示例性实施例中，所述数据迁移方法还包括：在接收到数据删除操作请求时，获取与所述数据删除操作请求对应的数据的迁移状态的标识；基于所述标识判断与所述数据删除操作请求对应的数据是否处于迁移中；在判定所述数据处于迁移中时，将所述数据标识为已删除；添加与所述数据删除操作请求对应的数据操作日志。

在本公开的一种示例性实施例中，所述数据迁移方法还包括：在接收到数据更新操作请求时，获取与所述数据更新操作请求对应的数据的迁移状态的标识；基于所述标识判断与所述数据更新操作请求对应的数据是否处于迁移中；在判定所述数据处于迁移中时，确定所述数据的数据类型；基于所述数据的数据类型对所述数据进行处理。

在本公开的一种示例性实施例中，基于所述数据的数据类型对所述数据进行处理，包括：在所述数据类型为字符串类型时，通过所述数据更新操作请求中的新数据更新所述数据，并将所述数据标识为删除。