[发明专利]数据迁移方法及装置、存储介质、电子设备

说明书

本公开涉及数据处理领域，提供了一种数据迁移方法、数据迁移装置、计算机存储介质、电子设备，其中，数据迁移方法包括：与迁移数据源、接收数据源建立通信连接；对迁移数据源中的全量数据进行分片处理，得到多个数据分片；当接收到数据迁移指令时，通过迁移集群分布式将多个数据分片迁移至接收数据源；从迁移数据源中获取增量数据，根据增量数据的创建时间戳判断增量数据是否为新增数据；当增量数据是新增数据时，通过迁移集群将增量数据迁移至接收数据源中；当增量数据不是新增数据时，通过迁移集群使用增量数据替换接收数据源中的目标数据。本公开能够在不影响迁移数据源的读写业务的前提下，提高数据的迁移速度，保证数据迁移过程的有序进行。

技术领域

本公开涉及数据处理技术领域，特别涉及一种数据迁移方法、数据迁移装置、计算机存储介质及电子设备。

背景技术

Elasticsearch(简称：ES集群)是一个基于Lucene库的搜索引擎，它提供了一个分布式、支持多租户的全文搜索引擎，并且，其查询效率高、全文搜索性能好，对分布式的支持也较好，基于集群的环境可以方便横向扩展，可以将海量的数据分散到多台集群上去存储和检索。然而，随着Elasticsearch的版本升级，所有使用者都面临一个问题，就是如何在不影响业务读写的情况下，将数据快速准确的从低版本集群迁移至高版本集群。

相关技术中，低版本集群的数据在向高版本集群迁移的过程中，只能逐步迁移，不能跨大版本(例如：从ES2.1直接迁移到ES6.3)，并且迁移完成之后集群需要重启，若迁移中途失败需要重新从头开始迁移，因此，迁移时间跨度大且数据迁移效率低。

鉴于此，本领域亟需开发一种新的数据迁移方法及装置。

需要说明的是，上述背景技术部分公开的信息仅用于加强对本公开的背景的理解。

发明内容

本公开的目的在于提供一种数据迁移方法、数据迁移装置、计算机存储介质及电子设备，进而至少在一定程度上避免了相关技术中影响业务读写且迁移效率低的缺陷。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的第一方面，提供一种数据迁移方法，包括：与迁移数据源、接收数据源建立通信连接；对所述迁移数据源中的全量数据进行分片处理，得到多个数据分片；当接收到数据迁移指令时，通过迁移集群分布式将所述多个数据分片迁移至所述接收数据源；从所述迁移数据源中获取增量数据，根据所述增量数据的创建时间戳判断所述增量数据是否为新增数据；当所述增量数据是新增数据时，通过所述迁移集群将所述增量数据迁移至所述接收数据源中；当所述增量数据不是新增数据时，通过所述迁移集群使用所述增量数据替换所述接收数据源中的目标数据；其中，所述目标数据与所述增量数据的创建时间戳相同。

在本公开的示例性实施例中，所述对所述迁移数据源中的全量数据进行分片处理，得到多个数据分片，包括：获取所述迁移数据源的初始运行时间，将当前时间与所述初始运行时间的时间跨度确定为目标时间段；根据预设时长区间对所述目标时间段进行分片处理，得到多个时间分片；将在各所述时间分片内、所述迁移数据源中存储的数据作为一数据分片。

在本公开的示例性实施例中，每个数据分片对应一个迁移子任务；所述当接收到数据迁移指令时，通过迁移集群将所述多个数据分片迁移至所述接收数据源，包括：当接收到数据迁移指令时，通过迁移集群分布式执行所述迁移子任务，以将所述多个数据分片迁移至所述接收数据源。

在本公开的示例性实施例中，所述方法还包括：当目标数据分片对应的待迁移数据量大于数据量阈值时，将所述目标数据分片对应的迁移子任务拆分为多个目标子任务，以使得各所述目标子任务对应的待迁移数据量小于所述数据量阈值。