[发明专利]数据迁移方法、装置、电子设备及计算机可读存储介质

说明书

本申请实施例提供了一种数据迁移方法、装置、电子设备及计算机可读存储介质，涉及数据处理技术领域。在本申请实施例中，基于预先配置的处理脚本，对待迁移数据执行本申请实施例所涉及的预处理操作以及迁移操作，因此，对于各个数据迁移任务，在进行数据迁移时无需再编写或者建立数据迁移操作的脚本文件，仅需提供数据迁移任务对应的迁移参数，即可实现数据迁移过程所涉及的相应处理，因此实现了节约数据迁移的时间及人员成本，并提高了数据迁移的效率。本申请实施例解决了数据迁移时针对每个迁移任务单独编写大量脚本文件导致的效率低的技术问题。

技术领域

本申请涉及数据处理技术领域，具体而言，本申请涉及一种数据迁移方法、装置、电子设备及计算机可读存储介质。

背景技术

随着互联网行业的迅速发展，互联网业务的数据库中通常存储着海量数据，而海量数据通常需要在数据库之间进行迁移等处理操作，例如两个融合项目之间的数据迁移操作。例如，作为数据库中重要的资源，随着数据库系统的升级和重构，数据结构发生变化的同时，数据也需要从源系统迁移至目标系统。相关技术中，数据库之间的数据迁移操作较为繁琐，通常需要根据具体业务开发不同的迁移脚本，例如，数据库连接、数据查询数据处理、并发控制、数据回放、失败处理等机制，均需要在迁移脚本代码中人工编写，由此导致实施数据迁移操作的人工成本过高，数据迁移的效率较低。

发明内容

本申请的目的旨在至少能解决上述的技术缺陷之一，特别是迁移效率低的技术缺陷。

根据本申请的一个方面，提供了一种数据迁移方法，该方法包括：获取数据迁移任务信息，所述数据迁移任务信息包括数据迁移任务对应的迁移参数；

基于预先配置的处理脚本以及所述迁移参数，对所述待迁移数据进行预处理操作；

将所述预处理操作后的所述待迁移数据迁移至目标数据系统。

可选地，所述对所述待迁移数据进行预处理操作，包括：

对待迁移数据进行第一预处理操作，所述第一预处理操作包括以下至少一项：对所述检查和/或更正错误数据，根据所述迁移参数删除和/或合并对应的数据；

对待迁移数据进行第二预处理操作，所述第二预处理操作包括：根据所述迁移参数，将所述待迁移数据拆分为对应数量的子任务，并将各个子任务对应的待迁移数据分别存储至缓存数据库。

可选地，在将所述预处理操作后的所述待迁移数据迁移至目标数据系统之前，所述方法还包括：

从所述缓存数据库中的所述待迁移数据中，获取测试数据；

基于所述测试数据执行迁移测试操作，所述迁移测试操作包括将所述测试数据迁移至所述目标数据系统。

可选地，所述数据迁移任务信息包括目标数据系统信息，

所述将预处理操作后的所述待迁移数据迁移至目标数据系统，包括：

若所述迁移测试操作执行成功，则根据所述迁移参数对应的划分方式，将所述待迁移数据划分为多个子数据模块；

根据所述目标数据系统信息，分别对各个所述子数据模块进行数据迁移。

可选地，所述根据所述目标数据系统信息，分别对各个所述子数据模块进行数据迁移，包括以下方式中的至少一种：

将所述数据子模块中的待迁移数据迁移至所述目标数据系统中的对应位置；

将所述数据子模块中的待迁移数据根据所述迁移参数中指示的数据处理方式进行处理，将处理后的数据迁移至所述目标数据系统中的对应位置。

可选地，所述方法还包括：

若所述待迁移数据迁移至所述目标数据系统时检测到异常指示，则通过以下方式中的一种方式进行处理：