[发明专利]一种数据迁移方法、装置、电子设备和存储介质

说明书

本发明提供了一种数据迁移方法、装置、电子设备和存储介质，该方法包括：获取待迁移数据的数据信息；根据待迁移数据的数据信息确定待迁移数据的迁移类型，其中，迁移类型包括全量迁移、增量迁移和全量增量迁移；按照确定好的迁移类型迁移数据。本发明可以通过将待迁移数据的数据信息将确定出迁移类型，迁移类型包括全量迁移、增量迁移和全量增量迁移，即考虑针对数据信息的不同，将数据库中的待迁移数据进行区分，并采用不同的迁移类型，从而提高了数据迁移过程的健壮性，提高了数据迁移的效率。

技术领域

本发明涉及数据库技术领域，尤其涉及一种数据迁移方法、装置、电子设备和存储介质。

背景技术

随着互联网和计算机技术的迅速发展，越来越多的业务可以在网上进行，用户可以通过互联网向业务系统提交业务请求，业务系统根据接收的业务请求进行相应的业务处理，并向用户返回业务处理结果，在此过程中，业务系统会生成相应的业务数据，并将这些业务数据以数据记录的形式存储在该业务系统的数据库中。在实际应用中，为了提高业务处理能力，经常需要对业务系统进行更新。当要将原业务系统升级为新业务系统时，若新业务系统使用的数据库(称为：目标数据库)与原业务系统使用的数据库(称为：源数据库)不相同，则需要相应地将源数据库中的数据向目标数据库中迁移，以便于新业务系统能够正常地为用户服务。

数据迁移的实现可以分为三个阶段：数据迁移前的准备、数据迁移的实施和数据迁移后的校验。数据迁移的成功与否是新业务系统成功上线的重要前提，也是新业务系统今后稳定运行的有力保障。如果数据迁移失败，新业务系统将不能正常启用；如果数据迁移的质量较差，没能屏蔽全部的垃圾数据，则会严重影响新业务系统的稳定性，新业务系统一旦访问这些垃圾数据，可能会由这些垃圾数据产生新的错误数据,严重时还会导致系统异常等不可预知的异常。相反，成功的数据迁移可以有效地保障新业务系统的顺利运行，能够保留珍贵的历史数据。历史数据对于公司无疑都是一种非常珍贵的资源。特别是金融行业，其数据都是积累了上十年乃至几十年的数据，其数据量非常大，且冗余数据也比较多，这也给数据迁移工作带来了新的挑战。

要完成应用数据的迁移，需要对待迁移数据源进行详细的分析，包括数据的存储方式、数据量、数据的时间跨度；建立新旧系统数据库的数据字典；对旧系统的历史数据进行质量分析，新旧系统数据结构的差异分析；建立新老系统数据库表的映射关系，对无法映射字段的处理方法；开发、部属ETL工具，编写数据转换的测试计划和校验程序；制定数据转换的应急措施。

数据迁移可以采用系统切换前通过工具迁移、系统切换前采用手工录入、系统切换后通过新系统生成这三种方式完成。通过工具迁移的方式可以根据预案系统数据的某种抽象规则转换为新系统里的数据、序列，直接进行迁移，数据完全来源于源系统，数据迁移过程中需要手工整理和人工干预的情况很少，可以保证业务平滑过渡以及高准确性；通过手工录入的方式进行数据迁移，一般采取excel表格的形式清查并且录入系统数据，这种方式的数据完全来源于数据源，需要大量的人工干预，况且容易引发人为的数据错乱，可用性相比使用工具迁移较差。另一方面，金融行业数据有着数据量大，安全性要求高的特性，通过收工录入的方式迁移不满足该特性要求；通过新系统生成数据的方式进行数据迁移，在系统切换后，会通过新系统的相关功能利用系统中现有的数据生成新系统中的新数据，其实施的前提是这些数据能够通过其他数据生成。面对金融行业数据关联性较高，历史数据生成方式难以回溯的特性，这种迁移方式也不适用于金融行业数据的迁移。因此，如何提高数据迁移的质量是行业难题。

发明内容

本发明提供了一种数据迁移方法、装置、电子设备和存储介质，目的在于提供一种提高数据迁移过程的健壮性，提高数据迁移效率和稳定性的方法及装置，解决目前数据迁移效率低的技术问题。

本发明一方面提供一种数据迁移方法，所述方法包括：

获取待迁移数据的数据信息；

根据所述待迁移数据的数据信息确定所述待迁移数据的迁移类型，其中，所述迁移类型包括全量迁移、增量迁移和全量增量迁移；