[发明专利]一种数据迁移方法、装置、设备和存储介质

说明书

本发明公开了一种数据迁移方法，包括：在数据迁移过程中，确定源端数据库中的待处理字段，对源端数据库中的待处理字段进行处理，确定源端数据库中的源端数据信息；根据源端数据信息，生成源端数据库的源端数据查询语句和目的端数据库的目的端数据查询语句；根据源端数据查询语句和目的端数据查询语句对源端数据库和目的端数据库进行增量数据比对，根据比对结果确定增量迁移语句，将增量迁移语句落盘至目的端数据库中；在数据迁移完成后，根据源端数据查询语句和目的端数据查询语句对源端数据库和目的端数据库进行全量数据比对，根据比对结果确定目标迁移语句，将目标迁移语句落盘至目的端数据库中。保证了源端数据库和目的端数据库的数据一致性。

技术领域

本发明实施例涉及计算机领域，尤其涉及一种数据迁移方法、装置、设备和存储介质。

背景技术

随着信息技术的深入发展，应用系统的不断升级，数据量级不断拔高，系统之间越来越多的需要数据交互，数据迁移已经逐步成为了信息系统融合的关键部分。随着同构/异构数据库之间的数据迁移逐渐普及化和常态化，快速核实迁移前后源端数据与目的端数据的一致性，就成为了常态化需要。现阶段，在源端数据库和目的端数据库之间进行数据迁移时，往往采用导出全数据文件的方式来进行数据库之间的全量数据或增量数据比对，由于全数据文件太大，因此进行数据解析工作耗时较长，导致数据库之间的数据比对效率低。目前，在数据库之间进行数据迁移时，未考虑对增量数据进行实时比对，因此可能存在数据迁移出现误差的问题。因此，如何提高数据在源端数据库和目的端数据库之间进行数据迁移的效率和精度，是需要解决的问题。

发明内容

本发明提供了一种数据迁移方法、装置、设备和存储介质，可以提高数据在源端数据库和目的端数据库之间进行数据迁移的效率，保证源端数据库和目的端数据库的数据一致性。

根据本发明的一方面，提供了一种数据迁移方法，包括：

在数据迁移过程中，确定源端数据库中的待处理字段，对所述源端数据库中的待处理字段进行处理，确定源端数据库中的源端数据信息；

根据所述源端数据信息，生成所述源端数据库的源端数据查询语句和目的端数据库的目的端数据查询语句；

根据所述源端数据查询语句和所述目的端数据查询语句对所述源端数据库和所述目的端数据库进行增量数据比对，并根据增量数据比对结果确定增量迁移语句，将所述增量迁移语句落盘至所述目的端数据库中；

在数据迁移完成后，根据所述源端数据查询语句和所述目的端数据查询语句对所述源端数据库和所述目的端数据库进行全量数据比对，根据全量数据比对结果确定目标迁移语句，将所述目标迁移语句落盘至所述目的端数据库中。

根据本发明的另一方面，提供了一种数据迁移装置，该装置包括：

源端数据信息获取模块，用于在数据迁移过程中，确定源端数据库中的待处理字段，对所述源端数据库中的待处理字段进行处理，确定源端数据库中的源端数据信息；

数据查询语获取模块，用于根据所述源端数据信息，生成所述源端数据库的源端数据查询语句和目的端数据库的目的端数据查询语句；

增量数据比对模块，用于根据所述源端数据查询语句和所述目的端数据查询语句对所述源端数据库和所述目的端数据库进行增量数据比对，并根据增量数据比对结果确定增量迁移语句，将所述增量迁移语句落盘至所述目的端数据库中；

全量数据比对模块，用于在数据迁移完成后，根据所述源端数据查询语句和所述目的端数据查询语句对所述源端数据库和所述目的端数据库进行全量数据比对，根据全量数据比对结果确定目标迁移语句，将所述目标迁移语句落盘至所述目的端数据库中。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，