[发明专利]一种多源异构数据库快速自动数据迁移系统及方法

说明书

本发明提供了一种多源异构数据库快速自动数据迁移系统及方法，通过集成数据迁移工具和任务调度平台，将数据迁移任务进行快速自动生成并自动调度执行，执行结果支持自动检查，对失败的任务通过邮件或即时通讯方式进行自动告警提醒。本发明可以支持多种不同类型的数据库进行转换，并且支持扩展新增数据库。本发明在异构数据库之间大量数据表迁移场景下，能够令开发人员采用低代码方式即可快速实现数据迁移，降低了开发人员的技术门槛，提高了数据迁移的效率，节省了研发人力成本，并增强了数据迁移的可靠性和可维护性。

技术领域

本发明属于数据处理技术领域，涉及一种多源异构数据库快速自动数据迁移系统及方法。

背景技术

为了尽可能多地获取企业信用数据，需要从各数据源单位采集企业信用数据。在采集过程中，往往会遇到部分数据源单位的数据库存储选型与目的端不一致的问题，需要手动根据源数据类型的表结构转换为目的数据库类型的表结构，特别是遇到转换表的数据量较多时，这种异构数据库之间的结构转换和数据迁移工作变得复杂和繁琐。并且在数据治理过程中，数据仓库中的治理后数据同步到业务应用数据库时，也会遇到类似异构数据库之间的数据迁移问题。另外，在数据库热备份场景中，也需要在异构数据库之间快速迁移，从而达到快速进行数据备份的效果。

目前，异构数据库之间的数据迁移，可以采用主流的ETL工具来进行数据迁移，但是迁移任务配置文件还是需要自行开发。当迁移任务数量较多时，需要投入较多的开发人力资源，花费大量的时间，并且人工开发，增加了出错的可能性，后期还要花费较多的调试工作量。且单纯使用数据迁移工具，无法对迁移任务进行定时调度和任务执行监控，一旦执行失败，无法及时感知。

发明内容

为解决上述问题，本发明提供了一种多源异构数据库快速自动数据迁移系统及方法，通过构建数据迁移Pipeline任务流，对源数据库表进行自动转换为目的数据库表，并集成数据迁移工具和任务调度工具，将数据迁移任务进行快速自动生成并自动调度执行，执行结果支持自动检查，对失败的任务通过邮件或即时通讯方式进行自动告警提醒。能够支持多种类型的数据库之间进行快速自动数据迁移，节省开发人力成本，提高数据迁移效率。

为达到上述目的，本发明的技术方案如下：

一种多源异构数据库快速自动数据迁移系统，包括前端和服务端；

所述前端包含sync-web模块，用于用户登录系统，提交数据库连接信息，提交关键字映射关系信息，提交自动生成摸板文件信息，以及提交自动生成数据迁移Pipeline任务流信息；该任务流包含目的库表自动生成任务、数据迁移配置自动生成任务、任务调度工作流配置自动生成任务以及数据迁移自动执行及检查任务，并能够进行任务串联编排，任务流执行完成后，能够展示任务流及子任务的执行结果状态供查看；