[发明专利]一种多源异构数据库快速自动数据迁移系统及方法

权利要求书

1.一种多源异构数据库快速自动数据迁移系统，其特征在于，包括前端和服务端；

所述前端包含sync-web模块，用于用户登录系统，提交数据库连接信息，提交关键字映射关系信息，提交自动生成摸板文件信息，以及提交自动生成数据迁移Pipeline任务流信息；该任务流包含目的库表自动生成任务、数据迁移配置自动生成任务、任务调度工作流配置自动生成任务以及数据迁移自动执行及检查任务，并能够进行任务串联编排，任务流执行完成后，能够展示任务流及子任务的执行结果状态供查看；

所述服务端包含sync-api接口模块、sync-server服务模块以及sync-utils服务模块；所述sync-api接口模块用于抽象出需要提供的RESTful api接口，并定义服务端需要接收的信息对象的实体类，通过该接口模块对前端提交的请求进行传递和响应；所述sync-server服务模块包括系统管理服务子模块、数据源管理服务子模块、关键字映射管理服务子模块、模板管理服务子模块以及自动任务管理服务子模块；所述系统管理服务子模块用于实现用户登录请求处理、用户管理、组织管理、角色管理；所述数据源管理服务子模块用于将数据库连接信息保存到系统数据库中以及从数据库中查询数据库连接信息；所述关键字映射管理服务子模块用于将源数据库和目的数据库之间转换涉及的关键字映射关系信息保存到系统数据库中，提供给目的库表自动生成任务执行时进行查询；所述模板管理服务子模块用于将自动生成数据迁移相关结果文件的模板信息保存到系统数据库中，提供给数据迁移配置自动生成任务和任务调度工作流配置自动生成任务执行时查询；所述自动任务管理服务子模块用于将自动生成数据迁移Pipeline任务流信息保存到系统数据库中，以及实现任务流执行请求，并在任务流执行完成后，将任务流及子任务的执行结果保存到系统数据库中，提供给前端进行查询；所述Pipeline任务流首先执行目的库表自动生成任务，将源数据库的待转换表根据关键字映射关系自动转换为目的数据库的表DDL，并保存到系统数据库中；随后执行数据迁移配置自动生成任务，将根据前述提交的模板信息，以及源数据库表和目的数据库表信息，自动生成数据迁移配置文件；随后执行任务调度工作流配置自动生成任务，将根据前述定义提交的模板信息，结合上一步生成的数据迁移配置文件，自动生成任务调度工作流配置文件；随后执行数据迁移自动任务，连接目的数据库，将前述自动生成的目的表进行自动创建，并通过sync-utils服务模块，与外部的任务调度平台进行交互，将前述生成的任务调度工作流配置文件通过API接口方式自动导入，并通过接口自动触发工作流执行，拉起数据迁移任务，将源数据库的数据迁移到目的数据库中。

2.根据权利要求1所述的多源异构数据库快速自动数据迁移系统，其特征在于，所述目的库表自动生成任务处理流程包括如下步骤：

首先选择源数据库类型，如果需要连接源数据库，则输入源数据库连接信息；

服务端连接源数据库后，将表信息返回给前端，选择待转换的数据表，如果由于开发阶段，源数据库信息由于安全考虑不能直接获取，则上传源数据库表的DDL文件；

选择目的数据库类型和目的数据库连接信息；

提交目的表自动生成任务请求给服务端，服务端接收请求后，根据请求报文内容，获取源数据库表的DDL信息；如果是直接连接源数据库，则根据选择的表，使用show createtable，获取每个表的DDL信息后再进行整合；如果是从提交的DDL文件中获取，则调用FileReader类解析文件内容后获取DDL信息；

获取到原数据所有待转换表的DDL内容后，将获取的DDL信息保存到系统数据库中；

根据目的数据库类型，生成目的表、表字段、字段类型、字段注释以及索引等信息，封装成TableInfo类对象，并对每一个表信息分别封装对应的Map数据，结合目的库表自动生成模板，采用模板引擎技术，生成所有目的表的DDL文件内容；

首次生成的结果，返回给前端，支持用户对内容进行编辑修改，并确认保存，最终将保存的结果写入系统数据库，自动生成的目的表DDL文件内容异步写入对象存储中。

3.根据权利要求1所述的多源异构数据库快速自动数据迁移系统，其特征在于，所述数据迁移配置自动生成任务支持全量同步和增量同步。