[发明专利]面向自主可控数据库迁移方法及存储介质

说明书

本发明公开了一种面向自主可控数据库迁移方法及存储介质，本发明的方法包括：配置异构数据转换策略，动态生成DTS工具能识别的配置文件；采用DTS工具将源数据库的数据库对象全量数据迁移至目标数据库；对源数据库进行增量同步迁移。本发明通过将可控数据库作为源端的数据实时同步分发至MySQL数据库或Oracle数据库，也支持以可控数据库作为目标端，将MySQL数据库和Oracle数据库的数据同步至自主可控数据库中，实现自主可控数据库与其他传统型数据库的双向迁移，满足用户面临的业务压力，在迁移过程中，保障了数据的完整性，为业务系统提供了良好的数据基础。

技术领域

本发明涉及数据库领域，具体涉及一种面向自主可控数据库迁移方法及存储介质。

背景技术

传统集中型数据库，成本高、扩容难、性能受限，传统模式下靠采购高端设备以及增加硬件来保证数据库可用性和扩展性的方案正面临越来越大的压力。因此，越来越多企业开始发布自主可控数据库，自主可控数据库具备高扩展性、高性能、高可等特性，可很好的满足产业互联时代线上化、高频、高纬度、高并发的场景要求，得到越来越广泛的使用。在应用场景中，进行数据库迁移是必不可少的，数据库迁移是指从一个数据库到另一个数据库之间的任意形式的数据移动，具体需要在存储类型、格式和计算机系统之间的数据转换，通常需要有计划的来完成一个自动的迁移，从单调的任务中解放人力资源。而如何实现自主可控数据库与传统数据库之间的迁移，是必须要解决的问题。

发明内容

鉴于以上技术问题，本发明的目的在于提供一种面向自主可控数据库迁移方法及存储介质，解决自主可控数据库与传统数据库之间数据迁移的问题。

本发明采用以下技术方案：

面向自主可控数据库迁移方法，包括:

配置异构数据转换策略，动态生成DTS工具能识别的配置文件；

采用DTS工具将源数据库的数据库对象全量数据迁移至目标数据库；

对源数据库进行增量同步迁移。

进一步的，采用DTS工具将源数据库的数据库对象全量数据迁移至目标数据库的步骤包括：

对源数据库对象进行抓取，将抓取的数据库对象进行数据转换，将转换后的数据库对象导入至目标数据库。

进一步的，所述增量同步迁移的步骤包括：

获取增量日志；解析获取源数据库的增量数据改动日志，并将获取到的日志解析封装为JSON协议的消息体，投送至消息队列；

将消息队列中的CDC消息消费出来，并根据配置重放到目标实例中。

进一步的，当源数据库是MySQL数据库或自主可控数据库时，获取的增量日志为binlog事件。

进一步的，当源数据库是oracle数据库时,获取增量日志的步骤包括从oracle数据库的物化视图日志中获取增量数据并进行封装和投送。

进一步的，采用DTS工具将源数据库的数据库对象全量数据迁移至目标数据库的步骤包括：

采用DTS工具配置源数据库的数据库对象，将配置后的源数据库的数据库对象全量迁移至中间数据库，将中间数据库的数据转换成目标数据库的数据结构，将转换后的数据结构存储至目标数据库，所述数据库对象包括表、索引、视图、图表、缺省值、规则、触发器、用户和函数。

进一步的，异构数据转换策略包括：

将所述源数据转换为第一逗号分隔符CSV格式数据；

向所述目标数据库发送所述第一逗号分隔符CSV格式数据的第一批量导入指令，所述第一批量导入指令用于指示所述目标数据库将所述第一逗号分隔符CSV格式数据批量导入到目标数据库的目标数据表中。