[发明专利]一种数据迁移方法及装置

说明书

本发明提供一种数据迁移方法，包括：响应于目标程序的被触发，获取传入的迁移参数；根据所述迁移参数，匹配和触发对应的策略父类，执行相应的迁移策略；每个所述策略父类对应一种所述迁移策略；根据所述迁移参数和所选择的策略父类，触发相应的迁移子类，所述迁移子类继承自所述策略父类；根据所述迁移参数，被触发的所述迁移子类按照所述迁移策略分批从源业务系统获取目标数据；所述迁移子类按照所述迁移策略将所述目标数据分批写入目标数据库。还提供一种数据迁移装置。本发明的目的在于提供一种能兼容多个业务系统、便于扩展和维护的大数据迁移方法。

技术领域

本发明公开一种数据处理方法，尤其涉及一种数据迁移方法及装置。

背景技术

目前存在一种需求，从降低风险和审计角度上看，每个业务系统都需要将订单和订单关联信息定时同步到业财系统进行统计对账、出账、以及进行一些数据调整和处理。而正因为需要每天同时将多个业务系统的数据汇集在业财系统，伴随而来的是多个业务系统数据同步的难度以及繁琐度，最后还涉及到管理各种迁移方法的代码复杂度以及未来可维护性。

而且随着各自业务发展，订单量也越来越大，尤其是物联网卡系统每月产生的数百万级的数据量，如果迁移不当会容易使应用崩溃或数据库服务器宕机。

目前行业领域内很多都是使用云平台提供的跨数据库迁移同步技术，虽然数据支持Oracle到Mysql数据源的转换，但是订单数据迁移时还需要进一步做一些处理，例如对目标数据进行调整、补充，合并多个源表数据等。表结构和目标表结构不一样时，该方案不能得到很好的应用。特别是如果业务系统的数据库没有部署在一个云服务上，则使用不了该方案。

目前行业使用的技术不尽相同，传统的做法是调用各个业务系统的接口去获取所需要的数据，但是每个业务系统都需要外放这个数据接口，不利于维护和扩展，而且数据量庞大时，使用接口已经满足不了所需要求，还容易影响了业务系统的正常运行。那么就会想到在迁移目标系统上做多数据源配置，在迁移系统上的各自对应的业务模块中或微服务里面去做数据迁移。然而所需迁移的方式各不相同，业务A只需要全量迁移，业务B需要定时T-N迁移，业务C则都需要，那么都各自实现一套微服务的话每个模块里面的代码冗余程度比较高。而且如果需要新扩展一个迁移项目或者接入新的业务类型，那对应需要针对这个目标业务系统再写一套迁移的方案，维护成本随着代码冗余程度提高而上升。对于一些当天产生的数十万甚至上百万级别的数据的情况做不到动态调节迁移量，导致定时器的服务宕机，还影响了其他正常的迁移计划，缺少迁移的数据就需要隔天监测并重新再次手动触发迁移。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种能兼容多个业务系统、便于扩展和维护的大数据迁移方法。

本申请方案提供一种数据迁移方法，包括：

响应于目标程序的被触发，获取传入的迁移参数；

根据所述迁移参数，匹配和触发对应的策略父类，执行相应的迁移策略；每个所述策略父类对应一种所述迁移策略；

根据所述迁移参数，触发相应的迁移子类，所述迁移子类继承自所述策略父类；

根据所述迁移参数，被触发的所述迁移子类按照所述迁移策略分批从源业务系统获取目标数据；

所述迁移子类按照所述迁移策略将所述目标数据分批写入目标数据库。

进一步地，所述迁移参数包括时间范围、源业务系统标识、源数据表名、迁移版本号。

进一步地，所述的根据所述迁移参数，匹配对应的迁移策略，包括：使用所述迁移参数中的源业务系统标识和源数据表名，遍历预设了迁移注解的所有迁移子类，匹配选择对应迁移子类上的注解中的所述迁移策略。

进一步地，所述迁移策略包括时间切分策略和全量分批策略。