[发明专利]一种数据迁移的方法及装置

说明书

本发明实施例公开了一种数据迁移的方法及装置，涉及电子商务领域，能够提升的数据迁移效率并降低成本。本发明包括：加载数据迁移组件，并读取配置文件中记录的配置信息；从源数据库抽取待迁移的数据，并导入内存；运行所述数据迁移组件中的数据迁移逻辑，并根据所述配置信息确定目标库表；将所述待迁移的数据分配到所述目标库表。本发明适用于数据迁移过程。

技术领域

本发明涉及电子商务领域，尤其涉及一种数据迁移的方法及装置。

背景技术

随着电子商务技术的发展，系统中需要实时维护的数据量越来越大，同一平台中的不同业务部门每时每刻都在产生海量数据。而在数据的日常维护过程中,比如在重构系统或者系统更新过程中，对已有数据进行迁移又是一项必备工作。

目前，传统的数据迁移技术已越来越难以适应爆炸式增长的数据量。例如：电商平台中的数据迁移，通常都是先将数据全部抽取到HDFS(Hadoop Distributed File System，分布式文件系统)中去，然后依照数据分库分表的规则进行数据迁移。

但是，当前的各业务部门往往都记录了海量的数据表来说，因此在数据迁移的过程中，当从HDFS获取到数据后，还需要技术人员根据业务规则对从HDFS获取到的数据再进行数据初始化，时间精力耗费巨大。

发明内容

本发明的实施例提供一种数据迁移的方法及装置，能够提升的数据迁移效率并降低成本。

为达到上述目的，本发明的实施例采用如下技术方案：

将相关的迁移逻辑封装在组件中，用户只要将分库分表的规则配置到配置文件中，通过自动可批量的抽取源库数据(待迁移的数据)到内存中，再经过分库分表的规则，迅速的将数据分配到目标库表中去，整个过程基于内存计算，即可将源数据直接按照业务规则分配到目标数据库中去，从而实现对数据进行全量以及增量的迁移。

本发明实施例提供的数据迁移的方法及装置，利用了SPARK的数据处理快的特点，使运算速度得到了很大的提升。本实施例实现了自动化的完成了业务数据的横向扩展、平行迁移工作，解决了业务系统海量数据迁移周期长、投入成本大等问题，相比于传统技术的数据迁移效率都得到了极大的提高。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的一种系统架构示意图；

图2为本发明实施例提供的方法流程示意图；

图3、图4为本发明实施例提供的具体实例示意图；

图5为本发明实施例提供的另一种系统架构示意图；

图6、7为本发明实施例提供的装置结构示意图。

具体实施方式