[发明专利]数据迁移系统和方法

说明书

本申请公开了一种数据迁移系统和方法，提供了一种支持同构及异构数据库之间通用的数据迁移系统，能够在停机和非停机状态下进行全量迁移的完整的数据迁移系统；提供了全量迁移之后进行的全量校验功能，使用户及时发现迁移过程中的不一致性问题；提供了在非停机状态下的增量迁移和增量校验功能，使新增数据得到及时同步，并且对增量进行实时校验，及时发现增量数据的不一致性问题。

技术领域

本申请属于互联网技术领域，具体地说，涉及一种数据迁移系统和方法。

背景技术

目前典型的数据迁移系统是通过全量迁移或者增量迁移完成数据迁移。例如Oracle的GoldenGate，GoldenGate是一种基于日志的结构化数据复制软件，它通过解析源数据库在线日志或归档日志获得数据的增量变化，再将这些变化应用到目标数据库，从而实现源数据库与目标数据库同步。GoldenGate可以在异构的IT基础结构(包括几乎所有常用操作系统平台和数据库平台)之间实现大量数据亚秒一级的实时复制，从而在可以在应急系统、在线报表、实时数据仓库供应、交易跟踪、数据同步、集中/分发、容灾等多个场景下应用。GoldenGate的数据集成技术实施主要包括三个进程(数据抽取进程、传输进程和应用进程)。

利用数据抽取进程在源数据库读取在线日志或归档日志，然后进行解析，只提取其中数据的变化如增、删、改操作，并将相关信息转换为自定义的中间格式存放在队列文件中，再利用传输进程将队列文件通过TCP/IP传送到目标数据库。数据抽取进程在每次读完日志中的数据变化并在数据传送到目标系统后，会写检查点，记录当前完成抽取的日志的位置，检查点的存在可以使数据抽取进程在中止并恢复后可从检查点位置继续复制日志。目标数据库接收数据变化并缓存到队列中，队列为一系列临时存储数据变化的文件，等待应用进程读取数据。应用进程从队列中读取数据变化并创建对应的SQL语句，通过数据库的本地接口执行，提交到数据库成功后更新自己的检查点，记录已经完成复制的位置。

还有一些类似的数据库，如微软的SQL Server Migration Assistant(简称SSMA)是由微软发布的帮助客户更容易地从Oracle/Sybase/MySQL/Access迁移到SQL Server以及SQL Azure的一个工具集。

微软的SQL Server Migration Assistant不是一种通用的数据迁移系统，而Oracle的GoldenGate也只有增量迁移，而没有全量迁移，

发明内容

有鉴于此，本申请所要解决的技术问题是提供了一种数据迁移系统和方法，以解决现有技术中缺少支持各种同构和异构数据库之间进行全量迁移的通用的数据迁移系统的技术问题。

为了解决上述技术问题，本申请公开了一种数据迁移系统，包括：入口(Portal)模块，应用程序编程接口(API)模块，分布式调度模块，全量迁移模块，增量迁移模块，全量校验模块，增量校验模块；

所述入口模块用于提供管理迁移任务的入口，接收由客户端创建的迁移任务和指定的第一数据库、第二数据库和所述第一数据库的待迁移数据，所述迁移任务包括全量迁移、增量迁移、全量校验、增量校验；

所述应用程序编程接口模块用于向所述客户端提供服务接口，以根据所述迁移任务中的迁移类型调用对应的全量迁移模块，增量迁移模块，全量校验模块，增量校验模块；

所述分布式调度模块用于监控各迁移任务的执行状态，并根据各个设备的当前负载对迁移任务进行调度，以实现各个设备的负载均衡；

所述全量迁移模块，用于将所述待迁移数据从所述第一数据库迁移到所述第二数据库，当所述第一数据库与第二数据库异构时，通过预设的中间格式将所述待迁移数据的数据类型转换为所述第二数据库的数据类型，按照转换后的数据类型将所述待迁移数据写入所述第二数据库；