[发明专利]用于在线数据迁移的方法及系统

说明书

本发明公开的是关于一种用于在线数据迁移的方法及系统，属于数据迁移技术领域。一种用于在线数据迁移的方法，包括：监听应用的待迁移数据中的待迁移增量数据的二进制日志；根据所述二进制日志生成增量数据迁移消息；根据消息分发策略将所述增量数据迁移消息发送至所述应用的增量数据消息队列。本发明基于消息机制实现在线数据迁移。

技术领域

本发明涉及数据迁移技术领域，尤其涉及一种用于在线数据迁移的方法及系统。

背景技术

数据库是以一定方式储存在一起、能为多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。在数据库使用过程中，当数据库的存储结构无法满足业务需求时，需要将数据库中的数据迁移到能够满足业务需求的新数据库中，这就涉及对大量数据进行迁移的问题。

传统数据迁移一般是离线的，但是为了不影响业务使用，出现了在线数据迁移技术，即在数据迁移过程中，仍允许业务线程访问数据库开展业务。

随着互联网行业的快速发展，人们的网上购物行为越来越普遍，用户的订单数据急剧暴增，几乎所有的在线运行的订单系统都面临着数据存储、检索、高并发的难题。一般在线订单系统的数据存储架构都在不断的进行升级改造，以电商平台虚拟商品相关的业务线为例，基本每个业务系统都在进行订单数据存储架构的升级改造，从单库单表的主从存储结构开始向多主多从、分库分表、分布式存储的方向升级。在进行订单数据存储架构水平、垂直切分的过程中基本上都面临着数据迁移的难题，数据迁移的高效、正确性直接关系到系统改造升级的成败。

相关技术中实现数据迁移有单机执行或者多机器数据并发执行。

单台机器的资源有限，导致单台机器执行数据迁移时间长、效率低，尤其是在单台机器执行大量数据迁移的时候。而目前一般线上的应用都是多机器、分布式的，单台机器迁移数据未能将线上的服务器资源加以合理利用。

但是多台机器并行执行数据迁移实现相对复杂。多台机器执行数据迁移，一般会考虑将迁移数据按照某个维度进行拆分，常规的方法会将迁移数据按ID(身份标识)进行取模，把待迁移的数据分成多个片，不同的机器迁移不同的分片数据，功能设计、实现上相对比较复杂。

另一方面，线上的应用的数据实时都在变化，一般把需要迁移的数据切分成历史数据(指已完成归档的数据、数据本身不变化)和增量数据(新产生的数据，包括新插入的及对老数据的修改)两部分分别来进行迁移。

历史数据迁移相对简单，其本身不会发生变化，迁移一次即可完成。增量数据迁移由于数据本身是变化的，很难保证增量迁移的正确性，实际操作中可能会涉及到应用停机、生产库停止写服务，导致迁移期间影响用户的正常使用。以上两部分数据迁移的正确性对系统升级改造的成败影响大、而且增量数据迁移的实现上难度大、风险高。

同时，上述迁移方案都和业务本身直接耦合，其通用性相对比较差，很难做到数据迁移功能的组件化、迁移功能重复利用率低，不同的业务系统执行相同的数据迁移功能都将涉及到大量的开发工作。

因此，需要一种新的用于在线数据迁移的方法及系统。

在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开提供一种用于在线数据迁移的方法及系统，用于至少部分地解决上述技术问题或者其他技术问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一个方面，提供一种用于在线数据迁移的方法，包括：

监听应用的待迁移数据中的待迁移增量数据的二进制日志；

根据所述二进制日志生成增量数据迁移消息；