[发明专利]一种基于容错时间日志的数据迁移的方法

说明书

本发明提供的基于容错时间日志的数据迁移的方法，检测系统时间是否不早于数据时刻加容错时长；假使是，就进入步骤B；假使不是，则等待规定时长之后，再次进行系统时间的检测；将待迁移DB的数据迁移到迁移DB的相对映射空间；数据迁移完成后，基于当前完成所需的准备时长检测当前数据迁移的数据重复率，对迁移的数据质量进行数据查重处理，保证迁移的数据质量；按照本回信息迁移记录的迁移数据数目，再次计算得出所述历史参照数目和容错时长其优选的实施方式，还允许按照日志记录的二维表结构检测二维表的完整性，然后据此对迁移DB的日志属性值将二维表修补完整；适应多种情况的数据迁移，并且可以自动且可靠地进行周期性的数据迁移。

技术领域

本发明数据存储技术，具体是一种基于容错时间日志的基于容错时间日志的数据迁移的方法。

背景技术

随着我国信息化建设的飞速发展，政府和企事业单位都已相继部署了数据库DB信息管理系统，将满足日益增长的信息存储将及数据处理等需求。相关的业务数据对于使用者而言至关重要，是支撑其运营管理的宝贵资产，是关乎其生存与发展的关键问题。

进行DB之间的海量数据迁移，首先需要解决的主要问题还是如何高效地捕获增量数据将及如何从增量数据内提取用户的操作语句问题。这跟静态数据备份技术不一样，那种备份技术适合集内数据下的批量连续处理，效率很低，可控性差。

DB容灾，可将将数据迁移的手段，即在分布式网络节点内，实现主DB与冗余节点之间的迁移更新的方法。较为常见的DB迁移方法有：表复制和事务复制。前者是将源DB内二维表某一个时刻的内容复制到目标DB，反映了源表最近内容的一致状态，源表迁移到目标表的频率需要根据具体的环境和需求做出调整。这种迁移技术将表内容迁移为基础，虽然实现起来较为简单，但是无法保证表结构之间关系完整性的迁移，然后且不适用于异构DB之间的迁移，异构DB是指拥有不同二维表结构的DB。

然而由于事务执行的连续性，事务复制也需要连续进行，这导致事务复制不能针对某一局部时间段或局部数据进行数据迁移，同时它也无法完美实现异构DB之间的数据迁移。

在DB的使用阶段内，经常需要进行数据迁移，其原因可能是服 务器资源不足、网络隔离、数据容灾等等。另一方面，随着云计算技术 的发展，DB上云也变得越来越普遍，在此阶段内首先要做的就是将 DB数据迁移到云端。在DB迁移阶段内，通常对被迁移的二维表创建快照，将保证DB迁移前后，被迁移的 二维表一致步骤较为快速，但逐个解析被迁移的二维表，根据配置的迁移参数将被迁移的二维表拆分成多份然后封装步骤所需的时间 受多个因素影响，包括DB服务器的IO能力，二维表的数量，二维表 的记录数和拆分粒度等。从在生产环境内的实践来看，对类似博客应用 的数百GB大库，有时需要分钟级的处理时间。假使存在较大的非事务性二维表，导出非事务性二维表，例如MyISAM(MySQLDB原生的存 储引擎步骤也需要耗费不少时间。

发明内容

为了解决相关技术内存在的对数据迁移的迁移效率差的问题，本公开提供了另一种基于容错时间日志的数据迁移的方法，将提高迁移的准确性

本发明提供一种基于容错时间日志的数据迁移的方法，该基于容错时间日志的数据迁移的方法允许高效地完成频率性的数据迁移。

一种基于容错时间日志的数据迁移的方法，可将从待迁移DB内把数据迁移到迁移DB内，其特征在于，有下列步骤组成：

检测系统时间是否不早于数据时刻加容错时长；假使是，就进入步骤B；假使不是，则等待规定时长之后，再次进行系统时间的检测；

数据迁移，将待迁移DB的数据迁移到迁移DB的相对映射空间；同时，记录所迁移的数据的数目；

检测比较数据迁移的数目值是与当前的历史参照数目与预先设定的不大于1且大于0.8的系数的乘积值的大小关系；假使大于，则迁移完成；假使不大于，等待规定的准备时长，之后返回步骤B；同时，叠加准备时长；