[发明专利]集群数据复制方法、优先级确定方法及装置

说明书

技术领域

本申请涉及通信技术，尤其涉及一种集群数据复制方法、优先级确定方法及装置。

背景技术

集群大大提高了单机的存储极限和处理极限。但随着互联网特别是移动互联网的持续发展，很多公司产生的数据已经达到PB甚至EB级别，并且每天新增加的数据数量也在迅速增长。当这些数据超过单个集群的存储上线，或单个集群无法满足数据处理的需求时，就需要将这些数据按照业务单元分拆并存储在多个集群中。

业务单元之间往往有依赖关系，业务A的数据存储在第一集群中，若同在第一集群中的业务B需要访问业务A的数据，则可以从第一集群内直接读取数据；若位于第二集群的业务C需要访问业务A的数据，则需要跨集群异地读取数据。若第二集群中存在多个业务需要访问业务A的数据，那么需要多次跨集群异地读取同一份数据，这会浪费集群之间的带宽资源。特别是随着业务数量越来越多，跨集群异地读取同一份数据的业务数量也会越来越多，导致带宽资源的浪费更加严重。

为节约带宽资源，业界普遍采取的方式是将业务A的数据在其它集群中保留一个副本，这样其它集群中的业务在需要业务A的数据时就可以在集群内直接读取数据。这需要将数据在各个集群之间进行复制。现有技术一般采用离线复制方式，即停止各集群的数据库操作，一次性将数据全部从一个集群复制到另一个集群，这种方式需要大量带宽资源。但是，跨域带宽是有限且很宝贵的，并且随着业务数量不断增长，需要复制的数据也会逐渐增多，所以在跨域带宽有限的条件下，离线复制方法显然已经无法满足需求，因此急需一种新的数据复制方法。

发明内容

本申请提供一种集群数据复制方法及装置，用以在跨域带宽有限的条件下，对待复制数据进行合理调度，实现数据的快速复制。

为达到上述目的，本申请的实施例采用如下技术方案：

第一方面，提供了一种集群数据复制方法，包括：

确定需要跨集群复制数据的至少一个复制任务；

计算所述至少一个复制任务中各复制任务的优先级；

根据所述各复制任务的优先级，执行所述各复制任务。

第二方面，提供了一种集群数据复制装置，包括：

确定模块，用于确定需要跨集群复制数据的至少一个复制任务；

计算模块，用于计算所述至少一个复制任务中各复制任务的优先级；

执行模块，用于根据所述各复制任务的优先级，执行所述各复制任务。

第三方面，提供一种优先级确定方法，包括：

获取需要跨集群复制数据的复制任务的触发方式、所述复制任务需要复制的数据的产生时间、以及所述复制任务对应的源业务的重要度中的至少一个因素，所述复制任务对应的源业务是指产生所述复制任务需要复制的数据的业务；

根据所述至少一个因素，计算所述复制任务的优先级。

第四方面，提供一种优先级确定装置，包括：

信息获取模块，用于获取需要跨集群复制数据的复制任务的触发方式、所述复制任务需要复制的数据的产生时间、以及所述复制任务对应的源业务的重要度中的至少一个因素，所述复制任务对应的源业务是指产生所述复制任务需要复制的数据的业务；

优先级计算模块，用于根据所述至少一个因素，计算所述复制任务的优先级。

在本申请中，在确定需要跨集群复制数据的复制任务之后，计算各复制任务的优先级，然后根据各复制任务的优先级，执行各复制任务。 由此可见，本申请在跨域带宽有限的条件下，按照复制任务的优先级对复制任务进行调度，优先调度优先级较高的复制任务，能够对复制任务进行合理调度，有利于实现数据的快速复制。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本申请一实施例提供的集群系统的结构示意图；

图2为本申请另一实施例提供集群数据复制方法的流程示意图；

图3为本申请又一实施例提供的复制系统的架构示意图；

图4为本申请又一实施例提供的对复制任务进行打包处理的流程示意图；

图5为本申请又一实施例提供的集群数据复制装置的结构示意图；