[发明专利]数据同步方法、装置及存储介质

说明书

本公开涉及一种数据同步方法、装置及存储介质，该方法包括：接收目标服务器发送的数据同步请求；从消息队列中提取增量数据，该增量数据为从HBase服务器中获取的、在预设同步时间节点之后产生的变化数据，目标服务器与HBase服务器是异构存储设备；将该增量数据转发给目标服务器，以使得目标服务器根据该增量数据进行数据同步。本公开的实施例提供了异构存储设备间的数据同步方案，数据同步时只需要向目标服务器发送增量数据，提高了同步效率；另外，使用消息队列实现数据同步，通过异步处理提高了响应速度；进一步地，使用消息队列避免了HBase服务器与目标服务器之间直接耦合，降低了系统耦合性，提高了系统的可扩展性。

技术领域

本公开涉及数据处理技术领域，具体地，涉及一种数据同步方法、装置及存储介质。

背景技术

HBase是一个分布式的、面向列的开源数据库，可以存储海量数据，HBase集群间可以实现数据同步，在HBase集群间同步数据时，常用的同步方法，主要是全量同步方法，即每次同步都对全部数据进行一次拷贝，全量同步方法由于每次同步都需要拷贝全部数据，数据量相当大，因此同步所需时长较长，同步效率低。

发明内容

为克服相关技术中存在的问题，本公开的目的是提供一种数据同步方法、装置及存储介质，能够实现异构存储设备间的数据同步，且能够提高同步效率。

为了实现上述目的，根据本公开实施例的第一方面，提供一种数据同步方法，所述方法包括：

接收目标服务器发送的数据同步请求；

从消息队列中提取增量数据，所述增量数据为从HBase服务器中获取的、在预设同步时间节点之后产生的变化数据，所述目标服务器与所述HBase服务器是异构存储设备；

将所述增量数据转发给所述目标服务器，以使得所述目标服务器根据所述增量数据进行数据同步。

可选地，在接收目标服务器发送的数据同步请求之前，还包括：

从所述HBase服务器获取所述增量数据，并为所述增量数据添加增量标识；

将所述增量数据存入所述消息队列；

所述从消息队列中提取增量数据，包括：

根据所述增量标识从所述消息队列中提取所述增量数据。

可选地，所述HBase服务器包括扩展的HBase复制功能接口，所述从所述HBase服务器获取所述增量数据，包括：

通过所述扩展的HBase复制功能接口从所述HBase服务器获取所述增量数据。

可选地，将所述增量数据存入所述消息队列，包括：

确定所述目标服务器支持的目标格式；

将所述增量数据的格式转换成所述目标格式；

将转换之后的所述增量数据存入所述消息队列。

可选地，将所述增量数据存入所述消息队列，包括：

将所述HBase服务器中每个域的所述增量数据存入所述消息队列中与所述每个域对应的分区中，其中，同一个域的增量数据存入所述消息队列中的同一个分区。

可选地，在从所述HBase服务器获取所述增量数据之前，所述方法还包括：

从所述HBase服务器获取在所述预设同步时间节点之前产生的全量数据；

将所述全量数据转发给所述目标服务器，以使得所述目标服务器根据所述全量数据进行同步对齐。

可选地，在从消息队列中提取增量数据之前，还包括：