[发明专利]针对Clickhouse的全量和增量同步方法、设备和存储介质

说明书

本发明涉及大数据领域，具体涉及一种针对Clickhouse的全量和增量同步方法、设备和存储介质。本申请提供的针对Clickhouse的全量和增量同步方法包括：实时捕获原始数据的数据变化；将所述原始数据的数据变化转化为删除操作和插入操作；将所述删除操作和插入操作提交到数据处理队列；判断所述数据处理队列的当前队列的长度和等待的时间间隔是否达到预设阈值；当前队列的长度和等待的时间间隔中任一达到预设阈值时，基于所述数据处理队列，提交同步任务至Clickhouse，以完成数据变化的同步。如此设置，本申请提供的方案中，避免了高频的数据同步，数据变化操作转换为删除和插入两个操作来解决Clickhouse对于修改操作支持不友好的问题。

技术领域

本发明涉及大数据领域，具体涉及一种针对Clickhouse的全量和增量同步方法、设备和存储介质。

背景技术

Clickhouse是目前OLAP领域非常流行的存储服务，具有超强的存储压缩能力和极为高效的查询聚合能力，查询性能是Mysql等关系型数据库的100倍以上，目前已经被越来越多的公司采用，将业务数据同步到Clickouse中成为使用Clickhouse作为OLAP的公司需要解决的第一个技术难题，目前市面上无论是收费的同步工具还是开源的同步工具都没有针对Clickhouse同步的完整解决方案。现有的方案中，存在Clickhou限制高频提交数据的问题，同时Clickhou限对修改操作支持不够友好。

发明内容

有鉴于此，提供一种针对Clickhouse的全量和增量同步方法、设备和存储介质，以解决相关技术中存在Clickhou限制高频提交数据的问题，同时Clickhou限对修改操作支持不够友好的问题。

本发明采用如下技术方案：

本发明实施例提供了一种针对Clickhouse的全量和增量同步方法，该方法包括：

实时捕获原始数据的数据变化；

将所述原始数据的数据变化转化为删除操作和插入操作；

将所述删除操作和插入操作提交到数据处理队列；

判断所述数据处理队列的当前队列的长度和等待的时间间隔是否达到预设阈值；

当前队列的长度和等待的时间间隔中任一达到预设阈值时，基于所述数据处理队列，提交同步任务至Clickhouse，以完成数据变化的同步。

可选的，所述数据变化包括数据删除、数据增加和数据修改；

所述将所述原始数据的数据变化转化为删除操作和插入操作包括：

将所述数据删除转化为删除操作；

将所述数据增加转化为插入操作；

将所述数据修改转化为删除操作和插入操作；

可选的，在执行所述数据修改的同步时，包括：

执行数据修改对应的插入操作之前，需要将确定所述数据修改对应的删除操作是否已经完成；

若所述所述数据修改对应的删除操作已经完成，执行所述数据修改对应的插入操作。

所述实时捕获原始数据的数据变化，包括：

采用了变化数据的实时捕获机制捕获原始数据的数据变化。

可选的，所述当前队列的长度和等待的时间间隔中任一达到预设阈值时，包括：所述当前队列的长度达到预设第一阈值时，和所述等待的时间间隔预设第二阈值时；

所述队列的长度为所述数据处理队列的长度；所述等待的时间间隔为当前时间与上一次进行增量同步的时间间隔。

可选的，还包括：