[发明专利]针对Clickhouse的全量和增量同步方法、设备和存储介质

权利要求书

1.一种针对Clickhouse的全量和增量同步方法，其特征在于，包括：

实时捕获原始数据的数据变化；

将所述原始数据的数据变化转化为删除操作和插入操作；

将所述删除操作和插入操作提交到数据处理队列；

判断所述数据处理队列的当前队列的长度和等待的时间间隔是否达到预设阈值；

当前队列的长度和等待的时间间隔中任一达到预设阈值时，基于所述数据处理队列，提交同步任务至Clickhouse，以完成数据变化的同步；

所述数据变化包括数据删除、数据增加和数据修改；

所述将所述原始数据的数据变化转化为删除操作和插入操作包括：

将所述数据删除转化为删除操作；

将所述数据增加转化为插入操作；

将所述数据修改转化为删除操作和插入操作；

在执行所述数据修改的同步时，包括：

执行数据修改对应的插入操作之前，需要将确定所述数据修改对应的删除操作是否已经完成；

若所述数据修改对应的删除操作已经完成，执行所述数据修改对应的插入操作。

2.根据权利要求1所述针对Clickhouse的全量和增量同步方法，其特征在于，所述实时捕获原始数据的数据变化，包括：

采用了变化数据的实时捕获机制捕获原始数据的数据变化。

3.根据权利要求1所述针对Clickhouse的全量和增量同步方法，其特征在于，所述当前队列的长度和等待的时间间隔中任一达到预设阈值时，包括：所述当前队列的长度达到预设第一阈值时，和所述等待的时间间隔预设第二阈值时；

所述队列的长度为所述数据处理队列的长度；所述等待的时间间隔为当前时间与上一次进行增量同步的时间间隔。

4.根据权利要求1所述针对Clickhouse的全量和增量同步方法，其特征在于，还包括：

提供基于flink和datax实现的一套流批一体的插件化同步工具；其中，执行同步的服务器环境需要部署flink的运行环境；

用户编写同步job的配置，通过所述插件化同步工具进行同步。

5.根据权利要求4所述针对Clickhouse的全量和增量同步方法，其特征在于，还包括：

所述配置中获取目的库的相关信息，同时接收读插件提交过来的数据流，将数据流转换为Clickhouse服务器能够识别的数据抽取结构化查询语言，然后使用超文本传输协议方式提交到Clickhouse服务器上进行数据抽取的执行；

在实现过程中借助了Clickhouse提供的两个表引擎：所述两个表引擎为Mysql引擎和Jdbc引擎；

基于表引擎实现创建表和数据抽取的一次性提交到Clickhouse服务器上；数据的实际抽取过程都在Clickhouse服务器上执行；Clickhouse内部针对数据抽取做优化，基于这种实现降低传统同步的中间环节。

6.根据权利要求4所述针对Clickhouse的全量和增量同步方法，其特征在于，还包括：

在同步过程中，通过flink的监控界面实时浏览同步任务的进度以及所占服务器的资源情况。

7.一种针对Clickhouse的全量和增量同步设备，其特征在于，包括：

处理器，以及与所述处理器相连接的存储器；

所述存储器用于存储计算机程序，所述计算机程序至少用于执行权利要求1-6任一项所述的针对Clickhouse的全量和增量同步方法；

所述处理器用于调用并执行所述存储器中的所述计算机程序。

8.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现如权利要求1-6任一项所述的针对Clickhouse的全量和增量同步方法中各个步骤。