[发明专利]基于Kafka的增量数据同步方法、装置、设备及介质

说明书

本申请涉及数据处理技术领域，揭露一种基于Kafka的增量数据同步方法、装置、设备及介质，其中方法包括当监测到数据库事务发生改变时，获取数据库事务生成的二进制日志数据，并将二进制日志数据写入Kafka对应类别中，然后将存储在Kafka对应类别中的二进制日志数据批量写入到数据仓库工具中，并对二进制日志数据执行数据去重还原处理，获取目标日志数据；当到达预设时间时，获取目标日志数据对应的用户操作后的数据库值，作为增量数据，并将增量数据与数据仓库工具中历史数据进行合并，得到同步增量数据。本申请还涉及区块链技术，二进制日志数据存储于区块链中。本申请通过实时拉取二进制日志数据，提高了增量数据同步的效率。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种基于Kafka的增量数据同步方法、装置、设备及介质。

背景技术

数据同步是大数据处理领域的一项重要环节，它是指将传统数据库的业务数据导入到大数据领域的数据仓库，以便于后续利用大数据集群的计算能力对这些导入的海量数据进行处理和分析。因此数据同步构建了大数据分析处理的源头基础数据，因此对大数据分析处理至关重要。

现有的数据同步方法，采用的是开源大数据同步工具(例如sqoop)进行数据导入，通过配置相应的导入任务，由大数据调度程序负责定时运行该导入任务，集中将数据库里面前段时间的增量业务数据导入到hive数据仓库。但是，随着业务量的越来越大，每天由数据库同步到数据仓库的数据量也越来越大，这种同步方式导致增量数据同步耗时非常久，增量数据同步效率低下。现亟需一种能够提高增量数据同步效率的方法。

发明内容

本申请实施例的目的在于提出一种基于Kafka的增量数据同步方法、装置、设备及介质，以提高增量数据同步的效率。

为了解决上述技术问题，本申请实施例提供一种基于Kafka的增量数据同步方法，包括：

当监测到数据库事务发生改变时，获取所述数据库事务生成的二进制日志数据；

创建Kafka对应类别，将所述二进制日志数据写入所述Kafka对应类别中；

按照预设的时间间隔，将存储在所述Kafka对应类别中的二进制日志数据批量写入到数据仓库工具中；

在所述数据仓库工具中，对所述二进制日志数据执行数据去重还原处理，获取最新时间戳的二进制日志数据，作为目标日志数据；

当到达预设时间时，获取所述目标日志数据对应的用户操作后的数据库值，作为增量数据，并将所述增量数据与数据仓库工具中历史数据进行合并，得到同步增量数据。

为了解决上述技术问题，本申请实施例提供一种基于Kafka的增量数据同步装置，包括：

日志数据获取模块，用于当监测到数据库事务发生改变时，获取所述数据库事务生成的二进制日志数据；

日志数据写入模块，用于创建Kafka对应类别，将所述二进制日志数据写入所述Kafka对应类别中；

日志数据存储模块，用于按照预设的时间间隔，将存储在所述Kafka对应类别中的二进制日志数据批量写入到数据仓库工具中；

目标日志数据模块，用于在所述数据仓库工具中，对所述二进制日志数据执行数据去重还原处理，获取最新时间戳的二进制日志数据，作为目标日志数据；

同步增量数据模块，用于当到达预设时间时，获取所述目标日志数据对应的用户操作后的数据库值，作为增量数据，并将所述增量数据与数据仓库工具中历史数据进行合并，得到同步增量数据。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种计算机设备，包括，一个或多个处理器；存储器，用于存储一个或多个程序，使得一个或多个处理器实现上述任意一项所述的基于Kafka的增量数据同步方法。