[发明专利]基于Kafka的增量数据同步方法、装置、设备及介质

权利要求书

1.一种基于Kafka的增量数据同步方法，其特征在于，包括：

当监测到数据库事务发生改变时，获取所述数据库事务生成的二进制日志数据；

创建Kafka对应类别，将所述二进制日志数据写入所述Kafka对应类别中；

按照预设的时间间隔，将存储在所述Kafka对应类别中的二进制日志数据批量写入到数据仓库工具中；

在所述数据仓库工具中，对所述二进制日志数据执行数据去重还原处理，以获取最新时间戳的二进制日志数据，作为目标日志数据；

当到达预设时间时，获取所述目标日志数据对应的用户操作后的数据库值，作为增量数据，并将所述增量数据与数据仓库工具中历史数据进行合并，得到同步增量数据。

2.根据权利要求1所述的基于Kafka的增量数据同步方法，其特征在于，所述当监测到数据库事务发生改变时，获取所述数据库事务生成的二进制日志数据，包括：

基于数据同步工具，对数据库进行监测；

当监测到所述数据库的数据库事务发生改变时，获取所述数据库事务生成的二进制日志数据；

在所述数据库中建立临时存储区，并将所述二进制日志数据写入所述临时存储区中。

3.根据权利要求2所述的基于Kafka的增量数据同步方法，其特征在于，所述在所述数据库中建立临时存储区，并将所述二进制日志数据写入所述临时存储区中，包括：

读取数据库配置参数，其中，所述数据库配置参数包括：文件命名方式、文件切割方式、文件循环写入方式以及二进制日志数据的格式中的至少一种；

在所述数据库中建立临时存储区，并根据所述数据库配置参数，将所述二进制日志数据写入所述临时存储区。

4.根据权利要求3所述的基于Kafka的增量数据同步方法，其特征在于，所述创建Kafka对应类别，将所述二进制日志数据写入所述Kafka对应类别中，包括：

基于Kafka创建指令，创建所述Kafka对应类别；

通过所述数据同步工具，将所述二进制日志数据从所述临时存储区，发送到所述Kafka对应类别中进行存储。

5.根据权利要求1所述的基于Kafka的增量数据同步方法，其特征在于，所述在所述数据仓库工具中，对所述二进制日志数据执行数据去重还原处理，以获取最新时间戳的二进制日志数据，作为目标日志数据，包括：

在所述数据仓库中，获取所述二进制日志数据的主关键字；

针对同一主关键字的二进制日志数据，获取最新时间戳的二进制日志数据，作为目标日志数据；

删除同一主关键字中除去所述目标日志数据外的所有二进制日志数据。

6.根据权利要求1至5任一项所述的基于Kafka的增量数据同步方法，其特征在于，所述当到达预设时间时，获取所述目标日志数据对应的用户操作后的数据库值，作为增量数据，并将所述增量数据与数据仓库工具中历史数据进行合并，得到同步增量数据，包括：

当到达预设时间时，获取所述目标日志数据对应的用户操作后的数据库值，作为所述增量数据；

识别所述增量数据与所述数据仓库工具中历史数据的相同数据，作为重复数据；

删除所述增量数据中的所述重复数据，得到目标增量数据，并将所述目标增量数据和所述历史数据作为所述同步增量数据。

7.一种基于Kafka的增量数据同步装置，其特征在于，包括：

日志数据获取模块，用于当监测到数据库事务发生改变时，获取所述数据库事务生成的二进制日志数据；

日志数据写入模块，用于创建Kafka对应类别，将所述二进制日志数据写入所述Kafka对应类别中；

日志数据存储模块，用于按照预设的时间间隔，将存储在所述Kafka对应类别中的二进制日志数据批量写入到数据仓库工具中；

目标日志数据模块，用于在所述数据仓库工具中，对所述二进制日志数据执行数据去重还原处理，获取最新时间戳的二进制日志数据，作为目标日志数据；

同步增量数据模块，用于当到达预设时间时，获取所述目标日志数据对应的用户操作后的数据库值，作为增量数据，并将所述增量数据与数据仓库工具中历史数据进行合并，得到同步增量数据。