[发明专利]一种流数据同步的方法、装置、计算机设备及存储介质

权利要求书

1.一种流数据同步的方法，其特征在于，包括：

接收数据同步指令，获取与所述数据同步指令对应的业务数据，并将所述业务数据发送至所述数据仓库；

通过logstash工具从所述第一业务系统中采集与所述业务数据对应的执行日志；

将所述执行日志写入到kafka消息队列中，并通过所述kafka消息队列消费所述执行日志，得到日志消费结果；

将所述数据仓库中的业务数据和所述日志消费结果发送至所述流计算引擎，并通过所述流计算引擎对所述业务数据和所述日志消费结果进行数据整合计算，得到整合数据；

执行预设的SQL更新语句，以将整合数据同步至所述第二业务库。

2.如权利要求1所述的流数据同步的方法，其特征在于，在所述接收数据同步指令，获取与所述数据同步指令对应的业务数据，并将所述业务数据发送至所述数据仓库之后，还包括：

从所述数据同步指令中获取与所述业务数据对应的数据加工标识；

在预设的脚本库中查找与所述数据加工标识对应的数据加工脚本；

基于所述数据加工脚本对所述业务数据进行处理。

3.如权利要求1所述的流数据同步的方法，其特征在于，所述通过logstash工具从所述第一业务系统中采集与所述业务数据对应的执行日志的步骤，具体包括：

对所述第一业务系统的数据库进行监测，当监测到所述数据库的事务发生改变时，通过所述logstash工具获取发生改变的所述事务的执行日志；

在所述数据库中建立临时存储区，并将所述执行日志写入所述临时存储区中。

4.如权利要求3所述的流数据同步的方法，其特征在于，所述对所述第一业务系统的数据库进行监测，当监测到所述数据库的数据库事务发生改变时，通过所述logstash工具获取发生改变的所述事务的执行日志的步骤，具体包括：

确定所述业务数据对应的日志数据，并获取所述日志数据的主关键字；

基于所述日志数据的主关键字对第一业务系统数据库中的事务进行监测；

当监测到所述第一业务系统的数据库中与所述业务数据具有相同主关键字的事务发生改变时，生成发生改变的所述事务的最新时间戳；

获取所述最新时间戳的日志数据，得到执行日志。

5.如权利要求3所述的流数据同步的方法，其特征在于，所述将所述执行日志写入到kafka消息队列中，并通过所述kafka消息队列消费所述执行日志，得到日志消费结果的步骤，具体包括：

解析所述执行日志，并基于所述执行日志的内容生成类别创建指令；

基于所述类别创建指令在所述kafka消息队列中创建对应的主题类别；

将所述执行日志从所述临时存储区发送至所述主题类别中进行存储；

执行预设的日志消费指令以消费所述主题类别中的所述执行日志，得到日志消费结果。

6.如权利要求1至5任意一项所述的流数据同步的方法，其特征在于，所述将所述数据仓库中的业务数据和所述日志消费结果发送至所述流计算引擎，并通过所述流计算引擎对所述业务数据和所述日志消费结果进行数据整合计算，得到整合数据的步骤，具体包括：

按照预设的第一调度频率采集所述数据仓库中的业务数据，生成第一Spark流对象；

按照预设的第二调度频率采集所述日志消费结果，生成第二Spark流对象；

分别对所述第一Spark流对象和所述第二Spark流对象进行对象转化，将所述第一Spark流对象和所述第二Spark流对象转化为RDD对象；

通过所述流计算引擎合并转化为RDD对象后的所述第一Spark流对象和所述第二Spark流对象，得到整合数据。

7.如权利要求6所述的流数据同步的方法，其特征在于，所述执行预设的SQL更新语句，以将整合数据同步至所述第二业务库的步骤，具体包括：

调用RDDforeach工具对所述整合数据进行数据划分，得到若干个RDD分区；

在每一个所述RDD分区与所述第二业务库之间创建一个连接对象；

通过所述连接对象将每一个所述RDD分区内的数据同步至所述第二业务库内。