[发明专利]一种流数据同步的方法、装置、计算机设备及存储介质

说明书

本申请公开了一种流数据同步的方法、装置、计算机设备及存储介质，属于大数据技术领域。本申请通过获取业务数据，并将业务数据发送至数据仓库，其中，业务数据为流数据，通过l ogstash工具从第一业务系统中采集与业务数据对应的执行日志，通过kafka消息队列消费执行日志，得到日志消费结果，通过流计算引擎对业务数据和日志消费结果进行数据整合计算，得到整合数据，执行SQL更新语句，以将整合数据同步至第二业务库。此外，本申请还涉及区块链技术，业务数据可存储于区块链中。本申请通过流计算引擎对第一业务系统的业务数据和日志消费结果进行数据整合计算，得到整合数据，通过将整合数据同步至第二业务库，实现流数据的实时同步，提高流数据同步实时性。

技术领域

本申请属于大数据技术领域，具体涉及一种流数据同步的方法、装置、计算机设备及存储介质。

背景技术

随着微服务的兴起，越来越多的系统使用微服务技术，微服务系统一般包括多个服务和多个数据库，因此在实际应用中，存在两个或者两个以上系统的数据进行关联和同步的情况，针对此场景，现在业内有两个常用方案：

一、使用同步或者异步的方式将初始业务系统的数据同步到目标业务系统，在目标业务系统中进行表关联，实现条件过滤。例如，一种人员选拔系统需要在核心人事系统、招聘系统、绩效系统、培训系统、假勤系统中通过同步或者异步的方式发送数据，在选拔系统中实现数据接收。在上述同步方式中，系统间数据同步存在数据丢失风险，系统间数据大量冗余，给目标系统带来数据存储压力，系统间高度耦合，相互影响，随着微服务越来越多，系统复杂度越来越高。

二、使用数据仓库进行离线计算，例如，在一种人员选拔系统中，需要事先将核心人事系统、招聘系统、绩效系统、培训系统、假勤系统中的数据采集到数据仓库，然后进行加工，加工过程在数据仓库中进行，不会给业务库带来压力，然后将加工后的数据写入选拔系统。但数据仓库的数据采集和数据写入一般是一天一次，在凌晨进行，数据传输的时效为T+1，数据时效性低。

发明内容

本申请实施例的目的在于提出一种流数据同步的方法、装置、计算机设备及存储介质，以解决现有微服务系统的数据同步方案存在的时效性较低，无法实现实时同步的技术问题。

为了解决上述技术问题，本申请实施例提供一种流数据同步的方法，采用了如下所述的技术方案：

一种流数据同步的方法，包括：

接收数据同步指令，获取与所述数据同步指令对应的业务数据，并将所述业务数据发送至所述数据仓库；

通过logstash工具从所述第一业务系统中采集与所述业务数据对应的执行日志；

将所述执行日志写入到kafka消息队列中，并通过所述kafka消息队列消费所述执行日志，得到日志消费结果；

将所述数据仓库中的业务数据和所述日志消费结果发送至所述流计算引擎，并通过所述流计算引擎对所述业务数据和所述日志消费结果进行数据整合计算，得到整合数据；

执行预设的SQL更新语句，以将整合数据同步至所述第二业务库。

进一步地，在所述接收数据同步指令，获取与所述数据同步指令对应的业务数据，并将所述业务数据发送至所述数据仓库之后，还包括：

从所述数据同步指令中获取与所述业务数据对应的数据加工标识；

在预设的脚本库中查找与所述数据加工标识对应的数据加工脚本；

基于所述数据加工脚本对所述业务数据进行处理。

进一步地，所述通过logstash工具从所述第一业务系统中采集与所述业务数据对应的执行日志的步骤，具体包括：