[发明专利]一种支持多数据源的数据同步方法、装置及计算机设备

说明书

本发明适用于数据处理技术领域，特别涉及一种支持多数据源的数据同步方法，包括如下步骤：获取程序节点的负载值、作业的压力指数和数据库增量日志；根据所述负载值和所述压力指数，将作业分配至对应的程序节点；根据所述数据库增量日志，将分配好的所述作业放入对应的内存消息队列进行并行解析；将并行解析出的增量数据写入存储消息队列。本发明还提供一种支持多数据源的数据同步装置、计算机设备及计算机可读存储介质。本发明实施例提供的支持多数据源的数据同步方法，可针对不同的业务，支持不同场景的安全配置和性能配置；同时，任务分配均匀，尽可能使每个节点的计算机资源既不浪费也不空闲。

技术领域

本发明属于数据处理领域，尤其涉及一种支持多数据源的数据同步方法、装置、计算机设备及计算机可读存储介质。

背景技术

数据处理是对数据的采集、传输、存储和加工等。针对某些业务场景，有很多的mysql(一种关系型数据库系统)数据需要同步到kafka(一种高吞吐量的分布式发布订阅消息系统)，然后做实时的大数据分析、归类和查询。

现有的解决方案是采用轮询方式去查询数据库，查看数据是否有改变；或者采用Canal(同步mysql增量数据)方案通过模拟mysql从库，订阅数据库的binlog(mysql的二进制日志)方式，实时地从数据库中抓取最新的实时数据。

在多数据源、多进程节点的情况下，现有技术的方法存在任务分配不均匀，不支持局部有序，无法拦截异常流量的问题。

发明内容

本发明实施例提供一种支持多数据源的数据同步方法，以解决现有技术中的方法在多数据源、多进程节点的情况下，存在任务分配不均匀，不支持局部有序，无法拦截异常流量的问题。

本发明实施例是这样实现的，提出一种支持多数据源的数据同步方法，包括如下步骤：

获取程序节点的负载值、作业的压力指数和数据库增量日志；

根据所述负载值和所述压力指数，将作业分配至对应的程序节点；

根据所述数据库增量日志，将分配好的所述作业放入对应的内存消息队列进行并行解析；

将并行解析出的增量数据写入存储消息队列。

本发明实施例还提供了一种支持多数据源的数据同步装置，包括：

数据获取单元，用于获取程序节点的负载值、作业的压力指数和数据库增量日志；

作业分配单元，用于根据所述负载值和所述压力指数，将作业分配至对应的程序节点；

并行解析单元，用于根据所述数据库增量日志，将分配好的所述作业放入对应的内存消息队列进行并行解析；

存储单元，用于将并行解析出的增量数据写入存储消息队列。

本发明实施例还提供了一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序可被所述处理器执行，所述处理器包括上述的装置。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述方法的步骤。

在本发明实施例中，先获取程序节点的负载值、作业的压力指数和数据库增量日志，根据负载值和压力指数，将作业分配至对应的程序节点；再根据数据库增量日志，将分配好的作业放入对应的内存消息队列进行并行解析；最后将并行解析出的增量数据写入存储消息队列，可针对不同的业务，支持不同场景的安全配置和性能配置；同时，任务分配均匀，尽可能使每个节点的计算机资源既不浪费也不空闲。

附图说明