[发明专利]一种支持多数据源的数据同步方法、装置及计算机设备

权利要求书

1.一种支持多数据源的数据同步方法，其特征在于，包括如下步骤：

获取程序节点的负载值、作业的压力指数和数据库增量日志；

根据所述负载值和所述压力指数，将作业分配至对应的程序节点；

根据所述数据库增量日志，将分配好的所述作业放入对应的内存消息队列进行并行解析；

将并行解析出的增量数据写入存储消息队列。

2.根据权利要求1所述的支持多数据源的数据同步方法，其特征在于，所述根据所述负载值和所述压力指数，将作业分配至对应的程序节点的步骤具体包括：

根据所述负载值确定出空闲程序节点；

根据所述压力指数将所述作业分配至对应的所述空闲程序节点。

3.根据权利要求1所述的支持多数据源的数据同步方法，其特征在于，所述根据所述数据库增量日志，将分配好的所述作业放入对应的内存消息队列进行并行解析的步骤具体包括：

加载配置数据；

根据所述数据库增量日志和配置数据，解析出哈希值；

根据所述哈希值，将分配好的所述作业放入对应的内存消息队列进行并行解析。

4.根据权利要求1所述的支持多数据源的数据同步方法，其特征在于，所述方法还包括：

根据并行解析结果判断是否有异常流量；

若有，则拦截所述异常流量；

将所述异常流量慢速写入存储消息队列。

5.一种支持多数据源的数据同步装置，其特征在于，包括：

数据获取单元，用于获取程序节点的负载值、作业的压力指数和数据库增量日志；

作业分配单元，用于根据所述负载值和所述压力指数，将作业分配至对应的程序节点；

并行解析单元，用于根据所述数据库增量日志，将分配好的所述作业放入对应的内存消息队列进行并行解析；

存储单元，用于将并行解析出的增量数据写入存储消息队列。

6.根据权利要求5所述的支持多数据源的数据同步装置，其特征在于，所述作业分配单元具体包括：

空闲节点确定模块，用于根据所述负载值确定出空闲程序节点；

作业分配模块，用于根据所述压力指数将所述作业分配至对应的所述空闲程序节点。

7.根据权利要求5所述的支持多数据源的数据同步装置，其特征在于，所述并行解析单元具体包括：

配置数据加载模块，用于加载配置数据；

解析模块，用于根据所述数据库增量日志和配置数据，解析出哈希值；

并行解析模块，用于根据所述哈希值，将分配好的所述作业放入对应的内存消息队列进行并行解析。

8.根据权利要求5所述的支持多数据源的数据同步装置，其特征在于，所述装置还包括：

异常流量判断单元，用于根据并行解析结果判断是否有异常流量；

异常流量拦截单元，用于拦截所述异常流量；

异常流量存储单元，用于将所述异常流量慢速写入存储消息队列。

9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序可被所述处理器执行，所述处理器包括如权利要求5-8任一项所述的装置。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1-4任一项所述的方法的步骤。