[发明专利]数据同步方法、装置、系统及计算机可读存储介质

说明书

本发明提供了一种数据同步方法、装置、系统及计算机可读存储介质，涉及大数据和互联网技术领域，在进行数据同步时，先根据与源存储组件对应的接入配置信息，将源存储组件中每个服务实例对应的源数据实时写入分布式日志系统Kafka的对应主题中；当监听到存在待处理的同步任务时，获取同步任务的配置数据，该配置数据包括源存储组件、Kafka的目标主题和目的存储组件的地址信息；进而根据该配置数据，执行同步任务。本发明支持多服务实例接入，可以满足多种存储组件间的数据同步需求，实现了数据同步的实时性，从而能够保证业务进度，且与传统数据同步方案相比，单次导入的数据量大大减少，因此提高了目的存储组件的性能。

技术领域

本发明涉及大数据和互联网技术领域，尤其是涉及一种数据同步方法、装置、系统及计算机可读存储介质。

背景技术

随着业务的不断发展与壮大，各业务场景的数据量成倍数级增长，传统的MySQL(关系型数据库管理系统)已不能支撑对大量数据，按各种复杂的业务场景进行分析的要求，即使采用了分库分表方案，也很难按月、按季度、按年生成决策报表，实时查看。因此，目前根据更快速、更高效的业务决策需求，需要将MySQL中的数据同步到其他相应的目的存储组件中。

传统数据同步方案是按照业务需求迭代，手动开发任务进行数据同步，是将MySQL中的数据表对应的Schema维护到excel中，通过编写好的程序完成数据的一次性定时写入。

然而传统数据同步方案具有如下缺点：只能进行T(today)+1的数据导入，保证不了数据同步的实时性，对于业务进度整体滞后；由于单次导入数据量过大，严重影响了目的存储组件的性能。

发明内容

本发明的目的在于提供一种数据同步方法、装置、系统及计算机可读存储介质，以实现数据同步的实时性，提高目的存储组件的性能。

本发明实施例提供了一种数据同步方法，包括：

根据与源存储组件对应的接入配置信息，将所述源存储组件中每个服务实例对应的源数据实时写入分布式日志系统Kafka的对应主题中；

当监听到存在待处理的同步任务时，获取所述同步任务的配置数据，所述配置数据包括所述源存储组件、所述Kafka的目标主题和目的存储组件的地址信息；

根据所述配置数据，执行所述同步任务。

进一步地，所述源存储组件包括关系型数据库管理系统MySQL，所述接入配置信息包括库表的白名单配置信息和主题映射关系配置信息；所述根据与源存储组件对应的接入配置信息，将所述源存储组件中每个服务实例对应的源数据实时写入分布式日志系统Kafka的对应主题中，包括：

通过开源中间件Canal将所述MySQL的每个服务实例伪装成一个从库节点，实时获取每个所述服务实例对应的二进制日志binlog数据；

对每个所述服务实例对应的binlog数据进行数据格式转换，得到每个所述服务实例对应的预定数据格式的源数据；

根据所述库表的白名单配置信息和所述主题映射关系配置信息，将每个所述服务实例对应的源数据写入所述Kafka的对应主题中。

进一步地，所述当监听到存在待处理的同步任务时，获取所述同步任务的配置数据，包括：

当监听到ZooKeeper创建节点时，确定存在待处理的同步任务；所述ZooKeeper用于在存入新的同步任务的配置数据时进行节点创建；

从所述ZooKeeper中获取所述同步任务的配置数据。

进一步地，所述根据所述配置数据，执行所述同步任务，包括：