[发明专利]一种基于mysql数据同步到异构数据源的系统及方法

权利要求书

1.一种基于mysql数据同步到异构数据源的方法，其特征在于，包括步骤如下：

canal通过主从复制的协议从mysql节点上面拉取binlog数据；

对binlog数据进行日志解析，形成解析数据；

对解析数据进行合并处理，形成合并数据；

对合并数据进行转换，转换成标准格式，报文最外层为tupe节点和schema节点；

消费转换后的数据，对异构数据源进行相应的操作。

2.根据权利要求1所述的基于mysql数据同步到异构数据源的方法，其特征在于，所述的tupe节点是一个数组结构，内部存储每条binlog数据的具体信息，tupe节点包括流水id、操作时间戳、操作符和操作的明细数据，流水id组成规则是通过binlog名字加偏移量。

3.根据权利要求2所述的基于mysql数据同步到异构数据源的方法，其特征在于，schema节点内部包含了fields数组节点、tableName节点和namespace节点。

4.根据权利要求1或3所述的基于mysql数据同步到异构数据源的方法，其特征在于，在消费转换的数据之前，还包括将转换后的数据发送至kafka中间件。

5.根据权利要求4所述的基于mysql数据同步到异构数据源的方法，其特征在于，还包括重写kafka的partition，对库名和表名进行hash分组。

6.一种基于mysql数据同步到异构数据源的系统，其特征在于，包括binlog数据拉取模块，采用canal通过主从复制的协议从mysql节点上面拉取binlog数据；

日志解析模块，用于对binlog数据进行日志解析，形成解析数据；

数据预处理模块，用于对解析数据进行合并处理，形成合并数据；

数据转换模块，用于对合并数据进行转换，转换成标准格式，报文最外层为tupe节点和schema节点；

数据消费模块，用于消费转换后的数据，对异构数据源进行相应的操作。

7.根据权利要求6所述的基于mysql数据同步到异构数据源的系统，其特征在于，还包括kafka中间件，用于接收转换后的数据后，通过kafka中间件对转换后的数据进行消费，同步到异构数据源。

8.根据权利要求7所述的基于mysql数据同步到异构数据源的系统，其特征在于，所述的tupe节点是一个数组结构，内部存储每条binlog数据的具体信息，tupe节点包括流水id、操作时间戳、操作符和操作的明细数据，流水id组成规则是通过binlog名字加偏移量，schema节点内部包含了fields数组节点、tableName节点和namespace节点。