[发明专利]一种基于数据的实时同步方法及系统

权利要求书

1.一种基于数据的实时同步系统，其特征是包括控制模块、变更捕获模块、消息队列模块、数据同步模块及Schema管理模块，

控制模块定义并启动同步任务，

变更捕获模块捕获源数据库变更的数据并根据同步消息Schema模板编码所述的数据为同步消息，将同步消息发送到消息队列模块，

数据同步模块拉取消息队列模块中未消费的同步消息，根据Schema管理模块中的源表Schema信息解析校验同步消息，再组装成目标数据库命令，发送目标数据库执行。

2.根据权利要求1所述的系统，其特征是变更捕获模块根据源数据库的源表字段信息和同步消息Schema模板生成源表Schema信息，将源表Schema信息交由Schema管理模块完成初始化注册，

变更捕获模块捕获源表字段信息发生变更时，交由Schema管理模块变更相应源表Schema信息。

3.根据权利要求1或2所述的系统，其特征是同步消息Schema模板包括用于发送同步时间戳信息的时间戳同步消息Schema模板和用于发送变更数据的数据行的数据同步消息Schema模板。

4.根据权利要求1或3所述的系统，其特征是数据同步模块包括消费模块拉取消息队列模块中未消费的同步消息，根据Schema管理模块中的源表Schema信息解析校验同步消息。

5.根据权利要求4所述的系统，其特征是消费模块解析同步消息，还原变更数据的数据行和更新时间戳信息，若解析同步消息失败，更新源表Schema信息。

6.根据权利要求5所述的系统，其特征是消费模块校验更新时间戳信息的合法性，过滤过期重复数据。

7.根据权利要求1或6所述的系统，其特征是控制模块定义过滤信息，数据同步模块包括过滤模块，过滤模块读取过滤信息，校验合法性，执行数据过滤流程。

8.根据权利要求7所述的系统，其特征是数据同步模块包括组装模块，组装模块根据源表Schema信息和过滤信息生成目标数据库DML命令模板，将变更数据的数据行与目标数据库DML命令模板绑定，组装成最终DML命令。

9.根据权利要求1-8任一所述的系统，其特征是同步任务部署到集群。

10.一种基于数据的实时同步方法，其特征是定义并启动同步任务，

捕获源数据库变更的数据并根据同步消息Schema模板编码所述的数据为同步消息，将同步消息发送到消息队列，

拉取消息队列中未消费的同步消息，根据源表Schema信息解析校验同步消息，再组装成目标数据库命令，发送目标数据库执行。