[发明专利]一种普适多源异构大规模数据同步系统

摘要

本发明提供一种普适多源异构大规模数据系统，包括同步网络规划管理单元、安装配置单元、分块流水线处理单元、单向同步单元、双向同步单元和同步正确性保障单元。该系统工作在节点数据库层之上和应用逻辑层之下的中间层面。在数据同步过程，客户端根据同步任务计划，将捕获的当地变更信息传输到服务端；服务端接收变更信息并交由异步并行消息处理机制存储在对应的消息队列中；服务端轮询当地消息队列读取待处理的变更信息，然后根据异构数据映射规则实施后继数据变更，以维护源数据副本与目标数据副本同步数据的一致。本发明的系统以并行于同步节点当地应用的方式独立运行，并通过松耦合协同提供互联网分布式多源异构数据同步的松弛事务保障机制。

主权项

一种普适多源异构大规模数据同步系统，其特征在于，包括：同步网络规划管理单元，用于构建树状结构的同步拓扑结构，所述同步拓扑结构包括多个由一对相邻节点构成的同步对，所述同步对包括客户端和服务端；安装配置单元，用于在服务端执行安装脚本以创建异构数据映射表、同步日志表、消息队列、消息队列监控线程和数据更新线程池，以及用于在客户端执行安装脚本以创建变更日志表、变更事件监控线程和同步线程池；分块流水线处理单元，用于将客户端发送的参与同步的源数据端的变更数据划分为若干变更块，并根据网络状况和服务端的处理能力分批次依序向服务端传输，每发送完一批变更块即锁定发送过程直至接服务端返回接收确认消息后再恢复后继批次的变更块的反送，循环反复直至完成全部变更志的发送；以及用于服务端将接收到的变更块存入对应的消息队列；单向同步单元，用于当客户端的变更事件监控线程监控到变更日志表不为空，则调度客户端的若干同步线程启动数据同步作业；以及用于当服务端的消息队列监控线程监控到消息队列不为空，则调度服务端的若干数据更新线程进行数据更新作业；双向同步单元，用于顺序执行的两个方向相反的单向同步以完成双向同步；同步正确性保障单元，用于在客户端将源数据端的数据变更事件依发生的先后时序不重复记载在变更日志表中，以及用于在服务端依次接收源数据端的数据变更，分别按原顺序落实各个数据变更并记载在同步日志表中。