[发明专利]一种支持分布式部署的跨多种数据源类型的数据同步模式

说明书

本发明涉及一种支持分布式部署的跨多种数据源类型的数据同步模式，包括同步请求触发模式和同步请求处理模式，同步请求触发模式包括实时触发模式、定时触发模式和手工触发模式；同步请求处理模式包括以下步骤：从消息中间件获取需同步请求的数据结构，形成请求参数；根据校验规则校验请求参数是否合法，如果请求参数不合法，则记录失败日志，同步请求结束；如果请求参数合法，根据请求参数获取该同步请求对应的映射流程定义文件，根据请求参数查询该同步请求对应的执行任务的通用变量；启动具体数据映射处理流程的执行线程。本申请具有在不影响各个系统的业务的情况下，实现了不同系统间的数据同步，降低了各个业务系统之间的耦合性的效果。

技术领域

本发明属于计算机应用技术领域，尤其涉及一种支持分布式部署的跨多种数据源类型的数据同步模式。

背景技术

随着数据量的爆炸式增长，数据存储的压力越来越明显，因信息数据丢失所造成的损失也越来越大，关注也越来越多。相应的，不同地域的数据中心一般需要专用网络或互联网进行数据的传输，在当前的网络背景下，往往是多个业务共享一条网络，网络链路的负载情况是不可预期的。加之上层业务系统一般都是7×24小时运行的，数据的产生是实时的，并且数量和单个文件的大小通常都比较大。

企业的业务数据统一管理后如何灵活高效的分发使用、微服务架构下多服务模块数据库间为实现数据共享的广播同步、多种类型数据源中数据汇总分析、业务模块间基于流程的数据处理扭转如何在模块间解耦等，在信息化建设过程中遇到的问题，是目前需要解决的一大难题。

发明内容

本发明具有在不影响各个系统的业务的情况下，实现了不同系统间的数据同步，降低了各个业务系统之间的耦合性的优点。

一种支持分布式部署的跨多种数据源类型的数据同步模式，包括同步请求触发模式和同步请求处理模式，所述同步请求触发模式包括实时触发模式、定时触发模式和手工触发模式，用于将接收到的数据源处理为统一的数据结构发送至消息中间件；

所述同步请求处理模式包括以下步骤：

任务执行器从消息中间件获取需同步请求的数据结构，形成请求参数；

根据校验规则校验请求参数是否合法，如果请求参数不合法，则记录失败日志，同步请求结束；如果请求参数合法，根据请求参数获取该同步请求对应的映射流程定义文件，根据请求参数查询该同步请求对应的执行任务的通用变量；启动具体数据映射处理流程的执行线程。

作为发明的进一步说明：所述执行线程包括：判断同步请求是否需要延迟执行，若同步请求为非延迟执行或存在非延迟执行标识，则进行立即执行流程；若同步请求为延迟执行，则进行延迟执行流程。

作为发明的进一步说明：所述延迟执行流程包括以下步骤：

获取同步请求对应的缓冲区间等待队列的排他锁；

将该同步请求对应的请求参数保存于对应的所述缓冲区间等待队列的集合；

释放缓冲区间级别的排他锁，形成插入所述缓冲区等待队列的成功日志并记录；

获取所述缓冲区间等待队列中所有待执行任务，发送消息至所述消息中间件，对该缓冲区间等待队列中的所有待执行任务进行非延迟执行标识。

作为发明的进一步说明：所述立即执行流程包括以下步骤：

获取数据主体和映射流程级别上的排他锁；

获取成功，则获取该同步请求对应的执行任务的任务文件最后一次成功执行的时间戳；获取该同步请求对应的映射流程定义文件，解压所述映射流程定义文件获取映射流程定义，执行所述映射流程定义，以获取所述映射流程级别上等待队列的排他锁；处理所述映射流程级别上等待队列中的未处理的执行任务的任务数据；释放所述映射流程级别上等待队列的排他锁，形成数据交换任务执行完成日志并记录，然后释放所述映射流程级别上的排他锁；