[发明专利]一种支持分布式部署的跨多种数据源类型的数据同步模式在审
申请号: | 202011253401.X | 申请日: | 2020-11-11 |
公开(公告)号: | CN112506938A | 公开(公告)日: | 2021-03-16 |
发明(设计)人: | 公彦;王春;陈鸣 | 申请(专利权)人: | 凌韬(济南)信息科技有限责任公司 |
主分类号: | G06F16/23 | 分类号: | G06F16/23;G06F16/2455;G06F16/25;G06F16/27 |
代理公司: | 北京金宏来专利代理事务所(特殊普通合伙) 11641 | 代理人: | 万文会 |
地址: | 250101 山东省济*** | 国省代码: | 山东;37 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 支持 分布式 部署 多种 数据源 类型 数据 同步 模式 | ||
1.一种支持分布式部署的跨多种数据源类型的数据同步模式,其特征在于,包括同步请求触发模式和同步请求处理模式,所述同步请求触发模式包括实时触发模式、定时触发模式和手工触发模式,用于将接收到的数据源处理为统一的数据结构发送至消息中间件;
所述同步请求处理模式包括以下步骤:
任务执行器从消息中间件获取需同步请求的数据结构,形成请求参数;
根据校验规则校验请求参数是否合法,如果请求参数不合法,则记录失败日志,同步请求结束;如果请求参数合法,根据请求参数获取该同步请求对应的映射流程定义文件,根据请求参数查询该同步请求对应的执行任务的通用变量;
启动具体数据映射处理流程的执行线程。
2.根据权利要求1所述的一种支持分布式部署的跨多种数据源类型的数据同步模式,其特征在于,所述执行线程包括:判断同步请求是否需要延迟执行,若同步请求为非延迟执行或存在非延迟执行标识,则进行立即执行流程;若同步请求为延迟执行,则进行延迟执行流程。
3.根据权利要求2所述的一种支持分布式部署的跨多种数据源类型的数据同步模式,其特征在于,所述延迟执行流程包括以下步骤:
获取同步请求对应的缓冲区间等待队列的排他锁;
将该同步请求对应的请求参数保存于对应的所述缓冲区间等待队列的集合;
释放缓冲区间级别的排他锁,形成插入所述缓冲区等待队列的成功日志并记录;
获取所述缓冲区间等待队列中所有待执行任务,发送消息至所述消息中间件,对该缓冲区间等待队列中的所有待执行任务进行非延迟执行标识。
4.根据权利要求2所述的一种支持分布式部署的跨多种数据源类型的数据同步模式,其特征在于,所述立即执行流程包括以下步骤:
获取数据主体和映射流程级别上的排他锁;
获取成功,则获取该同步请求对应的执行任务的任务文件最后一次成功执行的时间戳;获取该同步请求对应的映射流程定义文件,解压所述映射流程定义文件获取映射流程定义,执行所述映射流程定义,以获取所述映射流程级别上等待队列的排他锁;处理所述映射流程级别上等待队列中的未处理的执行任务的任务数据;释放所述映射流程级别上等待队列的排他锁,形成数据交换任务执行完成日志并记录,然后释放所述映射流程级别上的排他锁;
获取失败,则获取映射流程级别上等待队列的排他锁,将未处理的执行任务的任务数据插入至级别上等待队列中,释放所述映射流程级别上等待队列的排他锁,形成插入等待队列成功日志并记录。
5.根据权利要求1所述的一种支持分布式部署的跨多种数据源类型的数据同步模式,其特征在于,所述数据结构包括数据本体编号、业务系统名称、交换任务编号、交换任务变量。
6.根据权利要求5所述的一种支持分布式部署的跨多种数据源类型的数据同步模式,其特征在于,所述请求参数包括数据本体编号、业务系统名称和交换任务编号。
7.根据权利要求6所述的一种支持分布式部署的跨多种数据源类型的数据同步模式,其特征在于,所述校验规则包括:
检测数据本体编号是否存在;
业务系统名称是否为空;
交换任务编号是否存在。
8.根据权利要求1所述的一种支持分布式部署的跨多种数据源类型的数据同步模式,其特征在于,所述映射流程定义文件为xml格式文件,存储于分布式文件系统中。
9.根据权利要求1所述的一种支持分布式部署的跨多种数据源类型的数据同步模式,其特征在于,所述定时触发模式和手工触发模式均基于分布式任务调度系统将任务执行器嵌入数据处理服务中,通过任务执行器对数据源进行处理。
10.根据权利要求1所述的一种支持分布式部署的跨多种数据源类型的数据同步模式,其特征在于,所述实时触发模式基于AOP技术对业务系统中的数据变化进行实时监控,当检测到有数据发生变化时,对业务系统中的数据进行处理。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于凌韬(济南)信息科技有限责任公司,未经凌韬(济南)信息科技有限责任公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011253401.X/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种硬质伸缩围栏搬运装置
- 下一篇:一种铝合金表面低温钎焊改性涂层及制备方法