[发明专利]一种结构化数据的同步方法及系统

说明书

本申请公开了一种结构化数据的同步方法，包括当源系统的数据发生变化时，基于变化数据包括的数据批次外键查询变化数据的批次信息，查询到批次信息时，基于批次信息及其对应的变化数据生成同步数据视图，基于同步数据视图将变化数据卸载至公共目录并更新批次信息，从公共目录中加载变化数据至目标系统的临时数据表，从临时数据表中查询变化数据的数据批次外键，基于数据批次外键处理目标系统中的待处理数据，将变化数据加载至目标系统的正式数据表中并反馈数据批次外键至源系统，基于反馈的数据批次外键更新源系统中的批次信息。与现有技术相比本申请可以满足两个系统间大数据量的数据同步需求，并且可以在同步过程中及时反馈同步信息。

技术领域

本申请涉及数据存储技术领域，尤其涉及一种结构化数据的同步方法及系统。

背景技术

随着金融系统对IT技术应用的不断深入，系统间数据往来的关系越来越复杂。有些系统间需要传输较大规模的数据,同时还有较高的时效性要求。比如，在利率市场化的大背景下，银行针对存贷款业务开始使用精细化的定价策略，针对不同地域、产品、客户等信息，由专业的定价系统批量生成对应的利率信息。这些利率值需要发送给办理存贷款业务的系统，作为与客户谈判的上限或下限利率值。以一个全国性银行的存款为例，针对不同机构(通常细化到支行)、期限、存款金额、客户类型等条件组合生成的存款利率上限信息可以达到百万条的规模。这些利率授权信息的发送需要非常准确和及时，因为如果利率信息更新不及时，针对业务规模大的客户，利率每偏差一个基点，会给银行的收益带来上万甚至上十万的变化；或者因为利率优惠不到位，而流失掉一些重要的客户。

从一个系统往另一个系统同步结构化数据时，目前通常有web服务接口调用、消息队列和后台作业链处理三种解决思路。web服务接口调用只适合小规模的数据更新,当数据容量较大或并发访问量剧增时,都容易造成接口调用超时而失败。消息队列通过系统间的解耦和异步处理，提高了系统间的并发处理能力，但如果传递的数据容量过大，需要消耗大量内存，并且增加了服务器在发生故障时持久化消息的时间和难度，适合并发访问量峰值大但单次数据容量不大的数据同步，而不太适合单次大容量的数据同步。后台作业链处理可以解决大容量数据的同步问题，但当目标系统的网络传输或者作业链程序出现故障时，源系统无法及时获得相关信息，通常适合实效性要求不高的数据传递

因此，如何在两个系统间需要同步的数据量较大时满足数据的同步需求且及时获得反馈成为了本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本申请提供了一种结构化数据的同步方法，与现有技术相比本申请可以满足两个系统间大数据量的数据同步需求，并且可以在同步过程中及时反馈同步信息。

本申请提供了一种结构化数据的同步方法，包括：

当源系统的数据发生变化时，基于所述变化数据包括的数据批次外键查询变化数据的批次信息；

查询到所述批次信息时，基于所述批次信息及其对应的变化数据生成同步数据视图；

基于所述同步数据视图将所述变化数据卸载至公共目录并更新所述批次信息；

从所述公共目录中加载所述变化数据至所述目标系统的临时数据表；

从所述临时数据表中查询所述变化数据的数据批次外键，基于所述数据批次外键处理所述目标系统中的待处理数据；

将所述变化数据加载至所述目标系统的正式数据表中并反馈所述数据批次外键至源系统；

基于反馈的数据批次外键更新所述源系统中的批次信息。

优选地，所述批次信息包括所述变化数据的批次ID及收发状态，还包括所述变化数据的发送批次、发送结束时间及接收反馈时间中的任意一项或多项。

优选地，还包括：

当查询不到所述变化数据的批次信息时，生成所述变化数据的批次信息；