[发明专利]数据同步控制装置和数据同步系统及方法

说明书

本公开实施例提供了一种数据同步控制装置和数据同步系统及方法。所述方法包括：配置系统中数据节点之间的数据流向，生成数据流向配置信息；读取所述数据流向配置信息以及第一数据节点和第二数据节点中的数据的来源标记，根据所述数据流向配置信息和所述数据的来源标记生成增量数据控制信息；根据所述增量数据控制信息生成增量数据，向所述第二数据节点发送所述增量数据并更新所述第二数据节点中所述增量数据的来源标记。应用本公开实施例提供的方法可以解决数据反向传导和循环传导造成的数据回流问题，从而减少数据存储所需资源，提升数据传输效率，减少网络带宽资源的占用。

技术领域

本公开实施例涉及数据信息处理技术领域，尤其涉及一种数据同步控制装置和数据同步系统及方法。

背景技术

目前，在企业内部的众多业务系统之间，很多时候需要进行大批量数据交互(非消息接口的方式)。在两个业务系统之间的数据同步，既有单向同步，也有双向同步，这些数据交互的业务系统构成了复杂的网状结构，导致数据同步时存在数据回流的问题，即同一份数据从业务系统A同步到业务系统B中，而又发生从业务系统B回流到业务系统A中的情况。

现有的数据同步的方法很简单，即数据通过全量或者增量方式将数据从业务系统A同步到业务系统B中。所谓全量方式，即将一张表的全部数据一次性的从业务系统A同步到业务系统B中；所谓增量方式，即先判断业务系统A的数据产生时间，每次只将在某一个时间点之后的数据同步到业务系统B中。

在实现本发明的过程中，发明人发现现有技术中存在以下问题：

在两个业务系统之间数据同步时，未考虑增量数据的来源，造成数据回流；在构成网状结构的多个业务系统数据同步时，未考虑数据循环传导的情况，造成间接的数据回流。

因此，现有技术方案无法解决数据反向传导和循环传导造成的数据回流问题，会造成存储资源、网络资源的浪费以及数据传输的效率降低，在整体上无法有效管理多个业务系统之间的数据同步。

发明内容

有鉴于此，本公开实施例提供一种数据同步控制装置和数据同步系统及方法，用以解决数据反向传导和循环传导造成的数据回流问题。

根据本公开实施例的第一方面，提供一种数据同步控制装置，包括：

数据流向配置模块，用于配置系统中数据节点之间的数据流向，生成数据流向配置信息；

增量数据控制模块，用于读取所述数据流向配置信息以及第一数据节点和第二数据节点中的数据的来源标记，根据所述数据流向配置信息和所述数据的来源标记生成增量数据控制信息，并将所述增量数据控制信息发送给所述第一数据节点，

还用于更新所述第一数据节点向所述第二数据节点发送的增量数据的来源标记。

优选地，所述数据流向配置信息包括：

源数据节点、目的数据节点和数据流向有效性标识，

其中，所述数据流向有效性标识用于表示所述源数据节点和所述目的数据节点之间的数据流向是否有效。

优选地，所述来源标记包括：

数据生成节点，表示系统中最早产生该数据的数据节点；

数据生成时间，表示系统中最早产生该数据的时间起点；

数据来源节点，表示将该数据发送至本数据节点的源数据节点；

数据更新时间，表示该数据完整发送至本数据节点的时间点。

优选地，所述增量数据控制模块包括：

数据流向判断单元，用于根据所述数据流向配置信息和所述第二数据节点中的数据的来源标记，判断所述第一数据节点是否需要向所述第二数据节点发送数据；