[发明专利]支持多协议多类型的实时数据同步的系统和方法

说明书

技术领域

本发明涉及数据传输领域，尤其是一种支持多协议多类型的实时数据同步的系统和方法。

背景技术

全球经济的繁荣大大得益于信息技术的蓬勃发展，正因为如此，信息对于当今所有企业来说都至关重要，数据正日渐成为企业的战略资产，随着数据对企业决策的重要性的提升，其准确性、及时性和安全性也得到世人前所未有的重视。

以往，企业数据基础架构面临的问题并不十分复杂，比如企业信息通常保存在一个数据中心、数据一般以KB字节计量仅最大和最复杂的数据以MB字节计量、报表以批处理方式运行但统计结果经常延迟，企业内普遍为单一供应商环境等等。但是，随着全球经济一体化程度的逐渐加深，企业组织面临的状况极尽复杂——大部分企业在某领域甚至是全领域的业务中展开合作，互相共享数据，但是由于各合作企业的地理位置差异，致使与企业业务相关的数据信息零散地存储于各地的服务器中，频繁交易使得数据分布的速率日益加快，数据量的激增及数据分散状况的加剧给数据管理带来更大的难度。

目前，合作企业间的数据同步技术都是针对特定的数据类型，进行单一的传输协议以实现同步。但是，各企业保存的数据在格式上不同，使用的传输协议也不相同，从而造成数据传输缓慢甚至停滞。

发明内容

本发明所要解决的技术问题是提供一种支持多协议多类型的实时数据同步的系统和方法，以解决合作企业间的数据同步只能针对特定数据类型、单一传输协议的问题。

为了解决上述问题，本发明提供了一种支持多协议多类型的实时数据同步的系统，其特征在于，包括：后台同步管理模块、数据采集模块、数据同步模块；其中，

所述后台同步管理模块，与数据同步模块相耦接，用于接收并存储支持数据同步的定制内容；

所述数据采集模块，与所述数据同步模块相耦接，用于对采集到的需要进行同步的信息扫描并提取数据，然后对相同类型和相同传输协议的数据进行组装后发送给所述数据同步模块；

所述数据同步模块，分别与所述后台同步管理模块和数据采集模块相耦接，用于对接收的组装后的数据根据所述后台同步管理模块中所述定制内容进行同步操作，然后输出同步后的数据。

进一步，其中，所述后台同步管理模块接收并存储支持数据同步的定制内容包括：数据类型、传输协议、参数设定、扫描周期、传输编码以及失败处理方案。

进一步，其中，所述数据采集模块包括：采集处理单元、扫描提取单元和数据组装单元；其中，

所述采集处理单元，与所述扫描提取单元相耦接，用于采集不同通道发送的需要进行同步的信息，并判断处理通道上是否出现数据处理阻塞，如出现数据处理阻塞，则进入等待，根据设定的固定时间再进行判断处理通道上是否出现数据处理阻塞；如未出现数据处理阻塞，则将所述需要进行同步的信息发送给所述扫描提取单元；

所述扫描提取单元，与所述采集处理单元和数据组装单元相耦接，用于接收所述采集处理单元发送的所述需要进行同步的信息进行扫描并提取数据，将提取出的数据发送给所述数据组装单元；

所述数据组装单元，与所述扫描提取单元相耦接，用于对相同类型和相同传输协议的数据进行组装后发送给所述数据同步模块。

进一步，其中，所述数据同步模块，进一步为：用于对组装后的相同类型和相同传输协议的数据，根据从所述后台同步管理模块中所述定制内容进行同步操作，如同步成功，则将同步后的数据输出；如同步不成功，则继续根据所述定制内容进行同步操作。

为了解决上述问题，本发明还提供了一种支持多协议多类型的实时数据同步的方法，其特征在于，包括：

接收并存储支持数据同步的定制内容；

对采集到的需要进行同步的信息扫描并提取数据，然后对相同类型和相同传输协议的数据进行组装；

对所述组装后的数据根据所述定制内容进行同步操作，然后输出同步后的数据。

进一步，其中，所述接收并存储支持数据同步的定制内容包括：数据类型、传输协议、参数设定、扫描周期、传输编码以及失败处理方案。

进一步，其中，所述对采集到的需要进行同步的信息扫描并提取数据，然后对相同类型和相同传输协议的数据进行组装，进一步为：

用于采集不同通道发送的需要进行同步的信息，并判断处理通道上是否出现数据处理阻塞，如出现数据处理阻塞，则进入等待，根据设定的固定时间再进行判断处理通道上是否出现数据处理阻塞；如未出现数据处理阻塞，则执行下一步；

将所述需要进行同步的信息进行扫描并提取数据；

对于所述提取数据，将相同类型和相同传输协议的数据进行组装。