[发明专利]数据采集系统和用于数据采集系统的分析方法

说明书

本发明提出一种数据采集系统和用于数据采集系统的分析方法，该数据采集系统包括日志分析器，用于将数据库中重做日志的变更记录信息交付至事务合成器；事务合成器，用于缓存变更记录信息中未提交的事务，在识别到变更记录信息中包含事务提交操作时，分析事务提交操作对应的缓存位置，生成事务消息，并将事务消息交付至数据关系分析器；数据关系分析器，用于提取事务消息中产生变更记录信息的数据表，并根据获取到的数据交付器实例与数据表组之间的映射关系将事务消息分发至对应的数据交付器；数据交付器，用于根据交付目标的类型选择对应的交付算法，以执行交付。通过本发明能够支持数据的并行处理，有效降低数据共享的延时，提升事务同步的性能和效率。

技术领域

本发明涉及数据采集技术领域，尤其涉及一种数据采集系统和用于数据采集系统的分析方法。

背景技术

随着“互联网+”以及“工业4.0”时代的到来，业务量爆炸式增长，业务种类日趋复杂，信息系统也越来越多，核心数据的管理变得日益困难。如何实现数据的共享，数据采集的高性能，进而提取核心价值是企业信息化建设的关键。

现有技术中，实现变更数据采集的技术方案包括：触发器、时间戳、标志位、快照和日志分析，在这些方式下，不能够便捷地实现数据的并行处理，事务同步的性能和效率较低。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种数据采集系统，能够支持数据的并行处理，有效降低数据共享的延时，提升事务同步的性能和效率。

本发明的另一个目的在于提出一种用于数据采集系统的分析方法。

为达到上述目的，本发明第一方面实施例提出的数据采集系统，包括：日志分析器，用于监测数据库状态，并在所述数据库产生变更时获取所述数据库的重做日志，生成变更记录信息，并将所述变更记录信息交付至事务合成器；所述事务合成器，用于获取所述变更记录信息，缓存所述变更记录信息中未提交的事务，在识别到所述变更记录信息中包含事务提交操作时，获取所述事务提交操作并分析所述事务提交操作对应的缓存位置，生成事务消息，并将所述事务消息交付至数据关系分析器；所述数据关系分析器，用于接收所述事务消息，提取所述事务消息中产生变更记录信息的数据表，并根据所述事务消息获取数据交付器实例与所述数据表组之间的映射关系，根据所述映射关系将所述事务消息分发至对应的数据交付器；所述数据交付器，用于接收所述数据关系分析器分发的事务消息，并根据交付目标的类型选择对应的交付算法，以执行交付。

本发明第一方面实施例提出的数据采集系统，通过获取数据库的重做日志，生成变更记录信息，并将变更记录信息交付至事务合成器，事务合成器在识别到变更记录信息中包含事务提交操作时，分析事务提交操作对应的缓存位置，生成事务消息，并将事务消息交付至数据关系分析器，数据关系分析器提取事务消息中产生变更记录信息的数据表，并获取数据交付器实例与数据表组之间的映射关系，根据映射关系将事务消息分发至对应的数据交付器，数据交付器根据交付目标的类型选择对应的交付算法，以执行交付，能够支持数据的并行处理，有效降低数据共享的延时，提升事务同步的性能和效率。

为达到上述目的，本发明第二方面实施例提出的用于数据采集系统的分析方法，包括：监测数据库中重做日志的变更状态，并在所述数据库中重做日志产生变更时获取所述数据库的重做日志，生成变更记录信息，并将所述变更记录信息交付至事务合成器；获取所述变更记录信息，缓存所述变更记录信息中未提交的事务，在识别到所述变更记录信息中包含事务提交操作时，获取所述事务提交操作并分析所述事务提交操作对应的缓存位置，生成事务消息，并将所述事务消息交付至数据关系分析器；接收所述事务消息，提取所述事务消息中产生变更记录信息的数据表，并根据所述事务消息获取数据交付器实例与所述数据表组之间的映射关系，根据所述映射关系将所述事务消息分发至对应的数据交付器；接收所述数据关系分析器分发的事务消息，并根据交付目标的类型选择对应的交付算法，以执行交付。