[发明专利]信创环境下实现交易日志存储及报文信息提取汇总的系统、方法、装置、处理器及存储介质

说明书

本发明涉及一种信创环境下基于企业服务总线的交易日志存储及报文信息提取汇总的系统，其中，该系统包括日志采集器模块，用于读取企业服务总线生成的日志文件；日志解析器模块，用于进行日志的解析处理，并提取出用户定义的报文信息；日志持久化模块，用于进行持久化的任务处理；日志汇总模块，用于将完成解析调度后的交易日志进行统计汇总处理；调度模块，与所述的日志汇总模块以及日志采集器模块相连接，用于将已采集完成的日志文件按照时间策略进行打包、备份、转移的调度处理。本发明还涉及一种相应的方法、装置、处理器及其存储介质。采用了本发明的该系统、方法、装置、处理器及其存储介质，有效的解决了用户不同系统间相同信息交换的问题。

技术领域

本发明涉及计算机软件技术领域，尤其涉及企业服务总线日志采集器技术领域，具体是指一种信创环境下基于企业服务总线的交易日志存储及报文信息提取汇总的系统、方法、装置、处理器及其计算机可读存储介质。

背景技术

在企业服务总线中，交易日志是一次交易的全链路追踪，在交易过程中的监控以及后期运维过程中的查询都是很重要的依据。所以交易日志的存储至关重要，而且一般情况下，交易日志数量比较大，大都采用异步存储的方式，一方面提高了性能，另一方面降低了系统的耦合度，使企业服务总线系统和日志采集系统都能单独运维。日志采集系统一般都采用MQ去做异步处理，借助MQ的高可靠性，这样可以保证日志不丢西，存储介质方面可选择关系型数据库或者非关系型数据库，比如MySql和Elasticsearch。

在通用做法下，日志采集器分为两部分，一部分是日志采集功能，首先获取交易日志的文件，然后读取文件的内容，再发给MQ去做异步处理；另一部分是日志的持久化功能，这部分可能会有多个消费者去消费MQ中的消息，再将日志保存到持久化介质中。在通用做法里首先除了采集器外还需要搭建MQ集群，为了保证MQ集群的高可用性和高可靠性还需要Zookeeper等第三方组件集群，因此会引入多个组件来保证功能的正常使用。

从软件运维部署层面来看，通用技术方案里，因为需要使用MQ等组件保证日志采集的可靠性，因此需要引入像Zookeeper这样的第三方软件，这样一方面会导致为了完成整个系统的功能，需要更多的硬件资源，同时出现问题后的排查也会比较麻烦。另一方面，在维护整个系统时，需要不同的专业人员来维护不同的组件，提高了维护成本。从软件开发层面来看，开发人员需要同时懂得如何使用MQ、Zookeeper等软件，同时在存储介质方面如果使用Elasticsearch还需要懂得ES的操作，这样对开发人员的技术水平要求就比较高，一旦发生人员变动，那么后续人员的学习难度就会比较大，不利于项目的快速迭代。同时在当前国内的信创环境下，通用技术方案中的组件已基本定型，例如MQ使用RabbitMQ或者RocketMQ，为了防止受到国外的技术封锁，导致相关组件无法更新和维护，那么我们就更需要在不依赖这些组件的情况下，还能很好的完成日志采集的功能。

发明内容

本发明的目的是克服了上述现有技术的缺点，提供了一种只依赖数据库，而不依赖MQ等组件的信创环境下基于企业服务总线的交易日志存储及报文信息提取汇总的系统、方法、装置、处理器及其计算机可读存储介质。

为了实现上述目的，本发明的信创环境下基于企业服务总线的交易日志存储及报文信息提取汇总的系统、方法、装置、处理器及其计算机可读存储介质如下：

该信创环境下基于企业服务总线的交易日志存储及报文信息提取汇总的系统，其主要特点是，所述的系统包括：

日志采集器模块，用于读取企业服务总线生成的日志文件，并采集相应的日志信息；

日志解析器模块，与所述的日志采集器模块相连接，用于通过日志解析器进行日志的解析处理，并提取出用户定义的报文信息；

日志持久化模块，与所述的日志解析器模块相连接，用于将系统中的明细日志和统计日志进行持久化的任务处理；

日志汇总模块，与所述的日志持久化模块相连接，用于将完成解析调度后的交易日志进行统计汇总处理；以及