[发明专利]日志处理方法和装置

说明书

技术领域

本发明涉及日志处理领域，具体而言，涉及一种日志处理方法和装置。

背景技术

现有的日志处理系统通常采用传统数据库作为大数据载体，将非结构化数据或半结构化数据存储于数据表中，这样日志数据的读写较为复杂，且性能较低，伸缩性差，无法适应业务的快速变化。传统的日志处理系统对海量日志数据的存储和分析的时间很长，且随着日志数据的爆炸式增长，只能一味地靠硬件提高数据处理效率及增加存储量，不仅成本高，处理高维数据的效率也不会提高很多。

传统架构无法实现日志处理系统的存储性能的线性扩展，当存储性能压力达到存储的极限时，无法快速有效的提升存储的读写性能。随着日志数据的爆炸式增长，现有的日志处理效率低的问题日益严峻。

针对现有技术中日志处理效率低的问题，目前尚未提出有效的解决方案。

发明内容

本发明的主要目的在于提供一种日志处理方法和装置，以解决日志处理效率低的问题。

为了实现上述目的，根据本发明的一个方面，提供了一种日志处理方法。根据本发明的日志处理方法包括：集群服务器接收用户端的日志文件；集群服务器存储日志文件；集群服务器对日志文件进行分析，得到分析结果；以及集群服务器输出分析结果。

进一步地，集群服务器存储日志文件包括：集群服务器将日志文件拆分成日志数据；以及集群服务器将日志数据传送到分布式消息队列中，其中，集群服务器从分布式消息队列中读取日志数据，并对日志数据进行分析。

进一步地，在集群服务器将日志数据传送到分布式消息队列中之后，日志处理方法还包括：集群服务器从分布式消息队列中读取日志数据；集群服务器对读取的日志数据进行解析，得到解析结果；集群服务器根据解析结果生成日志数据对应的键值对；以及集群服务器通过将键值对存储到分布式数据库中来存储日志文件。

进一步地，集群服务器对日志文件进行分析包括：集群服务器从分布式数据库中实时获取增量的日志数据；以及集群服务器对增量的日志数据采用流式计算进行统计。

进一步地，集群服务器对日志文件进行分析包括：集群服务器按照预设周期从分布式数据库中获取增量的日志数据；以及集群服务器对增量的日志数据进行统计计算。

为了实现上述目的，根据本发明的另一方面，提供了一种日志处理装置。根据本发明的日志处理装置包括：接收单元，用于使得集群服务器接收用户端的日志文件；存储单元，用于使得集群服务器存储日志文件；分析单元，用于使得集群服务器对日志文件进行分析，得到分析结果；以及输出单元，用于使得集群服务器输出分析结果。

进一步地，存储单元包括：拆分模块，用于使得集群服务器将日志文件拆分成日志数据；以及传送模块，用于使得集群服务器将日志数据传送到分布式消息队列中，其中，集群服务器从分布式消息队列中读取日志数据，并对日志数据进行分析。

进一步地，存储单元还包括：读取模块，用于在集群服务器将日志数据传送到分布式消息队列中之后，使得集群服务器从分布式消息队列中读取日志数据；解析模块，用于使得集群服务器对读取的日志数据进行解析，得到解析结果；生成模块，用于使得集群服务器根据解析结果生成日志数据对应的键值对；以及存储模块，用于使得集群服务器通过将键值对存储到分布式数据库中来存储日志文件。

进一步地，分析单元包括：第一获取模块，用于使得集群服务器从分布式数据库中实时获取增量的日志数据；以及第一计算模块，用于使得集群服务器对增量的日志数据采用流式计算进行统计。

进一步地，分析单元包括：第二获取模块，用于使得集群服务器按照预设周期从分布式数据库中获取增量的日志数据；以及第二计算模块，用于使得集群服务器对增量的日志数据进行统计计算。

通过本发明，采用集群服务器来存储和分析的分类处理来达到海量日志处理的高效能，实现了海量日志分析，解决了现有技术中日志处理效率低的问题，达到了提高日志处理效率的效果。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的日志处理方法的流程图；

图2是根据本发明实施例一种优选的日志处理方法的流程图；

图3是根据本发明实施例的日志处理装置的示意图；以及

图4是根据本发明实施例的一种优选的日志处理装置的示意图。

具体实施方式