[发明专利]日志处理方法、装置及系统

说明书

技术领域

本申请涉及数据处理领域，具体而言，涉及一种日志处理方法、装置及系统。

背景技术

在数据检测和分析领域，经常会收集大量的用户行为、业务操作等数据，用于根据数据分析业务需求进行统计和分析，这种数据通常通过日志的形式存储于业务服务器上。业务服务器根据数据量每小时或每几个小时读取日志中的文本数据，并存储于数据表中，以便于后续的数据分析处理。业务服务器在完成一天或一定时间量的数据收集时，则会对当天、当周或当月的数据按照业务需求进行汇总计算，并存储于业务服务器的汇总结果表中。

目前，有数据分析业务需求的系统一般都是大数据量，或者高实时性的系统，对业务服务器性能要求很高，特别是存在数据交互时，对磁盘的输入/输出(即I/O)压力很大，导致在系统进行日志读取或者汇总计算时，会严重影响业务服务器的性能。

针对相关技术中对大量日志信息进行处理严重影响业务服务器性能的问题，目前尚未提出有效的解决方案。

发明内容

本申请的主要目的在于提供一种日志处理方法、装置及系统，以解决相关技术中对大量日志信息进行处理严重影响业务服务器性能的问题。

为了实现上述目的，根据本申请的一个方面，提供了一种日志处理方法。该方法包括：数据处理服务器接收来自业务服务器的日志信息；数据处理服务器按照预设规则对日志信息进行汇总，得到汇总结果；以及数据处理服务器将汇总结果返回给业务服务器。

进一步地，数据处理服务器将汇总结果返回给业务服务器包括：检测业务服务器是否处于空闲状态；以及在检测出业务服务器处于空闲状态时，将汇总结果返回给业务服务器。

进一步地，数据处理服务器将汇总结果返回给业务服务器包括：数据处理服务器按照预设时间规则将汇总结果返回给业务服务器。

进一步地，数据处理服务器按照预设规则对日志信息进行汇总，得到汇总结果包括：数据处理服务器将接收到的日志信息进行存储；数据处理服务器判断存储的日志信息是否达到预设量；以及数据处理服务器在判断出存储的日志信息达到预设量时，按照预设规则对存储的日志信息进行汇总，得到汇总结果。

进一步地，在数据处理服务器接收来自业务服务器的日志信息之前，该方法还包括：批量获取日志信息；对日志信息进行解析，得到日志解析结果；以及将日志解析结果发送至数据处理服务器。

为了实现上述目的，根据本申请的另一方面，提供了一种日志处理装置。该装置包括：接收单元，用于使得数据处理服务器接收来自业务服务器的日志信息；汇总单元，用于使得数据处理服务器按照预设规则对日志信息进行汇总，得到汇总结果；以及返回单元，用于使得数据处理服务器将汇总结果返回给业务服务器。

进一步地，返回单元包括：检测模块，用于检测业务服务器是否处于空闲状态；以及第一返回模块，用于在检测出业务服务器处于空闲状态时，将汇总结果返回给业务服务器。

进一步地，返回单元包括：第二返回模块，用于使得数据处理服务器按照预设时间规则将汇总结果返回给业务服务器。

为了实现上述目的，根据本申请的又一方面，提供了一种日志处理系统。该系统包括：业务服务器，用于将获取到的日志信息发送给数据处理服务器；以及数据处理服务器，用于接收来自业务服务器的日志信息，按照预设规则对日志信息进行汇总，得到汇总结果，并将汇总结果返回给业务服务器。

进一步地，数据处理服务器还用于检测业务服务器是否处于空闲状态，其中，在检测出业务服务器处于空闲状态时，将汇总结果返回给业务服务器。

本申请通过数据处理服务器接收来自业务服务器的日志信息；数据处理服务器按照预设规则对日志信息进行汇总，得到汇总结果；以及数据处理服务器将汇总结果返回给业务服务器，通过数据处理服务器对日志信息进行分析汇总，实现了分布式地对日志信息进行汇总，不仅保证了日志信息处理的效率，而且能够极大的减少日志信息处理对业务服务器的性能的影响，解决了相关技术中对大量日志信息进行处理严重影响业务服务器性能的问题，进而达到了降低日志信息处理对业务服务器的性能的影响的效果。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请第一实施例的日志处理方法的流程图；

图2是根据本申请第二实施例的日志处理方法的流程图；

图3是根据本申请实施例的日志处理装置的示意图；以及