[发明专利]日志实时处理系统

说明书

本发明公开了一种日志实时处理系统，该系统包括：日志发现机，适于接收位于各个机房的日志机的日志汇报消息，获取日志机提供的待处理的日志内容地址；至少一个下载机，适于根据日志内容地址，下载各个机房产生的日志内容；日志消费机，适于对日志内容进行实时消费处理；至少一个上传机，适于将日志内容上传到分布式存储系统。利用本发明提供的一种日志实时处理系统，将各个机房的产生的实时日志数据集中到一个机房中进行下载、实时消费以及上传处理，提升了实时日志处理的效率，并且能够在发生故障或者新增业务之后，对该一个机房进行维护或扩展即可，能够极大的降低维护难度及成本。

技术领域

本发明涉及计算机技术领域，具体涉及一种日志实时处理系统。

背景技术

随着互联网技术的不断发展，互联网大数据的趋势日益显著，每一条互 联网的业务线都在不断地产生实时日志数据，对产生的实时日志数据进行进 一步地处理以对互联网业务的运行进行反馈是相当重要的工作之一。现有技 术中，对实时日志数据的分析处理是通过在各个机房中建立处理系统，每一 个处理系统针对对应的机房进行分析处理。

然而，现有技术中的这种处理系统散布在各个机房里，部署麻烦；并且 分别对各个机房的日志进行处理，使得处理的文件数量大；另外，当出现故 障或新增业务时，需要对每个机房的处理系统进行维护，维护成本高，难度 大；同时，该处理系统不能实现将实时日志数据上传到存储系统中。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分 地解决上述问题的一种日志实时处理系统。

根据本发明的一个方面，提供了一种日志实时处理系统，包括：

日志发现机，适于接收位于各个机房的日志机的日志汇报消息，获取日 志机提供的待处理的日志内容地址；

至少一个下载机，适于根据日志内容地址，下载各个机房产生的日志内 容；

日志消费机，适于对日志内容进行实时消费处理；

至少一个上传机，适于将日志内容上传到分布式存储系统。

可选的，该系统还包括：第一处理队列，适于获取并保存至少一个下载 机提供的日志内容地址以及日志内容，将日志内容地址以及日志内容提供给 日志消费机；

第二处理队列，适于获取并保存至少一个下载机提供的日志内容地址以 及日志内容，将日志内容地址以及日志内容提供给至少一个上传机。

可选的，实时消费处理包括：规则计数处理、最近日志内容查询处理、 日志回传处理和/或日志推送处理。

可选的，下载机进一步包括：

第一主进程模块，适于创建至少一个第一线程处理模块，控制至少一个 第一线程处理模块处理下载任务；

第一日志获取模块，适于从日志发现机获取待处理的日志内容地址；

至少一个第一线程处理模块，适于利用第一日志获取模块提供的日志内 容地址，下载各个机房产生的日志内容。

可选的，下载机还包括：第一监控模块，适于监控并定时输出第一日志 获取模块以及至少一个第一线程处理模块的状态信息；

第一主进程模块进一步适于：根据至少一个第一线程处理模块的状态信 息优化分配下载任务。

可选的，下载机还包括：第一处理通道，适于缓存下载任务。

可选的，日志消费机进一步包括：

第二主进程模块，适于创建至少一个第二线程处理模块，控制至少一个 第二线程处理模块处理实时消费任务；

第二日志获取模块，适于从第一处理队列中获取日志内容地址以及日志 内容；