[发明专利]日志实时处理系统

权利要求书

1.一种日志实时处理系统，包括：

日志发现机，适于接收位于各个机房的日志机的日志汇报消息，获取日志机提供的待处理的日志内容地址；

至少一个下载机，适于根据所述日志内容地址，下载各个机房产生的日志内容；

日志消费机，适于对日志内容进行实时消费处理；

至少一个上传机，适于将日志内容上传到分布式存储系统；

包括所述日志发现机、所述下载机、所述日志消费机以及所述上传机的所述日志实时处理系统设置在一个机房中；

其中，所述日志消费机包括至少一个第二线程处理模块，所述第二线程处理模块适于对第二日志获取模块提供的日志内容进行实时消费处理；

所述第二线程处理模块进一步包括：

规则计数处理单元，适于统计命中云规则平台提供的一个或多个规则的日志内容的数量；

最近日志内容查询处理单元，适于查询最近命中云规则平台提供的一个或多个规则的预设数量的日志内容；

日志回传处理单元，适于将命中规则的日志内容的数量和/或命中规则的预设数量的日志内容回传至一个或多个机房；

和/或，日志推送处理单元，适于将日志内容推送给下游服务器。

2.根据权利要求1所述的系统，还包括：第一处理队列，适于获取并保存所述至少一个下载机提供的日志内容地址以及日志内容，将日志内容地址以及日志内容提供给所述日志消费机；

第二处理队列，适于获取并保存所述至少一个下载机提供的日志内容地址以及日志内容，将日志内容地址以及日志内容提供给所述至少一个上传机。

3.根据权利要求2所述的系统，所述实时消费处理包括：规则计数处理、最近日志内容查询处理、日志回传处理和/或日志推送处理。

4.根据权利要求1-3任一项所述的系统，所述下载机进一步包括：

第一主进程模块，适于创建至少一个第一线程处理模块，控制所述至少一个第一线程处理模块处理下载任务；

第一日志获取模块，适于从日志发现机获取待处理的日志内容地址；

至少一个第一线程处理模块，适于利用第一日志获取模块提供的日志内容地址，下载各个机房产生的日志内容。

5.根据权利要求4所述的系统，所述下载机还包括：第一监控模块，适于监控并定时输出所述第一日志获取模块以及所述至少一个第一线程处理模块的状态信息；

所述第一主进程模块进一步适于：根据所述至少一个第一线程处理模块的状态信息优化分配下载任务。

6.根据权利要求5所述的系统，所述下载机还包括：第一处理通道，适于缓存下载任务。

7.根据权利要求2-3任一项所述的系统，所述日志消费机进一步包括：

第二主进程模块，适于创建至少一个第二线程处理模块，控制所述至少一个第二线程处理模块处理实时消费任务；

第二日志获取模块，适于从第一处理队列中获取日志内容地址以及日志内容。

8.根据权利要求7所述的系统，所述日志消费机还包括：第二监控模块，适于监控并定时输出所述第二日志获取模块以及所述至少一个第二线程处理模块的状态信息；

第二主进程模块进一步适于：根据所述至少一个第二线程处理模块的状态信息优化分配实时消费任务。

9.根据权利要求8所述的系统，所述日志消费机还包括：第二处理通道，适于缓存实时消费任务。

10.根据权利要求2-3任一项所述的系统，所述上传机进一步包括：

第三主进程模块，适于创建至少一个第三线程处理模块，控制所述至少一个第三线程处理模块处理上传任务；

第三日志获取模块，适于从第二处理队列中获取日志内容地址以及日志内容；

至少一个第三线程处理模块，适于将第三日志获取模块提供的日志内容上传到分布式存储系统。