[发明专利]一种大数据日志智能分析系统及方法

摘要

一种大数据日志智能分析系统及方法，涉及大数据日志分析领域，其中系统包括日志采集模块、用于将日志流消息队列通过负载均衡器分发到日志解析模块的各个主机的日志输入模块、日志解析模块、日志分析处理模块、日志丰富模块、日志存储模块、日志检索展现模块、日志输出模块和告警模块，本申请提供一种大数据日志智能分析系统及方法，该分析系统具有结合运维场景的分析功能，实现业务日志和性能日志的关联分析，二次开发的工作量小，有助于企业通过该日志分析系统解决运维实际问题。

主权项

1.一种大数据日志智能分析系统，其特征在于，包括：日志采集模块，用于实时地采集日志数据并以日志流消息队列的形式传输；日志输入模块，用于将日志流消息队列通过负载均衡器分发到日志解析模块的各个主机；日志解析模块，用于对日志数据进行分词解析，将杂乱的日志数据转化为指标项，指标项含有指标名称和指标值；日志分析处理模块，用于将解析后的日志指标数据通过日志输出、告警规则进行检测，符合相应规则的日志输出到日志输出模块和告警模块；日志丰富模块，通过日志数据结合外部运维数据丰富日志内容，让日志更易读；日志存储模块，用于将丰富过后的日志数据存储在Elastic Search集群中，抽取日志字段，建立索引；日志检索展现模块，用于作为日志使用人操作界面，日志使用人可以通过关键字检索、全文检索日志信息，根据日志统计规则形成仪表板、数据报表和用户权限管理功能；日志输出模块，用于将日志分析处理模块符合日志输出规则的日志输出、保存，方便其他系统使用；告警模块，用于将日志分析处理模块符合日志告警规则的日志发送到消息系统进行告警，方便运维人员及时发现问题。