[发明专利]一种海量日志数据智能运维系统

说明书

本发明提供一种海量日志数据智能运维系统，包括1)日志采集模块：收集目标机上的应用日志、操作系统日志和网络设备日志并将日志数据结构化后输出给日志处理模块；2)日志处理模块，分为实时处理和离线处理，实时处理包括实时统计、实时告警、实时分析，离线处理包括数据批量存储、离线分析、机器学习；之后将处理后的信息发送给日志存储模块；3)日志存储模块，是存储原始日志数据、索引数据、统计分析数据和资源配置数据，包括MySQL关系数据库、Redis内存数据库、Elasticsearch搜索引擎、HBase列存储数据库；4)业务应用模块，通过web界面提供查询统计、监督报警、智能报表、仪表盘、知识库功能，数据从日志存储模块读出。

技术领域

本发明涉及互联网应用技术领域，涉及海量日志处理技术，特别涉及一种海量日志数据智能运维系统。

背景技术

随着日志文件的容量和类型的增长，对日志数据进行分析、追踪潜在的问题、发现错误变得越来越难，尤其是在多日志相关性分析出现之后。即便在最佳状态下，也需要经验丰富的操作人员跟踪事件链、过滤噪音，并最终诊断出导致复杂问题产生的根本原因。

传统的运维产品需要登陆每一台服务器，使用脚本命令或程序查看，操作繁琐，容易出错，数据之间是孤立分散的，无法进行关联，无法提取出其中的共性，只能做简单搜索和统计，无法满足分析要求，而且没有实时监控和报警，如程序出错日志。运维不要限制于系统运维方面，更要多考虑业务的可用性、可靠性，尝试从日志中提取数据做到“用户体验优化”和“运营决策辅助”，虽然这部分工作以往都由产品策划或者数据挖掘工程师承担，但是运维可以从我们熟悉的系统层面分析业务数据，也就能更加全面得分析业务，提供决策辅助。

发明内容

为了解决现有技术的架构下，海量日志数据量大、数据孤立、分析困难的现状，本发明提出了一种海量日志智能运维系统。本发明提供了一种海量日志数据智能运维系统，其技术方案如下所述：

一种海量日志数据智能运维系统，包括

1)日志采集模块：收集目标机上的应用日志、操作系统日志和网络设备日志并将日志数据结构化后输出给日志处理模块；

2)日志处理模块，分为实时处理和离线处理，实时处理包括实时统计、实时告警、实时分析，离线处理包括数据批量存储、离线分析、机器学习；之后将处理后的信息发送给日志存储模块；

3)日志存储模块，是存储原始日志数据、索引数据、统计分析数据和资源配置数据，包括MySQL关系数据库、Redis内存数据库、Elasticsearch搜索引擎、HBase列存储数据库；

4)业务应用模块，通过web界面提供查询统计、监督报警、智能报表、仪表盘、知识库功能，数据从日志存储模块读出。

日志采集模块包括主动采集和被动采集两种方式，所述主动采集是通过代理读取日志文件来实现日志采集；所述被动采集是通过Syslog、SNMP以及OPSEC各协议来实现日志采集。

在日志处理模块中，所述实时处理包括以下功能，1)实时统计：统计每种数据类型的数据量；2)实时告警：按照用户下发的告警规则及时发现问题，并以页面消息、短信、邮件的形式通知用户；3)实时分析：根据机器学习提供的模型分析日志数据，实现运行状态监测、个性化推荐。

在日志处理模块中，所述离线处理包括以下功能，1)数据批量存储：原始日志存入HBase，Elasticsearch创建日志索引；2)离线分析：数据关联分析、数据血缘分析等；3)机器学习：通过监督学习和非监督学习构造分析模型，为实时分析功能提供支持。

日志存储模块中，其中，

1)原始日志数据存储，将原始日志存入HBase列存储数据库中；

2)索引数据存储，由Elasticsearch搜索引擎来为日志数据创建索引；