[发明专利]国网云中应用的一种基于大数据的日志管理系统

权利要求书

1.国网云中应用的一种基于大数据的日志管理系统，包括日志收集模块，日志存储模块、日志分析模块和应用交互模块，其特征在于，其中：

日志收集模块：收集、传输和聚合日志信息；

日志存储模块：将所述日志收集模块收集的日志信息存储于分布式服务器的存储节点；

日志分析模块：采用分布式计算的方法对日志信息进行数据挖掘分析；

应用交互模块：用于给用户提供查询输入、日志查询和日志导出的界面。

2.根据权利要求1所述的国网云中应用的一种基于大数据的日志管理系统，其特征在于，所述日志收集模块包括日志收集进程、转发进程和storage层，其中：

日志收集进程：用于监听和收集部署在每台主机上的应用产生的日志；

转发进程：运行在服务器上，用于接收日志收集进程发送的日志，并将日志写到storage层中；

storage层：用于提供永久的日志信息存储服务。

3.根据权利要求1所述的国网云中应用的一种基于大数据的日志管理系统，其特征在于，所述日志存储模块采用无模式且具备水平扩展能力的数据库系统，用于海量异构日志存储。

4.根据权利要求3所述的国网云中应用的一种基于大数据的日志管理系统，其特征在于，所述数据库系统的水平扩展采用多个分片服务器，将日志数据分布式存储在多个分片服务器上。

5.根据权利要求4所述的国网云中应用的一种基于大数据的日志管理系统，其特征在于，所述无模式且具备水平扩展能力的数据库系统为NoSQL数据库MongoDB。

6.根据权利要求5所述的国网云中应用的一种基于大数据的日志管理系统，其特征在于，所述NoSQL数据库MongoDB用于：

a.根据需求编写javascript脚本，完成并行计算模型MapReduce的分布式计算；

b.对访问日志进行分析，统计PV值，经过map函数的处理之后，发送给reduce函数，进行日志分析；

c.将javascript程序写在单独的文件中，通过crontab命令定时执行javascript代码，执行完毕后，统计结果便被存储在MongoDB中的Res集合中，最后将根据统计结果绘制的分析图表，以邮件的形式发送给运维人员。