[发明专利]国网云中应用的一种基于大数据的日志管理系统

说明书

技术领域

本发明涉及计算机技术领域，具体的说，是国网云中应用的一种基于大数据的日志管理系统。

背景技术

“国网云”包括生产控制云、企业管理云和公共服务云，分别为国家电网公司的生产控制、企业管理及对外服务提供相应的技术支撑，而“国网云”平台则是管理、调控、支撑这三朵云的核心。大数据时代的来临，许多公司的平台每天都会产生大量的日志数据，处理这些日志需要特定的数据系统，很多公司也已经将他们的日志系统开源。在国网云应用中，随着部署在云计算环境的应用规模的扩大和用户访问数量的增加，每天都会产生海量的异构日志数据，在传统的数据处理方式上使用传统的单台主机模式针对海量数据文件进行存储和计算，它的计算能力显得十分有限，并且由于日志数据结构不统一、数据量大，传统的关系型数据库在水平扩展能力上的不足和严格的模式化存储方式的约束，使得传统的日志存储和分析方法已经不能满足存储海量的异构日志数据的需求，并且应用日志存储在数量动态变化的主机资源之上，若没有及时将日志统一收集存储到日志服务器，就会造成日志随着主机的撤除而丢失。另外，日志的分布式存储不利于应用维护人员查看和分析，不利于应用系统的维护和优化。

发明内容

本发明的目的在于提供国网云中应用的一种基于大数据的日志管理系统，用于解决现有技术中关系型数据库不能满足海量异构日志数据存储的问题。

为了达到上述目的，本发明通过下述技术方案实现：

国网云中应用的一种基于大数据的日志管理系统，包括日志收集模块，日志存储模块、日志分析模块和应用交互模块，其中：

日志收集模块：收集、传输和聚合日志信息；

日志存储模块：将所述日志收集模块收集的日志信息存储于分布式服务器的存储节点；

日志分析模块：采用分布式计算的方法对日志信息进行数据挖掘分析；

应用交互模块：用于给用户提供查询输入、日志查询和日志导出的界面。

分布式日志收集模块负责将海量的分布式异构日志信息收集、传输和聚合，然后将日志信息存储至日志存储模块，日志存储模块将日志信息存储在分布式服务器上，并且设置了冗余备份机制，当被使用的那台服务器岩机时，备份服务器就会接管工作。为了保证备份服务器之间的数据一致性，各服务器之间需定时进行数据同步。日志分析模块利用分布式计算的方法对海量日志数据进行挖掘分析，解决传统单机分析日志的局限性。应用交互模块使用给用户提供交互界面，接收用户输入的操作，返回操作结果。

进一步的优选，所述日志收集模块包括日志收集进程、转发进程和storage层，其中：

日志收集进程：用于监听和收集部署在每台主机上的应用产生的日志；

转发进程：运行在服务器上，用于接收日志收集进程发送的日志，并将日志写到storage层中；

storage层：用于提供永久的日志信息存储服务。

在每台部署应用的主机上都有一个日志收集进程，对应用产生的日志进行收集。日志收集进程作为一个后台运行的进程，只负责监听应用日志的产生并收集日志，对应用本身不产生任何影响，它们是相互独立的，日志转发进程运行在分布式服务器上，负责接收日志收集进程发送过来的日志，并且将日志根据路由规则写到相应的store层中。storage层是存储系统，负责提供永久的日志存储服务。它可以是一个普通文件file，也可以是分布式文件系统HDFS，HIVE，HBase等。

进一步的优选，所述日志存储模块采用无模式且具备水平扩展能力的数据库系统，用于海量异构日志存储。

日志存储模块在水平方向上进行扩展，采用多个分片服务器，通过增加分片服务器来提高存储能力，存储海量日志数据。

进一步的优选，所述数据库系统的水平扩展采用多个分片服务器，将日志数据分布式存储在多个分片服务器上。

日志存储模块将海量日志数据分布式存储在多个分片服务器之上，数据的分片情况对用户是透明的，提供路由服务器作为访问的接口。当路由服务器接收到数据访问请求时，先查询配置服务器，配置服务器中记录了数据分布在哪些分片之上，路由服务器根据配置服务器返回的结果查询分片服务器，将结果整合之后返回给用户。

进一步的优选，所述无模式且具备水平扩展能力的数据库系统为NoSQL数据库MongoDB。