[发明专利]一种日志数据可视化分析系统及方法

说明书

技术领域

本发明涉及大数据处理技术领域，尤其涉及一种日志数据可视化分析系统及方法。

背景技术

随着互联网行业的迅猛发展，尤其是移动端应用的异军突起，新一轮的数据爆炸时代的大门已经开启，各类在线应用相互间的竞争日趋白热化，如何在保证信息安全的前提下对海量用户访问日志数据进行深入挖掘、分析从而提高用户体验，已经成为业界亟待解决的难题。

应用服务日志由于数据量巨大，传统人工查看原始记录的方法已经无法满足业务需求，针对该类问题已有学者做了相关研究并取得了一定成果。一方面，系统级日志能够反应服务器的运行状况，另一方面，应用级日志更是为业务提供了发展规划的重要指标。然而，目前未见有将日志收集分析及展示的实用性整体方案。

Hadoop是Apache软件基金会发起并开发维护的一个能够对海量数据进行分布式处理和计算的软件框架，其以一种可靠、高效、可伸缩的方式进行数据跨平台处理，相比传统的数据处理平台，具备高可靠性、高扩展性、高效性、高容错性与低成本等优点，使得其已经成为处理大量日志数据的首选。

Saltstack是一种和以往不同的基础设施管理方法，它能够大幅提升大规模系统的高速通讯能力。Saltstack的拓扑结构为简单的server/client，其具备优良的可伸缩性。Saltstack的核心是一个远程执行引擎，它能够为多组系统创建高速、安全的双向通讯网络。基于这个通讯系统，Saltstack提供了一个快速、灵活并且容易使用的配置管理方法，称之为Salt States，其可以用于管理与处理分布式系统中不同程序的安装、运行，即：若干用于提供应用的服务器都在后台运行一个Salt-Minion进程，另外还有一台服务器运行Salt-Master进程，其主要作用是向各应用服务器的Salt-Minion进程发送命令以实现生产环境中各项应用服务配置的变更与维护。

发明内容

为了解决现有技术存在的不足，本发明的目的在于提供一种日志数据可视化分析系统及方法，基于Saltstack架构、Hadoop数据处理以及可视化呈现的低延迟、分布式应用服务日志分析。

为实现上述目的，本发明提供的日志数据可视化分析系统，包括，统一运维平台、线上服务器、日志集中服务器、hadoop集群，以及统一展示平台，其中，

所述统一运维平台，其将各所述线上服务器配置为Minion服务器，并对各所述Minion服务器的服务状态进行检测和配置变更；

所述线上服务器，其根据所述统一运维平台的请求，将原始日志数据定时同步到所述日志集中服务器中；

所述日志集中服务器，其暂时储存压缩文本形式的原始日志数据；

hadoop集群，其对根据业务的特征制定相应的数据抽取、转换、载入与分析方案，将结构化的日志数据生成数据指标；

统一展示平台，将数据指标以界面形式进行监测。

进一步地，所述统一运维平台进一步包括，Salt-Master服务器、运维图形用户界面及中间层，其中，

所述Salt-Master服务器，其将所述线上服务器配置为Minion服务器，并对其服务状态进行检测和配置变更；

所述运维图形用户界面，其以界面形式为运维人员提供系统监测；

所述中间层作为所述运维图形用户界面与所述Salt-Master服务器之间交换数据的通道。

进一步地，所述Salt-Master服务器向所述Minion服务器发送定时日志提取请求，将原始日志数据定时同步到日志集中服务器中。

更进一步地，所述统一展示平台进一步包括，结果数据库、访客图形用户界面及数据访问层，其中，

所述结果数据库，其用于存储日志数据指标；

所述访客图形用户界面，其以界面形式为访客提供实时分布式系统监测；

所述数据访问层作为所述访客图形用户界面与所述结果数据库之间交换数据的通道。

为实现上述目的，本发明提供的日志数据可视化分析方法，包括以下步骤：

1）对配置为Minion服务器的线上服务器的服务状态进行检测和配置变更，并将原始日志数据定时同步到日志集中服务器中；

2）根据业务的特征对日志制定相应的数据抽取、转换、载入与分析方案；

3）对结构化的有效数据进行计算生成数据指标；

4）将数据指标以界面形式进行监测。