[发明专利]国网云中应用的一种基于大数据运维日志的方法

说明书

技术领域

本发明涉及计算机技术领域，具体的说，是国网云中应用的一种基于大数据运维日志的方法。

背景技术

“国网云”包括生产控制云、企业管理云和公共服务云，分别为国家电网公司的生产控制、企业管理及对外服务提供相应的技术支撑，而“国网云”平台则是管理、调控、支撑这三朵云的核心。大数据(big data)，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。大数据运维日志主要来自于机器数据，机器数据主要是指来自服务器、存储、网络中的传统接口数据，也常常被认为是机器生产的数据，机器生成的数据是发展最快、最复杂同时也是最宝贵的那部分大数据，但是现有的大数据挖掘和数据分析基本上都是建立在人的行为和商业运作产生的数据上，当服务器出错时，运维人员需要进入每一台服务器上应用的安装目录，找到日志路径，筛选日志产生的时间，再进入日志文本中查找关键字，找到报错的日志信息。这样运维人员需要经过繁琐的操作和筛选，才能将定位出错的位置,并且传统的日志服务器缺少实时过滤和深入分析日志能力，存在不能实时的分析和展示当前状况以及预测未来情况的问题。

发明内容

本发明的目的在于提供国网云中应用的一种基于大数据运维日志的方法，用于解决现有技术中运维日志出错时运维人员需要进入服务器出错日志的根目录查找关键词，筛选数据量较大、工作繁琐、效率不高以及不能预测未来日志流量是否超出预警值的问题。

为了达到上述目的，本发明通过下述技术方案实现：

国网云中应用的一种基于大数据运维日志的方法，包括搭建大数据运维日志的硬件环境、软件环境和集群环境，还包括：

1)采集日志信息并进行日志预处理，具体包括：

1.1)从软硬件设备采集日志信息，并采用shell脚本、python脚本或Apache脚本中的任意一种对所述日志信息解析后转换成统一的日志格式，所述日志信息包括计算机信息、系统信息、进程信息、磁盘信息、服务信息和应用信息；

1.2)用SQL语言提取日志中的用户名和IP地址，生成用于识别用户的表格实现日志清洗去重，所述SQL语言的代码为：

index＝splunk_monitoring sourcetype＝tcp//获取索引和日志类型

dedup host//去掉重复此主机的日志

table localaddress localport remotehostname remoteport processname username//统计该日志字段的值，并生成表格；

1.3)由所述表格中提取的用户名和IP地址识别用户，并生成以IP地址为主字段的记录实现日志用户识别；

2)统计一段时间的日志流量，并据此预测出日志流量的走势并生成流量走势图展示给用户，具体包括：

统计一段时间的日志流量，运用时间序列分析法进行日志流量统计，预测日志流量的走势，为后续的日志流量预测模型提供数据；

日志流量预测模型加载所述日志流量值并运行，并生成流量走势图，实时的预测日志流量；

3)将步骤2)中生成的流量走势图通过展示界面可视化呈现。

大数据运维日志分为日志预处理、日志流量预测、展示界面三大块，通过脚本对日志进行解析后转换成统一的日志格式，经过日志的清洗和合并，提取以IP地址为主字段的记录实现日志用户识别，再通过时间序列分析法对日志流量进行统计，再采用日志流量预测模型进行预测，日志流量预测模型采用卡尔曼滤波算法模型，通过运行日志预处理后的信息，运行模型，最后生成展示界面。当运维人员发现预测的流量继续向上，并且将要超过以前的历史流量高点时，可考虑在现有带宽的基础上进行扩容，实现对灾难的提前预警。

进一步的优选，所述展示界面还包括用于展示服务器运行情况的服务器监控模块，所述服务器监控模块分析本地服务器产生的日志信息，并显示当前服务器的动态实现监控本地服务器以及采用splunk指定要访问云上服务器，通过远程桌面连接云上服务器，收集云上服务器的数据至本地，从最新的日志数据中，提取出最新的服务器空间状况，实现云上服务器的实时监控。