[发明专利]国网云中应用的一种基于大数据运维日志的方法

摘要

本发明公开了国网云中应用的一种基于大数据运维日志的方法，还包括1）采集日志信息并进行日志预处理，具体包括采集日志信息并用脚本对日志信息解析转换成统一格式，用SQL语言代码对日志信息进行清洗去重，和获取以IP地址为主字段的记录用于用户识别；2）统计一段时间的日志流量，运用时间序列分析法进行日志流量统计，预测日志流量的走势，为后续的日志流量预测模型提供数据；日志流量预测模型加载所述日志流量值并运行，并生成流量走势图，实时的预测日志流量；3）将步骤2）中生成的流量走势图通过展示界面可视化呈现。本发明在统一日志搜索中心对日志字段进行搜索，能够快速的定位错误，实现对日志流量的提前预测和预警。

主权项

国网云中应用的一种基于大数据运维日志的方法，包括搭建大数据运维日志的硬件环境、软件环境和集群环境，其特征在于，还包括：1）采集日志信息并进行日志预处理，具体包括：1.1）从软硬件设备采集日志信息，并采用shell脚本、python脚本或Apache脚本中的任意一种对所述日志信息解析后转换成统一的日志格式，所述日志信息包括计算机信息、系统信息、进程信息、磁盘信息、服务信息和应用信息；1.2）用SQL语言提取日志中的用户名和IP地址，生成用于识别用户的表格实现日志清洗去重，所述SQL语言的代码为：index=splunk_monitoring sourcetype=tcp //获取索引和日志类型dedup host //去掉重复此主机的日志table localaddress localport remotehostname remoteport processname username //统计该日志字段的值，并生成表格；1.3）由所述表格中提取的用户名和IP地址识别用户，并生成以IP地址为主字段的记录实现日志用户识别；2）统计一段时间的日志流量，并据此预测出日志流量的走势并生成流量走势图展示给用户，具体包括：统计一段时间的日志流量，运用时间序列分析法进行日志流量统计，预测日志流量的走势，为后续的日志流量预测模型提供数据；日志流量预测模型加载所述日志流量值并运行，并生成流量走势图，实时的预测日志流量；3）将步骤2）中生成的流量走势图通过展示界面可视化呈现。