[发明专利]国网云中应用的一种基于大数据运维日志的方法在审
申请号: | 201710365526.3 | 申请日: | 2017-05-22 |
公开(公告)号: | CN107332685A | 公开(公告)日: | 2017-11-07 |
发明(设计)人: | 王萍;胡聪;吴斌;马永;张禾良;蔡梦臣;吴尚;徐敏;方圆;倪平波;张捷;胡州明;欧渊;杨帆;吴磊;左发先 | 申请(专利权)人: | 国网安徽省电力公司信息通信分公司;四川中电启明星信息技术有限公司 |
主分类号: | H04L12/24 | 分类号: | H04L12/24;H04L12/26 |
代理公司: | 成都君合集专利代理事务所(普通合伙)51228 | 代理人: | 张鸣洁 |
地址: | 230000 *** | 国省代码: | 安徽;34 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 国网云中 应用 一种 基于 数据 日志 方法 | ||
1.国网云中应用的一种基于大数据运维日志的方法,包括搭建大数据运维日志的硬件环境、软件环境和集群环境,其特征在于,还包括:
1)采集日志信息并进行日志预处理,具体包括:
1.1)从软硬件设备采集日志信息,并采用shell脚本、python脚本或Apache脚本中的任意一种对所述日志信息解析后转换成统一的日志格式,所述日志信息包括计算机信息、系统信息、进程信息、磁盘信息、服务信息和应用信息;
1.2)用SQL语言提取日志中的用户名和IP地址,生成用于识别用户的表格实现日志清洗去重,所述SQL语言的代码为:
index=splunk_monitoring sourcetype=tcp //获取索引和日志类型
dedup host //去掉重复此主机的日志
table localaddress localport remotehostname remoteport processname username //统计该日志字段的值,并生成表格;
1.3)由所述表格中提取的用户名和IP地址识别用户,并生成以IP地址为主字段的记录实现日志用户识别;
2)统计一段时间的日志流量,并据此预测出日志流量的走势并生成流量走势图展示给用户,具体包括:
统计一段时间的日志流量,运用时间序列分析法进行日志流量统计,预测日志流量的走势,为后续的日志流量预测模型提供数据;
日志流量预测模型加载所述日志流量值并运行,并生成流量走势图,实时的预测日志流量;
3)将步骤2)中生成的流量走势图通过展示界面可视化呈现。
2.根据权利要求1所述的国网云中应用的一种基于大数据运维日志的方法,其特征在于,所述展示界面还包括用于展示服务器运行情况的服务器监控模块,所述服务器监控模块分析本地服务器产生的日志信息,并显示当前服务器的动态实现监控本地服务器以及采用splunk指定要访问云上服务器,通过远程桌面连接云上服务器,收集云上服务器的数据至本地,从最新的日志数据中,提取出最新的服务器空间状况,实现云上服务器的实时监控。
3. 根据权利要求1所述的国网云中应用的一种基于大数据运维日志的方法,其特征在于,所述展示界面还包括用于搜索日志信息的日志搜索模块,所述日志搜索模块将所有的日志实时的收集到一起,建立起一个统一的搜索中心,通过调用splunk的应用组件创建输入框实现对日志的检索,将各个服务器的日志汇总显示,并建立数据索引owa;在所述数据索引owa中输入关键字和错误出现的时间,实现对在线预览文档的Office Web Apps服务器进行日志的搜索排错。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于国网安徽省电力公司信息通信分公司;四川中电启明星信息技术有限公司,未经国网安徽省电力公司信息通信分公司;四川中电启明星信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710365526.3/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种链路切换方法及系统
- 下一篇:一种多级振动缩分器
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置