[发明专利]日志处理方法和装置在审
申请号: | 201410106430.1 | 申请日: | 2014-03-20 |
公开(公告)号: | CN103838867A | 公开(公告)日: | 2014-06-04 |
发明(设计)人: | 洪珂;刘华明;卢荣斌;闵杰;李波;陈燕华 | 申请(专利权)人: | 网宿科技股份有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京康信知识产权代理有限责任公司 11240 | 代理人: | 李志刚;张永明 |
地址: | 200030 上海市徐汇*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 日志 处理 方法 装置 | ||
1.一种日志处理方法,其特征在于,包括:
集群服务器接收用户端的日志文件;
所述集群服务器存储所述日志文件;
所述集群服务器对所述日志文件进行分析,得到分析结果;以及
所述集群服务器输出所述分析结果。
2.根据权利要求1所述的日志处理方法,其特征在于,所述集群服务器存储所述日志文件包括:
所述集群服务器将所述日志文件拆分成日志数据;以及
所述集群服务器将所述日志数据传送到分布式消息队列中,
其中,所述集群服务器从所述分布式消息队列中读取所述日志数据,并对所
述日志数据进行分析。
3.根据权利要求2所述的日志处理方法,其特征在于,在所述集群服务器将所述日志数据传送到分布式消息队列中之后,所述日志处理方法还包括:
所述集群服务器从所述分布式消息队列中读取所述日志数据;
所述集群服务器对读取的日志数据进行解析,得到解析结果;
所述集群服务器根据所述解析结果生成所述日志数据对应的键值对;以及
所述集群服务器通过将所述键值对存储到分布式数据库中来存储所述日志文件。
4.根据权利要求3所述的日志处理方法,其特征在于,所述集群服务器对所述日志文件进行分析包括:
所述集群服务器从所述分布式数据库中实时获取增量的日志数据;以及
所述集群服务器对所述增量的日志数据采用流式计算进行统计。
5.根据权利要求3所述的日志处理方法,其特征在于,所述集群服务器对所述日志文件进行分析包括:
所述集群服务器按照预设周期从所述分布式数据库中获取增量的日志数据;以及
所述集群服务器对所述增量的日志数据进行统计计算。
6.一种日志处理装置,其特征在于,包括:
接收单元,用于使得集群服务器接收用户端的日志文件;
存储单元,用于使得所述集群服务器存储所述日志文件;
分析单元,用于使得所述集群服务器对所述日志文件进行分析,得到分析结果;以及
输出单元,用于使得所述集群服务器输出所述分析结果。
7.根据权利要求6所述的日志处理装置,其特征在于,所述存储单元包括:
拆分模块,用于使得所述集群服务器将所述日志文件拆分成日志数据;以及
传送模块,用于使得所述集群服务器将所述日志数据传送到分布式消息队列中,
其中,所述集群服务器从所述分布式消息队列中读取所述日志数据,并对所述日志数据进行分析。
8.根据权利要求7所述的日志处理装置,其特征在于,所述存储单元还包括:
读取模块,用于在所述集群服务器将所述日志数据传送到分布式消息队列中之后,使得所述集群服务器从所述分布式消息队列中读取所述日志数据;
解析模块,用于使得所述集群服务器对读取的日志数据进行解析,得到解析结果;
生成模块,用于使得所述集群服务器根据所述解析结果生成所述日志数据对应的键值对;以及
存储模块,用于使得所述集群服务器通过将所述键值对存储到分布式数据库中来存储所述日志文件。
9.根据权利要求8所述的日志处理装置,其特征在于,所述分析单元包括:
第一获取模块,用于使得所述集群服务器从所述分布式数据库中实时获取增量的日志数据;以及
第一计算模块,用于使得所述集群服务器对所述增量的日志数据采用流式计算进行统计。
10.根据权利要求8所述的日志处理装置,其特征在于,所述分析单元包括:
第二获取模块,用于使得所述集群服务器按照预设周期从所述分布式数据库中获取增量的日志数据;以及
第二计算模块,用于使得所述集群服务器对所述增量的日志数据进行统计计算。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于网宿科技股份有限公司,未经网宿科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201410106430.1/1.html,转载请声明来源钻瓜专利网。
- 上一篇:带双蒸发器系统的冷藏柜
- 下一篇:一种高温拉伸试验自循环水冷控制装置