[发明专利]基于Storm的日志处理方法及装置在审
| 申请号： | 201710527471.1 | 申请日： | 2017-06-30 |
| 公开（公告）号： | CN107391606A | 公开（公告）日： | 2017-11-24 |
| 发明（设计）人： | 王晓峰;张伟;牛军;杨大龙;丁厚东 | 申请（专利权）人： | 中国联合网络通信集团有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30;G06F11/30 |
| 代理公司： | 北京同立钧成知识产权代理有限公司11205 | 代理人： | 宋扬,刘芳 |
| 地址： | 100033 *** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 基于 storm 日志 处理 方法 装置 | ||
1.一种基于Storm的日志处理方法，其特征在于，包括：
接收rsyslog客户端采集到的日志数据；
将所述日志数据存储到kafka集群中；
基于Storm对所述日志数据进行处理，得到处理后的日志数据；
将处理后的日志数据存储到Mysql中，将源日志数据存储到HBase中。
2.根据权利要求1所述的方法，其特征在于，还包括：
接收查询请求，所述查询请求用于查询所述日志数据；
根据所述查询请求，查询并显示所述日志数据。
3.根据权利要求2所述的方法，其特征在于，所述基于Storm对所述日志数据进行处理，包括：
基于Storm对所述日志数据进行格转和过滤。
4.根据权利要求2所述的方法，其特征在于，所述基于Storm对所述日志数据进行处理，包括：
基于Storm对所述日志数据进行清洗、格转、分析、统计。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述日志数据包括如下至少一种：
业务日志、用户行为日志、资源运行日志。
6.一种基于Storm的日志处理装置，其特征在于，包括：
接收模块，用于接收rsyslog客户端采集到的日志数据；
存储模块，用于将所述日志数据存储到kafka集群中；
处理模块，用于基于Storm对所述日志数据进行处理，得到处理后的日志数据；
所述存储模块还用于将处理后的日志数据存储到Mysql中，将源日志数据存储到HBase中。
7.根据权利要求6所述的基于Storm的日志处理装置，其特征在于，所述接收模块还用于：接收查询请求，所述查询请求用于查询所述日志数据；
所述基于Storm的日志处理装置还包括：
查询模块，用于根据所述查询请求，查询所述日志数据；
显示模块，用于显示所述日志数据。
8.根据权利要求7所述的基于Storm的日志处理装置，其特征在于，所述处理模块具体用于基于Storm对所述日志数据进行格转和过滤。
9.根据权利要求7所述的基于Storm的日志处理装置，其特征在于，所述处理模块具体用于基于Storm对所述日志数据进行清洗、格转、分析、统计。
10.根据权利要求6-9任一项所述的基于Storm的日志处理装置，其特征在于，所述日志数据包括如下至少一种：
业务日志、用户行为日志、资源运行日志。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中国联合网络通信集团有限公司，未经中国联合网络通信集团有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201710527471.1/1.html，转载请声明来源钻瓜专利网。
