[发明专利]一种利用拦截器进行日志数据收集的方法及系统在审
申请号: | 201610230525.3 | 申请日: | 2016-04-14 |
公开(公告)号: | CN105930379A | 公开(公告)日: | 2016-09-07 |
发明(设计)人: | 金晓飞 | 申请(专利权)人: | 北京思特奇信息技术股份有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京轻创知识产权代理有限公司 11212 | 代理人: | 杨立 |
地址: | 100086 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明涉及一种利用拦截器进行日志数据收集的方法及系统,其中方法包括以下步骤:步骤1:自定义构建一个拦截器,将拦截器放到Flume的根目录下;步骤2:所述拦截器接收数据并过滤掉不需要的数据,得到需要收集的日志数据。一个大的应用系统中往往产生的日志数据会有几十甚至上百个字段,在使用Flume自带的拦截器进行日志收集时,收集到的日志还是会有对应这么多的字段,但是基本上有很多字段是我们不需要去关注的,没有实际利用价值,这样带来数据的传输性能缓慢和存储的开销。本发明通过自定义Flume拦截器,可以抽取出我们需要的字段,并对某个字段进行加密处理。减少了数据的传输量,降低了存储的开销。 | ||
搜索关键词: | 一种 利用 拦截 进行 日志 数据 收集 方法 系统 | ||
【主权项】:
一种利用拦截器进行日志数据收集的方法,其特征在于,具体包括以下步骤:步骤1:自定义构建一个拦截器,将拦截器放到Flume的根目录下;步骤2:所述拦截器接收数据并过滤掉不需要的数据,得到需要收集的日志数据。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京思特奇信息技术股份有限公司,未经北京思特奇信息技术股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201610230525.3/,转载请声明来源钻瓜专利网。