[发明专利]基于Hadoop大数据处理技术的日志分析系统在审
| 申请号： | 201610006805.6 | 申请日： | 2016-01-05 |
| 公开（公告）号： | CN105677842A | 公开（公告）日： | 2016-06-15 |
| 发明（设计）人： | 许丹霞;刘寅;汪伟;郑宇 | 申请（专利权）人： | 北京汇商融通信息技术有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 北京迎硕知识产权代理事务所(普通合伙) 11512 | 代理人： | 吕良;张群峰 |
| 地址： | 100028 北京市大兴*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于Hadoop平台开发的企业网站日志分析系统，主要分为五个模块，分别是文件上传模块、数据清洗模块、数据统计分析模块、数据导出模块、数据展现模块。可以计算得到网站各大关键指标，包括浏览量PV、注册用户数、ip数、跳出率，数据的展现可以实现海量数据的毫秒级查询。 | ||
| 搜索关键词： | 基于 hadoop 数据处理 技术 日志 分析 系统 | ||
【主权项】：
一种日志分析系统，其特征在于包括文件上传模块、数据清洗模块、数据统计分析模块、数据导出模块和数据展示模块；其中：文件上传模块，用于上传日志文件，首先文件上传模块采集日志文件，之后将日志文件上传到分布式文件系统；数据清洗模块，用于对分布式文件系统中的日志文件数据进行清洗转换，清洗转换后的数据存放在分布式文件系统中；数据统计分析模块，用于对分布式文件系统中的日志文件进行统计分析，得到需要的统计数据，将统计数据存放在分布式文件系统中；数据导出模块，用于把分布式文件系统中存储的得到的数据导出到外部的数据库中；数据展现模块，用于对外部的数据库中存储的数据进行查询，并显示查询结果。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京汇商融通信息技术有限公司，未经北京汇商融通信息技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201610006805.6/，转载请声明来源钻瓜专利网。
