[发明专利]一种大数据统计方法、系统、计算机设备及存储介质在审
| 申请号： | 201811600921.6 | 申请日： | 2018-12-26 |
| 公开（公告）号： | CN109753531A | 公开（公告）日： | 2019-05-14 |
| 发明（设计）人： | 周志文;朱宇翔;李朝武;王剑 | 申请（专利权）人： | 深圳市麦谷科技有限公司 |
| 主分类号： | G06F16/25 | 分类号： | G06F16/25;G06F16/2458;G06F16/28;G06F16/215;G06F9/54 |
| 代理公司： | 深圳市徽正知识产权代理有限公司 44405 | 代理人： | 卢杏艳 |
| 地址： | 518000 广东省深圳市南*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本申请实施例公开了一种大数据统计方法、系统、计算机设备及存储介质。本申请实施例方法包括：通过读取Mysql数据库的binlog日志，将日志记录按顺序放入消息队列；通过ETL服务对消息队列进行消费，对所述消息队列中的日志记录进行抽取、清洗、转换及装载处理得到对应的业务数据并加载到对应的数据仓库中；通过Spark分布式查询引擎对所述业务数据做实时分析、聚合、查询及离线计算得到对应的统计结果；将数据通过增量方式导入仓库，数据仓库进行数据清洗，清洗后存起来，通过离线计算，将统计数据提前算好，等到业务系统使用的时候直接取统计后的数据，提高统计速度，减轻数据库统计的压力。 | ||
| 搜索关键词： | 消息队列 计算机设备 存储介质 离线计算 日志记录 数据仓库 业务数据 大数据 统计 清洗 读取 分布式查询 数据库统计 实时分析 数据清洗 数据通过 统计结果 统计数据 业务系统 增量方式 放入 加载 日志 申请 聚合 引擎 装载 抽取 仓库 查询 转换 服务 | ||
【主权项】：
1.一种大数据统计方法，其特征在于，包括：读取Mysql数据库的binlog日志，将日志记录按顺序放入消息队列；通过ETL服务对消息队列进行消费，对所述消息队列中的日志记录进行抽取、清洗、转换及装载处理得到对应的业务数据并加载到对应的数据仓库中；通过Spark分布式查询引擎对所述业务数据做实时分析、聚合、查询及离线计算得到对应的统计结果。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于深圳市麦谷科技有限公司，未经深圳市麦谷科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201811600921.6/，转载请声明来源钻瓜专利网。
