[发明专利]一种大数据分析的方法以及装置

摘要

本发明实施例公开了一种大数据分析的方法及装置，利用一个web页面，对目标的条件组装设定后，将条件发往筛选控制中心，筛选控制中心通过对比设定的条件和数据，把满足条件的数据进行提取，存储在指定位置。再利用大数据分析技术，对这些满足条件的数据进行分析。进而提供一种针对大数据领域的筛选过滤及提示的方法，它可以针对目标对象将有效数据筛选出来，大幅度的减少分析压力和缩短分析时间，提高查询速度，并能在满足条件时发出通知和提示。

主权项

一种大数据分析的方法，其特征在于，所述方法包括：根据业务需求采集源数据，并将所述源数据进行预处理；获取用户待筛选的控制目标，将所述控制目标以特定的格式组成预设格式的文件；将所述预设格式的文件发送到筛选控制中心，所述筛选控制中心将所述预设格式的文件写入redis缓存主库；采取多线程读取数据，并存储在hdfs上；利用Spark大数据技术对存储在hdfs上的数据进行业务分析。