[发明专利]一种大数据分析的方法以及装置

说明书

技术领域

本发明实施例涉及大数据分析技术领域，尤其涉及一种大数据分析的方法以及装置。

背景技术

目前，针对大数据，基本都是已存储的数据为基础，在海量数据中查询和分析。在这种情况下，由于海量数据的数据量非常大，导致分析压力大、查询时间慢，很难达到快速分析并提示的目的。

发明内容

本发明实施例的目的在于提出一种大数据分析的方法以及装置，旨在解决。

为达此目的，本发明实施例采用以下技术方案：

第一方面，一种大数据分析的方法，所述方法包括：

根据业务需求采集源数据，并将所述源数据进行预处理；

获取用户待筛选的控制目标，将所述控制目标以特定的格式组成预设格式的文件；

将所述预设格式的文件发送到筛选控制中心，所述筛选控制中心将所述预设格式的文件写入redis缓存主库；

采取多线程读取数据，并存储在hdfs上；

利用Spark大数据技术对存储在hdfs上的数据进行业务分析。

可选地，所述方法还包括：

Redis集群将主库中的筛选条件同步到分布在各个预处理服务器上的redis从库。

可选地，所述采取多线程读取数据，并存储在hdfs上之前，还包括：

将采集到的数据和从redis中取到的筛选条件根据配置规则进行比对；

将满足筛选条件的数据进行提取，存储在指定的位置。

可选地，所述方法还包括：

若数据满足预设条件和阈值，则向所述用户实时发出通知和提示信息。

第二方面，一种大数据分析的装置，所述装置包括：

预处理模块，用于根据业务需求采集源数据，并将所述源数据进行预处理；

获取模块，用于获取用户待筛选的控制目标，将所述控制目标以特定的格式组成预设格式的文件；

发送模块，用于将所述预设格式的文件发送到筛选控制中心，所述筛选控制中心将所述预设格式的文件写入redis缓存主库；

存储模块，用于采取多线程读取数据，并存储在hdfs上；

分析模块，用于利用Spark大数据技术对存储在hdfs上的数据进行业务分析。

可选地，所述装置还包括：

同步模块，用于通过Redis集群将主库中的筛选条件同步到分布在各个预处理服务器上的redis从库。

可选地，所述装置还包括：对比模块，用于在采取多线程读取数据，并存储在hdfs上之前，将采集到的数据和从redis中取到的筛选条件根据配置规则进行对比；将满足筛选条件的数据进行提取，存储在指定的位置。

可选地，所述装置还包括：

通知模块，用于若数据满足预设条件和阈值，则向所述用户实时发出通知和提示信息。

本发明实施例的有益效果为：利用一个web页面，对目标的条件组装设定后，将条件发往筛选控制中心，筛选控制中心通过对比设定的条件和数据，把满足条件的数据进行提取，存储在指定位置。再利用大数据分析技术，对这些满足条件的数据进行分析。进而提供一种针对大数据领域的筛选过滤及提示的方法，它可以针对目标对象将有效数据筛选出来，大幅度的减少分析压力和缩短分析时间，提高查询速度，并能在满足条件时发出通知和提示。

附图说明

图1是本发明实施例提供的一种大数据分析的方法的流程示意图；

图2是本发明实施例提供的一种大数据分析的装置的功能模块示意图。

具体实施方式

下面结合附图和实施例对本发明实施例作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明实施例，而非对本发明实施例的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明实施例相关的部分而非全部结构。

参考图1，图1是本发明实施例提供的一种大数据分析的方法的流程示意图。如图1所示，所述方法包括：

步骤110，根据业务需求采集源数据，并将所述源数据进行预处理；

步骤120，获取用户待筛选的控制目标，将所述控制目标以特定的格式组成预设格式的文件；

步骤130，将所述预设格式的文件发送到筛选控制中心，所述筛选控制中心将所述预设格式的文件写入redis缓存主库；

步骤140，采取多线程读取数据，并存储在hdfs上；

步骤150，利用Spark大数据技术对存储在hdfs上的数据进行业务分析。

可选地，所述方法还包括：