[发明专利]一种大数据分析的方法以及装置

权利要求书

1.一种大数据分析的方法，其特征在于，所述方法包括：

根据业务需求采集源数据，并将所述源数据进行预处理；

获取用户待筛选的控制目标，将所述控制目标以特定的格式组成预设格式的文件；

将所述预设格式的文件发送到筛选控制中心，所述筛选控制中心将所述预设格式的文件写入redis缓存主库；

采取多线程读取数据，并存储在hdfs上；

利用Spark大数据技术对存储在hdfs上的数据进行业务分析。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

Redis集群将主库中的筛选条件同步到分布在各个预处理服务器上的redis从库。

3.根据权利要求1所述的方法，其特征在于，所述采取多线程读取数据，并存储在hdfs上之前，还包括：

将采集到的数据和从redis中取到的筛选条件根据配置规则进行比对；

将满足筛选条件的数据进行提取，存储在指定的位置。

4.根据权利要求1至3任意一项所述的方法，其特征在于，所述方法还包括：

若数据满足预设条件和阈值，则向所述用户实时发出通知和提示信息。

5.一种大数据分析的装置，其特征在于，所述装置包括：

预处理模块，用于根据业务需求采集源数据，并将所述源数据进行预处理；

获取模块，用于获取用户待筛选的控制目标，将所述控制目标以特定的格式组成预设格式的文件；

发送模块，用于将所述预设格式的文件发送到筛选控制中心，所述筛选控制中心将所述预设格式的文件写入redis缓存主库；

存储模块，用于采取多线程读取数据，并存储在hdfs上；

分析模块，用于利用Spark大数据技术对存储在hdfs上的数据进行业务分析。

6.根据权利要求5所述的装置，其特征在于，所述装置还包括：

同步模块，用于通过Redis集群将主库中的筛选条件同步到分布在各个预处理服务器上的redis从库。

7.根据权利要求5所述的装置，其特征在于，所述装置还包括：对比模块，用于在采取多线程读取数据，并存储在hdfs上之前，将采集到的数据和从redis中取到的筛选条件根据配置规则进行对比；将满足筛选条件的数据进行提取，存储在指定的位置。

8.根据权利要求5至7任意一项所述的装置，其特征在于，所述装置还包括：

通知模块，用于若数据满足预设条件和阈值，则向所述用户实时发出通知和提示信息。