[发明专利]一种基于Spark大数据框架离线实时处理数据的方法

摘要

本发明公开了一种基于Spark大数据框架离线实时处理数据的方法，包括以下步骤：通过Flume从数据源采集数据；将采集到的离线数据上传到离线模块中HDFS分布式文件系统上；将实时数据上传到实时模块中的Kafka集群上；Spark对HDFS上的数据进行预处理；Spark Streaming对Kafka集群上的数据进行预处理；将预处理过的离线数据导入到Hive数据仓库中；将预处理过的实时数据导入到Mysql数据库中；在Hive数据仓库中开发分析离线数据将结果传到前端网页实现数据可视化；在Mysql数据库中将实时数据传到前端网页实现数据可视化。本发明为数据处理业务提供了高效的计算服务和可靠的存储系统，可以满足多种数据处理的需求。

主权项

1.一种基于Spark大数据框架离线实时处理数据的方法，其特征在于，包含以下步骤：步骤S1、离线实时数据采集：利用Cloudera提供的分布式日志采集系统Flume分别从数据源采集离线数据和实时数据；步骤S2、数据存储和缓存：Flume采集到的离线数据会传到HDFS分布式系统上进行存储，采集到的实时数据会传到Kafka集群上进行缓存；步骤S3、数据预处理：利用Spark计算框架对HDFS分布式系统上存储的离线数据进行预处理，利用实时计算框架Spark Streaming从Kafa集群中提取实时数据进行预处理；步骤S4、数据入库：通过Spark预处理之后的离线数据传入到Hive数据仓库中，通过Spark Streaming预处理之后的实时数据传入到Mysql数据库中进行分类存储；步骤S5、数据分析：在Hive数据仓库中对预处理之后数据根据需求进行语句分析，进一步得出需要的结果；步骤S6、数据展示：将Hive数据仓库中最后的结果传入到Mysql数据库中，通过Mysql数据库将离线数据的结果和实时数据的结果传到前端网页进行展示。