[发明专利]一种同时支持离线数据和实时在线数据的大数据处理解决系统

摘要

本发明公开了一种同时支持离线数据和实时在线数据的大数据处理系统，包括数据采集模块、预处理模块、分布式存储模块、分布式实时流计算模块、离线数据处理模块、数据库、数据综合分析查询模块、综合展示模块和统一配置中心。本发明的大数据处理系统能够实现实时和离线数据处理，处理及时、处理效率高。

主权项

一种同时支持离线数据和实时在线数据的大数据处理系统，其特征在于包括数据采集模块、预处理模块、分布式存储模块、分布式实时流计算模块、离线数据处理模块、数据库、数据综合分析查询模块、综合展示模块和统一配置中心；其中：数据采集模块用于从统一配置中心读取配置信息，根据该配置信息读取关系型数据库中的数据，并将该数据导入分布式文件存储模块；接收应用集群发出的处理请求，将接收到的请求数据直接提供给分布式实时流计算模块；将应用集群日志文件传送到本地磁盘进行存储备份；数据预处理模块用于从统一配置中心读取配置信息，读取本地磁盘存储的应用的日志文件，对日志文件数据进行预处理后存入本地磁盘，并上传预处理之后的日志文件数据到分布式存储模块；分布式存储模块用于存储海量数据；分布式实时流计算模块用于从数据采集模块读取数据，并读取统一配置中心的配置信息，根据该配置信息对从数据采集模块读取的数据进行实时计算，将计算结果存储到数据库中；离线数据处理模块用于处理分布式存储模块中存储的数据，将各个指标计算完成后写入数据库；数据库用于存储数据；数据综合分析查询模块用于访问数据库，并提供各种指标查询接口；综合展示模块用于基于web容器提供查询服务，实现分析结果可视化；统一配置中心用于对应用集群进行配置。