[发明专利]通用大数据实时处理开发平台及其数据处理方法

权利要求书

1.一种通用大数据实时处理开发平台，其特征在于，所述通用大数据实时处理开发平台包括：

数据采集模块，用于从数据库中获取多个异构数据源；

数据传输模块，所述数据传输模块与数据采集模块电连接，用于将多个异构数据源进行发布；

数据处理模块，所述数据处理模块与数据传输模块电连接，用于分别对多个异构数据源中的批量数据及流数据进行处理并调用相应的预设数据库，以构建业务应用，其中，所述数据处理模块预设有应用数据库；

存储模块，所述存储模块与数据处理模块电连接，用于对经处理的批量数据及流数据进行存储；

输出查询模块，所述输出查询模块与存储模块电连接，用于对存储的批量数据及流数据进行查询；

应用程序协调服务模块，所述应用程序协调服务模块分别与数据传输模块、数据处理模块、存储模块及输出查询模块电连接，用以监测各模块的处理事件，以在某一处理事件异常时，调用相应的服务来处理对应的数据。

2.如权利要求1所述的通用大数据实时处理开发平台，其特征在于，所述数据采集模块采集的数据类型包括MySQL、Oracle、HDFS、Hive、OceanBase、HBase、OTS及ODPS中至少一种，且所述数据采集模块具体为阿里开源DataX。

3.如权利要求2所述的通用大数据实时处理开发平台，其特征在于，所述数据传输模块采用Kafka集群，以将多个异构数据源进行分布式发布。

4.如权利要求3所述的通用大数据实时处理开发平台，其特征在于，所述数据处理模块具体为通用实时计算引擎Spark集群，以构建多个并行应用并调用对应的应用数据库，并分别对多个异构数据源中的批量数据及流数据进行并行处理。

5.如权利要求4所述的通用大数据实时处理开发平台，其特征在于，所述应用数据库包括SQL、DataFrames、MLlib、GraphX及Spark集群Streaming中的至少一种。

6.如权利要求5所述的通用大数据实时处理开发平台，其特征在于，所述数据处理模块具体为列式存储器Kudu集群，以对经并行处理的批量数据及流数据分别进行存储。

7.如权利要求6所述的通用大数据实时处理开发平台，其特征在于，所述输出查询模块具体为分布式查询引擎Impala集群，以对存储的批量数据及流数据进行并发查询。

8.如权利要求7所述的通用大数据实时处理开发平台，其特征在于，所述应用程序协调服务模块具体为分布式应用程序协调服务Zookeeper。

9.一种通用大数据实时处理开发平台的数据处理方法，其特征在于，所述通用大数据实时处理开发平台的数据处理方法包括：

S10、从数据库中获取多个异构数据源；

S20、将多个异构数据源进行发布；

S30、分别对多个异构数据源中的批量数据及流数据进行处理并调用相应的预设数据库，以构建业务应用；

S40、对经处理的批量数据及流数据进行存储；

S50、对存储的批量数据及流数据进行查询；

S60、监测步骤S20-S50中对异构数据源处理得到的处理事件，以在某一处理事件异常时，调用相应的服务处理对应的数据。