[发明专利]通用大数据实时处理开发平台及其数据处理方法

说明书

本发明公开了一种通用大数据实时处理开发平台及其数据处理方法，该平台包括：数据采集模块，用于从数据库中获取多个异构数据源；数据传输模块，用于将多个异构数据源进行发布；数据处理模块，用于分别对多个异构数据源中的批量数据及流数据进行处理并调用相应的预设数据库，以构建业务应用；存储模块，用于对经处理的批量数据及流数据进行存储；输出查询模块，用于对存储的批量数据及流数据进行查询；应用程序协调服务模块，用以监测各模块的处理事件，以在某一处理事件异常时，调用相应的服务来处理对应的数据。本发明的技术方案能够提高数据处理系统的开发效率，降低开发成本。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种通用大数据实时处理开发平台及其数据处理方法。

背景技术

目前，在数据处理领域中有诸多不同但本质又相似的解决方案，这些方案对数据的处理流程通常包含：数据采集、数据传输、数据处理、数据存储这四个步骤，每个步骤都可以作为一个单独模块，在设计数据处理是系统时，可以将上述的单独模块进行自研或采用开源组件进行排列组合。对于中小科技公司来说自身业务中少不了对数据的处理部分，如果采用自研路线，每实现一个业务可能都需要从头到尾重复开发这些数据处理系统，这其中的工作量占据了一大半的项目开发时间，而且完成系统后由于耦合了业务特点，还需安排专人对不同业务系统进行维护，对公司的资源是一种严重的浪费。如果采用开源或者混合方案，需要在众多开源组件里针对不同业务进行技术选型，技术选型中存在一定的甄别难度。

有鉴于此，有必要提出对目前的数据处理系统进行进一步的改进。

发明内容

为解决上述至少一技术问题，本发明的主要目的是提供一种通用大数据实时处理开发平台及其数据处理方法。

为实现上述目的，本发明采用的一个技术方案为：提供一种通用大数据实时处理开发平台，包括：

数据采集模块，用于从数据库中获取多个异构数据源；

数据传输模块，所述数据传输模块与数据采集模块电连接，用于将多个异构数据源进行发布；

数据处理模块，所述数据处理模块与数据传输模块电连接，用于分别对多个异构数据源中的批量数据及流数据进行处理并调用相应的预设数据库，以构建业务应用，其中，所述数据处理模块预设有应用数据库；

存储模块，所述存储模块与数据处理模块电连接，用于对经处理的批量数据及流数据进行存储；

输出查询模块，所述输出查询模块与存储模块电连接，用于对存储的批量数据及流数据进行查询；

应用程序协调服务模块，所述应用程序协调服务模块分别与数据传输模块、数据处理模块、存储模块及输出查询模块电连接，用以监测各模块的处理事件，以在某一处理事件异常时，调用相应的服务来处理对应的数据。

其中，所述数据采集模块采集的数据类型包括MySQL、Oracle、HDFS、Hive、OceanBase、HBase、OTS及ODPS中至少一种，且所述数据采集模块具体为阿里开源DataX。

其中，所述数据传输模块采用Kafka集群，以将多个异构数据源进行分布式发布。

其中，所述数据处理模块具体为通用实时计算引擎Spark集群，以构建多个并行应用并调用对应的应用数据库，并分别对多个异构数据源中的批量数据及流数据进行并行处理。

其中，所述应用数据库包括SQL、DataFrames、MLlib、GraphX及Spark集群Streaming中的至少一种。

其中，所述数据处理模块具体为列式存储器Kudu集群，以对经并行处理的批量数据及流数据分别进行存储。

其中，所述输出查询模块具体为分布式查询引擎Impala集群，以对存储的批量数据及流数据进行并发查询。