[发明专利]支持实时流计算面向大数据数据库控制系统、计算机程序

权利要求书

1.一种支持实时流计算面向大数据数据库控制系统，其特征在于，所述支持实时流计算面向大数据数据库控制系统包括：

数据接口模块，读取配置中心的配置信息，根据该配置信息读取接收的数据，并将数据发给数据预处理模块；

数据预处理模块，读取配置中心的配置信息，根据该配置信息读取数据接口模块传来的数据，并对数据进行预处理，再将预处理后的数据发给实时流计算模块；

实时流计算模块，读取配置中心的配置信息，根据该配置信息读取数据预处理模块传来的数据，对数据进行实时流计算，将得到的结果数据传给数据处理模块；

数据处理模块，读取配置中心的配置信息，根据该配置信息读取实时流计算模块传来的数据，对数据做最后的处理，再将处理后的数据存到Hbase数据库中；

Hbase数据库，存储数据处理模块传来的数据；

配置中心模块，对数据预处理模块、实时流计算模块和数据处理模块进行配置；

所述实时流计算模块包括分发器模块、拓扑集群、监控模块、Redis缓存数据库、数据整合模块；

分发器：根据从配置中心读取的配置信息将数据流划分成一个个小的数据流，再根据从拓扑集群反馈的负载情况，分配工作流，并为每一个小数据流发送开始信号给监控模块；

拓扑集群：接收分发器传来的数据进行流计算，并将各个数据流在各个节点的结果和路径，存入Redis缓存数据库中作为发生错误进行恢复时的依据；当收到监控模块发送的数据处理超时信号时，从Redis缓存数据库中取出超时的数据流数据，根据数据流的路径信息判断出错的节点位置，在出错节点处重新进行流计算；

监控模块：首先接收分发器的开始信号，从配置中心读取配置信息；若在指定时间内接收到数据整合模块发送的结束信号，则从Redis数据库中删除关于该数据流的信息；若在指定时间内未接收到数据整合模块发送的结束信号，则向拓扑集群发送该数据流超时的信号；拓扑集群便会从Redis数据库中读取该数据流的信息进行恢复；

Redis缓存数据库：作为高速缓存，存储在拓扑集群中进行计算的数据流信息；

数据整合模块：每接收到一个从拓扑集群传来的数据流计算结果，向监控模块发送该数据流的结束信号，然后根据从配置中心读取的配置信息将经过拓扑集群计算的小数据流结果整合起来。

2.如权利要求1所述的支持实时流计算面向大数据数据库控制系统，其特征在于，所述数据接口模块包括消息中间件模块；消息中间件模块：接收数据源的处理请求，读取配置中心的配置信息，根据配置信息中的读取策略读取数据，并把读取的数据传给数据预处理模块。

3.如权利要求1所述的支持实时流计算面向大数据数据库控制系统，其特征在于，所述数据预处理模根据从配置中心读取的配置信息对数据进行以下处理：空值处理：若在读取数据的过程中获取到某些字段存在空值，则可按照从配置中心的配置信息或定义将该字段的空值替换为预定数值或者不作任何处理；格式化数据：根据业务数据源中的各个字段的数据类型，进行数据格式的格式化操作；数据过滤：根据从配置中心的配置信息对字段进行过滤，提取数据内容，进行拆分和合并操作，满足业务规则要求。

4.如权利要求1所述的支持实时流计算面向大数据数据库控制系统，其特征在于，所述实时流计算模块根据业务请求和从配置中心读取的配置信息组织驱动节点和工作节点形成计算流程拓扑并运行计算；计算实例包括一个驱动节点、多个工作节点和消息流。

5.如权利要求1所述的支持实时流计算面向大数据数据库控制系统，其特征在于，所述数据处理模块根据从配置中心读取的配置信息对数据进行整理。

6.一种如权利要求1所述支持实时流计算面向大数据数据库控制系统的支持实时流计算面向大数据数据库控制方法，其特征在于，所述支持实时流计算面向大数据数据库控制方法包括以下步骤：

步骤一，采集多种数据，引入分布式故障检测机制，提高数据采集的稳定性和可靠性；

步骤二，从配置中心读取配置信息加载相应的处理程序；

步骤三，处理海量实时数据，并将计算结果实时传输；

步骤四，从配置中心读取配置信息加载相应的处理程序；

步骤五，通过网页端进行配置。