[发明专利]一种分布式数据处理系统及方法

权利要求书

1.一种分布式数据处理系统，其特征在于，包括数据采集模块、数据生成模块、数据存储模块、数据挖掘模块、发送模块和多个单串口服务器，

所述数据采集模块，用于通过单串口服务器与电气设备建立数据连接后，从电气设备上采集数据信息；

所述数据存储模块，其用于利用分布式数据库将采集的数据信息进行存储；

所述数据生成模块，用于根据数据属性将分布式数据库中各个数据信息进行分类处理，并将分类后的各个数据信息根据设定的数据结构进行编译；

所述数据挖掘模块，用于根据计算任务需求将编译后的数据信息分发给指定的节点调度，并实时调用业务处理函数筛选得到符合条件的数据信息；还用于将无计算任务需求的数据信息按顺序依次分配到默认的节点调度上等待处理；具体为，通过Storm流式大数据处理框架进行搭建，通过Storm流式大数据处理框架的默认节点调度器,对计算资源进行逻辑层面的划分，将所述计算任务需求分配至指定的物理计算节点,将所有无计算任务需求的数据信息顺序分配到Storm计算集群的物理计算节点上；

所述发送模块，用于将符合条件的数据信息的状态发送到监控主机；

所述单串口服务器，用于在数据采集模块与电气设备之间进行协议转换和数据传输。

2.根据权利要求1所述一种分布式数据处理系统，其特征在于，还包括告警模块，其用于监测数据存储模块内数据信息的数量，当数据信息的数量高于或低于系统设定的最大阈值或最小阈值时，生成设备告警数据并发送到监控主机。

3.根据权利要求1所述一种分布式数据处理系统，其特征在于，还包括数据封装模块，其用于将编译后的数据信息根据其数据属性封装成tuple元组，将数据属性相同的tuple元组组成stream元组数据流，并将tuple元组或stream元组数据流发送至所述数据挖掘模块。

4.根据权利要求1所述一种分布式数据处理系统，其特征在于，所述发送模块中将筛选出的数据信息通知至Nimbus主守护进程中，并将Nimbus主守护进程中的数据信息的状态发送到监控主机。

5.根据权利要求1所述一种分布式数据处理系统，其特征在于，所述数据信息包括设备id、信号id、信道号、信号值和时间戳；所述数据结构包括Key值和Value值，所述Key值包括设备id、信号id、信道号和时间戳，所述Value值包括信号值和时间戳。

6.一种分布式数据处理方法，其特征在于，包括如下步骤：

步骤S1：通过单串口服务器与电气设备建立数据连接后，从电气设备上采集数据信息；

步骤S2：利用分布式数据库将采集的数据信息进行存储；

步骤S3：根据数据属性将分布式数据库中各个数据信息进行分类处理，并将分类后的各个数据信息根据设定的数据结构进行编译；

步骤S4：根据计算任务需求将编译后的数据信息分发给指定的节点调度，并实时调用业务处理函数筛选得到符合条件的数据信息；还用于将无计算任务需求的数据信息按顺序依次分配到默认的节点调度上等待处理；具体为，通过Storm流式大数据处理框架的默认节点调度器,对计算资源进行逻辑层面的划分，将所述计算任务需求分配至指定的物理计算节点,将所有无计算任务需求的数据信息顺序分配到Storm计算集群的物理计算节点上；

步骤S5：将符合条件的数据信息的状态发送到监控主机。

7.根据权利要求6所述一种分布式数据处理方法，其特征在于，还包括监测数据信息的数量，当数据信息的数量高于或低于系统设定的最大阈值或最小阈值时，生成设备告警数据并发送到监控主机的步骤。

8.根据权利要求6所述一种分布式数据处理方法，其特征在于，还包括将编译后的数据信息根据其数据属性封装成tuple元组，将数据属性相同的tuple元组组成stream元组数据流，并将tuple元组或stream元组数据流发送至发送至指定的节点调度的步骤。

9.根据权利要求7所述一种分布式数据处理方法，其特征在于，步骤S5的具体实现方法为，将筛选出的数据信息通知至Nimbus主守护进程中，并将Nimbus主守护进程中的数据信息的状态发送到监控主机。