[发明专利]一种分布式数据处理系统及方法

摘要

本发明提供一种分布式数据处理系统及方法，其中系统包括多个单串口服务器，还包括用于进行信号数据采集的数据采集模块、用于存储编译后的各个数据信息的数据存储模块、用于将数据信息进行数据结构编译的数据生成模块、用于根据计算任务需求将数据信息进行调度的数据挖掘模块以及用于将符合条件的数据信息的状态发送到监控主机的发送模块；本发明对采集到的设备数据进行预处理，即对采集到的海量数据进行分布式存取，解决了目前数据存取方式相对独立、互相之间没有依赖与先后关系的问题；数据挖掘时，多个数据调度节点同时处理，响应速度快，能在最短的时间发送到监控主机，当插入数据和查询数据同时进行时，不会降低系统性能，且降低了投入成本。

主权项

1.一种分布式数据处理系统，其特征在于，包括数据采集模块、数据生成模块、数据存储模块、数据挖掘模块、发送模块和多个单串口服务器，所述数据采集模块，用于通过单串口服务器与电气设备建立数据连接后，从电气设备上采集数据信息；所述数据存储模块，其用于利用分布式数据库将采集的数据信息进行存储；所述数据生成模块，用于根据数据属性将分布式数据库中各个数据信息进行分类处理，并将分类后的各个数据信息根据设定的数据结构进行编译；所述数据挖掘模块，用于根据计算任务需求将编译后的数据信息分发给指定的节点调度，并实时调用业务处理函数筛选得到符合条件的数据信息；还用于将无计算任务需求的数据信息按顺序依次分配到默认的节点调度上等待处理；具体为，通过Storm流式大数据处理框架进行搭建，通过Storm流式大数据处理框架的默认节点调度器,对计算资源进行逻辑层面的划分，将所述计算任务需求分配至指定的物理计算节点,将所有无计算任务需求的数据信息顺序分配到Storm计算集群的物理计算节点上；所述发送模块，用于将符合条件的数据信息的状态发送到监控主机；所述单串口服务器，用于在数据采集模块与电气设备之间进行协议转换和数据传输。