[发明专利]一种分布式数据处理系统及方法

说明书

本发明提供一种分布式数据处理系统及方法，其中系统包括多个单串口服务器，还包括用于进行信号数据采集的数据采集模块、用于存储编译后的各个数据信息的数据存储模块、用于将数据信息进行数据结构编译的数据生成模块、用于根据计算任务需求将数据信息进行调度的数据挖掘模块以及用于将符合条件的数据信息的状态发送到监控主机的发送模块；本发明对采集到的设备数据进行预处理，即对采集到的海量数据进行分布式存取，解决了目前数据存取方式相对独立、互相之间没有依赖与先后关系的问题；数据挖掘时，多个数据调度节点同时处理，响应速度快，能在最短的时间发送到监控主机，当插入数据和查询数据同时进行时，不会降低系统性能，且降低了投入成本。

技术领域

本发明主要涉及数据信息处理领域，具体涉及一种分布式数据处理系统及方法。

背景技术

传统技术方案采用关系型数据库，单库，单表进行业务存储，在技术本身，这种方式，对数据的支持是有限的，当数据到一定的量，即mysql单表大于500W条记录，就会出现性能急剧下降，对于本系统海量的数据，不能提供的支持；如果改成多库多表，只是解决了存放问题，但性能会下降不少，程序的复杂性会陡然增加，对系统的稳定性也会降低，达不到生产上线的条件；当数据库在大量插入数据的同时，同时进行查询只会把两种性能都拉低，严重的会直接影响业务的运行，不能保证数据的准确，直至系统崩溃。

发明内容

本发明所要解决的技术问题是提供一种分布式数据处理系统及方法，对海量采集数据进行分布式存取，通过多个单串口服务器和分布式数据库对数据进行采集与存储，以降低单台数据库存储读取压力，大大提升系统访问速度，数据挖掘时，多个数据调度节点同时处理，响应速度快、延迟低，能在最短的时间发送到监控主机。

本发明解决上述技术问题的技术方案如下：一种分布式数据处理系统，包括数据采集模块、数据生成模块、数据存储模块、数据挖掘模块、发送模块和多个单串口服务器，

所述数据采集模块，用于通过单串口服务器与电气设备建立数据连接后，从电气设备上采集数据信息；所述数据采集模块上设有采集信道，采集信道从电气设备上采集数据信息；

所述数据存储模块，其用于利用分布式数据库将采集的数据信息进行存储；

所述数据生成模块，用于根据数据属性将分布式数据库中各个数据信息进行分类处理，并将分类后的各个数据信息根据设定的数据结构进行编译；

所述数据挖掘模块，用于根据计算任务需求将编译后的数据信息分发给指定的节点调度，并实时调用业务处理函数筛选得到符合条件的数据信息；还用于将无计算任务需求的数据信息按顺序依次分配到默认的节点调度上等待处理；节点调度设有多个，多个节点调度根据计算任务需求分别接收编译后的数据信息；

所述发送模块，用于将符合条件的数据信息的状态发送到监控主机；

所述单串口服务器，用于在数据采集模块与电气设备之间进行协议转换和数据传输。

数据采集模块包括采集设备，目前采集设备只支持RTU485协议进行数据传递，这种协议不支持在互联网的形式进行数据通信，单串口服务器的作用是使采集程序可以同TCP/IP的方式同采集设备进行通讯，单串口服务器会在之间做一个协议转换，从而使采集程序可以在互联网的形式进行数据采集；

由于考虑引入分布式存储的前提下，结合设备数据采集的实际数据，针对性的将一个数据采集信道和单串口服务器上的一个数据存储块进行对应，虽然在一定程度上增加了数据总量，但这样的格式适合于所有的RS485的采集支持，不需要再进行适配编程与分别计算；而一个项目中有许多需要监控的设备(温度、电压、电流、功率、开关量、水浸、湿度等)，时刻保障项目能正常的提供人居服务，各个设备以毫秒极的频率通过RS485串口协议转以太网TCP/IP网络协议，服务端通过socket监听端口进行数据的收集。