[发明专利]一种数据处理系统

说明书

本发明公开了一种数据处理系统，应用于水务处理处理领域，具体包括多个采集端、处理端、第一存储端、第二存储端和交互端。通过本技术方案，能够在面对数量庞杂的水务数据时，通过系统化多层数据库的设置解决水务企业的数据存储的需求，减少重复采购数据库的工作，降低存储成本；同时增加对于水务数据的数据处理速度，实现高效安全的大数据分析，并且支持分布式部署、负载均衡以及冗余备份。

技术领域

本发明涉及水务数据处理领域，尤其涉及一种数据处理系统。

背景技术

目前，工业领域内数据存储和处理基本都是采用单一的数据库结构，其中包括：关系型数据库(Oracle、MySQL、SQL Server、DB2、Postgres)、非关系型数据库(GP、Redis、MongoDB、Memcache、Cassandra)和工业实时数据库(Pspace、iHistorian、Historian)，但是上述任一单一数据库均无法满足水务企业对于海量水务数据的处理需求：以一套设备100个测点，有1000套设备为例，则测点数达到10万，其中若假设测点每2秒上传一次采集数据，一天则需上传216000次供21.6亿条数据，一条数据4字节(4B)，则数据量一天达到86.4亿B，约8GB，一年就将达到2.8T的数据量。

同时，现有的单一数据库在数据量为TB级数据时，读取速度将会变慢，容易频繁宕机，并且不支持机器学习自主分析，也不支持分布式部署和负载均衡，导致迸发能力差。

发明内容

针对现有技术中存在的上述问题，现提供一数据处理系统，具体技术方案如下所示：

一种数据处理系统，应用于水务数据处理，具体包括：

多个采集端，用于实时采集水务数据并进行输出；

第一存储端，分别连接每个采集端，用于暂存实时采集的水务数据，并输出值一连接第一存储端的控制端；

控制端根据水务数据进行实时运算后向第一存储端反馈实时运算结果，以供第一存储端暂存；

第二存储端，分别连接第一存储端和控制端，用于接收第一存储端输出的水务数据和实时运算结果，并根据预设的存储周期对水务数据和实时运算结果作为统计数据进行存储；

第二存储端将统计数据输出至控制端进行统计分析，控制端向第二存储端反馈对应的统计分析结果，以供第二存储端根据预设的存储周期进行存储；

当第二存储端中的统计数据以及对应的统计分析结果的保存时间超过存储周期时，第二存储端将统计数据以及对应的统计分析结果作为规模运算数据输出并于第二存储端中删除；

第三存储端，分别连接第一存储端、第二存储端和控制端，用于接收水务数据、实时运算结果和规模运算数据并将水务数据、实时运算结果和规模运算数据作为历史数据进行长期存储；

第三存储端同时将规模运算数据发送至控制端进行大数据分析，控制端向第三存储端反馈对应的大数据分析结果。

优选的，该种数据处理系统还包括一交互端；

交互端连接处理端，用于提供一人机交互平台，用户能够通过人机交互平台向处理端发送用户指令，并通过人机交互平台查看水务数据、实时运算结果、统计分析结果和大数据分析结果。

优选的，该种数据处理系统，其中每个采集端均按一预设频率对水务数据进行采集；

第一存储端按预设频率对水务数据和实时运算结果进行暂存。

优选的，该种数据处理系统，其中存储周期的取值范围为[7日，30日]。

优选的，该种数据处理系统，其中第二存储端进一步包括：

存储单元，用于存储统计数据和统计分析结果；