[发明专利]环境质量在线监测数据的采集系统及方法

说明书

本发明公开了一种环境质量在线监测数据的采集系统及方法，所述采集系统包括数据采集客户端，数据接收服务端，数据计算中心和数据存储中心。本发明的技术方案使用Netty集群和Kafka消息队列集群作为数据接收服务端，使其具有高可用性，能够支撑上万站点的数据并发请求，同时保证数据的完整性，延缓客户端请求对数据计算中心的压力；使用Redis缓存设备信息、站点信息、数据规则等数据，以及使用Flink集群作为计算引擎，使其能够近实时的对数据进行解析校验；使用Hbase集群作为数据库，使其能够满足海量数据存储。本发明的技术方案大幅提升数据接收能力以及数据计算能力。

技术领域

本发明涉及环保大数据应用领域，特别是涉及一种针对环境质量在线监测数据采集系统和方法。

背景技术

随着生态环境问题的日渐突出，推进数据资源全面整合共享、提升数据获取能力、创新数据采集方式、提高对多种环境要素及各种污染源全面感知和实时监控能力成为必要趋势。然而，目前对环境质量监测站实时监测的数据采集还停留在比较传统的阶段，比如现有的采集系统直接使用socket服务端接收监测站客户端数据，当数据发送请求并发量比较大时，容易引起阻塞；使用普通java算法对监测数据进行解析和校验，使用普通关系型数据库对监测数据进行存储，当数据量比较大时，采集系统无法满足计算需求和存储需求。当采集系统某个功能出现异常时，容易引起整个系统功能异常而不能接收数据，导致在系统恢复前环境质量监测站发送来的数据全部丢失。随着环保业务不断地发展，环境质量监测站点不断增多，传统的采集系统无法处理日益增大的数据量。综上所述，现有的数据采集系统已不能满足对环境质量数据采集的实际需求，迫切需要一个更专业的能够支撑大数据业务需求的数据采集系统。

发明内容

本发明的目的提供一种处理环境质量监测站大量频繁发送数据的数据采集系统和方法，能够接收大量数据并发请求，并及时得到计算结果，以供环保应用系统使用。为了实现上述目的，本发明提供如下技术方案：一种环境质量在线监测数据的采集系统，包括数据采集客户端，数据接收服务端，数据计算中心和数据存储中心；所述数据采集客户端，用于实时或定时采集环境质量监测数据，并将数据发送到所述数据接收服务端；所述数据接收服务端，用于接收所述数据采集客户端发来的数据，并将所述数据发送到数据计算中心；所述数据计算中心，用于接受数据接收服务端的数据，进行计算，将计算后的结果数据以及不经处理的原始数据发送至数据存储中心；所述数据存储中心，用于存储所述数据计算中心计算结果和原始数据；所述数据接收服务端包括Netty数据接收集群和Kafka消息队列集群；所述Netty数据接收集群，用于接收环境质量数据采集客户端发送来的原始数据；所述Kafka消息队列集群，用于建立Netty数据接收集群与数据计算中心的数据通信。

优选地，上述采集系统还包括环境自动化监测站，布设于目标区域，用于实时检测目标区域环境质量生成环境质量监测数据；所述环境自动化监测站包括前置服务器，所述数据采集客户端部署于环境自动化监测站前置服务器，实时或定时采集环境自动化监测站的监测数据。

优选地，所述数据计算中心包括Redis数据存储集群和Flink计算集群；所述Redis数据存储集群，用于缓存数据校验规则、环境质量监测站站点信息以及监测因子信息；所述Flink计算集群，用于对所述Kafka消息队列集群中的数据结合Redis缓存数据进行实时计算。

优选地，所述数据存储中心包括构建在HDFS上的分布式存储系统Hbase，用于对来自于数据计算中心的数据进行存储。

一种环境质量在线监测数据的采集方法，应用上述环境质量在线监测数据的采集系统完成，步骤包括：

S1，数据采集客户端实时采集环境自动化监测站的监测数据，将监测数据发送至数据接收服务端；

S2,数据接收服务端接受数据采集客户端发送的监测数据，并将所述数据发送至数据计算中心；