[发明专利]一种基于MQTT的通用数据采集系统

说明书

本发明公开了一种基于MQTT的通用数据采集系统，所述数据采集层完成各种控制系统工业接口协议的转换和数据采集存储，接收控制指令、发送反馈消息、发送压缩数据流；所述MQTT中间层对多种消息进行发布、订阅管理和客户端连接管理；所述数据控制层提供时序数据库、数据采集层的基础数据管理、数据查询、SQL工具功能，完成控制指令的下发，反馈消息的接收、数据归档的管理及接口运行状态的监控；所述数据归档层完成压缩数据流的接收、解压、并发控制写入，接收控制层指令，根据正常采集数据流和存储转发数据流，采用动态线程争用方式完成各接口数据的解压、大批量快速写入。本发明解决了现有时序数据库与实时数据库功能难以结合并行的问题。

技术领域

本发明涉及数据采集技术领域，具体涉及一种基于MQTT的通用数据采集系统。

背景技术

实时数据库诞生于国外，主要是因为现代工业制造流程及大规模工业自动化的发展，导致大量的测量数据需要集成和存储，而采用关系数据库难以满足速度和容量的要求，实时数据库其实并不单单只是一个数据库，而是一个系统，包括对各类工业接口的数据采集，海量监测数据的压缩、存储及检索，基于监测数据的反馈及控制功能等。

时序数据库主要是实时数据库的数据存储部分，但是，由于它采用了新的技术，极大地扩展了数据的容量，除了数据点和时间戳之外，还提供标签和内容等对数据的描述，并且提供各种聚合查询，弥补了实时库的缺陷。但是，时序数据库不提供工业接口、下行控制等功能，这些都需要开发人员自行开发，或者将原有的接口与时序数据库对接。

在云计算的时代，实时数据库的一些缺点就慢慢的显露出来了。由于实时数据库都是出售给大型工业企业的，因此价格昂贵，在物联网时代，对于中小工业企业来说，是个不小的成本。再次，传统实时数据库在部署时不够方便灵活，传输也更多的考虑工业网络，甚少考虑互联网的情况，不太适应当下云计算环境的部署。

时序数据库在2017年出现了大量的开源和商业产品，时序数据库就是存放时序数据的数据库，并且需要支持时序数据的快速写入、持久化、多纬度的聚合查询等基本功能。时序数据库其实主要是实时数据库的数据存储部分，但是，由于它采用了新的技术，极大地扩展了数据的容量，除了数据点和时间戳之外，还提供标签和内容等对数据的描述，并且提供各种聚合查询，弥补了实时库的缺陷。但是，时序数据库具备通用互联网消息接口，不提供工业接口、下行控制等功能，这些都需要开发人员自行开发，或者将原有的接口与时序数据库对接。MQTT消息队列遥测传输是ISO标准(ISO/IEC PRF 20922)下基于发布/订阅范式的消息协议。它工作在TCP/IP协议族上，是为硬件性能低下的远程设备以及网络状况糟糕的情况下而设计的发布/订阅型消息协议，为此，它需要一个消息中间件。

基于此情况，开发一种既满足原有实时数据库采集方式又满足互联网架构时序数据库采集方式的采集架构是推进时序数据库完成实时数据库国产化替代的关键一环。

发明内容

为此，本发明提供一种基于MQTT的通用数据采集系统，以解决现有时序数据库与实时数据库功能难以结合并行的问题。

为了实现上述目的，本发明提供如下技术方案：

本发明公开了一种基于MQTT的通用数据采集系统，所述系统包括：数据采集层、MQTT中间层、数据控制层和数据归档层，所述数据采集层完成各种控制系统工业接口协议的转换和数据采集存储，接收控制指令、发送反馈消息、发送压缩数据流；所述MQTT中间层对多种消息进行发布、订阅管理和客户端连接管理；所述数据控制层提供时序数据库、数据采集层的基础数据管理、数据查询、SQL工具功能，完成控制指令的下发，反馈消息的接收、数据归档的管理及接口运行状态的监控；所述数据归档层完成压缩数据流的接收、解压、并发控制写入，接收控制层指令，根据正常采集数据流和存储转发数据流，采用动态线程争用方式完成各接口数据的解压、大批量快速写入。

进一步地，所述数据采集层支持各种工业控制系统接口和通用互联网消息传递接口，按照管理方式分为：工业控制系统接口采集和物联网设备接口采集；