[发明专利]一种基于时序库的分布式工业SCADA系统量测数据处理方法

说明书

本发明公开了一种基于时序库的分布式工业SCADA系统量测数据处理方法，包括：采用选举机制从分布式应用部署服务器集群中选举产生Leader节点和Follower节点；采用心跳检测法保持Leader节点和各Follower节点通讯正常；使Leader节点采用虚拟节点的分区映射方法结合哈希算法进行虚拟分区划分，并将虚拟节点平均分配给各个时序数据库节点；根据所接收的量测数据读/写请求，以量测点ID为关键词在缓存中确定虚拟分区，定位至相应的物理时序库服务器，从而对物理时序库服务器进行量测数据读/写。本发明能够为量测数据读/写提供统一接口和动态扩容服务，提高数据读/写的实时性。

技术领域

本发明涉及一种基于时序库的分布式工业SCADA系统量测数据处理方法，属于数据处理技术领域。

背景技术

在工业SCADA系统的实际应用过程中由于很多应用需要多维度的数据，导致数据采集点多。同时由于应用方面的实际需要，通常需要把采集的数据保留一段很长的时间，用于查询、分析和统计。另一方面，很多数据的采集要求实时性较高，需要保持着较高的采集频率，这样数据库中的数据势必会越来越多，因此在保证系统稳定与正常访问的前提下，将不可避免地面临着大数据量的处理问题。

目前工业SCADA系统的存储大多停留在关系型数据库，关系型数据库如Oracle，在大数据的场景下已经渐渐满足不了系统采集和监控对于读写性能的要求。另一部分采用时序数据库来进行存储，虽然达到了读写性能的要求，但是由于时序库的供应商对集群部署的方式不开源，只开放单节点上的存储，所以从存储容量来说是一个瓶颈。还有一部分采用了类似HBase的大数据解决方案，该方案读写性能介于关系库和时序库之间，支持动态扩容，但是不具备简单的SQL语句查询的功能，需要引入其他中间件部署，部署和问题定位复杂度高。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种基于时序库的分布式工业SCADA系统量测数据处理方法，能够为量测数据读/写提供统一接口和动态扩容服务，提高了数据读/写的实时性。

为达到上述目的，本发明是采用下述技术方案实现的：

一种基于时序库的分布式工业SCADA系统量测数据处理方法，所述方法包括：

将分布式应用部署至同一网段下多个时序库服务器中运行；

采用选举机制从分布式应用部署服务器集群中选举产生Leader节点和Follower节点，并根据选举结果对应更新Leader节点和各Follower节点的状态；

采用心跳检测法保持Leader节点和各Follower节点通讯正常，形成服务集群；

使Leader节点采用虚拟节点的分区映射方法结合哈希算法进行虚拟分区划分，并将虚拟节点平均分配给各个时序数据库节点；

将虚拟节点的分区映射信息存入缓存，并同步至Follower节点中；

根据所接收的量测数据读/写请求，以量测点ID为关键词在缓存中确定虚拟分区，根据所确定的虚拟分区定位至相应的物理时序库服务器，对所述物理时序库服务器进行量测数据读/写。

进一步的，所述采用选举机制从分布式应用部署服务器集群中选举产生Leader节点和Follower节点的方法包括：

使所有分布式应用部署服务器节点均发起投票，产生包含选举所需元素的选票信息；

接收其它分布式应用部署服务器节点发起的选票信息，根据预定的比较规则进行选票信息比较，确定本轮选举的主节点，并更新其它分布式应用部署服务器节点的选票信息；

统计是否有过半的分布式应用部署服务器节点接收到了相同的选票信息：

如果是，则选举完成，将本轮选举的主节点作为最终的Leader节点，其它集群中非主节点的为副节点，作为Follower节点，同时，将Leader节点的状态更新为Leading，Follower节点的状态更新为Following；

否则，重新发起下一轮投票，直至有过半的分布式应用部署服务器节点接收到了相同的选票信息。