[发明专利]一种面向分布式工业时序数据库的数据负载均衡方法

说明书

本发明公开了一种面向分布式工业时序数据库的数据负载均衡方法，步骤如下：获取分布式工业时序数据库集群中所有节点的未使用的存储资源大小；根据新增测点采集数据点的大小和数据的采集频率计算得到测点存储资源消耗的估计值；将待添加测点划分成和数据库集群中节点数量相同的若干组，并对每组测点的资源消耗估计值计算累加值，使得每组估计值累加值之间的比例和各节点未使用存储资源大小的比例趋近，按照分组结果将各组内的测点分配到对应节点中。本发明解决了现有方法导致的数据负载不均衡和存储资源浪费等问题，提升了分布式工业时序数据库的硬件资源利用率、数据负载的均衡性和可拓展性。

技术领域

本发明涉及工业时序数据库，特别是一种面向分布式工业时序数据库的数据负载均衡方法。

背景技术

随着工业物联网快速发展，工业企业在生产经营过程中会采集大量数据，这些数据都是有时序的且具有显著特点，如带有时间戳、数据源唯一、结构化、少有或几乎没有更新等。工业时序数据库针对以上特点的时序数据，提供采集、存储、查询、处理和分析等功能。工业企业为了监测生产系统的运行状态，在各个关键点都配有传感器，采集时序数据，这些数据是周期或准周期产生的，具有不同的采集频率。

工业时序数据库采集存储的数据量往往非常庞大，以智能电表为例，一台智能电表每隔15分钟采集一次数据，每天生成96条记录，全国有接近5亿台的智能电表，每天生成近500亿条记录，单节点的时序数据库将难以支撑，故多采用分布式技术，在多个节点上部署多个数据库实例形成集群，通过统一管理和调度集群中各个节点，满足对于工业时序数据库的基本要求，包括：(1)能够支撑高并发、高吞吐的写入(2)交互级的查询延迟，即在较大数据基数(TB级)的情况下，能够达到很低的查询延迟(3)能够支撑海量数据存储，达到TB级甚至PB级数据存储量(4)高可用，保证提供给用户的服务的连续性。

分布式工业时序数据库在搭建集群时，会根据不同节点的硬件资源情况调整节点上部署的实例数量，同时使用均匀哈希的测点分配策略，尽可能保证各个节点的存储资源使用比率相同，但此类数据负载均衡方法没有考虑测点的数据类型和测点的采集频率，随着系统投入使用的时间逐渐增加，数据库集群中各个节点间的存储资源使用比率的差距将不断增加，集群的数据负载均衡水平将不断下降，当部分节点的存储资源消耗殆尽时，系统面临扩容即增加新节点需求，但此时仍存在其他节点有未使用的存储资源，造成了存储资源的浪费，降低了集群的负载均衡性，并可能因此产生性能瓶颈，且在集群新增节点时导致大规模数据迁移，不利于分布式数据库的可拓展性。

由此可见，现有分布式时序数据库测点的哈希均匀分配方法，存在存储资源利用不充分、可拓展性较差等问题，并且因负载不均衡性可能导致性能瓶颈，因此设计一种有效的面向分布式工业时序数据库的数据负载均衡方法对解决以上问题非常关键。

发明内容

发明目的：本发明的目的是提供一种面向分布式工业时序数据库的数据负载均衡方法，从而解决现有分布式工业时序数据库缺少数据负载均衡方法，存储硬件资源利用率低下的问题。

技术方案：本发明所述的一种面向分布式工业时序数据库的数据负载均衡方法，其特征在于，包括以下步骤：

(1)在分布式工业时序数据库集群中获取所有节点未使用的存储资源大小；

(2)根据新增测点的采集数据点大小和数据采集的频率计算得到测点存储资源消耗的估计值；

(3)将待添加测点划分成和集群中节点数量相同的若干组并对每组测点的存储资源消耗估计值求和，在各组测点数量均匀的前提下，使得每组估计值的累加值之间的比例和各节点未使用存储资源大小之间的比例趋近，将各组测点分配到对应节点中。

所述步骤(1)具体为：