[发明专利]一种基于热点发现解决物联网设备上报数据倾斜的方法

说明书

本申请涉及一种基于热点发现解决物联网设备上报数据倾斜的方法，通过引入缓存作为物联设备的实例速率、分区速率和设备热点在设备消息生产端和消费端存储的工具，并利用缓存的过期时间特性实现物联设备的黏性分区。能够将基于黏性分区和热点权重的动态决策分区机制用于物联网领域的设备上报数据分区处理，提升处理效率，同时保证数据处理的有序性和均匀性。解决在物联网场景下，设备数据上报服务端进行处理时，服务端如何在保持数据有序性的同时，能够相对均衡的对上报数据进行分片处理，同时避免产生数据倾斜的问题。采用热点发现解决物联网设备上报数据倾斜的方法，实现设备数据基于消息队列分区的负载均衡和黏性保持。

技术领域

本公开涉及物联网设备技术领域，尤其涉及一种基于热点发现解决物联网设备上报数据倾斜的方法、装置和控制系统。

背景技术

在物联网集群场景下，为了提高系统吞吐，设备数据由数据采集端进行采集后，需要多个消息消费者同时进行消费。消息队列作为连接设备消息消费者和设备消息生产者的桥梁，面对此场景，也会在队列内部划分不同的分区，供不同的消费者实例和生产者实例使用。但是在实际场景中，往往存在不同设备消息上报频率不同的情况。按照设备进行分区指派的话，则会存在热点数据倾斜到某些分区的情况。这种情况下，则会造成某些分区压力过大，甚至数据堆积，降低整体系统吞吐。

现有技术中，解决热点数据倾斜的方案主要是随机分配分区，即对每个设备消息不指定分区，由消息队列随机选择分区进行分配。但是消息队列随机选择分区存在如下技术问题：

随机选择分配分区的方案可以解决数据倾斜的问题，同时由于随机分配，一个设备的数据会分配到不同的分区，由于不同消费者实例并行处理设备速度不一，极易导致设备消息出现乱序，造成设备状态和实际状态的偏差，这种结果在物联网场景下是不可接受的，因此需要进行改进。

发明内容

为了解决上述问题，本申请提出一种基于热点发现解决物联网设备上报数据倾斜的方法、装置和控制系统。

本申请一方面，提出一种基于热点发现解决物联网设备上报数据倾斜的方法，包括如下步骤：

引入缓存作为物联设备的实例速率、分区速率和设备热点在设备消息生产端和消费端存储的工具，并利用缓存的过期时间特性实现物联设备的黏性分区；

配置设备黏性时间，当物联设备在一个黏性时间内无数据上报，则表示黏性失效，设备重新选择分区；

配置热点统计周期，按照预设条件设置消息消费端进行分区热点权重和设备热点权重统计的周期；

根据热点统计周期中所统计的分区热点权重和设备热点权重，进行设备消息分区，并将设备消息分区发送至消息队列。

作为本申请的一可选实施方案，可选地，设备热点权重，反映设备数据在历史周期中相对于整个系统中设备平均速率的权重，其计算过程包括：

设备热点统计开始；

设备消息消费端在缓存中提前加载并管理设备基础数据；

当消费到设备消息时，将设备消息中的设备标识和缓存中的设备基础数据进行对比，得到设备消费数量；

对设备消费数量进行累加，得到所有设备与其对应的设备消费数量；

将缓存中得到的设备和其设备消费数量V_i以及设备数量n代入如下公式进行计算，得到设备热点权重W_i：

计算出设备热点权重的统计结果，将设备与其对应的设备热点权重保存到缓存；

设备热点统计结束。