[发明专利]一种电力物联管理平台动态资源扩展方法

说明书

本发明公开了一种电力物联管理平台动态资源扩展方法，从动态扩展Kafka集群内连接单元数，动态扩展集群节点数和主题消息分区，动态扩展集群内微服务数量和动态扩展kubernetes集群环境，四个阶段分级进行动态资源扩展，实现电力物联管理平台过度资源调配和显式资源管理负担的相对解耦，提高资源利用效率和资源分配效率，可以做到对系统资源的精确分配，避免平台资源的过度浪费。

技术领域

本发明涉及一种电力物联管理平台动态资源扩展方法，属于电力物联管理技术领域。

背景技术

随着边缘设备对物联管理平台的大批量接入，大量的边缘设备有时会同时上传数据，这些同时上传的海量数据对物联管理平台的资源调用产生巨大压力，对网络带宽资源的占用将会成为整个物联平台数据接入和处理的瓶颈。目前，过度资源调配和显式资源管理负担这两个问题是紧密耦合，在遇到所需资源精确分配所带来的难度和成本问题时，通常会采用过度资源调配的方式来应对，这种机械静态的方式是对平台资源的浪费。

常见的资源扩展方式包括垂直扩展和水平扩展，垂直扩展通常的处理方法是提升单机的处理能力，常用的方式有：增强单机硬件的性能：如升级CPU主频和核心数、升级更好的万兆网卡、升级更好的SSD硬盘、扩充机器硬盘、扩充机器内存等。升级单机架构性能：如使用Cache来减少IO次数、使用异步来增加单服务吞吐量、使用无锁数据结构来减少响应时间等。采用垂直扩展方式，优点是：单机优化易于配置且维护和管理的开销最小，性能的改善简单快捷见效快；缺点是：增强单机硬件的购置成本高，并且有可能效益不高，单机性能总归是有限的。水平扩展通常的处理方法是通过增加服务器数量，实现线性扩充系统性能。水平扩展方式对系统的架构设计要求较高。

发明内容

本发明所要解决的技术问题是克服现有技术的缺陷，提供一种电力物联管理平台动态资源扩展方法，对电力物联管理平台分阶段进行动态资源扩展。

为解决上述技术问题，本发明采用的技术方案如下：

本发明提供一种电力物联管理平台动态资源扩展方法，适用于边缘设备上报海量消息到物联管理平台时，按四个阶段分级进行动态资源扩展，包括：

根据当前设备连接数动态扩展接入Kafka集群内连接单元数；

根据Kafka集群节点资源占用情况动态扩展Kafka集群节点数和主题消息分区数；

根据微服务的资源占用情况动态扩展微服务数量；

以及，

根据带宽消耗动态扩展kubernetes集群环境。

进一步的，所述根据当前设备连接数动态扩展接入Kafka集群内连接单元数，包括：

设定边设备下挂子设备数量；

按照分钟级数据上报设定，监测消息收发情况，确定一个连接单元能够稳定接入的边设备数量N；

编写脚本，每增加N个边设备，则新扩展一个连接单元。

进一步的，所述根据Kafka集群节点资源占用情况动态扩展Kafka集群节点数和主题消息分区数，包括：

实时监控kafka集群节点的内存和CPU使用率，在内存使用率和CPU使用率满足预设条件下，如果某主题消息积累到阈值没有被消费，则增加该主题消息分区数；

如果kafka集群节点内存使用率和CPU使用率不满足预设条件，则增加kafka集群节点数。

进一步的，

如果kafka集群节点内存使用率不高于75%，且CPU使用率不高于90%，则满足预设条件；

如果kafka集群节点内存使用率高于75%或CPU使用率高于90%，则不满足预设条件。

进一步的，所述根据微服务的资源占用情况动态扩展微服务数量，包括：