[发明专利]一种对集群内监控数据进行采集的方法和装置

说明书

本公开提供一种对集群内监控数据进行采集的方法和装置，集群中包括协调组件和至少一个分片组件，该方法具体包括：获取待分配的采集对象以及所述采集对象对应的时序数量；基于所述采集对象对应的时序数量调用所述协调组件对所述待分配的采集对象进行分配，确定为每个分片组件分配的目标采集对象，并生成每个所述目标采集对象对应的采集对象分配列表；将所述采集对象分配列表发送至对应的分片组件，调用分片组件基于所述采集对象分配列表获取所述目标采集对象；基于所述目标采集对象，通过所述分片组件对所述目标采集对象对应的监控数据进行采集。实现了对集群部署的每一分片组件分配的目标采集对象对应的时序数量能够保持相对的均衡。

技术领域

本公开涉及云原生技术领域，尤其涉及一种对集群内监控数据进行采集的方法和装置。

背景技术

现有技术中，对采集任务拆分的方案主要有两种：一种是运用哈希算法取模的方法，利用原生监控组件提供的重写机制，将每个要采集的数据按特定维度进行哈希，获取分片，原生监控组件去配置要采集的分片。第二种是对全部采集工作进行划分，每个原生监控组件的采集任务和配置完全独立。但是，上述两种方案虽然对采集任务拆分之后，可以实现原生监控组件的横向扩展的效果，降低单实例的采集压力，但是并不能解决负载均衡的问题以及集群的动态扩缩容。

发明内容

本公开提供一种对集群内监控数据进行采集的方法和装置，实现了对集群部署的每一分片组件分配的目标采集对象对应的时序数量能够保持相对的均衡。

第一方面，本公开提供一种对集群内监控数据进行采集的方法，集群中包括协调组件和至少一个分片组件，该方法具体包括：

获取待分配的采集对象以及所述采集对象对应的时序数量；

基于所述采集对象对应的时序数量调用所述协调组件对所述待分配的采集对象进行分配，确定为每个分片组件分配的目标采集对象，并生成每个所述目标采集对象对应的采集对象分配列表；

将所述采集对象分配列表发送至对应的分片组件，调用分片组件基于所述采集对象分配列表获取所述目标采集对象；

基于所述目标采集对象，通过所述分片组件对所述目标采集对象对应的监控数据进行采集。

根据本公开提供的对集群内监控数据进行采集的方法，所述协调组件包括扩展管理器；

所述方法还包括：

在新增采集对象的情况下，获取所述新增采集对象对应的时序数量；

分别查看所述分片组件对应的时序数量，并将所述新增采集对象的时序数量分别与所述分片组件对应的时序数量进行相加，得到每一分片组件对应的时序总量；

若所述每一分片组件对应的时序总量大于预设的第一阈值，调用所述扩展管理器添加新的分片组件，并对所述待分配的采集对象重新分配，确定为每个分片组件分配的目标采集对象，生成每个所述目标采集对象对应的采集对象分配列表；

若任意一个或多个分片组件对应的时序总量小于等于预设的第一阈值，在所述一个或多个分片组件中选取时序总量最小值对应的分片组件接收新增采集对象，并生成所述接收新增采集对象的分片组件对应的采集对象分配列表。

根据本公开提供的对集群内监控数据进行采集的方法，所述方法还包括：

在减少采集对象的情况下，分别查看所述分片组件对应的时序数量；

若任意一个或多个分片组件对应的时序数量小于预设的第二阈值，调用所述扩展管理器减少分片组件，并对所述待分配的采集对象重新分配，确定为每个分片组件分配的目标采集对象，生成每个所述目标采集对象对应的采集对象分配列表。

根据本公开提供的对集群内监控数据进行采集的方法，所述协调组件中包括目标管理器和配置管理器；