[发明专利]集群日志采集方法、装置、设备及存储介质

说明书

本发明涉及基架运维技术，揭露了一种集群日志采集方法，包括：利用第一种采集方式在集群中的每个节点部署第一日志代理；利用第一日志代理采集每个所述节点的日志，并获取日志的采集速度；获取日志对应的日志量，在日志量小于第一预设阈值且采集速度大于第二预设阈值时，继续利用第一日志代理采集每个所述节点的日志；满足日志量大于第一预设阈值以及采集速度小于第二预设阈值中至少一个条件时，根据日志检测集群中日志的采集进度；利用第二种采集方式，根据采集进度在集群中的每个节点部署第二日志代理，并利用第二日志代理采集所述每个节点的日志。本发明还提出一种集群日志采集装置、设备以及介质。本发明可以提高集群日志采集的效率。

技术领域

本发明涉及基架运维技术领域，尤其涉及一种集群日志采集方法、装置、电子设备及计算机可读存储介质。

背景技术

日志采集分析是集群系统工作中的重要一环，可以记录详细的访问请求以及错误信息，非常利于问题的定位。业界许多日志系统都会使用DaemonSet、Sidecar等采集方式来应对集群在不同情况下的日志采集。其中，DaemonSet方式相对资源占用要小很多，但扩展性、租户隔离性受限，比较适用于功能单一或业务不是很多的集群；Sidecar方式相对资源占用较多，但灵活性以及多隔离性较强，比较适合于大型的集群。

然而，现实中的集群往往不是一步就成长到大型的集群，是由一个小集群一步步成长到大型的集群。集群日志的数据量也是一步步的增多，这就导致了在前期还处于小集群的时候，使用DaemonSet方式更简单高效，当日志数据量一步步增多DaemonSet方式速度不够来不及采集日志的时候，使用Sidecar方式更合适。因此，如今集群系统日志采集工作面临着由于集群日志的数据量不确定而导致的日志采集方式不灵活，进而集群日志采集的效率低。

发明内容

本发明提供一种集群日志采集方法、装置及计算机可读存储介质，其主要目的在于解决集群日志采集的效率低的问题。

为实现上述目的，本发明提供的一种集群日志采集方法，包括：

利用预设的第一种采集方式在集群中的每个节点部署第一日志代理；

利用所述第一日志代理采集每个所述节点的日志，并获取所述日志的采集速度；

获取所述日志对应的日志量，判断所述日志量是否小于第一预设阈值以及所述采集速度是否大于第二预设阈值；

若所述日志量小于第一预设阈值且所述采集速度大于第二预设阈值，则返回所述利用所述第一日志代理采集每个所述节点的日志，根据所述日志计算得到采集速度的步骤；

若满足所述日志量大于第一预设阈值以及所述采集速度小于第二预设阈值中至少一个条件时，则根据所述日志检测所述集群中日志的采集进度；

利用预设的第二种采集方式，根据所述采集进度在所述集群中的每个节点部署第二日志代理，并利用所述第二日志代理采集所述每个节点的日志。可选地，所述利用预设的第一种采集方式在集群中的每个节点部署第一日志代理，包括：

分别对每个所述节点配置一个容器组，从所述节点中选取一个节点的容器组作为目标容器组；

获取所述目标容器组的IP地址；

在预设的代理配置中心中选取日志代理作为第一日志代理，并在所述第一日志代理中添加所述IP地址；

提取所述第一日志代理，得到第一日志代理文件；

将所述第一日志代理文件上传至所述目标容器组对应的节点中。

可选地，所述利用所述第一日志代理采集每个所述节点的日志，包括：

根据所述节点以及对应的容器组配置采集路径；

将所述采集路径和预设的拆分规则组合为采集信息；