[发明专利]集群日志采集方法、装置、设备及存储介质

权利要求书

1.一种集群日志采集方法，其特征在于，所述方法包括：

利用预设的第一种采集方式在集群中的每个节点部署第一日志代理；

利用所述第一日志代理采集每个所述节点的日志，并获取所述日志的采集速度；

获取所述日志对应的日志量，判断所述日志量是否小于第一预设阈值以及所述采集速度是否大于第二预设阈值；

若所述日志量小于第一预设阈值且所述采集速度大于第二预设阈值，则返回所述利用所述第一日志代理采集每个所述节点的日志，根据所述日志计算得到采集速度的步骤；

若满足所述日志量大于第一预设阈值以及所述采集速度小于第二预设阈值中至少一个条件时，则根据所述日志检测所述集群中日志的采集进度；

利用预设的第二种采集方式，根据所述采集进度在所述集群中的每个节点部署第二日志代理，并利用所述第二日志代理采集所述每个节点的日志。

2.如权利要求1所述的集群日志采集方法，其特征在于，所述利用预设的第一种采集方式在集群中的每个节点部署第一日志代理，包括：

分别对每个所述节点配置一个容器组，从所述节点中选取一个节点的容器组作为目标容器组；

获取所述目标容器组的IP地址；

在预设的代理配置中心中选取日志代理作为第一日志代理，并在所述第一日志代理中添加所述IP地址；

提取所述第一日志代理，得到第一日志代理文件；

将所述第一日志代理文件上传至所述目标容器组对应的节点中。

3.如权利要求2所述的集群日志采集方法，其特征在于，所述利用所述第一日志代理采集每个所述节点的日志，包括：

根据所述节点以及对应的容器组配置采集路径；

将所述采集路径和预设的拆分规则组合为采集信息；

利用所述第一日志代理根据所述采集信息采集日志。

4.如权利要求3所述的集群日志采集方法，其特征在于，所述利用所述第一日志代理根据所述采集信息采集日志，包括：

获取查看命令，所述第一日志代理根据所述查看命令查看所述容器组的运行进程；

根据预设的正则表达式从所述运行进程中解析得到目标进程；

根据所述目标进程从所述采集信息中提取目标采集路径，并根据所述目标采集路径从所述采集信息中提取对应的拆分规则；

通过预设的文件流方式获取所述目标采集路径下的日志文件；

根据所述对应的拆分规则拆分所述日志文件，得到所述日志。

5.如权利要求2所述的集群日志采集方法，其特征在于，所述根据所述日志检测所述集群中日志的采集进度，包括：

遍历所述集群中的每一个节点，并提取所述每一个节点对应的容器组中每一个容器进程的结束符；

在所述日志中检索所述结束符；

若检索到所述结束符，则确定所述结束符对应的节点的采集进度为采集完成；

若检索不到所述结束符，则根据所述日志确定所述结束符对应的节点的采集截止位置，并根据所述采集截止位置确定所述节点对应的采集进度。

6.如权利要求2所述的集群日志采集方法，其特征在于，所述利用预设的第二种采集方式，根据所述采集进度在所述集群中的每个节点部署第二日志代理，包括：

确定采集进度为采集完成的节点为第一节点，除采集进度为采集完成以外的节点为第二节点；

在所述第一节点中部署一个第二日志代理；

提取所述第二节点中的容器，并将所述容器部署为多个容器组；

根据多个所述容器组分别配置第二日志代理。

7.如权利要求6中任一项所述的集群日志采集方法，其特征在于，所述利用所述第二日志代理采集所述每个节点的日志，包括：

利用所述第一节点中的第二日志代理监测第一节点中的进程，并根据监测结果采集日志；

提取所述第二节点中的第二日志代理所对应的容器的采集进度；

利用所述第二节点中的第二日志代理根据所述采集进度继续进行日志采集。