[发明专利]基于Kubernetes集群的日志收集方法、装置、电子设备及存储介质

说明书

本申请涉及数据处理技术领域，本申请提供了一种基于Kubernetes集群的日志收集方法、装置、电子设备及存储介质。该方法包括：通过独立构建的信息收集容器中的代理应用从Kubernetes集群的主节点中获取集群级别的日志配置信息以生成并执行运行配置文件，然后动态监听工作节点中的目标容器的运行事件以生成对应的日志收集配置文件，该日志收集配置文件包括容器名称、目标容器和日志信息之间的关联关系，接着根据日志收集配置文件从内存中搜集目标日志信息并发送至日志服务集群。本申请在搜集目标日志信息的过程中考虑了目标日志信息和容器名称、目标容器之间的关联关系，克服了相关技术中Filebeat无法获知容器日志和容器之间的关系的问题，提高了容器日志的收集准确性。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种基于Kubernetes集群的日志收集方法、装置、电子设备及存储介质。

背景技术

日志收集分析是Kubernetes集群系统工作中的重要依据，业界许多日志系统都会选择在节点上部署Filebeat来采集Kubernetes集群中的容器日志，但是，Filebeat无法获知容器日志文件和容器之间的关系，不便于后续用户对特定容器的日志查询，而且，由于很多时候均需要利用容器的日志来定位问题，因此容器日志的准确性和重要性不言而喻。如何更高效准确的解决Kubernetes集群中容器的日志收集问题，成为一个亟待解决的问题。

发明内容

本申请实施例的主要目的在于提出一种基于Kubernetes集群的日志收集方法、装置、电子设备及存储介质，旨在提高Kubernetes集群中容器日志的收集准确性。

为实现上述目的，本申请实施例的第一方面提出了一种基于Kubernetes集群的日志收集方法，应用于所述Kubernetes集群中的工作节点，所述日志收集方法包括：

构建独立的信息收集容器，其中，所述信息收集容器包括用于收集日志信息的代理应用；

启动所述信息收集容器中的所述代理应用，通过所述代理应用从Kubernetes集群的主节点中获取集群级别的日志配置信息，根据所述日志配置信息生成用于执行日志收集功能的运行配置文件，并控制所述代理应用执行所述运行配置文件；

通过所述代理应用动态监听所述工作节点中的目标容器的运行事件；

当监听到所述运行事件，生成与所述目标容器对应的日志收集配置文件，其中，所述日志收集配置文件包括容器名称、所述目标容器和所述目标容器所生成的日志信息之间的关联关系；

通过所述代理应用对所述工作节点的目标文件目录进行扫描，将所述目标文件目录中的由所述目标容器生成的目标日志信息加载进内存；

根据所述日志收集配置文件从所述内存中搜集所述目标日志信息，将所述目标日志信息发送至日志服务集群。

根据本申请一些实施例提供的日志收集方法，所述构建独立的信息收集容器之后，所述日志收集方法还包括：

设置所述信息收集容器的内存容量小于或等于预设容量，以及设置所述信息收集容器的中央处理器的核数小于或等于预设数量；

将所述工作节点的根路径映射到所述信息收集容器内部的目标路径。

根据本申请一些实施例提供的日志收集方法，所述通过所述代理应用从Kubernetes集群的主节点中获取集群级别的日志配置信息，包括：

通过所述代理应用采用超文本传输协议访问所述Kubernetes集群的主节点上的接口服务器以请求集群级别的日志配置信息；

通过所述代理应用接收所述接口服务器发送的所述集群级别的日志配置信息。

根据本申请一些实施例提供的日志收集方法，所述通过所述代理应用动态监听所述工作节点中的目标容器的运行事件，包括：