[发明专利]基于容器的数据收集的方法及终端

说明书

技术领域

本发明涉及计算机技术领域，具体而言，涉及一种基于容器的数据收集的方法及终端。

背景技术

容器集群是指若干容器实例运行在在单个或多个物理服务器中，目前市面上主流的容器集群管理平台为Swarm，Kubernetes，Mesos等。

Logstash为一种文本类文件的采集、处理、转发工具，可以对某一特定的文件或某个目录下的文件进行分析、采集。通过配置数据收集工具的数据收集规则对规则下的指定的文本数据进行收集、处理、存储。

现有技术中，对于单一容器实例的日志数据采集可通过Logstash配置采集规则来收集日志数据。一个服务器上可以运行来自多个容器集群的容器，每个容器上部署一个Logstash，当需要针对多个容器组成的容器集群进行日志数据收集时，需要在该容器集群中的每个容器配置相同的日志，从而实现对每个容器集群中的容器的日志数据进行收集。

在实现本发明的过程中，发明人发现，现有技术中，由于服务器上运行的每个容器上均部署一个Logstash，这不便于对服务器上运行的容器的管理，导致大量的系统资源开销，另外一方面，容器集群进行日志数据收集时，需要在该容器集群中的每个容器配置相同的数据收集规则，系统资源严重浪费，当容器集群中的容器数量发生改变时，需要对应的改变Logstash的数目，增加了系统开销，而且降低了数据收集的效率，当某容器集群内的容器的数据收集规则改变时，需要对该容器集群内的所有容器上配置的数据收集规则进行改变，过程繁琐重复，降低了数据收集的效率。

因此，需要一种新的基于容器的数据收集的方法及终端。

在所述背景技术部分公开的上述信息仅用于加强对本发明的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

有鉴于此，本发明提供一种基于容器的数据收集的方法及终端，能够以低系统资源开销的方式实现数据收集。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

根据本发明的第一方面，提供一种基于容器的数据收集的方法，其中，所述方法包括：

在服务器上部署一个数据处理工具；

生成针对所述数据处理工具的数据收集规则集合；

所述数据处理工具根据生成的所述数据收集规则集合，收集所述服务器上运行的容器的数据。

根据一些实施例，生成针对所述数据处理工具的数据收集规则集合，包括：根据所述服务器上运行的来自多个容器集群的容器的数据收集规则生成针对所述数据处理工具的数据收集规则集合。

根据一些实施例，所述方法还包括：当监控到所述服务器上运行的容器的数据收集规则改变时，暂停所述数据处理工具对容器的数据的收集，并根据所述数据收集规则重新生成针对所述数据处理工具的数据收集规则集合。

根据一些实施例，所述方法还包括：当接收容器集群的变化的容器的信息时，查找所述服务器上是否存在所述变化的容器；

如果是，暂停所述数据处理工具对容器的数据的收集，并根据所述变化容器的信息重新生成针对所述数据处理工具的数据收集规则集合。

根据一些实施例，当重新生成针对所述数据处理工具的数据收集规则集合后，所述方法还包括：所述数据处理工具根据重新生成的所述数据收集规则集合，收集所述服务器上运行的容器的数据。

根据一些实施例，收集所述服务器上运行的容器的数据，包括：利用所述数据收集规则集合中的数据收集规则中的数据输入端收集数据；根据所述数据收集规则中的数据中转层对所述数据进行格式处理；根据所述数据收集规则中的数据输出端将格式处理后的所述数据输出至指定位置。

根据本发明的第二方面，提供一种基于容器的数据收集的装置，其中，所述装置包括：

部署模块，用于在服务器上部署一个数据处理工具；

生成模块，用于生成针对所述数据处理工具的数据收集规则集合；

收集模块，用于根据生成的所述数据收集规则集合，收集所述服务器上运行的容器的数据。

根据一些实施例，所述生成模块，配置为根据所述服务器上运行的来自多个容器集群的容器的数据收集规则生成针对所述数据处理工具的数据收集规则集合。

根据一些实施例，所述装置还包括：

监控模块，用于监控所述服务器上运行的容器的数据收集规则；

暂停模块，用于当所述监控模块监控到所述服务器上运行的容器的数据收集规则改变时，暂停所述数据处理工具对容器的数据的收集；