[发明专利]日志采集方法及系统

说明书

本公开提供一种日志采集方法及系统，涉及通信技术领域。该方法包括：日志接收端监听预先设置的端口，获取来自至少一个日志发送节点的日志；对于获取的每个日志，日志接收端将该日志转换为第一消息保存在第一消息队列；分发节点对从第一消息队列中获取的任一第一消息，确定该第一消息对应的日志发送节点的标识，并将第一消息转换为第二消息后保存到日志发送节点的标识对应的第二消息队列。通过对预先设置的端口进行监听，无需对日志接收端的其他端口进行监听，无需启动多个任务监听多个端口，减少了日志接收端所占用的资源，提高了日志接收端的利用率，提高了获取日志的灵活性。

技术领域

本公开涉及通信技术领域，具体而言，涉及一种日志采集方法及系统。

背景技术

随着互联网技术的不断发展，网络设备产生的日志数据也越来越多，可以对日志数据采集分析，根据分析结果获取日志数据中有价值的内容。

相关技术中，日志接收端可以启动多个logstash(数据收集引擎)任务，对多个端口进行监听，并采用不同的配置文件，接收来源不同、编码格式不同的日志数据，最后向不同的消息队列发送接收的日志数据。

但是，日志接收端需要启动多个logstash任务监听各个端口，导致启动多个logstash任务占用较多资源的问题。

发明内容

本公开的目的在于，针对上述现有技术中的不足，提供一种日志采集，以解决日志接收端采集日志数据时需要占用过多资源的问题。

为实现上述目的，本公开实施例采用的技术方案如下：

第一方面，本公开实施例提供了一种日志采集方法，所述方法应用于日志采集系统，所述日志采集系统包括至少一个日志发送节点、日志接收端和分发节点，所述方法包括：

所述日志接收端监听预先设置的端口，获取来自所述至少一个日志发送节点的日志；

对于获取的每个日志，所述日志接收端将所述日志转换为第一消息保存在第一消息队列；

所述分发节点对从所述第一消息队列中获取的任一第一消息，确定所述第一消息对应的日志发送节点的标识，并将所述第一消息转换为第二消息后保存到所述日志发送节点的标识对应的第二消息队列。

可选的，每个所述日志发送节点上配置有统一的日志接收端的信息，所述日志接收端的信息包括：所述日志接收端的地址和所述预先设置的端口的端口号。

可选的，对于获取的每个日志，所述第一消息包括：所述日志和发送所述日志的日志发送节点的标识。

可选的，所述分发节点对从所述第一消息队列中获取的任一第一消息，确定所述第一消息对应的日志发送节点的标识，包括：

所述分发节点采用预设的第一编码格式对从所述第一消息队列中获取的任一第一消息进行解码，获取所述第一消息中包含的所述日志发送节点的标识。

可选的，所述将所述第一消息转换为第二消息，包括：

所述分发节点在预先配置的日志发送节点的配置文件中查找与所述获取的日志发送节点的标识匹配的配置文件；

所述分发节点根据所述匹配的配置文件中记录的第二编码格式对采用第一编码格式解码后的第一消息的内容进行编码，得到所述第二消息。

第二方面，本公开实施例还提供了一种日志采集系统，所述日志采集系统包括：至少一个日志发送节点、日志接收端和分发节点；

所述日志接收端用于监听预先设置的端口，获取来自所述至少一个日志发送节点的日志；

对于获取的每个日志，所述日志接收端还用于将所述日志转换为第一消息保存在第一消息队列；