[发明专利]一种用于分布式系统的日志采集分析方法

说明书

本发明公开了一种用于分布式系统的日志采集分析方法，属于软件/数据处理技术领域。本发明的用于分布式系统的日志采集分析方法基于rsyslog进行日志的采集和存储，并通过goaccess进行日志分析，用户通过互联网访问nginx服务负载均衡，负载均衡将请求转发至后端应用服务，应用服务处理请求产生访问日志，日志数据通过rsyslog服务集中到一起进行格式化处理和存储，以既定的格式输出，由goaccess服务进行日志数据的解析和处理，并产生实时的分析结果。该发明的用于分布式系统的日志采集分析方法资源占用少，磁盘IO占用量低，实时性高，并能支撑1MB/s的日志量，即日亿级访问量，具有很好的推广应用价值。

技术领域

本发明涉及软件/数据处理技术领域，具体提供一种用于分布式系统的日志采集分析方法。

背景技术

目前，常用的web应用服务器有tomcat、nginx、Apache等，体量较小的应用一般只运行一个实例，日志的查看工作相对较为简单，登录一台服务器找到固定目录的一个日志文件查看即可。

但是，当应用的体量较大时，往往一两个应用服务器很难满足负载需求，从而会安装多个web应用服务器同时产生不同目录下的多个日志文件，甚至分散到不同主机上的不同目录下，负载均衡往往更多是随机轮询web应用服务器，如果为找日志中的有效信息需要在不同主机不同目录下的多个日志间不断切换，这就为日志的查看工作带来了极大的不便。

同时日志的分析工具一般也是基于更加集中的、有规律的日志进行分析，分散的、无规律的日志将很难分析出有效的结果，手工汇聚整理会造成大量人力浪费。

另外，常用的日志采集分析的方案ELK也存在一定的局限性，ELK是Elasticsearch、Logstash、Kibana三个核心组件的集成方案，该方案是生产实践中常用的组合，Logstash负责日志的搜集、分析、过滤，Elasticsearch提供存储能力并支持高效的全文检索，Kibana用图形化的界面展示日志的分析结果，该方案使用的组件较多，搭建过程较为复杂。特别是Logstash占用的资源较多，而且Logstash是基于定时器进行数据变化的检测，故而会产生数据采集的延迟，为了减少数据丢失的可能性一般还会引入消息队列，比如用kafka来缓存数据，这更增加了方案的链路和使用难度，不利于较大规模系统的日志采集和分析。而传统应用的日志往往分散在不同的主机上，不利于日志汇集及分析，并且没有统一的轮转切割规范，导致产生的数据分析结果也很难具有参考价值。

发明内容

本发明的技术任务是针对上述存在的问题，提供一种资源占用少，磁盘IO占用量低，实时性高，并能支撑1MB/s的日志量，即日亿级访问量的用于分布式系统的日志采集分析方法。

为实现上述目的，本发明提供了如下技术方案：

一种用于分布式系统的日志采集分析方法，基于rsyslog进行日志的采集和存储，并通过goaccess进行日志分析，用户通过互联网访问nginx服务负载均衡，负载均衡将请求转发至后端应用服务，应用服务处理请求产生访问日志，日志数据通过rsyslog服务集中到一起进行格式化处理和存储，以既定的格式输出，由goaccess服务进行日志数据的解析和处理，并产生实时的分析结果。

作为优选，该用于分布式系统的日志采集分析方法具体包括以下步骤：

S1、日志采集：基于rsyslog进行日志的采集；

S2、日志分析：日志经由rsyslog进行日志的采集后汇聚分流产生日志文件，由goaccess进行分析展示；

S3、整体流程展示：通过日志的流转过程展示整体流程。

作为优选，日志采集过程中，接收来自各种来源的输入，其中rsyslog支持tcp、udp协议采集nginx、tomcat多种来源不同格式的日志数据。