[发明专利]一种用于Nginx日志实时处理分析的方法及终端

说明书

本发明公开了一种用于Nginx日志实时处理分析的方法及终端，实时采集并存储Nginx日志；将Nginx日志中满足预设参数的原文数据聚合压缩，得到并存储聚合后的查询数据至查询数据库；接收分析查询请求，从查询数据库中获取并返回与分析查询请求相对应的查询结果。本发明对于Nginx日志中满足预设参数的原文数据聚合压缩，得到并存储聚合后的查询数据至查询数据库，使得后续进行分析查询的数据是聚合后的查询数据，由于原文数据聚合压缩后的数据减少，即减少了后续查询的数据量，从而提高了查询速度，以实现快速查询。

技术领域

本发明涉及数据处理技术领域，特别涉及一种用于Nginx日志实时处理分析的方法及终端。

背景技术

Web软件Nginx，因为其轻量级、高性能的优点，目前被普遍用作企业级网络服务的HTTP(Hypertext Transfer Protocol，超文本传输协议)和反向代理服务器。作为企业所有网络服务的统一HTTP请求入口，其运行期间所产生的Nginx日志记录着所有HTTP请求的详细信息。通过分析该日志可以用于分析外部用户的行为特点以及内部服务的运行状况，分析结果将对企业的产品运营和服务维护产生重要的价值。

目前，业界多使用开源的ELK stack(简称ELK)对Nginx这样的网络服务日志进行采集、处理和分析。ELK是三种不同日志处理工具(Elasticsearch、Logstash、Kibana)的首字母缩写，它们三者分工各不相同，分别为：

Elasticsearch是个分布式的搜索引擎，负责日志的存储和检索。

Logstash主要负责对数据的采集和过滤。

Kibana提供了一个友好的Web界面，负责对日志的可视化分析和汇总。

三个工具相辅相成，常常被放在一起使用，作为网络日志统一采集、管理、分析处理的整体解决方案。

现有的采用ELK工具对日志进行实时采集分析的方式存在以下缺点：对大规模数据的实时查询响应慢。Elasticsearch作为一个分析处理日志的全文搜索引擎，它会存储下所有采集到的日志数据。当Nginx日志规模非常庞大的情况下，以申请人所在公司为例，一天的Nginx日志就有十几亿条，数据大小1TB左右，从一天十几亿的全量数据中进行检索会非常耗时。

发明内容

本发明所要解决的技术问题是：提供一种用于Nginx日志实时处理分析的方法及终端，以实现快速查询。

为了解决上述技术问题，本发明采用的技术方案为：

一种用于Nginx日志实时处理分析的方法，包括步骤：

S1、实时采集并存储Nginx日志；

S2、将所述Nginx日志中满足预设参数的原文数据聚合压缩，得到并存储聚合后的查询数据至查询数据库；

S3、接收分析查询请求，从所述查询数据库中获取并返回与所述分析查询请求相对应的查询结果。

为了解决上述技术问题，本发明采用的另一种技术方案为：

一种用于Nginx日志实时处理分析的终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的一种用于Nginx日志实时处理分析的方法。

本发明的有益效果在于：一种用于Nginx日志实时处理分析的方法及终端，对于Nginx日志中满足预设参数的原文数据聚合压缩，得到并存储聚合后的查询数据至查询数据库，使得后续进行分析查询的数据是聚合后的查询数据，由于原文数据聚合压缩后的数据减少，即减少了后续查询的数据量，从而提高了查询速度，以实现快速查询。

附图说明