[发明专利]一种用于Nginx日志实时处理分析的方法及终端

权利要求书

1.一种用于Nginx日志实时处理分析的方法，其特征在于，包括步骤：

S1、实时采集并存储Nginx日志；

S2、将所述Nginx日志中满足预设参数的原文数据聚合压缩，得到并存储聚合后的查询数据至查询数据库；

S3、接收分析查询请求，从所述查询数据库中获取并返回与所述分析查询请求相对应的查询结果；

所述预设参数包括维度变量和指标变量，所述维度变量包括服务维度、时间维度、接口维度、产品维度和用户维度，所述指标变量包括总请求数、错误请求数、慢响应请求数；

所述步骤S2具体包括以下步骤：

将所述Nginx日志中满足同一所述预设参数的原文数据聚合压缩成一条并统计对应所述原文数据的个数，得到并存储聚合后的查询数据至查询数据库；

获取所述Nginx日志的原文数据中的域名信息、原始时间戳、接口字段、产品ID、已加密Token字符串、状态码和响应时间，将所述域名信息通过映射关系转换为服务名称，将所述原始时间戳转换为所支持查询分析的时间级，得到时间信息，对所述接口字段替换成RestFul格式的接口信息，从MySQL中的关联映射表中查询所述产品ID所对应的产品名称，通过账号中心接口对所述Token字符串进行解密得到用户ID，根据所述状态码和所述响应时间对应统计到每一个所述指标变量上，得到包括所述服务名称、所述时间信息、所述接口信息、所述产品名称、所述用户ID以及每一个所述指标变量的统计结果的中间过程数据；

将所述中间过程数据按照所述维度变量进行分组并按照分组对所述指标变量进行聚合统计，得到查询数据；

将所述查询数据存储至查询数据库。

2.根据权利要求1所述的一种用于Nginx日志实时处理分析的方法，其特征在于，所述步骤S1具体包括以下步骤：

通过日志采集工具将各服务器上的Nginx日志统一实时采集并按照预设格式存储到服务集群中，每条所述Nginx日志的原文数据记录着来自外部的一个HTTP请求的信息。

3.根据权利要求1所述的一种用于Nginx日志实时处理分析的方法，其特征在于，所述步骤S2中所述对所述接口字段替换成RestFul格式的接口信息具体包括以下步骤：

判断所述接口字段是否在接口管理工具中注册，若有注册，则从所述接口管理工具中获取RestFul格式的接口注册信息，将所述接口注册信息替换为正则表达式，通过所述正则表达式与所述接口字段进行匹配，若匹配成功，则使用所述接口注册信息作为接口信息；

若没有在接口管理工具中注册，则根据预设的转换规则将接口路径中的字符串替换成对应的占位符。

4.根据权利要求3所述的一种用于Nginx日志实时处理分析的方法，其特征在于，所述步骤S2中所述根据预设的转换规则将所述接口路径中的字符串替换成对应的占位符具体包括以下步骤：

将所述接口路径中的字符串中符合全数字、UUID格式、64位以上TOKEN字符串以及末尾有文件名后缀的分别替换成对应的占位符。

5.根据权利要求1所述的一种用于Nginx日志实时处理分析的方法，其特征在于，所述步骤S2具体包括以下步骤：

将所述Nginx日志中满足预设参数的原文数据聚合压缩，得到聚合后的查询数据；

将聚合后的所述查询数据存储在Hive数据库，所述Hive数据库中每一张Hive表格中的每一个分区所对应的分区字段包括日期和小时。

6.根据权利要求5所述的一种用于Nginx日志实时处理分析的方法，其特征在于，所述步骤S2中所述将聚合后的所述查询数据存储在Hive数据库具体包括以下步骤：

每当进入新的一个小时时，通过一合并程序将上一个小时分区中所存储的所有原有数据进行读取并合并成一个新的数据文件，将所述新的数据文件以覆盖的形式写回所述上一个小时分区中。