[发明专利]一种基于nginx日志的数据分析方法

说明书

技术领域

本发明涉及日志文件技术领域，尤其涉及一种基于nginx日志的数据分析方法。

背景技术

现有产品一般基于ELK框架搭建一个简易的日志中心平台，但不能满足复杂业务的需求。在日志采集方面，往往新增一个文件采集就需要做定制化采集，无法做到通用化以及更新服务不间断；在数据报表展现方面，不能基于复杂维度进行分析。

发明内容

本发明所要解决的技术问题是提供一种基于nginx日志的数据分析方法。

本发明解决上述技术问题的技术方案如下：

一种基于nginx日志的数据分析方法，适用于nginx日志，所述数据分析方法包括：

S1：通过flume模块采集nginx服务器中的日志文件，并将所述日志文件转移并保存到HDFS系统中；

S2：通过Hive数据库工具对所述HDFS系统中的数据进行mapreduce操作，将加工后的数据保存在中间表中；

S3：将所述中间表中的数据迁移到MySQL数据库的结果表中。

本发明的有益效果是：通过本技术方案可以实现通用化和更新服务不间断，对数据进行复杂维度分析。

在上述技术方案的基础上，本发明还可以做如下改进。

优选地，所述数据分析方法还包括：

S4：通过多维度日志分析图表展示所述结果表中的数据。

优选地，在所述步骤S1之前，所述数据分析方法还包括：

S5：根据不同业务对所述nginx服务器中的所有日志进行分类，得到不同目录的日志文件。

采用上述进一步方案的有益效果是：所述nginx服务器根据不同业务产生不同目录的日志文件。

优选地，所述flume模块包括source组件、channel组件和sink组件，所述步骤S1具体包括：

S11：通过所述source组件监听并采集所述nginx服务器中的日志文件，并根据反馈事件进行相应操作；

S12：通过所述channel组件对所述日志文件进行缓存；

S13：通过所述sink组件将缓存的所述日志文件转移并保存到所述HDFS系统中。

采用上述进一步方案的有益效果是：所述source组件基于多目录文件监听进行数据采集，所述channel组件基于内存的消息队列，提供应用解偶的同时也能减少磁盘IO开销，所述sink组件可以采用容灾机制防止单台服务器故障导致业务无法进行。

优选地，所述步骤S11中，采集所述nginx服务器中的日志文件的方法具体包括：

启动所述source组件，加载所述日志文件的路径；

通过正则表达式筛选出匹配所述路径的所述日志文件。

优选地，所述步骤S11中，监听所述日志文件，并根据反馈事件进行相应操作，所述反馈事件包括创建事件、修改事件和删除事件；启动所述source组件时默认调用创建事件。

采用上述进一步方案的有益效果是：对nginx日志进行文件监控，能够及时找到异常问题。

优选地，所述相应操作具体包括：

若所述反馈事件为创建事件，则根据文件名对所述日志文件进行正则匹配，对相匹配的所述日志文件创建监听线程；

若所述反馈事件为修改事件，则对所述日志文件的线程进行解析，并根据解析结果对所述日志文件进行更新，包括更新所述日志文件的文件大小、文件修改时间以及清空缓存文件；

若所述反馈事件为删除事件，则释放所述日志文件的线程所占用的资源，并回收该线程。

优选地，所述步骤S3中，当迁移过程中出现超过预定数据量的错误时，则进行数据回滚操作，否则继续进行迁移操作。

附图说明

图1为本发明的一种基于nginx日志的数据分析方法的流程示意图；

图2为本发明的一种基于nginx日志的数据分析方法的流程示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，一种基于nginx日志的数据分析方法，适用于nginx日志，数据分析方法包括：

S1：通过flume模块采集nginx服务器中的日志文件，并将日志文件转移并保存到HDFS系统中；

S2：通过Hive数据库工具对HDFS系统中的数据进行mapreduce操作，将加工后的数据保存在中间表中；