[发明专利]一种基于nginx日志的数据分析方法

权利要求书

1.一种基于nginx日志的数据分析方法，适用于nginx日志，其特征在于，所述数据分析方法包括：

S1：通过flume模块采集nginx服务器中的日志文件，并将所述日志文件转移并保存到HDFS系统中；

S2：通过Hive数据库工具对所述HDFS系统中的数据进行mapreduce操作，将加工后的数据保存在中间表中；

S3：将所述中间表中的数据迁移到MySQL数据库的结果表中。

2.根据权利要求1所述的数据分析方法，其特征在于，所述数据分析方法还包括：

S4：通过多维度日志分析图表展示所述结果表中的数据。

3.根据权利要求1所述的数据分析方法，其特征在于，在所述步骤S1之前，所述数据分析方法还包括：

S5：根据不同业务对所述nginx服务器中的所有日志进行分类，得到不同目录的日志文件。

4.根据权利要求1至3中任一项所述的数据分析方法，其特征在于，所述flume模块包括source组件、channel组件和sink组件，所述步骤S1具体包括：

S11：通过所述source组件监听并采集所述nginx服务器中的日志文件，并根据反馈事件进行相应操作；

S12：通过所述channel组件对所述日志文件进行缓存；

S13：通过所述sink组件将缓存的所述日志文件转移并保存到所述HDFS系统中。

5.根据权利要求4所述的数据分析方法，其特征在于，所述步骤S11中，采集所述nginx服务器中的日志文件具体包括：

启动所述source组件，加载所述日志文件的路径；

通过正则表达式筛选出匹配所述路径的所述日志文件。

6.根据权利要求5所述的数据分析方法，其特征在于，所述步骤S11中，监听所述日志文件，并根据反馈事件进行相应操作，所述反馈事件包括创建事件、修改事件和删除事件；启动所述source组件时默认调用创建事件。

7.根据权利要求6所述的数据分析方法，其特征在于，所述相应操作具体包括：

若所述反馈事件为创建事件，则根据文件名对所述日志文件进行正则匹配，对相匹配的所述日志文件创建监听线程；

若所述反馈事件为修改事件，则对所述日志文件的线程进行解析，并根据解析结果对所述日志文件进行更新，包括更新所述日志文件的文件大小、文件修改时间以及清空缓存文件；

若所述反馈事件为删除事件，则释放所述日志文件的线程所占用的资源，并回收所述线程。

8.根据权利要求1所述的数据分析方法，其特征在于，所述步骤S3中，当迁移过程中出现超过预定数据量的错误时，则进行数据回滚操作，否则继续进行迁移操作。