[发明专利]一种基于Nginx日志行为采集和跟踪的方法及装置

说明书

本发明涉及大数据的技术领域，更具体地说，它涉及一种基于Nginx日志行为采集和跟踪的方法及装置，其方法主要包括：生成用户唯一码；修改Nginx的配置文件；定期扫描和采集Nginx的分片日志记录；生成实体类记录列表，然后对所述分片日志记录进行清洗，以在所述实体类记录列表中记录所需信息；通过Java反射获取实体类中变量名，生成Mysql数据库结构字段，然后将所述实体类记录列表的数据导入Mysql数据库持久化；生成配置表和核心报表，并对核心报表进行展示。本发明具有简单集成、高定制化和侵入性低的优点。

技术领域

本发明涉及大数据的技术领域，更具体地说，它涉及一种基于Nginx日志行为采集和跟踪的方法及装置。

背景技术

行为采集和跟踪，是指根据用户的操作采集用户的行为，进行用户各个行为的一系列跟踪，涉及到大量数据的采集和分析。能很好的根据用户行为和跟踪做用户分析，根据分析结果进行产品优化或集成到推荐系统里面。比如现在的友盟、growingio等统计平台。但是这些平台多为针对使用端进行采集，并与UI控件绑定在一起，移动端和前端的开发较复杂，开发的成本较高，且均为第三方平台，定制化低，无法集成到自己的系统进行定制开发。

发明内容

针对现有技术存在的不足，本发明的目的在于提供一种基于Nginx日志行为采集和跟踪的方法及装置，具有简单集成、高定制化和侵入性低的优点。

本发明的上述技术目的是通过以下技术方案得以实现的，一种基于Nginx日志行为采集和跟踪的方法，包括以下步骤：

获取必传参数，并通过DES加解密的方式，生成用户唯一码；

基于所述必传参数和所述用户唯一码，修改Nginx的配置文件，并打印请求内容输出至日志文件中；

设定扫描时间，以定期扫描和采集Nginx的分片日志记录；

定义日志参数模板字符串，生成实体类记录列表，然后对所述分片日志记录进行清洗，以在所述实体类记录列表中记录所需信息；

通过Java反射获取实体类中变量名，生成Mysql数据库结构字段，然后将所述实体类记录列表的数据导入Mysql数据库持久化；

基于所述Mysql数据库，生成配置表，并设置所述配置表中的对应关系，以生成核心报表；

获取所述核心报表，并对其进行筛选和展示。

在其中一个实施例中，所述生成用户唯一码的步骤还具体包括以下步骤：

客户端获取请求参数，发送至服务端；

所述服务端判断所述客户端是否有所述用户唯一码；

若否，则根据用户登录状态、userld、时间戳、随机码和客户端识别符，通过DES加解密的方式，生成所述用户唯一码，并返回给所述客户端。

在其中一个实施例中，所述设定扫描时间的步骤前还包括以下步骤：

通过java异步线程定时任务的方式，设定所述扫描时间。

在其中一个实施例中，所述请求内容包括请求参数、时间戳、用户唯一码、Get请求中的参数值、接口链接、HTTP响应代码和用户终端浏览器。

在其中一个实施例中，所述生成核心报表的步骤还包括以下步骤：

基于所述Mysql数据库，生成入库数据的所述核心报表；

基于用户注册接口的接口链接、调用时间和调用状态码，生成实时数据的所述核心报表。

本发明还提供一种基于Nginx日志行为采集和跟踪的装置，包括：