[发明专利]一种基于ELK的日志自动化分析系统

说明书

本发明涉及日志分析技术领域，且公开了该基于ELK的日志自动化分析系统，一种基于ELK的日志自动化分析系统，包括客户端服务器和服务端服务器，所述客户端服务器设置有客户端。该基于ELK的日志自动化分析系统，通过客户端对服务器操作日志的收集、服务器项目日志的收集和日志采集传输，日志收集时，根据服务器登录位置、用户和时间进行区分，后期带动时间等不同日志进行区分，增加客户端对日志区分增加便捷性；后期登录时，通过操作日志和项目日志的文件内容的标志的方法把筛选过的日志内容通过地址用户密码的方式传递给elasticsearch并定义好日志的索引，可避免登录错误，且快速带动需要使用日志的区分。

技术领域

本发明涉及日志分析技术领域，具体为一种基于ELK的日志自动化分析系统。

背景技术

对于开发来说，在项目开发中，都不可避免的使用到日志。没有日志虽然不会影响项目的正确运行，但是没有日志的项目可以说是不完整的。日志在调试，错误或者异常定位，数据分析中的作用是不言而喻的，在调试中，查看栈信息可以方便地知道当前程序的运行状态，输出的日志便于记录程序在之前的运行结果；在错误定位中，项目在运行一段时候后，可能由于数据问题，网络问题，内存问题等出现异常。这时日志可以帮助开发或者运维人员快速定位错误位置，提出解决方案；数据分析中，日志中蕴含了大量的用户数据，包括点击行为，兴趣偏好等，用户画像对于公司下一步的战略方向有一定指引作用，至此研发出一种基于ELK的日志自动化分析系统。

在现有的基于ELK的日志自动化分析系统中，对于运维来说，我们可以使用日志系统所记录的信息为系统进行排错，优化系统的性能，或者根据这些信息调整系统的行为，在安全领域，日志可以反应出很多的安全攻击行为，比如登录错误，异常访问。

发明内容

针对现有基于ELK的日志自动化分析系统的不足，本发明提供了一种基于ELK的日志自动化分析系统，具备通过客户端对服务器操作日志的收集可有效根据用户登录地址、时间等详细区分，同时带动日志形成通过对通过/etc/bashrc文件编写规则进行筛选，可有效区分日志内容，方便后期进行对日志进行观察，同时后期登录时，通过操作日志和项目日志的文件内容的标志的方法把筛选过的日志内容通过地址用户密码的方式传递给elasticsearch并定义好日志的索引，可避免登录错误的优点，解决了上述背景技术中提出的问题。

本发明提供如下技术方案：一种基于ELK的日志自动化分析系统，包括客户端服务器和服务端服务器，所述客户端服务器设置有客户端，所述客户端包含有服务器操作日志的收集、服务器项目日志的收集和日志采集传输，所述服务端服务器设置有服务端，所述服务端包含有日志缓存与筛选和日志展示。

优选的，所述服务器操作日志的收集包含有定义操作日志的名称、定义一个操作命令变量和用户在服务器输入操作指令；操作日志文件的内容格式：服务器的本地ip地址、命令操作时间、登录ip地址、登录用户、操作用户、操作命令，所述定义一个操作命令变量并把定义时间格式给予赋值。

优选的，所述服务器项目日志的收集对项目日志的目录下的日志文件进行筛选写入，服务端项目日志主要是采用/etc/bashrc文件编写规则进行筛选。

优选的，所述日志采集传输采用filebeat工具调用filebeat.yml配置的规则内容，所述规则内容日志进行采集传输到服务端的redis上。

优选的，所述服务端；redis接收到的日志内容进行缓存存储，logstash进行日志的筛选输出，所述筛选采用自定义方式，配置内容主要三部分：

第一部分：寻找日志使用redis对内容输入部分的键值、数据类型找到日志部分；

第二部分：匹配日志与日志进行筛选匹配，所述操作日志和项目日志的文件内容的标志进行不同的正则表达式匹配并进行变量赋值；