[发明专利]一种基于日志文件的搜索方法

摘要

本发明公开了一种基于日志的大数据分析方法，所述基于日志的大数据分析方法主要通过相关Beats应用根据其配置文件在各服务器进行数据采集，然后通过LogStash收集由所述Beats应用采集的数据并按自动索引生成的顺序存入到ElasticSearch。ElasticSearch对外提供简洁的Restful风格的查询接口。Elasticsearch通过Java程序开发并使用Lucene作为其核心来实现调用查询数据，即实现所有索引和搜索的功能，能够实现精确定位搜索日志信息并分析相关数据，得到精准的业务数据的作用。最后通过Echart进行可视化的显示，以隐藏Lucene本身的复杂性，从而让索引和搜索变得方便直观。

主权项

1.一种基于日志文件的搜索方法，其特征在于，自顶向下分别设置有展现层、控制层、服务层、基础数据层；所述基础数据层为整个系统的数据来源，包括：数据采集、数据分析、数据存储、数据缓存；所述基础数据层向下与数据采集层交互，设有一套自动化部署脚本，为数据采集层提供基础数据支撑；所述数据采集层用来采集并归集日志、数据包、服务接口状态和设备信息等数据；所述数据采集层与基础数据层交互，接收基础数据层上传的数据，并把这些数据根据日志对应的服务类型创建索引；所述数据采集层与服务层交互，为服务层提供信息检索接口；设有一套Logstash脚本创建索引创建索引，之后对Elasticsearch进行优化；所述服务层负责和数据采集层、展现层交互，接收展现层发出的检索或分析请求，并把请求的数据转换成采集层识别的格式，并调用数据采集层提供的检索接口，所述服务层中设有通用转换器，把从数据采集层检索到的数据处理并输出到展现层；所述展现层通过WEB页面向用户展示系统服务，和服务层进行数据交互，把从服务层获取的数据以数种展现形式展示给用户。