[发明专利]基于全文检索数据库的日志检索方法及系统

说明书

本发明公开了基于全文检索数据库的日志检索方法及系统，属于数据处理技术领域，本发明要解决的技术问题为如何克服传统关系型数据库存储全文检索技术弱、存储日志读写慢以及业务应用系统日志无法集中管理的缺点，采用的技术方案为：该方法是通过全文检索数据库存储业务系统写入的日志，并向业务系统提供日志写入服务，完成与业务系统日志的对接；再通过日志检索服务读取全文检索数据库中的数据，完成日志的全文检索查询，实现日志写入与日志读取的分离。该系统包括写入模块、存储模块、查询模块及响应模块。

技术领域

本发明涉及数据处理领域，具体地说是一种基于全文检索数据库的日志检索方法及系统。

背景技术

随着计算机技术的飞速发展，业务应用系统的日志有了越来越高的要求。在系统使用过程中，为了便于对用户操作进行审计以及对异常数据变动进行筛查，在项目建设过程中，通常会设计开发对应的日志服务，对用户操作、系统更改、数据变动等一系列的情况进行日志记录及展示。而传统的日志服务通常是通过数据库存储的方式，构建对应的日志表，并通过指定日志信息字段的方式对日志进行记录；且基于日志的检索查询功能等，都需要进行单独的开发。

这种传统的开发模式，存在弊端，具体如下：

①、在记录日志的方式上，针对大数据量日志的场景下，传统数据库的方式会生成巨大的数据文件，占用大量的磁盘存储空间，管理不便，且数据量较大的情况下，基于数据库的日志检索性能较差，全文检索用户体验不佳；

②、在日志检索查询方面，需要根据具体存储的日志信息及数据类型进行定制开发。

综上所述，如何克服传统关系型数据库存储全文检索技术弱、存储日志读写慢以及业务应用系统日志无法集中管理的缺点是目前亟待解决的问题。

发明内容

本发明的技术任务是提供一种基于全文检索数据库的日志检索方法及系统，来解决传统关系型数据库存储全文检索技术弱、存储日志读写慢以及业务应用系统日志无法集中管理的问题。

本发明的技术任务是按以下方式实现的，一种基于全文检索数据库的日志检索方法，该方法是通过全文检索数据库存储业务系统写入的日志，并向业务系统提供日志写入服务，完成与业务系统日志的对接；再通过日志检索服务读取全文检索数据库中的数据，完成日志的全文检索查询，实现日志写入与日志读取的分离。

作为优选，该方法具体如下：

S1、业务系统产生日志时，调用日志写入接口，将日志写入日志写入服务；

S2、日志写入服务将接收到的日志存储到全文检索数据库，全文检索数据库对日志数据进行处理，进而完成日志的存储入库；

S3、用户输入查询条件，对日志进行过滤查询，调用日志检索服务，日志检索服务组装检索条件并调用全文检索数据库查询接口查询数据，进行日志查询；

S4、日志检索服务将查询结果拼装呈响应数据结果集，返回给用户或客户端，实现对业务系统日志的检索查询。

更优地，所述步骤S1中日志的字段包括日志类型(logType)、应用编码(appCode)、应用名称(appName)、日志地点(remoteIp)、日志级别(logLevel)、日志主题(subject)、日志内容(content)、操作标识(operatorId)、操作姓名(operatorName)及操作时间(createTime)。

更优地，所述步骤S2中日志数据包括两类，具体如下：

①、无需处理的日志数据：包括日志类型、应用编码、应用名称、日志地点、日志级别、操作标识、操作姓名及操作时间；无需处理的日志数据直接存储到全文检索数据库；

②、需要处理的日志数据：包括日志主题及日志内容；需要处理的日志数据采用分词组件进行分词处理后，存储到全文检索数据库。