[发明专利]日志信息入库处理方法和装置

说明书

技术领域

本发明涉及互联网领域，具体而言，涉及一种日志信息入库处理方法和装置。

背景技术

随着网络技术的飞速发展，网络环境变的越来越复杂。网络中的各种网络设备、安全设备、主机、应用和业务系统在工作中也将会产生越来越多的安全事件和日志。如何能对这些安全事件和日志进行存储，并及时给出相应的分析、报表以及告警信息等，就显的越来越重要。

传统的日志审计系统中，需要依次进行入库，统计报表，告警信息等处理，由于入库是系统整体性能的短板，日志信息入库的效率低，使得后续的处理操作都需要等待入库处理的完成才能进行操作，导致浪费单机状态下的中央处理器（CPU）和内存资源。日志信息不能得到及时的解析，统计报表、告警信息也会延误，甚至因此导致用户日志信息的丢失。日志信息入库的效率，限制了系统的性能提升。

针对现有技术中日志信息入库的效率低的问题，目前尚未提出有效的解决方案。

发明内容

本发明的主要目的在于提供一种日志信息入库处理方法和装置，以解决日志信息入库的效率低的问题。

为了实现上述目的，根据本发明的一个方面，提供了一种日志信息入库处理方法。根据本发明的日志信息入库处理方法包括：获取网络环境中产生的日志信息；将日志信息存储到缓存文件；以及通过缓存文件将日志信息导入数据库。

进一步地，通过缓存文件将日志信息导入数据库包括：通过单独的进程读取缓存文件；以及采用数据库的文件入库方式将单独的进程读取的缓存文件导入到数据库。

进一步地，在将日志信息存储到缓存文件之后，日志信息入库处理方法还包括：生成与缓存文件对应的编号；将缓存文件对应的编号写入到缓存文件中，其中，通过缓存文件将日志信息导入数据库包括：当单独的进程启动时，通过单独的进程从缓存文件中读取缓存文件对应的编号；通过缓存文件对应的编号判断编号对应的缓存文件是否已经导入数据库；如果判断出编号对应的缓存文件未导入数据库，则将编号对应的缓存文件导入到数据库。

进一步地，将日志信息存储到缓存文件包括：对日志信息进行解析；将解析后的日志信息转化为数据对象；验证数据对象的属性与日志信息是否相符；如果验证出数据对象的属性与日志信息相符，则将数据对象写入缓存文件。

进一步地，数据对象为数据库可识别的POJO对象，缓存文件为cache文件，其中，将数据对象写入缓存文件包括：将POJO对象存储在日志信息队列池中；从日志信息队列池中读取存储后的POJO对象；以及按照预设时长将读取的POJO对象写入到cache文件。

为了实现上述目的，根据本发明的另一方面，提供了一种日志信息入库处理装置。根据本发明的日志信息入库处理装置包括：获取单元，用于获取网络环境中产生的日志信息；存储单元，用于将日志信息存储到缓存文件；以及导入单元，用于通过缓存文件将日志信息导入数据库。

进一步地，导入单元包括：第一读取模块，用于通过单独的进程读取缓存文件；以及第一导入模块，用于采用数据库的文件入库方式将单独的进程读取的缓存文件导入到数据库。

进一步地，日志信息入库处理装置还包括：生成单元，用于在将日志信息存储到缓存文件之后，生成与缓存文件对应的编号；写入单元，用于将缓存文件对应的编号写入到缓存文件中，其中，导入单元包括：第二读取模块，用于当单独的进程启动时，通过单独的进程从缓存文件中读取缓存文件对应的编号；判断模块，用于通过缓存文件对应的编号判断编号对应的缓存文件是否已经导入数据库；第二导入模块，用于当判断出编号对应的缓存文件未导入数据库，将编号对应的缓存文件导入到数据库。

进一步地，存储单元包括：解析模块，用于对日志信息进行解析；转化模块，用于将解析后的日志信息转化为数据对象；验证模块，用于验证数据对象的属性与日志信息是否相符；写入模块，用于当验证出数据对象的属性与日志信息相符时，将数据对象写入缓存文件。

进一步地，数据对象为数据库可识别的POJO对象，缓存文件为cache文件，其中，写入模块包括：存储子模块，用于将POJO对象存储在日志信息队列池中；读取子模块，用于从日志信息队列池中读取存储后的POJO对象；以及写入子模块，用于按照预设时长将读取的POJO对象写入到cache文件。

通过本发明，采用获取网络环境中产生的日志信息；将日志信息存储到缓存文件；以及通过缓存文件将日志信息导入数据库，解决了日志信息入库的效率低的问题，提高了日志信息的入库效率。

附图说明