[发明专利]日志信息处理方法、系统及装置

说明书

本发明公开了一种日志信息处理方法、系统及装置。其中，该方法包括：日志收集程序从日志来源处读取第一日志信息，日志收集程序运行在终端上；日志收集程序在第一日志信息中增加存储属性信息，得到第二日志信息，其中，存储属性信息用于记录第一日志信息的属性；日志收集程序根据存储属性信息将第二日志信息写入消息队列，其中，消息队列记录在服务器上，服务器用于存储消息队列中的日志。本发明解决了收集日志信息复杂的技术问题。

技术领域

本发明涉及日志处理领域，具体而言，涉及一种日志信息处理方法、系统及装置。

背景技术

现有技术中，日志系统用于日志的收集和集中管理，现有的日志系统可以包括收集、存储、查询，一种比较常见的日志收集方式是程序可能部署多份，每个程序都使用传统的日志系统，将日志保存到所在的计算机本地文件中，每个程序需要配置单独的收集程序，从本地文件中读取日志，使用正则表达式进行解析，并发送到消息队列中。最终由一个总的负责收集日志部分从消息队列中读取汇总过来的数据，统一写入存储程序进行存储。但是，现有技术的方法有很大的缺点，即每部署一个程序，都需要单独部署一个收集程序，而且每一种程序都需要维护自己的正则表达式，部署和维护都特别麻烦。

针对上述收集日志信息复杂的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种日志信息处理方法、系统及装置，以至少解决收集日志信息复杂的技术问题。

根据本发明实施例的一个方面，提供了一种日志信息处理方法，包括：日志收集程序从日志来源处读取第一日志信息，所述日志收集程序运行在终端上；所述日志收集程序在所述第一日志信息中增加存储属性信息，得到第二日志信息，其中，所述存储属性信息用于记录所述第一日志信息的属性；所述日志收集程序根据所述存储属性信息将所述第二日志信息写入消息队列，其中，所述消息队列记录在服务器上，所述服务器用于存储所述消息队列中的日志。

进一步地，所述日志收集程序在所述第一日志信息中增加存储属性信息包括：所述日志收集程序从所述服务器获取存储属性信息；所述日志收集程序将所述存储属性信息增加到所述第一日志信息中。

进一步地，所述日志收集程序在所述第一日志信息中增加存储属性信息包括：所述日志收集程序将读取到的第一日志信息转换为预定格式；在转换为预定格式的第一日志信息中增加所述存储属性信息。

进一步地，所述存储属性信息包括：存储索引、和/或存储类型，其中，所述日志收集程序根据所述存储属性信息将所述第二日志信息写入消息队列包括：按照所述第二日志信息的存储索引和/或所述存储类型，将所述第二日志信息结构化写入所述消息队列。

进一步地，所述日志来源处包括：所述终端的本地日志文件。

根据本发明实施例的另一方面，还提供了一种日志信息处理系统，包括：一个或多个终端，每个所述终端上运行有日志收集程序，所述日志收集程序用于从日志来源处读取第一日志信息，并在所述第一日志信息中增加存储属性信息，得到第二日志信息，以及将所述第二日志信息写入消息队列，其中，所述存储属性信息用于记录所述第一日志信息的属性；服务器，所述消息队列记录在所述服务器上，所述服务器用于根据所述存储属性信息存储所述消息队列中的日志信息。

进一步地，所述存储属性信息包括存储类型和存储索引。

根据本发明实施例的另一方面，还提供了一种日志信息处理装置，包括：读取单元，用于日志收集程序从日志来源处读取第一日志信息，所述日志收集程序运行在终端上；增加单元，用于所述日志收集程序在所述第一日志信息中增加存储属性信息，得到第二日志信息，其中，所述存储属性信息用于记录所述第一日志信息的属性；写入单元，用于所述日志收集程序根据所述存储属性信息将所述第二日志信息写入消息队列，其中，所述消息队列记录在服务器上，所述服务器用于存储所述消息队列中的日志。