[发明专利]一种日志数据处理系统、方法和服务器

说明书

本发明公开了一种日志数据处理系统、方法和服务器，其中，方法包括：获取待处理的日志数据；根据预设的处理规则对日志数据进行格式化处理，处理规则包括第一预设字符和与第一预设字符对应的第一转换规则，以及第二预设字符和与第二预设字符对应的第二转换规则；根据预设的处理规则对日志数据进行格式化处理包括：将日志数据中的统一资源定位符中的第一预设字符根据第一转换规则进行转换；以及将日志数据中的JSON字符串中的值中的第二预设字符根据第二转换规则进行转换；将格式化处理后的日志数据发送至数据库服务器。本发明实施例通过设置第一预设字符、第二预设字符、第一转换规则和第二转换规则，可以将特殊字符进行处理以使后续可以被正确解析。

技术领域

本发明涉及日志数据处理技术领域，尤其是一种日志数据处理系统、方法和服务器。

背景技术

收集各种各样的客户端上报的日志数据，对于网站流量分析统计、评估用户体验、评估网站运营效果、提高服务器安全性等多方面具有重要的作用。通常，从各个客户端收集日志数据，并将收集的日志数据存入存储服务器，以及对日志数据进行处理后存储到数据库中。然而，在实时的日志数据处理过程中，未对特殊字符进行处理，导致某些字段的信息无法被正确解析。因此，如何对具有特殊字符的日志数据进行正确解析是亟待解决的问题。

发明内容

有鉴于此，本发明所要解决的技术问题在于如何提供一种日志数据处理系统、方法和服务器，可以对日志数据中的特殊字符进行处理。技术方案如下：

根据本公开实施例的第一方面，提供一种日志数据处理系统，所述系统包括日志数据收集服务器、分布式消息服务器、分布式文件服务器、处理服务器以及数据库服务器；其中：

所述日志数据收集服务器，用于收集客户端上报的日志数据；

所述分布式消息服务器，用于将所述日志数据收集服务器收集的日志数据存储至所述分布式文件服务器，以及将所述日志数据中的至少一部分日志数据提供至所述处理服务器；

所述处理服务器，用于根据预设的处理规则对所述至少一部分日志数据进行格式化处理；将格式化处理后的日志数据发送至所述数据库服务器；

其中，所述处理规则包括第一预设字符和与所述第一预设字符对应的第一转换规则，以及第二预设字符和与所述第二预设字符对应的第二转换规则；所述根据预设的处理规则对所述至少一部分日志数据进行格式化处理，包括：将所述至少一部分日志数据中的统一资源定位符中的第一预设字符根据第一转换规则进行转换；以及，将所述至少一部分日志数据中的JSON字符串中的值中的第二预设字符根据第二转换规则进行转换；

所述数据库服务器，用于存储所述处理服务器格式化处理后的日志数据。

可选的，所述处理服务器包括第一处理模块，用于根据所述第一转换规则，将所述至少一部分日志数据中的统一资源定位符中的第一预设字符转换为空格，所述第一预设字符包括：\n、\t、\r、null、NULL、\\、％0A、％0D和％0A中的至少一项。

可选的，所述处理服务器包括第二处理模块，用于根据所述第二转换规则，将所述至少一部分日志数据中的JSON字符串中的值中的{和}分别转换为{和}。

可选的，所述数据库服务器还用于存储所述预设的处理规则；

所述处理服务器还用于从所述数据库服务器获取所述预设的处理规则。

可选的，所述处理规则还包括以下一项或多项：从所述至少一部分日志数据中提取的字段、提取的顺序、对提取的字段的格式化处理规则、存储到数据库服务器中的位置。

根据本公开实施例的第二方面，提供一种日志数据处理方法，包括：

获取待处理的日志数据；