[发明专利]一种日志数据处理系统、方法和服务器

权利要求书

1.一种日志数据处理系统，其特征在于，所述系统包括日志数据收集服务器、分布式消息服务器、分布式文件服务器、处理服务器以及数据库服务器；其中：

所述日志数据收集服务器，用于收集客户端上报的日志数据；

所述分布式消息服务器，用于将所述日志数据收集服务器收集的日志数据存储至所述分布式文件服务器，以及将所述日志数据中的至少一部分日志数据提供至所述处理服务器；

所述处理服务器，用于根据预设的处理规则对所述至少一部分日志数据进行格式化处理；将格式化处理后的日志数据发送至所述数据库服务器；

其中，所述处理规则包括第一预设字符和与所述第一预设字符对应的第一转换规则，以及第二预设字符和与所述第二预设字符对应的第二转换规则；所述根据预设的处理规则对所述至少一部分日志数据进行格式化处理，包括：将所述至少一部分日志数据中的统一资源定位符中的第一预设字符根据第一转换规则进行转换；以及，将所述至少一部分日志数据中的JSON字符串中的值中的第二预设字符根据第二转换规则进行转换；

所述数据库服务器，用于存储所述处理服务器格式化处理后的日志数据。

2.根据权利要求1所述的系统，其特征在于，

所述处理服务器包括第一处理模块，用于根据所述第一转换规则，将所述至少一部分日志数据中的统一资源定位符中的第一预设字符转换为空格，所述第一预设字符包括：\n、\t、\r、null、NULL、\\、％0A、％0D和％0A中的至少一项。

3.根据权利要求1所述的系统，其特征在于，

所述处理服务器包括第二处理模块，用于根据所述第二转换规则，将所述至少一部分日志数据中的JSON字符串中的值中的{和}分别转换为{和}。

4.根据权利要求1所述的系统，其特征在于，

所述数据库服务器还用于存储所述预设的处理规则；

所述处理服务器还用于从所述数据库服务器获取所述预设的处理规则。

5.根据权利要求1所述的系统，其特征在于，所述处理规则还包括以下一项或多项：从所述至少一部分日志数据中提取的字段、提取的顺序、对提取的字段的格式化处理规则、存储到数据库服务器中的位置。

6.一种日志数据处理方法，其特征在于，所述方法包括：

获取待处理的日志数据；

根据预设的处理规则对所述日志数据进行格式化处理，其中，所述处理规则包括第一预设字符和与所述第一预设字符对应的第一转换规则，以及第二预设字符和与所述第二预设字符对应的第二转换规则；所述根据预设的处理规则对日志数据进行格式化处理，包括：将日志数据中的统一资源定位符中的第一预设字符根据第一转换规则进行转换；以及，将日志数据中的JSON字符串中的值中的第二预设字符根据第二转换规则进行转换；

将格式化处理后的日志数据发送至数据库服务器。

7.根据权利要求6所述的方法，其特征在于，所述将日志数据中的统一资源定位符中的第一预设字符根据第一转换规则进行转换，包括：

根据第一转换规则，将日志数据中的统一资源定位符中的第一预设字符转换为空格，所述第一预设字符包括：\n、\t、\r、null、NULL、\\、％0A、％0D和％0A中的至少一项。

8.根据权利要求6所述的方法，其特征在于，所述将日志数据中的预设字段后的第二预设字符根据第二转换规则进行转换，包括：

根据第二转换规则，将日志数据中的JSON字符串中的值中的{和}分别转换为{和}。

9.根据权利要求6所述的方法，其特征在于，所述方法还包括：

从所述数据库服务器获取所述预设的处理规则。

10.根据权利要求6所述的方法，其特征在于，所述处理规则还包括以下一项或多项：从日志数据中提取的字段、提取的顺序、对提取的字段的格式化处理规则、存储到数据库中的位置。

11.一种服务器，其特征在于，用于实现权利要求6-10中任一项所述的方法。