[发明专利]日志解析方法及装置

说明书

技术领域

本发明涉及数据处理技术领域，尤其涉及一种日志解析方法及装置。

背景技术

分布式系统中不同应用产生日志的方式存在多样性，这些日志异构性突出，独立性较强，数据量较大，且分布较为分散。例如，有些日志会根据时间定时生成，有些日志根据大小定量生成，还有些会不定时地进行日志截取。

分布式系统中每个应用自身产生的若干个日志之间存在逻辑关系，但是多个应用产生的若干个日志之间的逻辑关系却不明显，针对多个应用产生的若干个日志，利用现有技术中的经常采用的分别独立解析方式则无法体现出若干个日志之间的关系，且解析过程复杂。

发明内容

本发明实施例提供一种日志解析方法及装置，通过将多个应用产生的异构数据源中若干个日志进行解析，使其形成统一的格式，简化解析过程，使得解析结果可以用于统一的分析、调度以及管理。

本发明实施例提供一种日志解析方法，包括：

将每个所述异构数据源中的所述待处理日志按照每个所述异构数据源对应的日志模板，将每个所述异构数据源中的所述待处理日志转化为标准日志；

将转化得到的所有所述标准日志输入到相应的工作流进行调度与解析；

输出解析结果。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述将每个所述异构数据源中的所述待处理日志按照每个所述异构数据源对应的日志模板，将每个所述异构数据源中的所述待处理日志转化为标准日志，包括：

从所述日志模板中获取关键字段；

按照所述日志模板中的所述关键字段，在所述待处理日志中查找与所述关键字段相匹配的信息；

根据查找到的信息，对所述日志模板中与查找到的信息对应的关键字段进行赋值或者重构；

若所述待处理日志中包含有所述日志模板中未出现的其他关键字段，整合所述待处理日志的所述其他字段添加至所述日志模板中，并对相应的所述其他关键字段进行重构；

生成所述标准日志。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述工作流包括开始节点、结束节点、中断节点以及任务节点。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述任务节点包括认证进程、加载进程、去重进程、事件计数进程、逻辑梳理进程以及重处理进程六类任务节点中的至少一个或多个。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，每个任务节点包括正确执行跳转进程、错误执行跳转进程、任务必要性确认进程、描述进程、错误报警进程五种进程中的一个或多个。

本发明实施例还提供一种日志解析装置，所述装置包括：

采集模块，用于从各异构数据源采集待处理日志；

转化模块，将每个所述异构数据源中的所述待处理日志按照每个所述异构数据源对应的日志模板，将每个所述异构数据源中的所述待处理日志转化为标准日志；

解析模块，用于将转化得到的所有所述标准日志输入到相应的工作流进行调度与解析；

输出模块，用于输出解析结果。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述转化模块，具体用于：

从所述日志模板中获取关键字段；

按照所述日志模板中的所述关键字段，在所述待处理日志中查找与所述关键字段相匹配的信息；

根据查找到的信息，对所述日志模板中与查找到的信息对应的关键字段进行赋值或者重构；

若所述待处理日志中包含有所述日志模板中未出现的其他关键字段，整合所述待处理日志的所述其他字段添加至所述日志模板中，并对相应的所述其他关键字段进行重构；

生成所述标准日志。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述工作流包括开始节点、结束节点、中断节点以及任务节点。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述任务节点包括认证进程、加载进程、去重进程、事件计数进程、逻辑梳理进程以及重处理进程六类任务节点中的至少一个或多个。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，每个任务节点包括正确执行跳转进程、错误执行跳转进程、任务必要性确认进程、描述进程、错误报警进程五种进程中的一个或多个。