[发明专利]日志处理方法、装置、计算机设备和存储介质

说明书

本申请涉及一种日志处理方法、装置、计算机设备和存储介质。所述方法包括：获取每个服务器中的初始日志，提取所述初始日志中的记录行，并将所述记录行按照交易进行分类得到交易日志，所述交易为客户端与所述服务器的一次完整交互；根据预设数据模型对每个交易对应的所述交易日志进行处理，以对所述交易进行分段得到交易段；获取所述交易段对应的日志内容，根据所述日志内容计算得到每个交易段对应的单一性能指标；获取每一服务器对应的交易段，并基于所述交易段对应的单一性能指标计算每个服务器对应的综合性能指标。采用本方法能够规范日志处理。

技术领域

本申请涉及大数据技术领域，特别是涉及一种日志处理方法、装置、计算机设备和存储介质。

背景技术

随着移动互联应用的快速发展，传统的手工运维工作已难以适应问题快速分析诊断的要求，在大量的设备和日志中发现问题，变得愈发不现实，催生了建设日志搜索引擎和应用故障监测预警平台的需求。同时，基于IT基础设施的监控及防范日益突出的IT安全风险的需要，通过工具化、平台化，充分发挥系统日志在安全建设过程中的基础性作用，决定了项目建设的迫切性。

随着业务系统内程序调用关系日趋复杂，跨系统远程调用场景愈发频繁及难以追踪，如何解决系统性能监控等问题，成为亟待解决的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能够规范日志处理的日志处理方法、装置、计算机设备和存储介质。

一种日志处理方法，所述方法包括：

获取每个服务器中的初始日志，提取所述初始日志中的记录行，并将所述记录行按照交易进行分类得到交易日志，所述交易为客户端与所述服务器的一次完整交互；

根据预设数据模型对每个交易对应的所述交易日志进行处理，以对所述交易进行分段得到交易段；

获取所述交易段对应的日志内容，根据所述日志内容计算得到每个交易段对应的单一性能指标；

获取每一服务器对应的交易段，并基于所述交易段对应的单一性能指标计算每个服务器对应的综合性能指标。

在其中一个实施例中，所述日志的生成方式包括：

拦截终端发送至服务器的请求，并为所述请求生成请求标识；

从所述请求中提取到终端信息、用户信息以及访问路径信息，根据所述终端信息、用户信息以及访问路径信息生成键值对；

将所述键值对注入到预设组件中，以对所述请求进行追踪；

根据所述预设组件的追踪结果，在每个服务器中针对所述请求生成统一了输出标准格式的日志头，所述日志头包括所述请求标识和所述键值对；

根据所述日志头和所述服务器针对所述请求的处理操作生成日志。

在其中一个实施例中，所述请求标识的生成方法包括：

获取服务器当前毫秒级时间，并生成随机数；

根据当前毫秒级时间以及所述随机数计算得到哈希值，将所述哈希值作为所述请求标识。

在其中一个实施例中，所述根据预设数据模型对每个交易对应的所述交易日志进行处理，包括：

遍历每个交易对应的所述交易日志，以获取到日志起始行、客户端字段非空行以及日志结束行；

根据所述日志起始行、客户端字段非空行以及日志结束行对所述日志进行处理，以对所述交易进行分段得到交易段。

在其中一个实施例中，所述根据所述日志起始行、客户端字段非空行以及日志结束行对所述日志进行处理，以对所述交易进行分段得到交易段，包括：

获取所述交易日志的当前行；