[发明专利]日志获取方法和装置、电子设备、及介质

说明书

本公开提供了一种日志获取方法，应用于分布式批处理平台，所述分布式批处理平台包括作业调度系统和作业执行系统，其中所述作业执行系统设置于PAAS平台。所述方法包括从所述作业调度系统中监控第一作业的运行状态，响应于所述运行状态达到与所述第一作业对应的日志获取条件，登陆所述PAAS平台，以及在登陆所述PAAS平台后，从所述PAAS平台中获取所述作业执行系统执行所述第一作业而产生的第一日志。本公开还提供了一种日志获取装置、电子设备及介质。

技术领域

本公开涉及计算机技术领域，更具体地，涉及一种日志获取方法和装置、电子设备、及介质

背景技术

分布式批处理平台采用作业调度与作业执行分离的架构来简化业务系统批处理，例如可以通过作业调度系统进行批量作业的调度，并通过作业执行系统来执行作业。其中，作业调度系统例如可以是分布式批处理框架，可以提供作业调度服务。作业执行系统例如可以设置于PAAS平台(即，Platform-as-a-Service：平台即服务)，在paas云平台中动态地虚拟出服务器或服务器集群来运行批量作业。

发明人在实现本发明的技术构思的过程中，发现现有技术至少存在如下缺陷：相关技术中，分布式批处理框架在提供详细日志方面能力有限，这导致如果想要通过日志了解详细的作业信息，通常需要人工从分布式批处理框架中查取相应作业的运行状态以及调度信息(例如，找到运行该作业的虚拟服务器的IP地址以及对应的作业名等)，然后再人工登陆到PAAS平台中手动查找日志。

发明内容

有鉴于此，本公开实施例提供了在分布式批处理平台中可以自动获取日志的日志获取方法、日志获取装置、电子设备及介质。

本公开实施例的一个方面，提供了一种日志获取方法，应用于分布式批处理平台，所述分布式批处理平台包括作业调度系统和作业执行系统，其中所述作业执行系统设置于PAAS平台。所述方法包括：从所述作业调度系统中监控第一作业的运行状态；响应于所述运行状态达到与所述第一作业对应的日志获取条件，登陆所述PAAS平台；以及在登陆所述PAAS平台后，从所述PAAS平台中获取所述作业执行系统执行所述第一作业而产生的第一日志。

根据本公开的实施例，所述从所述作业调度系统中监控第一作业的运行状态包括：获取用于从所述作业调度系统中查找所述第一作业的记录信息的查找信息，其中，所述第一作业的记录信息用于记录所述第一作业的所述运行状态，是由所述作业执行系统反馈给所述作业调度系统的信息；基于所述查找信息在所述作业调度系统中查找所述第一作业的记录信息；以及基于所述第一作业的记录信息监控所述运行状态。

根据本公开的实施例，所述从所述PAAS平台中获取所述作业执行系统执行所述第一作业而产生的第一日志包括：确定与所述查找信息对应的日志查找路径，其中，所述日志查找路径用于从所述PAAS平台中查找所述第一日志；以及基于所述日志查找路径从所述PAAS平台获取所述第一日志。

根据本公开的实施例，所述方法还包括配置所述查找信息、以及配置所述查找信息与所述日志查找路径的对应关系。

根据本公开的实施例，所述方法还包括设置所述日志获取条件，其中，所述日志获取条件包括所述第一作业处于运行中、或者所述第一作业的运行状态发生变化。

根据本公开的实施例，所述方法还包括处理所述第一日志，得到第二日志，以及存储所述第二日志。

根据本公开的实施例，所述方法还包括展示所述第二日志。