[发明专利]日志的处理方法、装置、计算机设备和存储介质

说明书

本申请涉及一种日志的处理方法、装置、计算机设备和存储介质，所述方法包括：采集原始容器日志；所述原始容器日志为运行在所述分布式平台中的各个应用容器输出的日志；确定所述原始容器日志中的变动容器日志；所述变动容器日志为出现文件变动的原始容器日志；确定用于输出所述变动容器日志的应用容器所属的目标子任务；将所述变动容器日志划分至与所述目标子任务对应的子任务日志中，得到用于表征所述分布式任务的运行状态的任务日志；所述任务日志用于供用户监控所述分布式任务。采用本方法能够提高在进行深度学习训练过程中的信息处理效率。

技术领域

本申请涉及计算机技术领域，特别是涉及一种日志的处理方法、装置、计算机设备和存储介质。

背景技术

深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。

然而，在使用分布式机器学习系统进行深度学习训练过程中，用户往往需要查看在进行深度学习训练时生成的日志文件，从而及时找出深度学习训练过程中存在的异常。然而，分布式机器学习系统往往会产生数量庞大的日志文件，且缺乏统一地配置和管理，使得用户往往需要进行复杂的手工配置和处理，这大大降低了用户查看日志的效率，使得深度学习训练过程中存在信息处理效率不高的问题。

因此，现有技术在进行深度学习训练过程中存在信息处理效率不高的问题。

发明内容

基于此，有必要针对现有技术在进行机器学习训练过程中存在信息处理效率不高的问题，提供一种能够提高信息处理效率的日志的处理方法、装置、计算机设备和存储介质。

一种日志的处理方法，应用于分布式平台，所述分布式平台用于运行分布式任务，所述分布式任务包括多个子任务，所述子任务对应有用于处理所述子任务的应用容器，所述方法包括：

采集原始容器日志；所述原始容器日志为运行在所述分布式平台中的各个应用容器输出的日志；

确定所述原始容器日志中的变动容器日志；所述变动容器日志为出现文件变动的原始容器日志；

确定用于输出所述变动容器日志的应用容器所属的目标子任务；

将所述变动容器日志划分至与所述目标子任务对应的子任务日志中，得到用于表征所述分布式任务的运行状态的任务日志；所述任务日志用于供用户监控所述分布式任务。

在其中一个实施例中，所述将所述变动容器日志划分至与所述目标子任务对应的子任务日志中，得到用于表征所述分布式任务的运行状态的任务日志，包括：

判断所述目标子任务是否属于所述分布式任务中的子任务；

若所述目标子任务属于所述分布式任务中的子任务，则在预存的多个候选子任务日志中，确定所述目标子任务对应的子任务日志；

将所述变动容器日志划分至所述子任务日志中，得到所述分布式任务对应的任务日志。

在其中一个实施例中，所述将所述变动容器日志划分至所述子任务日志中，得到所述分布式任务对应的任务日志，包括：

提取所述变动容器日志的日志内容；

将所述日志内容转存至所述子任务日志中，得到转存后的子任务日志；

将所述转存后的子任务日志，作为所述分布式任务对应的任务日志。

在其中一个实施例中，所述确定用于输出所述变动容器日志的应用容器所属的目标子任务，包括：

获取所述变动容器日志对应的应用容器标识；所述应用容器标识为所述用于输出所述变动容器日志的应用容器所对应的标识；