[发明专利]任务日志分析方法、系统、计算机设备及存储介质

说明书

本申请公开了一种任务日志分析方法、系统、计算机设备及存储介质，方法包括：输入步骤：输入任一任务到NodeManager节点的Agent上；收集步骤：所述Agent实时收集Contai ner的信息并发送到Kafka；处理步骤：SparkStreami ng对所述kafka中的信息进行处理，得到信息处理结果；保存步骤：将所述信息处理结果保存到MySQL中。本发明能够减少了人力劳动，可以自动分析分布式计算任务相关日志，并进行结果展示。

技术领域

本发明属于分布式计算任务日志分析方法领域，具体涉及一种任务日志分析方法、系统、计算机设备及存储介质。

背景技术

随着科技的发展，人类社会步入了大数据时代。所谓大数据就是指在合理的时间内，无法通过传统的方式处理的数据。为了应对这一问题，催生了MapReduce、Spark、Flink等诸多分布式计算框架。但是这些分布式计算框架在带来计算吞吐量和计算低延时的优势同时也带来很多问题。例如：在日常运维工作中，经常会遇到一些相同的问题：任务执行失败、任务计算缓慢、异常任务导致集群崩溃等等。在对集群的信息、任务信息获取不全面的情况下很难快速定位出任务的问题所在。

目前任务日志的分析都是通过人工分析的方式来进行。当任务结束时，YARN本身自带的任务日志聚合功能会将每个Task生成的日志上传到HDFS的指定目录。运维人员可以将任务日志下载到本地进行查看分析。但是会面临如下问题：直接查看任务日志对新手不是很友好；任务日志文件过大会花费更多的时间来定位问题日志；任务问题的定位有的时候需要结合机器的硬件日志来判断，但是机器的硬件日志并不会被采集，而且出于集群安全考虑并不是所有人都可以登录集群节点；机器硬件故障还会导致该机器上的日志丢失。所以设计了一种分布式任务日志分析系统，帮助开发人员和运维人员快速定位任务问题。

可读性差。如果任务运行的时间比较长，或者该任务的子任务比较多都会导致任务产生的日志文件很大，有的时候甚至会达到GB级别，而且日志中会有很多不重要的异常信息，所以运维人员在如此多的日志信息中定位到任务产生问题的原因是非常困难的，而且非常耗时。

效率低。出于对集群安全考虑，对集群的登录权限做了限制，只有集群的管理人员才能登陆集群的节点，所以开发人员无法实时观察某个Container的运行状态。如果想要获取Container状态只能联系集群管理员获取，效率比较低。

信息不全面。排查任务问题时往往需要结合当时Container所在节点的硬件相关信息，但是Container日志中并不会记录这些信息。

数据易丢失。由于聚合日志的时间粒度比较粗，若在任务日志聚合结束前如果Container所在节点发生故障，该Container的日志无法被聚合到HDFS上，就会导致这部分任务日志的缺失。

发明内容

本申请实施例提供了一种任务日志分析方法、系统、计算机存储设备，以至少解决相关技术中主观因素影响的问题。

本发明提供了一种任务日志分析方法，其中，包括：

输入步骤：输入任一任务到NodeManager节点的Agent上；

收集步骤：所述Agent实时收集Container的信息并发送到Kafka；

处理步骤：SparkStreaming对所述kafka中的信息进行处理，得到信息处理结果。

保存步骤：将所述信息处理结果保存到MySQL中。

上述分布式计算任务日志分析方法，其中，所述Container的信息包括：

Container的运行日志、Container的使用的CPU占比、Container的内存占比、Container的JVM信息、当前节点的负载信息、网卡流量信息和磁盘信息。