[发明专利]一种服务作业日志的诊断方法及系统

说明书

本公开提供了一种服务作业日志的诊断方法，可用于金融领域或其他领域，包括：根据作业诊断信息表获取未诊断作业；根据预置的处理规则，将未诊断作业添加至诊断队列中，得到待诊断作业；对待诊断作业的作业日志进行第一关键词诊断分析，生成第一诊断结果；根据日志诊断信息库对第一诊断结果进行第二关键词匹配处理，得到第二诊断结果，第二诊断结果包括诊断建议信息，该诊断建议信息用于为用户提供作业诊断结果的处理方式。本公开还提供了一种服务作业日志的诊断系统、电子设备、计算机可读存储介质及计算机程序产品。

技术领域

本公开涉及日志诊断技术领域，具体涉及一种服务作业日志的诊断方法、系统、电子设备、计算机可读存储介质及计算机程序产品。

背景技术

随着大数据的快速发展，各行各业使用大数据技术处理业务的需求越来越多，基于分布式系统基础架构(Hadoop)集群搭建的大数据平台提供了批量服务处理业务数据。应用开发人员编写Hibernate查询语言(HQL)，通过批量作业调度框架，将作业提交HiveServer执行。随着接入应用的越来越多，大数据平台批量服务的作业任务也越来越多，作业运维难度越来越大，运维效率越来越低。现有技术中，采取手工下载日志、人工分析及定位作业问题，无法自动根据作业日志及时跟踪作业运行情况，精准定位作业问题，快速处理以减小对业务数据批量处理的影响。

发明内容

为解决现有技术中存在的问题，本公开的实施例提供的一种服务作业日志的诊断方法、系统、电子设备、计算机可读存储介质及计算机程序产品，以实现一键诊断作业日志、跟踪作业运行情况及精准定位作业问题。

本公开的第一个方面提供了一种服务作业日志的诊断方法，包括：根据作业诊断信息表获取未诊断作业；根据预置的处理规则，将未诊断作业添加至诊断队列中，得到待诊断作业；对待诊断作业的作业日志进行第一关键词诊断分析，生成第一诊断结果；根据日志诊断信息库，对第一诊断结果进行第二关键词匹配处理，得到第二诊断结果，第二诊断结果包括诊断建议信息，该诊断建议信息用于为用户提供作业诊断结果的处理方式。

进一步地，根据日志诊断信息库，对第一诊断结果进行第二关键词匹配处理，得到第二诊断结果，包括：根据日志诊断信息库，对第一诊断结果进行第二关键词匹配处理；判断是否存在匹配结果；若不存在匹配结果，则发送消息提示指令；若存在匹配结果，则将该匹配结果作为待诊断作业的第二诊断结果。

进一步地，该方法还包括：将不存在匹配结果的第一诊断结果的第一关键词进行记录并保存，以更新日志诊断信息库。

进一步地，作业日志包括：作业调度日志、作业执行日志及作业资源调度日志，其中，对待诊断作业的作业日志进行第一关键词诊断分析，得到第一诊断结果，包括：对作业调度日志、作业执行日志及作业资源调度日志进行第一关键词检索分析，并将检索到的第一关键词所对应的日志内容作为第一诊断结果。

进一步地，对待诊断作业的作业日志进行第一关键词诊断分析，得到第一诊断结果之前，该方法还包括：获取作业日志配置信息；根据作业日志配置信息，获取所述待诊断作业的作业日志。

进一步地，根据作业日志配置信息，获取所述待诊断作业的作业日志，包括：根据作业日志配置信息获取调度服务器的地址信息；根据地址信息，采用文件传输协议方式获取所述作业执行日志。

进一步地，根据作业日志配置信息，获取所述待诊断作业的作业日志，包括：根据作业日志配置信息，获取数据库集群的地址信息；根据所述数据库集群的地址信息，通过组件接口获取作业执行日志及作业资源调度日志。

进一步地，根据预置的处理规则，将未诊断作业添加至诊断队列中，得到待诊断作业，包括：按照未诊断作业的生成时间或优先级别，将未诊断作业添加至诊断队列中，得到待诊断作业。