[发明专利]任务运维方法、装置及系统

说明书

本申请实施例公开了一种任务运维方法、装置及系统，其中方法包括：获取可视化显示的任务关系图谱中各个任务的日志信息，所述任务关系图谱是根据各个任务在kafka系统中的消费信息，确定各个任务之间的上下游生产消费关系后建立的；根据所述各个任务的日志信息判断是否存在异常信息；根据所述异常信息在预设的异常仓库中匹配解决方案，并将所述解决方案在所述任务关系图谱中显示以供用户选择，所述异常仓库中存储有异常信息对应的解决方案。相比现有技术，本申请能够快速定位处于异常状态的任务，给出合理的解决方案，提高运维效率。

技术领域

本申请涉及运维技术领域，具体涉及一种任务运维方法、装置及系统。

背景技术

数据的价值随着时间的流逝而降低，而实时的处理数据是数据价值的保证。Kafka是一种高吞吐量的分布式发布订阅消息系统，它最大的特性就是可以实时的处理大量数据以满足各种需求场景，Kafka系统包括生产方和消费方，作为生产方的实时任务生产数据，作为消费方的实时任务使用该数据，则两实时任务之间具有上下游生产消费关系，当前企业实时处理数据基本上都会用到Kafka系统。在企业大促期间，实时数据流量往往会在极短的时间内达到峰值，对实时任务平台系统的稳定性及运维能力要求较高，一旦实时任务出现异常不能在短时间内定位解决，且不能确定出现异常的任务所波及到的其他任务的范围，将出现不可估量且不可挽回的损失。

目前，现有的实时任务运维方法停留在通过短信邮件重复批量的反馈报错信息，依靠人工来运维，就现有的人工运维而言，最大的问题在于用户需要从海量的报错日志里检索异常，再判断异常原因，寻找解决方案，不同的用户往往在相同问题上重复寻找异常解决办法，很大程度上降低了运维的效率。

发明内容

本申请提供了一种任务运维方法、装置及系统，能够快速定位处于异常状态的任务，给出合理的解决方案，提高运维效率。

本申请提供了如下方案：

第一方面提供一种任务运维方法，所述方法包括：

获取可视化显示的任务关系图谱中各个任务的日志信息，所述任务关系图谱是根据各个任务在kafka系统中的消费信息，确定各个任务之间的上下游生产消费关系后建立的；

根据所述各个任务的日志信息判断是否存在异常信息；

根据所述异常信息在预设的异常仓库中匹配解决方案，并将所述解决方案在所述任务关系图谱中显示以供用户选择，所述异常仓库中存储有异常信息对应的解决方案。

进一步地，根据所述各个任务的日志信息判断是否存在异常信息：

对所述各个任务的日志信息进行关键词检索获得检索结果，根据所述检索结果中的关键词判断是否存在异常信息。

进一步地，所述方法还包括：

根据所述各个任务的日志信息判断所述各个任务所处状态；

根据预设的状态与颜色的对应关系，将所述各个任务所处状态在任务关系图谱中以其所对应的颜色显示，以便于用户在任务关系图谱上观察出各个任务所处状态。

进一步地，所述任务所处状态包括正在启动、正常运行、未启动或启动失败、exception异常和error错误，其中exception异常和error错误均为异常状态。

进一步地，所述根据所述异常信息在预设的异常仓库中匹配解决方案，并将所述解决方案在所述任务关系图谱中显示以供用户选择包括：

根据预设的规则筛选掉异常信息中的无关异常信息，获得根异常信息；

根据所述根异常信息在预设的异常仓库中匹配解决方案，并将所述解决方案在任务关系图谱中显示以供用户选择。