[发明专利]基于人工智能的日志解析方法、装置、终端设备及介质在审
申请号: | 202111524237.6 | 申请日: | 2021-12-14 |
公开(公告)号: | CN114201376A | 公开(公告)日: | 2022-03-18 |
发明(设计)人: | 钟辉;陈朝亮 | 申请(专利权)人: | 平安科技(深圳)有限公司 |
主分类号: | G06F11/34 | 分类号: | G06F11/34;G06F16/18 |
代理公司: | 深圳中一联合知识产权代理有限公司 44414 | 代理人: | 丁月蓉 |
地址: | 518000 广东省深圳市福田区福*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 人工智能 日志 解析 方法 装置 终端设备 介质 | ||
1.一种基于人工智能的日志解析方法,其特征在于,所述日志解析方法包括:
获取目标数据库在被驱动运行时产生的任务日志,确定所述任务日志中一Job执行时的N个运行阶段,N为大于零的整数;
从所述任务日志中获取每个运行阶段对应的运行日志,识别每个运行日志,确定每个运行日志对应的任务及任务执行过程数据;
将每个任务执行过程数据与第一预设数据条件比对,确定第一比对结果对应的任务以及第二比对结果对应的任务,其中,第一比对结果为任务执行过程数据满足第一预设数据条件,所述第二比对结果为任务执行过程数据不满足第一预设数据条件;
将所述第一比对结果对应的任务与所述第二比对结果对应的任务分别进行不同的标记,得到所述任务日志的第一解析结果。
2.根据权利要求1所述的日志解析方法,其特征在于,在所述将每个任务执行过程数据与第一预设数据条件比对,确定第一比对结果对应的任务以及第二比对结果对应的任务之后,还包括:
根据所述第一比对结果对应的任务和所述第二比对结果对应的任务中每个任务所属的运行阶段,确定第一类运行阶段和第二类运行阶段,其中,所述第一类运行阶段是包含所述第一比对结果对应的任务的运行阶段,所述第二类运行阶段是包含所述第二比对结果对应的任务的运行阶段;
将所述第一类运行阶段和所述第二类运行阶段分别进行不同的标记,得到所述任务日志的第二解析结果。
3.根据权利要求1所述的日志解析方法,其特征在于,在所述从所述任务日志中获取每个运行阶段对应的运行日志,识别每个运行日志之后,还包括:
确定每个运行阶段对应的运行数据,所述运行数据为所述任务日志中除所述任务及任务执行过程数据之外的数据;
将所述运行数据与第二预设数据条件比对,确定第三比对结果对应的运行阶段以及第四比对结果对应的运行阶段,其中,第三比对结果为运行数据满足第二预设数据条件,所述第四比对结果为运行数据不满足第二预设数据条件;
将所述第三比对结果对应的运行阶段与所述第四比对结果对应的运行阶段分别进行不同的标记,得到所述任务日志的第三解析结果。
4.根据权利要求1所述的日志解析方法,其特征在于,在所述将每个任务执行过程数据与第一预设数据条件比对,确定第一比对结果对应的任务以及第二比对结果对应的任务之后,还包括:
提取所述第二比对结果对应的任务中每个任务对应的统一资源定位符;
访问每个统一资源定位符,以得到对应的任务执行信息,确定所述第二比对结果对应的任务中每个任务对应的任务执行信息为所述任务日志的第四解析结果。
5.根据权利要求1所述的日志解析方法,其特征在于,所述任务执行过程数据包括任务开始执行的开始时间和任务的处理时长,在所述确定每个运行日志对应的任务及任务执行过程数据之后,还包括:
针对任一运行阶段,确定该运行阶段的所有任务的个数以及所有任务中最早的开始时间、最晚的开始时间和最长的处理时长;
若所有任务的个数与最长的处理时长的乘积小于最早的开始时间与最晚的开始时间之间的时长,则确定任务执行过程中缺乏资源,将资源不足作为所述任务日志的第五解析结果。
6.根据权利要求1所述的日志解析方法,其特征在于,所述识别每个运行日志,确定每个运行日志对应的任务及任务执行过程数据包括:
使用表征任务的字符表示,从每个运行日志中匹配到对应的任务;
提取每个任务下日志内容,使用训练好的自然语言处理模型对每个任务下的日志内容进行识别,确定每个任务的任务执行过程数据。
7.根据权利要求1至6任一项所述的日志解析方法,其特征在于,所述确定所述任务日志中一Job执行时的N个运行阶段包括:
使用表征运行阶段的字符表示,从所述任务日志中匹配到对应的运行阶段;
相应地,所述从所述任务日志中获取每个运行阶段对应的运行日志包括:
根据所述任务日志中匹配到的每个运行阶段的位置,提取相邻两个运行阶段的位置之间的日志,确定该日志为所述的相邻两个运行阶段中位置在前的运行阶段对应的运行日志。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111524237.6/1.html,转载请声明来源钻瓜专利网。