[发明专利]异常日志的分析方法、装置及电子设备

说明书

本发明公开了一种异常日志的分析方法、装置及电子设备。涉及人工智能领域，该方法包括：获取系统发生异常时所产生的待处理异常日志；将待处理异常日志输入至预先训练得到的目标语言模型中，得到多个第一维向量；从多个第一维向量中确定相似概率最大的目标第一维向量，并从目标第一维向量对应的句子对中提取目标标签解释文本；将目标标签解释文本作为待处理异常日志的分析结果。本发明解决了现有技术中由于依赖人工方式分析日志文件造成的分析效率差的技术问题。

技术领域

本发明涉及人工智能领域，具体而言，涉及一种异常日志的分析方法、装置及电子设备。

背景技术

系统在运行时往往产生大量日志。在如今多样复杂的企业级WEB服务和大数据服务支持背景下，不仅集成了各种服务框架，记录日志的方式也多种多样。日志主要包含系统运行的逻辑描述和系统运行时的状态描述两大内容。系统运行的逻辑描述表现为以人类能理解的自然语言，当系统出现错误时，它描述了系统无法继续执行下去的事件，如调用某个模块时发生何种错误、访问某个外部接口时发生何种错误、系统资源耗尽等描述。系统运行时的状态描述表现为一组结构化的数据，如系统运行时各作业提交的时间戳、资源使用率、数据吞吐量，作业执行时间等。这一系列参数定量地描述了系统运行到某个具体阶段时的状态。

在现有技术中，当系统发生异常之后，负责系统运维的员工通常手动地提取出系统日志，并对系统发生错误时的逻辑描述和状态描述进行人工分析以找到系统异常的原因，从而造成分析效率差的问题。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种异常日志的分析方法、装置及电子设备，以至少解决现有技术中由于依赖人工方式分析日志文件造成的分析效率差的技术问题。

根据本发明实施例的一个方面，提供了一种异常日志的分析方法，包括：获取系统发生异常时所产生的待处理异常日志；将待处理异常日志输入至预先训练得到的目标语言模型中，得到多个第一维向量，其中，每个第一维向量表征待处理异常日志与待处理异常日志所对应的每个句子对的相似概率，每个句子对由待处理异常日志与一个标签解释文本组合生成，标签解释文本至少包括预设异常类型标签的异常详情信息和/或异常解决方案；从多个第一维向量中确定相似概率最大的目标第一维向量，并从目标第一维向量对应的句子对中提取目标标签解释文本；将目标标签解释文本作为待处理异常日志的分析结果。

进一步地，多个第一维向量中的每个第一维向量分别对应一个第二维向量，其中，第二维向量表征待处理异常日志与待处理异常日志所对应的每个句子对的不相似概率。

进一步地，异常日志的分析方法还包括：在将待处理异常日志输入至预先训练得到的目标语言模型中之前，获取多个历史异常日志，其中，每个历史异常日志中至少包含系统逻辑的描述文本，其中，系统逻辑的描述文本至少包括导致系统发生异常的事件的描述信息；根据系统逻辑的描述文本对每个历史异常日志进行向量化处理，得到每个历史异常日志对应的语义向量。

进一步地，异常日志的分析方法还包括：统计系统逻辑的描述文本中每个单词在每个历史异常日志中出现的第一频率以及每个单词在所有历史异常日志中出现的第二频率；根据第一频率以及第二频率计算得到每个单词在每个历史异常日志中的权重值；在每个历史异常日志中，对每个单词的权重值与每个单词的单词语义向量进行加权求和，得到每个历史异常日志所对应的语义向量。

进一步地，异常日志的分析方法还包括：在根据系统逻辑的描述文本对每个历史异常日志进行向量化处理，得到每个历史异常日志对应的语义向量之后，对多个历史异常日志对应的语义向量进行聚类处理，得到每个历史异常日志对应的异常类型，其中，每种异常类型对应至少一个历史异常日志；获取每种异常类型对应的预设异常类型标签，并将预设异常类型标签标注在对应的历史异常日志上，得到标注后的历史异常日志，其中，一种异常类型与一个预设异常类型标签相对应；根据标注后的历史异常日志训练得到目标语言模型。