[发明专利]异常检测方法、装置、设备及存储介质

说明书

本申请提供一种异常检测方法、装置、设备及存储介质，可以更准确地检测第一设备的日志信息是否异常。该方法包括：根据第一关键词集合和第二关键词集合提取第一设备的日志信息中的目标第一关键词和目标第二关键词，获取第三概率与目标第一关键词对应的第一概率的第一乘积结果，第四概率与目标第二关键词对应的第二概率的第二乘积结果。根据第一乘积结果和第二乘积结果的第一归一化结果、第一阈值确定第一设备的日志信息的异常检测结果。第一关键词集合、第二关键词集合、第一概率、第二概率、第三概率、第四概率均是根据弱监督数据集得到的；弱监督数据集是对第一设备所在的第一系统出现异常事件之前的所有设备的日志信息进行弱标记生成的。

技术领域

本申请涉及数据处理领域，尤其涉及一种异常检测方法、装置、设备及存储介质。

背景技术

通信系统、网络系统、监控管理系统、告警系统等诸多系统中的设备(如服务器、基站等)运行时会生成日志信息，日志信息记录了设备运行期间的详细运行状态。对前述某个系统中的任意一个设备而言，根据该设备的日志信息可以确定该设备是否发生故障。例如，可以将设备1的日志信息输入训练好的预测模型，预测模型可以根据设备1的日志信息输出设备1是否发生故障的预测结果。其中，预测模型是采用样本集合对初始模型进行训练得到的，样本集合可以包括多个训练样本，训练样本为设备的日志信息，每个训练样本标注(标记)有设备是否发生故障的标签。

目前，用于训练上述预测模型的样本集合中的训练样本的标签一般由标注人员通过对每条日志信息核对分析后，确定故障事件对应的日志信息并进行标注。但通过上述的这种方式，难以获得大量带有标签的训练样本，样本集合中包括的训练样本的数量有限，根据样本集合训练得到的预测模型效果并不理想。

发明内容

本申请提供一种异常检测方法、装置、设备及存储介质，可以根据第一关键词集合和第二关键词集合提取第一设备的日志信息中的目标第一关键词和目标第二关键词，并获取第三概率与目标第一关键词对应的第一概率之间的第一乘积结果，第四概率与目标第二关键词对应的第二概率之间的第二乘积结果。根据对第一乘积结果和第二乘积结果进行归一化处理得到的第一归一化结果，以及第一阈值确定第一设备的日志信息的异常检测结果，异常检测结果的准确率较高。

第一方面，本申请提供一种异常检测方法，该方法包括：

获取第一设备的日志信息；根据预设的第一关键词集合和第二关键词集合，提取第一设备的日志信息中的目标第一关键词和目标第二关键词，并确定目标第一关键词对应的第一概率、以及目标第二关键词对应的第二概率；第一关键词集合包括目标第一关键词，第二关键词集合包括目标第二关键词；获取第一概率与预设的第三概率之间的乘积得到第一设备的日志信息对应的第一乘积结果，以及获取第二概率与预设的第四概率之间的乘积得到第一设备的日志信息对应的第二乘积结果；其中，第一关键词集合、第二关键词集合、第一概率、第二概率、第三概率、第四概率均是根据弱监督数据集得到的；弱监督数据集是根据第一设备所在的第一系统内的异常事件，对第一系统出现异常事件之前的第一时间段内所有设备的日志信息、以及第一系统出现异常事件之前的第二时间段内所有设备的日志信息进行弱标记生成的；对第一设备的日志信息对应的第一乘积结果和第二乘积结果进行归一化处理，得到第一设备的日志信息对应的第一归一化结果；根据第一设备的日志信息对应的第一归一化结果，以及预设的第一阈值，确定第一设备的日志信息的异常检测结果；当第一设备的日志信息对应的第一归一化结果大于预设的第一阈值时，第一设备的日志信息的异常检测结果为异常；当第一设备的日志信息对应的第一归一化结果小于第一阈值时，第一设备的日志信息的异常检测结果为正常。