[发明专利]一种日志数据预处理方法及装置

说明书

本发明提供一种日志数据预处理方法及装置，通过对获取的待处理的第一日志文件进行格式转换，得到第二日志文件，为第二日志文件中同类型的错误日志数据分配相同错误标记，得到第三日志文件，基于具有不同错误标记的所有错误日志数据的时间戳和预设序列长度，构建多个故障相关序列，计算所有故障相关序列之间的序列似然度，将序列似然度小于预设值的故障相关序列对划分为一组，得到聚类后的故障相关序列并进行训练，得到对应的故障分类模型。基于上述，对日志数据进行预处理时，能够在减少数据量的基础上保留更多与故障相关的日志数据，有利于后续故障预测过程中更为精准的进行预测各类故障。

技术领域

本发明涉及日志预处理技术领域，尤其涉及一种日志数据预处理方法及装置。

背景技术

随着计算机技术的快速发展，计算机系统的规模和复杂性越来越大，从而导致计算机系统出现故障的可能性也越来越高。系统运行时记录的日志数据就成为了故障诊断和处理的重要信息源，但是在一个复杂的计算机系统中，会存在各种格式的日志数据并且不同的日志数据之间还会存在一定关联，甚至同一种故障会有多个原因，对应着多种不同的错误日志数据。因此，计算机系统在对日志数据进行分析之前，首先需要对日志数据进行预处理工作，以便计算机系统进行数据分析和故障预测。

目前，现有日志预处理技术通过删除冗余的日志数据或不完整的日志数据来进行日志数据预处理，这种方式会导致有些与故障相关的日志数据被删除，使得后续故障预测过程难以准确的进行故障预测。

发明内容

有鉴于此，本发明实施例提供一种日志数据预处理方法及装置，以解决采用现有技术的数据预处理方法得到的数据无法准确进行故障预测的问题。

为实现上述目的，本发明实施例提供如下技术方案：

本发明第一方面公开了一种日志数据预处理方法，所述方法包括：

获取待处理的第一日志文件，对所述待处理的第一日志文件进行格式转换，得到第二日志文件，所述第二日志文件中的日志数据不重复、时间戳格式统一且按时间戳顺序排列；

确定所述第二日志文件中的错误日志数据，为同类型的错误日志数据分配相同的错误标记，得到第三日志文件；

提取所述第三日志文件中的日志数据，并基于具有不同错误标记的所有错误日志数据的时间戳和预设序列长度，构建多个故障相关序列和非故障相关序列；

计算所有故障相关序列之间的序列似然度，将序列似然度小于预设值的故障相关序列对划分为一组，得到聚类后的故障相关序列；

基于隐半马尔可夫HSMM模型的参数和所述聚类后的故障相关序列进行训练，得到对应的故障分类模型。

可选的，所述获取待处理的第一日志文件，对所述待处理的第一日志文件进行格式转换，得到第二日志文件，包括：

获取待处理的第一日志文件，并确定各个所述待处理的第一日志文件的时间戳；

按照时间戳顺序排列所述待处理的第一日志文件，得到大日志文件；

针对所述大日志文件中记录有错误日志数据的日志记录进行错误日志数据筛选，删除重复的错误日志数据，得到筛选数据之后的大日志文件；

转换所述筛选数据之后的大日志文件中的待处理的第一日志文件的时间戳为世界标准时间UTC格式，得到第二日志文件。

可选的，所述确定所述第二日志文件中的错误日志数据，为同类型的错误事件导致的错误日志数据分配相同的错误标记，得到第三日志文件，包括：

确定所述第二日志文件中的错误日志数据；

删除所述错误日志数据中的无效信息，得到待处理的错误日志数据，所述无效信息包括与确认导致所述错误日志数据的错误事件的类型不相关的信息；