[发明专利]一种日志数据预处理方法及装置

权利要求书

1.一种日志数据预处理方法，其特征在于，所述方法包括：

获取待处理的第一日志文件，对所述待处理的第一日志文件进行格式转换，得到第二日志文件，所述第二日志文件中的日志数据不重复、时间戳格式统一且按时间戳顺序排列；

确定所述第二日志文件中的错误日志数据，为同类型的错误日志数据分配相同的错误标记，得到第三日志文件；

提取所述第三日志文件中的日志数据，并基于具有不同错误标记的所有错误日志数据的时间戳和预设序列长度，构建多个故障相关序列和非故障相关序列；

计算所有故障相关序列之间的序列似然度，将序列似然度小于预设值的故障相关序列对划分为一组，得到聚类后的故障相关序列；

基于隐半马尔可夫HSMM模型的参数和所述聚类后的故障相关序列进行训练，得到对应的故障分类模型。

2.根据权利要求1所述的方法，其特征在于，所述获取待处理的第一日志文件，对所述待处理的第一日志文件进行格式转换，得到第二日志文件，包括：

获取待处理的第一日志文件，并确定各个所述待处理的第一日志文件的时间戳；

按照时间戳顺序排列所述待处理的第一日志文件，得到大日志文件；

针对所述大日志文件中记录有错误日志数据的日志记录进行错误日志数据筛选，删除重复的错误日志数据，得到筛选数据之后的大日志文件；

转换所述筛选数据之后的大日志文件的时间戳为世界标准时间UTC格式，得到第二日志文件。

3.根据权利要求1所述的方法，其特征在于，所述确定所述第二日志文件中的错误日志数据，为同类型的错误事件导致的错误日志数据分配相同的错误标记，得到第三日志文件，包括：

确定所述第二日志文件中的错误日志数据；

删除所述错误日志数据中的无效信息，得到待处理的错误日志数据，所述无效信息包括与确认导致所述错误日志数据的错误事件的类型不相关的信息；

计算所述第二日志文件中所有日志数据两两之间的编辑距离，选取每一对错误日志数据之间的编辑距离；

判断每一对错误日志数据之间的编辑距离是否处于预设距离范围内；

若存在编辑距离处于预设距离范围内的错误日志数据对，为所述错误日志数据对分配相同的错误标记，直至所有的错误日志数据对分配完毕，得到第三日志文件。

4.根据权利要求1所述的方法，其特征在于，所述提取所述第三日志文件中的日志数据，并基于具有不同错误标记的所有错误日志数据的时间戳和预设序列长度，构建多个故障相关序列和非故障相关序列，包括：

确认所述第三日志文件中具有不同错误标记的错误日志数据的位置；

针对每一段具有不同错误标记的错误日志数据，进行数据序列提取，得到多个故障相关序列和非故障相关序列；

所述数据序列提取的过程包括：

基于所述错误日志数据的时间戳和数据窗口提取第一故障相关数据序列；

以所述第一故障相关数据序列为基准，基于所述数据窗口和时间提前量提取第二故障相关数据序列；

基于所述第一故障相关数据序列和所述第二故障相关数据序列构建故障相关序列；

以所述第一故障相关数据序列为基准，基于非失效序列的裕度提取日志数据构建非故障相关序列。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述方法还包括：

根据所述故障分类模型和所述非故障相关序列构建训练集，并进行故障训练，得到故障预测模型；

基于所述故障预测模型进行故障预测。