[发明专利]一种基于N-gram与频繁模式挖掘的系统日志解析方法

摘要

本发明提出了一种基于N‑gram与频繁模式挖掘的系统日志解析方法。本发明将多行日志消息依次根据空格分解为单个的单词；计算任意两行日志消息之间的N‑gram距离；本发明通过算出N分别取值1,2,3时，任意两行日志消息之间的1‑gram距离、2‑gram距离和3‑gram距离，计算任意两行日志消息的相似匹配值，当匹配值高于设定阈值的日志消息归为一类；设置频繁模式挖掘算法的频繁单词项集的长度以及频繁模式挖掘算法的频繁单词项集的支持度；对每一类别中的所有日志消息使用频繁模式挖掘算法，挖掘出每一类中符合参数设定的候选频繁单词项集，并生成该类的日志模板。本发明在保证分类准确性的前提下，减少计算机处理的时间，节约了计算资源，提高了分类效率。