[发明专利]一种基于支持向量机的日志分类管理方法及系统

说明书

本发明提供一种基于支持向量机的日志分类管理方法及系统，所述方法包括如下步骤：S1.获取原始系统日志，并对原始系统日志进行解析得到结构化日志数据；S2.对结构化日志数据进行特征提取，针对每条日志提取一组数字特征向量，所有数字特征向量形成特征数据集；S3.对提取的特征数据集进行样本标注，并按照设定比例分为训练集和测试集；S4.获取支持向量机模型，通过训练集对支持向量机模型进行训练，再通过测试集对支持向量机模型进行验证；S5.训练好并验证过的支持向量机模型对新产生日志进行分类，并对各类别日志采用对应管理策略。

技术领域

本发明属于日志管理技术领域，具体涉及一种基于支持向量机的日志分类管理方法及系统。

背景技术

日志：网络设备、系统及服务程序等，在运作时都会产生一个叫日志的事件记录；每一行日志都记载着日期、时间、使用者及动作等相关操作的描述。

支持向量机(SVM)：支持向量机是一种基于统计学习与结构风险最小化原理的机器学习方法，在样本较少的情况下，其同样具有优异的学习能力。

在存储集群的日程运行中，随着数据访问量的增大，集群系统所产生的日志文件随时间逐渐开始暴增。运维人员和研发人员一般都是根据系统产生的日志进行系统的了解和优化，但是因为大多数原始的系统日志是非结构化的文本信息，且存在大量冗余，这给运维和研发人员带来了繁琐的工作量。

此为现有技术的不足，因此，针对现有技术中的上述缺陷，提供一种基于支持向量机的日志分类管理方法及系统，是非常有必要的。

发明内容

针对现有技术的上述集群系统产生大量日志文件，给运维和研发人员带来繁琐工作量的缺陷，本发明提供一种基于支持向量机的日志分类管理方法及系统，以解决上述技术问题。

第一方面，本发明提供一种基于支持向量机的日志分类管理方法，包括如下步骤：

S1.获取原始系统日志，并对原始系统日志进行解析得到结构化日志数据；

S2.对结构化日志数据进行特征提取，针对每条日志提取一组数字特征向量，所有数字特征向量形成特征数据集；

S3.对提取的特征数据集进行样本标注，并按照设定比例分为训练集和测试集；

S4.获取支持向量机模型，通过训练集对支持向量机模型进行训练，再通过测试集对支持向量机模型进行验证；

S5.训练好并验证过的支持向量机模型对新产生日志进行分类，并对各类别日志设置对应管理策略。

进一步地，步骤S1具体步骤如下：

S11.获取原始系统日志；

S12.通过logkey方法对原始系统日志进行解析，得到常量结构数据和变量结构数据；所述常量结构数据包括系统程序源码消息，所述变量结构数据包括时间戳或参数值。

进一步地，步骤S2具体步骤如下：

S21.对结构化日志数据进行特征提取，针对每条日志提取消息计数向量、流程状态向量、用户操作功能的频度向量以及访问热度向量；

S22.将提取的四种特征组合为一组数字特征向量，所有数字特征向量形成特征数据集。

进一步地，步骤S3具体步骤如下：

S31.对提取的特征数据集进行关于对应日志状态的正负样本标注；

S32.将提取的特征数据集按照设定比例分为训练集和测试集。

进一步地，步骤S4具体步骤如下：

S41.获取支持向量机模型；