[发明专利]一种基于信息增益和改进KNN算法的日志分类方法

说明书

本发明公开了一种基于信息增益和改进KNN算法的日志分类方法，用于对日志进行自动分类，包括以下步骤：获取系统的日志数据；在日志中选择部分日志作为第一训练样本；对日志数据进行预处理；根据信息增益提取日志数据中的特征向量；结合日志数据中的特征向量和改进KNN算法对日志进行分类。本发明通过信息增益算法提取特征，可以有效降低特征的维度，减少了计算量；通过对日志进行自动分析和归类，改变了传统的人工分类的做法，大大提高了工作效率。

技术领域

本发明涉及数据分析领域，更具体地，涉及一种基于信息增益和改进KNN算法的日志分类方法。

背景技术

随着信息技术的发展，出现了越来越多的信息化系统，为了实现各信息系统之间的业务融合，相应开发了大量集成数据接口，通过信息集成平台、数据资源管理平台，实现服务的共享、调用。在实际过程中，会产生的日志数据。由于涉及多个不同的信息系统，日志数据的格式不一，无法直接进行识别，需要人工在后台进行处理。其中，错误日志数据的问题尤为突出，通过人工分类后再寻找对应的厂商解决问题，严重拖慢了问题的解决速度。

发明内容

本发明克服了上述现有的技术不足，提供一种基于信息增益和改进KNN算法的日志分类方法。本发明能够对日志进行自动分析和归类，改变了传统的人工分类的做法，大大提高了工作效率。

为解决上述技术问题，本发明的技术方案如下：

一种基于信息增益和改进KNN算法的日志分类方法，用于对日志进行自动分类，包括以下步骤：

获取系统的日志数据；

在日志中选择部分日志作为第一训练样本；

对日志数据进行预处理；

根据信息增益提取日志数据中的特征向量；

结合日志数据中的特征向量和改进KNN算法对日志进行分类。

在一种优选的方案中，所述的“对日志数据进行预处理”包括以下子步骤：

对日志数据中的文本信息进行分词处理；

对日志数据中的停用词进行去除。

在一种优选的方案中，所述的“根据信息增益提取日志数据中的文本向量”包括以下子步骤：

计算第一训练样本的信息熵；

计算每个词语的条件熵；

根据第一训练样本的信息熵和词语的条件熵，得到每个词语的信息增益；

根据每个词语的信息增益，选取k个词语定义为文本特征；

根据每篇日志中包含k个文本特征的词频，组成一个k维特征向量。

在一种优选的方案中，所述的“计算第一训练样本的信息熵”包括以下内容：

对第一训练样本进行分类，定义为C₁,C₂,...,C_n，每一个类别出现的概率定义为P(C₁),P(C₂),...,P(C_n)；其中，所述的n表示分类的类别总数；

第一训练样本的信息熵H(C)通过下式进行表达：

在一种优选的方案中，所述的词语的条件熵H(C|t)通过下式进行表达：