[发明专利]一种基于Openstack的日志关键错误自动识别方法及装置

权利要求书

1.一种基于Openstack的日志关键错误自动识别方法，其特征在于，所述方法包括以下步骤：

S1：采集历史日志数据，对所述历史日志据进行处理和翻译，转化为具有数字特征的数字化数据，对所述数字化数据进行补零操作，得到训练数据集；

S2：利用所述训练数据集对识别模型进行训练，完成模型的训练；

S3：配置所述识别模型的参数，将日志数据输入到所述识别模型中进行分类，输出日志报错的关键词，形成分类的关键词数据集；

S4：对分类的关键词数据进行频率分析，得到高频关键词，将所述高频关键词对应的日志重新存储到关键错误报错日志收集文本中，分析日志时通过打开所述关键错误报错日志收集文本实现日志关键错误的展示。

2.根据权利要求1所述的方法，其特征在于，所述采集历史日志数据，对所述历史日志据进行处理包括：

选取预设数量的物理服务器，分别获取每一台物理服务器的日志以文本形式保存，得到预设数量的日志文本；将所述预设数量的日志文本按照时间顺序进行合并，组成一个完整的日志数据集，所述日志数据集的内容由日志时间+日志内容+报错内容构成；对日志时间进行切割，并保留日志内容和报错内容，采用词向量进行分割，完成关键字的划分。

3.根据权利要求2所述的方法，其特征在于，所述对所述历史日志据进行翻译，转化为具有数字特征的数字化数据包括：

对所述日志数据集进行翻译，得到英文数据集，将所述英文数据集中的全部小写字母转换为大写字母，并将数据集中非字母形式的干扰数据进行抹除，形成只包括英文大写字母以及空格的数据集，将每一条数据列表化，得到一个二维张量结构的数据集；将26个字母使用1～26个数字进行替换，并将空格数据的有效特征值赋值为50，得到具有数字特征的数字化数据。

4.根据权利要求3所述的方法，其特征在于，所述识别模型为LSTM模型，所述配置所述识别模型的参数包括：

LSTM的参数配置为embedding_dim参数为27，hidden_dim参数为17，num_layers参数为3，output_size参数为2，padding参数为1，使用词向量转换方法torch.nn.Embedding，其内部长度参数配置为180。

5.根据权利要求4所述的方法，其特征在于，所述对分类的关键词数据进行频率分析，得到高频关键词包括：

根据LSTM分类的数量，按照分类类别对组件进行加权计算，得到第一参数值；对每一个分类的数据频次进行统计，得到第二参数值，将所述第一参数值和所述第二参数值进行加权运算得到权重值，取所述权重值满足预设阈值条件的关键词作为高频关键词。

6.一种基于Openstack的日志关键错误自动识别装置，其特征在于，所述装置包括：

处理模块，用于采集历史日志数据，对所述历史日志据进行处理和翻译，转化为具有数字特征的数字化数据，对所述数字化数据进行补零操作，得到训练数据集；

训练模块，用于利用所述训练数据集对识别模型进行训练，完成模型的训练；

识别模块，用于配置所述识别模型的参数，将日志数据输入到所述识别模型中进行分类，输出日志报错的关键词，形成分类的关键词数据集；

分析模块，用于对分类的关键词数据进行频率分析，得到高频关键词，将所述高频关键词对应的日志重新存储到关键错误报错日志收集文本中，分析日志时通过打开所述关键错误报错日志收集文本实现日志关键错误的展示。

7.根据权利要求6所述的装置，其特征在于，所述处理模块采集历史日志数据，对所述历史日志据进行处理包括：

选取预设数量的物理服务器，分别获取每一台物理服务器的日志以文本形式保存，得到预设数量的日志文本；将所述预设数量的日志文本按照时间顺序进行合并，组成一个完整的日志数据集，所述日志数据集的内容由日志时间+日志内容+报错内容构成；对日志时间进行切割，并保留日志内容和报错内容，采用词向量进行分割，完成关键字的划分。