[发明专利]一种基于Openstack的日志关键错误自动识别方法及装置

说明书

本发明涉及一种基于Openstack的日志关键错误自动识别方法及装置,属于数据挖掘技术领域。方法包括：对历史日志据进行处理和翻译，转化为具有数字特征的数字化数据，对所述数字化数据进行补零操作，得到训练数据集；利用所述训练数据集对识别模型进行训练，完成模型的训练；配置所述识别模型的参数，将日志数据输入到所述识别模型中进行分类，输出日志报错的关键词，形成分类的关键词数据集；对分类的关键词数据进行频率分析，得到高频关键词，将所述高频关键词对应的日志重新存储到关键错误报错日志收集文本中。本方法可自动将日志数据里的关键词保存到关键词词库中，降低人力维护成本。

技术领域

本发明属于数据挖掘技术领域，尤其涉及一种基于Openstack的日志关键错误自动识别方法及装置。

背景技术

如何高效的运维是一直以来要探索的课题，对于一些技术人员，可以直接通过庞大的日志快速搜索，甚至直接看源码解决问题，但是技术人员的数量毕竟太少，运维几万、几十万套集群环境时，面临人手不够的问题。为了应对这样的问题，需要在庞大的日志里将真正报错的地方提取出来，进一步改善。

Open Stack是一个云平台管理的项目，在云计算领域有着非常庞大的应用，目前主流的云计算技术之一，适用于诸多的应用场景，如商业、市场等。一套Open Stack是基于容器运行的，由Ansible容器统一管理，Nova是计算组卷，内部又划分出Nova Compute，NovaScheduler，Nova API等等，Keystone，Neutron，Cinder等等，每一个组件功能都是采用容器的方式来运行，因此都具备独立的日志。而这些组件是彼此运行，如果Keystone，Nova核心，Neutron，Cinder中间的任何一个组件如果无法正常工作，会造成整个Open Stack系统无法工作，往往一个容器运行报错，会造成多个容器无法运行，进而其它容器也会报错，这些错误彼此交错，造成日志积累大量错误信息，面对这样的问题，需要技术人员将这种组件常用报错信息放置在一个关键词词库内，通过手动不断调整词库，如果一旦有系统报错并且切割后片段的关键词与其相匹配，将关键词构成的错误信息重新输出，这样的方式可以精确定位到真正报错容器以及其所在代码的准确位置。

在日志错误定位的场景中，之前传统的方法是采用人工的方式来更新关键词词库，但是这样的方式，每个人的想法各不相同，很难做到统一，在版本升级时很难统一，而且维护的成本非常高，需要技术人员定期定点的精确维护，所需要的人力成本大大上升。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于Openstack的日志关键错误自动识别方法及装置，可自动将日志数据里的关键词保存到关键词词库中，降低人力维护成本。

根据本发明的一个方面，本发明提供了一种基于Openstack的日志关键错误自动识别方法，所述方法包括以下步骤：

S1：采集历史日志数据，对所述历史日志据进行处理和翻译，转化为具有数字特征的数字化数据，对所述数字化数据进行补零操作，得到训练数据集；

S2：利用所述训练数据集对识别模型进行训练，完成模型的训练；

S3：配置所述识别模型的参数，将日志数据输入到所述识别模型中进行分类，输出日志报错的关键词，形成分类的关键词数据集；

S4：对分类的关键词数据进行频率分析，得到高频关键词，将所述高频关键词对应的日志重新存储到关键错误报错日志收集文本中，分析日志时通过打开所述关键错误报错日志收集文本实现日志关键错误的展示。

优选地，所述采集历史日志数据，对所述历史日志据进行处理包括：