[发明专利]基于大数据平台的日志分析系统

说明书

本发明提出了一种基于大数据平台的日志分析系统，包括网络数据采集器、分布式实时数据传输通道、分布式日志处理平台、网络数据协议特征库和大数据平台；主要功能和处理流程如下：(1)数据经由分布式实时数据传输通道传送；网络数据采集器负责采集网络设备上的网络数据包，经过分布式实时数据传输通道将数据包实时队列化发送给分布式日志处理平台；(2)分布式日志处理平台对数据包进行实时处理；分布式日志处理平台对网络数据包进行实时数据解析，并通过网络数据协议特征库进行数据特征匹配，将匹配确认为异常的网络日志数据发送给大数据平台进行存储；(3)大数据平台对网络日志数据进行聚类分析、分类训练并动态更新网络数据协议特征库。

技术领域

本发明涉及一种基于大数据平台的日志分析系统。

背景技术

异常监测技术根据不同的分析对象分为多种，其中基于异常历史的异常监测技术和基于系统状态监测的异常监测技术应用最为广泛。基于异常历史的异常监测技术主要采用收集系统异常历史数据的方式，如系统异常日志等，进而采用基于数据挖掘等机器学习的异常分析方法，揭示历史异常与即将到来的系统异常之间可能潜在的关联性，对未来可能出现的异常进行预测判断。而基于系统状态监测的技术则主要考虑系统异常状态下某些参数必然会发生变化，通过监控系统的运行状态和参数的变化来监测异常，预测下次系统故障的发生。随着大数据时代的到来，数据收集量呈爆炸式增长，各种传统的日志分析手段和方法已不能满足现实需求，因此很多面向大数据的日志分析平台应运而生。

发明内容

基于上述问题，本发明提出一种基于大数据平台的日志分析系统。

根据上述发明目的，本发明通过以下技术方案来实现：

一种基于大数据平台的日志分析系统，包括网络数据采集器、分布式实时数据传输通道、分布式日志处理平台、网络数据协议特征库和大数据平台；

系统主要功能和处理流程如下：

(1)数据经由所述分布式实时数据传输通道传送；网络数据采集器负责采集网络设备上的网络数据包，经过分布式实时数据传输通道，将数据包实时队列化发送给分布式日志处理平台；

(2)所述分布式日志处理平台对获得的数据包进行实时处理；分布式日志处理平台对接收到的网络数据包进行实时数据解析，并通过网络数据协议特征库进行数据特征匹配，将匹配确认为异常的网络日志数据发送给大数据平台进行存储；

(3)所述大数据平台对存储的网络日志数据进行聚类分析、分类训练并动态更新所述网络数据协议特征库。

所述大数据平台的主要工作流程包括以下3个步骤:

(1)对网络系统的历史数据进行分析、转化以及预处理；筛选去除无关数据及属性，将有用的原始数据转换为预测模型可用的格式；

(2)根据数据特性进行模型选择及训练；由于网络系统的动态特性，模型选择及训练会使用最新的数据定期重复执行；当模型训练完成后，系统会保存所有模型的相关参数并且更新已有模型；

(3)使用训练好的单个模型对未来容量及请求进行预测并通过集成学习方法降低预测结果的方差；集成学习使用所有可用模型进行预测，根据模型的历史预测记录决定每个模型的预测权重。

本发明针对电力工控网络系统的特点设计了一个基于大数据平台的日志分析系统。在系统的使用过程中，发现日志预测中存在的弊端和对异常数量预测的需求，进而提出了一种基于时间序列的集成预测算法。该算法通过对多种分类预测算法进行集成，对收集到的日志数据进行分类预测，实现了以综合最优的准确度预测系统异常数量的目的。通过实验验证，集成预测算法取得了更好的预测准确率和效果，总体上看，集成算法的准确性在各种不同的评价指标中都有优势，与最好效果的算法达到相似的水平。该集成算法可为电力工控网络系统的安全风险监测提供保障。

附图说明