[发明专利]异常流量监测方法、装置及计算机可读存储介质

说明书

本发明公开了一种异常流量监测方法、装置及存储介质，旨在至少解决大量异常流量可能导致Flume中心集群负载过高的问题。所述方法包括：对当前监测数据进行解析，确定出所述当前监测数据对应的预设监测对象；读取所述监测对象的当前流量；判断所述当前流量是否达到预设流量配额；在判定达到所述流量配额时，丢弃所述当前监测数据。本发明可以有效解决数据采集端出现的短时间大量异常流量可能导致Flume中心集群负载过高，甚至停止服务的问题。

技术领域

本发明涉及网络技术领域，尤其涉及一种异常流量监测方法、装置及计算机可读存储介质。

背景技术

在使用Flume(聚合和传输的系统)进行日志数据采集的阶段，通常无法控制采集端上报上来的数据量。当某个数据采集端出现异常，例如当上报的是Tomcat日志数据时，系统错误可能导致短时间内的大量日志数据产生。并且这类数据具有以下特点：数据量大、重复度高(一般是反复报同一个错误)。目前缺乏有效的针对Flume中心集群的异常流量监测方法。

然而，如果没有针对这部分异常流量进行及时处理至少具有如下缺陷：

(1)数据采集端出现的短时间大量异常流量可能导致Flume中心集群负载过高，甚至停止服务。

(2)这类异常流量出现时相关的维护人员无法知晓，失去了处理该类问题的最佳时机。

发明内容

本发明的主要目的在于提出一种异常流量监测方法、装置及存储介质，旨在至少解决大量异常流量可能导致Flume中心集群负载过高的问题。

为实现上述目的，本发明提供一种异常流量监测方法，所述方法包括：

对当前监测数据进行解析，确定出所述当前监测数据对应的预设监测对象；

读取所述监测对象的当前流量；

判断所述当前流量是否达到预设流量配额；

在判定达到所述流量配额时，丢弃所述当前监测数据。

可选地，所述对监测数据进行解析，确定出所述监测数据对应的预设监测对象之前，还包括：

从Flume中心集群的节点接收数据，将接收的数据作为所述监测数据。

具体地，所述从Flume中心集群的节点接收数据，将接收的数据作为所述监测数据之前，还包括：

在不同的服务器上分别搭建Flume组件；

基于搭建Flume组件的服务器组建所述Flume中心集群。

可选地，所述对当前监测数据进行解析，确定出所述当前监测数据对应的预设监测对象，包括：

对所述当前监测数据进行解析，获取标识所述当前监测数据的属性信息；

根据所述属性信息确定出对应的预设监测对象。

可选地，所述读取所述监测对象的当前流量，包括：

获取在先存储的所述监测对象的流量值；

记录所述当前监测数据占用的存储空间；

根据获取的流量值和所述占用的存储空间确定当前流量，并进行存储；

读取存储的当前流量。

具体地，所述根据获取的流量值和所述占用的存储空间确定当前流量，并进行存储，还包括：

将所述当前流量进行内存性键值存储。

可选地，所述方法还包括：

判断所述当前流量是否达到预设预警阈值；