[发明专利]基于Web会话流的分布式实时异常定位方法

摘要

本发明涉及一种基于Web会话流的分布式实时异常定位方法，包括以下步骤：利用Flume与Kafka联合收集Web流量数据，将收集到的Web流量一方面发送到HDFS存储为离线日志，并通过DPS_DRB规则库构建算法动态建立和更新动态规则库DRB，另一方面发送到Spark Streaming，发送到Spark Streaming中的Web流量作为实时日志，Spark Streaming对持续不断的实时日志流式数据以滑动窗口的方式处理；AL_HBGSA算法基于动态规则库，将会话序列与动态规则库中的规则序列进行比对，从而进行异常定位。该方法有利于对Web会话流的异常进行高效、准确的定位。

主权项

1.一种基于Web会话流的分布式实时异常定位方法，其特征在于，包括以下步骤：（1）利用日志收集系统Flume组件与分布式消息系统Kafka组件联合收集Web流量数据，其中Flume组件负责收集多个Web终端的Web流量，Kafka组件作为消息中间件，将收集到的Web流量发送到Hadoop分布式文件系统HDFS存储，同时发送到Spark Streaming组件进行实时处理；（2）发送到HDFS中的Web流量存储为离线日志，并通过DPS_DRB规则库构建算法动态建立和更新动态规则库DRB；（3）发送到Spark Streaming组件中的Web流量作为实时日志，Spark Streaming组件对持续不断的实时日志流式数据以滑动窗口的方式处理，对滑动窗口内的Web流量进行过滤，转化，用户识别，会话识别，构建用户会话序列，然后发送给基于混合生物基因序列比对的异常定位算法AL_HBGSA；（4）AL_HBGSA算法基于步骤（3）建立并不断更新的动态规则库DRB，将步骤（4）发送来的用户会话序列与动态规则库中的规则序列进行比对，从而进行异常定位，如果检测到异常，则进行告警处理，否则作为正常日志输出。