[发明专利]识别异常流量的方法和装置

说明书

本发明公开了一种识别异常流量的方法和装置，涉及计算机技术领域。其中，该方法包括：统计当前监控周期的日志上报数据量，并判断所述日志上报数据量是否符合预设的异常判断条件；在确认所述日志上报数据量符合预设的异常判断条件之后，将当前监控周期的日志上报数据输入预先构建的决策树，并根据所述决策树对当前监控周期的日志上报数据进行异常识别。通过以上步骤，能够实时、高效地识别出异常流量，减少异常流量对服务端存储资源与计算资源的占用。

技术领域

本发明涉及计算机技术领域，尤其涉及一种识别异常流量的方法和装置。

背景技术

在服务端统计日志数据时，异常流量的存在往往会导致页面统计量虚高、分析效果不准确。比如，存在如下类型的异常流量：非用户主动点击产生的异常流量。这种异常流量往往是由恶意程序篡改页面信息引起的，其具有如下特点：页面的加载是在用户未知的情况下进行的；页面只进行了加载却没有曝光，即对用户不可见。

在现有技术中，主要通过以下方案识别异常流量：将服务端一天内接收的全部数据汇总、同步至数据加工应用层；通过数据加工应用层计算统计指标，然后，通过数据业务展示层对得到的统计指标进行展示；如果统计指标存在异常，再通过人工方式详细查找、定位、剔除异常流量；然后，对剔除异常流量后的数据重新进行数据加工和数据展示。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：第一、在现有异常识别方案中，需要人工逐一查询、定位、剔除异常，时效性较差；第二、在确定存在异常流量之后，还需要重新对剔除异常流量的数据进行加工和展示，消耗服务端的存储与计算资源。

发明内容

有鉴于此，本发明提供了一种识别异常流量的方法和装置，以能够实时、高效地识别异常流量，同时减少异常流量对服务端存储资源与计算资源的占用。

为实现上述目的，根据本发明的一个方面，提供了一种识别异常流量的方法。

本发明的识别异常流量的方法包括：统计当前监控周期的日志上报数据量，并判断所述日志上报数据量是否符合预设的异常判断条件；在确认所述日志上报数据量符合预设的异常判断条件之后，将当前监控周期的日志上报数据输入预先构建的决策树，并根据所述决策树对当前监控周期的日志上报数据进行异常识别。

在一个实施例中，所述方法还包括：在所述将当前监控周期的日志上报数据输入预先构建的决策树的步骤之前，对当前监控周期的日志上报数据进行预处理，以得到所述决策树所需的流量特征数据。

在一个实施例中，所述决策树能够识别的异常流量包括：非用户主动点击产生的异常流量；所述决策树所需的流量特征数据包括：访问页面的可视化区域特征、访问页面的访问量特征、访问页面的来源方特征、访问页面的访问序号特征。

在一个实施例中，所述方法还包括：基于决策树学习算法构建决策树。

在一个实施例中，所述预设的异常判断条件包括：当前监控周期的日志上报数据量大于第一流量阈值或小于第二流量阈值；其中，第一流量阈值大于第二流量阈值。

为实现上述目的，根据本发明的另一方面，提供了一种识别异常流量的装置。

本发明的识别异常流量的装置包括：统计模块，用于统计当前监控周期的日志上报数据量，并判断所述日志上报数据量是否符合预设的异常判断条件；识别模块，用于在所述统计模块确认所述日志上报数据量符合预设的异常判断条件之后，将当前监控周期的日志上报数据输入预先构建的决策树，并根据所述决策树对当前监控周期的日志上报数据进行异常识别。

在一个实施例中，所述装置还包括：预处理模块，用于在所述识别模块将当前监控周期的日志上报数据输入预先构建的决策树之前，对当前监控周期的日志上报数据进行预处理，以得到所述决策树所需的流量特征数据。