[发明专利]一种识别异常IP数据流的方法、装置和系统

说明书

本发明实施例公开了一种识别异常IP数据流的方法、装置和系统，涉及通信领域，用以提高识别准确度。本发明实施例提供的方法包括：在当前时间区间内，接收数据收集节点发送的Y个元素；按照映射算法将Y个元素映射到N个桶中；获取N个桶中的、所映射的所有元素的总流量大于或者等于第一阈值的桶作为目标桶；获取当前时间区间内第一对象在所映射到的r个桶中的r个流量上界；其中，第一对象为映射到目标桶中的任一对象，r个桶中的每个桶中包含针对第一对象的1个流量上界；根据预设的异常对象的类型和当前时间区间内的r个流量上界识别第一对象是否为异常对象；预设的异常对象的类型为大流量对象或大变化对象。

技术领域

本发明涉及通信领域，尤其涉及一种识别异常IP数据流的方法、装置和系统。

背景技术

互联网(Internet)和MBB(Mobile Broadband，移动宽带)的结合，以及智能终端、平板电脑等智能设备的大规模推广和应用，使得MBB数据网络流量大幅度增长；与此同时，带来了新的问题：各种网络异常频发。其中，网络异常包括：异常流量、网络攻击、病毒等，异常流量包括大流量对象(heavy hitters)和大变化对象(heavy changers)。这对网络利用率、网络性能和用户体验带来很大的负面影响，同时也带来关键信息泄露、系统和终端损坏等风险。

在各种网络异常中，大流量对象和大变化对象是最为重要的两类网络异常。大流量对象是指网络中频繁出现的数据流，本文中将其定义为整体流量很大的数据流；大变化对象是指在给定时间段内，主要特征(包括大小、端口号、协议号等)发生很大变化的数据流。其中，由IP(Internet Protocol，Internet协议)包的五元组(包括：源IP、目的IP、源端口、目的端口、协议号)定义一个IP数据流对象(下文中称为“对象”)。

目前，识别网络异常流量的方法包括：1)数据收集节点将收集到的针对不同对象的元素随机发送到一个或者多个工作节点上；其中，对象和元素的关系可以表示为“元素(对象，值)，即元素(key，value)”；元素包含的“值”可以为该元素的流量值、或者能够表示该元素的流量值的信息(例如，该元素包含的数据包的个数等)；2)工作节点按照映射算法将接收到的元素映射到由多个桶构成的数据结构表中，并在每个时间区间结束时，向控制节点汇报该时间区间内映射到每个桶中的元素的总流量；其中，针对同一对象的元素一般被映射到同一个桶中，另外，由于对象的数目很大，为了节省数据结构表占用的存储空间，可以将不同对象映射到同一个桶中；3)控制节点对各工作节点汇报的信息进行汇总，当针对某一类对象的所有桶所映射的元素的总流量大于一阈值时，将这类对象均识别为大流量对象，其中，该类对象是指在同一工作节点中被映射到同一个桶中的对象。

在上述方法中，当针对某一类对象的所有桶所映射的元素的总流量大于一阈值时，即认为这类对象均为大流量对象，但是，造成针对某一类对象的所有桶所映射的元素的总流量大于一阈值的原因可能是：该类对象由很多个小流量对象构成。因此，利用上述方法进行识别，会错误地将这些小流量对象识别为大流量对象，也就是说上述方法的识别准确度低。

发明内容

本发明实施例提供一种识别异常IP数据流的方法、装置和系统，用以提高识别准确度。

为达到上述目的，本发明的实施例采用如下技术方案：

第一方面，提供一种识别异常IP数据流的方法，应用于工作节点中，所述方法包括：

在当前时间区间内，接收数据收集节点发送的Y个元素；其中，Y≥1，Y为整数；

按照映射算法将所述Y个元素映射到N个桶中；其中，N≥1，N为整数；

获取所述N个桶中的、所映射的所有元素的总流量大于或者等于第一阈值的桶作为目标桶；