[发明专利]一种基于多节点流量数据去重的大流量IP分析系统及方法

摘要

本发明公开了一种基于多节点流量数据去重的大流量独立IP分析系统，该系统包括流量采集模块，用于采集流量数据；过滤模块，用于过滤流量数据；流量聚合模块，用于对经过滤的流量数据进行聚合；流量排序模块，用于对流量聚合结果进行排序；流量下钻模块，用于对大流量的多个IP地址进行下钻分析，找到大流量产生的原因。本发明还公开一种基于多节点流量数据去重的大流量独立IP分析方法。本发明使得对于具体流量的知晓变得有针对性、有目的性、非盲目地从大量数据中查询，较之传统的流量采集数据对管理员的高操控性要求，能够更为简便有效地提供高度定制的数据，更加直观实用。

主权项

一种基于多节点流量数据去重的大流量独立IP分析系统，其特征在于，该系统包括：流量采集模块、过滤模块、流量聚合模块、流量排序模块和流量下钻模块，其中：所述流量采集模块与所述过滤模块连接，用于采集流量数据，并将采集得到的流量数据发送给所述过滤模块；所述过滤模块与所述流量采集模块和所述流量聚合模块连接，用于过滤从所述流量采集模块接收到的流量数据中不符合规定的数据；所述流量聚合模块与所述过滤模块和所述流量排序模块连接，用于根据IP地址对经过过滤的流量数据进行聚合；所述流量排序模块与所述流量聚合模块连接，用于对所述流量聚合模块产生的流量聚合结果进行排序，得到具有大流量的前K个IP地址；所述流量下钻模块与所述流量排序模块连接，用于对大流量的多个IP地址进行下钻分析，找到大流量产生的原因；所述流量下钻模块采用HASH算法对大流量的多个IP地址进行下钻分析，包括：首先将原始采集到的流量数据散列到预定大小的散列表中，处理时以IP地址为序进行散列，但每个相同的IP地址并不仅仅散列到表中相同的条目中，而是依次排序保留，要保留的相同的IP地址的数量根据实际应用确定；所述流量聚合模块首先根据IP地址对经过过滤的流量数据进行去重，然后聚合每个IP地址所产生的流量，最后根据IP地址对流量数据进行一维聚合。