[发明专利]一种分布式网络流量的聚合降维统计方法

说明书

本发明公开了一种分布式网络流量的聚合降维统计方法，用户配置数据聚合挖掘条件，分布式服务器集群中各个服务器节点分别根据数据聚合挖掘条件对数据进行匹配挖掘；分布式服务器集群中的各个服务器节点分别对匹配挖掘到的数据进行累加；中心服务器合并并累加分布式服务器集群中各个服务器节点累加后的数据。大大的降低数据包的数量级别，提高了数据挖掘分析效率。

技术领域

本发明属于网络流量分析技术领域，尤其涉及一种分布式网络流量的聚合降维统计方法。

背景技术

随着计算机技术和互联网的发展，宽带速率的提高和费用的降低，使得人们的生活和工作与网络的联系愈发紧密，网络数据包数量呈几何级增长。对于目前的网络流量数据分析，即使是经验丰富的分析员，一天也最多只能分析约1700000个数据包。而据统计一个家庭一周所产生的数据包能够达到1亿级别，已然不是一个可以轻易分析的量级。若是采集一个公司、学校、政府等端点的流量，数据包将是一个天文级别。

发明内容

本发明的目的就在于为了解决上述问题而提供一种分布式网络流量的聚合降维统计方法，包括如下步骤：

S1:系统获取网络流量数据包；

S2:中心服务器进行负载均衡后将数据包拆分发送至分布式服务器集群；

S3:用户配置数据聚合挖掘条件，分布式服务器集群中各个服务器节点分别根据数据聚合挖掘条件对数据进行匹配挖掘；

S4:分布式服务器集群中的各个服务器节点分别对匹配挖掘到的数据进行累加；

S5:中心服务器合并并累加分布式服务器集群中各个服务器节点累加后的数据；

S6:系统判断数据聚合类型,若数据聚合类型为求和数据，则转S7；若为均值数据则将得到的累加数据在中心服务器上进行一次平均值计算，完成后转S7；

S7:输出聚合挖掘数据结果。

本发明的有益效果在于：本发明通过聚合降维的方式合并原始数据，从而大大的降低数据包的数量级别，提高分析效率，且数据量越大效果越明显；通过前端可视化的聚合条件配置与挖掘结果数据显示，再辅以后端服务器集群的多任务智能化调度与多路并发数据挖掘运算，大大降低了用户配置复杂挖掘条件的难度，提升了挖掘结果数据的针对性，通过智能化和多路并发加成大幅提升了数据挖掘的效率。

附图说明

图1是本发明的流程图；

图2是本发明的分布式架构图。

具体实施方式

下面结合附图对本发明作进一步说明：

如图1所示，本发明一种分布式网络流量的聚合降维统计方法，包括如下步骤：

S1:系统获取网络流量数据包；

S2:中心服务器进行负载均衡后将数据包拆分发送至分布式服务器集群；

S3:用户配置数据聚合挖掘条件，分布式服务器集群中各个服务器节点分别根据数据聚合挖掘条件对数据进行匹配挖掘；

S4:分布式服务器集群中的各个服务器节点分别对匹配挖掘到的数据进行累加；

S5:中心服务器合并并累加分布式服务器集群中各个服务器节点累加后的数据；

S6:系统判断数据聚合类型,若数据聚合类型为求和数据，则转S7；若为均值数据则将得到的累加数据在中心服务器上进行一次平均值计算，完成后转S7；

S7:输出聚合挖掘数据结果。