[发明专利]用于实现流量采集聚合及负载分发处理的系统

说明书

本发明涉及一种用于实现流量采集聚合及负载分发处理的系统，其中，该系统包括，设置有：分发缓存表，用于记录系统缓存中的IP与隧道ID，以及MAC地址与隧道ID之间的对应关系；流量采集解析及分发模块，用于通过建立分发隧道，进行流量采集、解析以及分发处理；分发缓存表更新模块，用于在接收到流量采集解析及分发模块输入的IP地址或MAC地址后，将更新后的分发缓存表存入系统内存，共享给其他模块使用，并基于更新后的分发缓存表将采集到的数据包转发到对应的隧道会话内。采用了本发明的该用于实现流量采集聚合及负载分发处理的系统，不会因为流量的分发影响分析的准确性，让分析的过程不再是瓶颈，以最大限度的利用计算资源，为用户实现降本增效。

技术领域

本发明涉及网络通信技术领域，尤其涉及网络流量采集技术领域，具体是指一种用于实现流量采集聚合及负载分发处理的系统。

背景技术

网络作为承载业务的基础，网络流量作为业务交互的载体，业务数据的交互全部通过网络流量来完成，通过流量分析可以实现攻击检测、性能分析、审计分析等，流量分析已成为业务安全及稳定性保障的重要手段。

现有的流量分析方法采用采集和分析同步进行的设计，由流量分析系统直接采集镜像流量并进行分析，由于分析是需要对流量数据包进行各种规则的匹配和建模分析，所以在流量比较大的时候，规则匹配和建模分析的过程是非常耗时的；尤其是需要对采集到的流量进行多种不同类型的分析的时候，耗时的问题尤其明显，这个过程成为限制单个计算资源分析性能的瓶颈。

基于此原因，现有技术只能是在进行流量镜像的时候，将流量镜像到多个计算资源内，由多个计算资源同时进行分析，这样虽然能够解决大流量分析的问题，但是却需要额外的成本才能实现。

综上所述，目前需要一种技术能够实现在同一计算资源内进行流量的统一采集，并对采集到的流量进行负载分发，以使分析模块可以进行横向扩容，以此来突破分析的性能瓶颈，达到相同计算资源的情况下成倍提升分析效率的目的，实现降本增效的功能。

发明内容

本发明的目的是克服了上述现有技术的缺点，提供了一种用于实现流量采集聚合及负载分发处理的系统。

为了实现上述目的，本发明的用于实现流量采集聚合及负载分发处理的系统如下：

该用于实现流量采集聚合及负载分发处理的系统，其主要特点是，所述的系统包括，设置有：

分发缓存表，用于记录系统缓存中的IP地址与隧道ID，以及MAC地址与隧道ID之间的对应关系；

流量采集解析及分发模块，与所述的分发缓存表相连接，用于通过建立分发隧道，进行流量采集、解析以及分发处理；以及

分发缓存表更新模块，与所述的流量采集解析及分发模块相连接，用于在接收到所述的流量采集解析及分发模块输入的IP地址或MAC地址后，将更新后的分发缓存表存入系统内存，共享给其他模块使用，并基于更新后的分发缓存表将采集到的数据包转发到对应的隧道会话内，以供使用。

较佳地，所述的隧道ID具体为：

在完成隧道会话的建立后，将对每一个隧道分配一个隧道ID。

较佳地，所述的流量采集解析及分发模块通过以下方式建立分发隧道：

通过建立监听端口，监听来自其他进程或容器的建立隧道的请求，其他进程或容器可以通过连接该端口，并向该端口提供分组标识来完成隧道的建立，并分配相应的隧道ID。

较佳地，所述的流量采集解析及分发模块还包括通过以下方式同步隧道信息：

将所有已经建立的隧道进行汇总，采用隧道的分组标识对隧道进行分组，对同一分组内的隧道根据所述的隧道ID进行排序。

较佳地，所述的流量采集解析及分发模块还包括通过以下方式共享隧道分组信息：