[发明专利]一种基于多核处理器的分组突发负载均衡方法及系统

说明书

本发明涉及一种基于多核处理器的分组突发负载均衡方法及系统，其方法包括：步骤S1：建立多阶段流水线网络流量处理模型；步骤S2：在多阶段流水线网络流量处理模型上，设置拥塞检测模块计算拥塞检测结果，根据拥塞检测结果对存在拥塞的数据包处理线程进行标记；步骤S3：生成线程流量环境信息，并发送给网络流映射调节模块；步骤S4：设置网络流映射调节模块，接收流量环境信息，并针对该信息和当前时刻流量处理性能信息生成额外网络流映射规则，并应用至子缓冲区映射策略中。本发明提供的方法实现了对网络流量拥塞的快速检测，实现网络流在线程间的动态调度，以及调度过程中的数据包保序，避免上层应用对数据包进行重排序，降低上层应用的实现难度。

技术领域

本发明涉及负载均衡领域，具体涉及一种基于多核处理器的分组突发负载均衡方法及系统。

背景技术

在10Gbps以上的高速网络下，网络流量监控处理设备常常需要在一秒内处理数以百万计的网络数据包，并且在同一设备中执行多种数据包处理流程，例如深度包检测和活跃网络流统计等。通过设置不同的应用类型，此类设备即可用于数据中心等生产环境，也可用于校园和产业园区等场所，对通过部分节点的网络流量进行分析。

现有的部分工作采用生产者消费者模型，其中生产者与网卡对接，将网卡接收到的网络数据包按照预定规则分类，对应不同的上层处理流程，并放入与该类别相对应的缓冲区内；在任意类别下，对应有一组消费者从对应缓冲区中取出网络数据包，执行分析和处理任务。为了降低硬件成本，加速网络数据包的处理，现有的部分工作选择通用硬件，通过绕过操作系统内核协议栈等方法避免不必要的上下文切换和内存复制。其所使用的通用硬件常采用多核架构，其中的消费者和生产者均为线程，利用并行执行计算任务加速处理过程，从而进一步提高网络流量处理设备的性能。与此同时，为了保持每条网络流的状态，提高缓存利用率，避免计算结果错误，同时减少锁的使用，属于同一条网络流的数据包在某一时刻只能由一个消费者线程进行处理，因此生产者线程需要以网络流为粒度分发数据包。

在该场景下，生产者线程缓存数据包的速度与网络状况相关，包括网络速率变化以及流量成分等。而与此同时，现有工作中任意一缓冲区下的消费者线程数量和处理流程是固定的，其整体处理速度不会随着网络环境产生变化。因此存在一定时刻，部分消费者线程单位时间内的计算负载大幅上升，超过了其处理上限，持续消耗缓冲区容量，进而影响网络流量的处理效果,包括增加处理延迟等，严重甚至会引起丢包，此处称其为产生了拥塞。

针对上述问题，需要对处理过程中的拥塞进行快速检测和定位，并调整数据包分发规则，将计算任务转移至负担较轻的消费者线程进行处理，以充分利用缓冲区和多核处理器，规避拥塞带来的性能下降，并且调整的同时保持网络流状态。

由于基于通用硬件的流量处理常使用轮询方式替换传统的系统中断，处理器的使用率一直处于100％，无法直接体现处理器的使用效率，因此需要寻找合适的方法对处理器的处理负载进行量化，并进一步对该消费者处理的流量进行分析，确定需要重新映射的网络流。为了保证处理流程的正确性，需要在调整数据包分发规则时对数据包进行保序，避免数据包乱序。

发明内容

为了解决上述技术问题，本发明提供一种基于多核处理器的分组突发负载均衡方法及系统。

本发明技术解决方案为：一种基于多核处理器的分组突发负载均衡方法，包括：

步骤S1：建立多阶段流水线网络流量处理模型，包括：数据包接收分类模块、数据包缓冲模块和数据包处理模块；

其中，所述数据包接收分类模块包含多个线程以及多个数据包分类规则；

所述数据包缓冲模块包含多个缓冲区域，每个所述缓冲区域包含多个子缓冲区，其中所述缓冲区域个数与所述分类规则个数相同；

所述数据包处理模块包含多个上层处理应用，每个所述上层处理应用对应一组数据包处理线程，其中所述数据包处理线程与所述子缓冲区一一对应；