[发明专利]一种基于流水线转发模型的负载均衡方法及装置

说明书

一种基于流水线转发模型的负载均衡方法及装置涉及信息技术领域，本发明由I/O收包逻辑引擎、对称哈希计算器、环形区缓存队列、第一个业务逻辑引擎至第N‑1个业务逻辑引擎组成；本发明的I/O收包逻辑引擎和业务逻辑引擎分别独自占用不同的CPU核，通过环形区缓存队列衔接收包和业务处理的数据，这样收包和业务处理各自独立而相互不影响。不需要分流设备就可以做到同源同宿，同时业务处理不影响原有数据包的接收或是转发。解决了在不同流量模型下，流量分发到各个CPU核上不是很均匀，影响整体服务器的处理性能的问题。

技术领域

本发明涉及信息技术领域，特别计算机计算核心在多核状态下的负载均衡技术领域。

背景技术

在过去10年里，以太网接口技术经历了飞速发展，Intel和Mellanox等公司还推出了40Gbit/s、100Gbit/s、200Gbit/s的超高速网络接口技术。而CPU的运行频率基本停留在10年前的水平，严重阻碍了速度的提升，为了迎接超高速网络技术的挑战，以软件优化为主的数据面技术DPDK应时而生，它为高性能数据包处理提供了一个绝佳的平台。DPDK是Intel提供的数据平面开发工具集，主要应用x86通用平台，为用户空间高效的数据包处理提供库函数和驱动的支持。它不同于Linux系统以通用性设计为目的，而是专注于网络应用中数据包的高性能处理。DPDK基于现有Linux网络模型所存在的问题进行了如下方面的改进：数据层全部由应用程序来处理，减少系统调度，减少了系统调用，减少了系统中断和上下文切换；摒弃Linux内核协议栈，将数据包传输到用户空间定制协议栈；使用多核编程技术替代多线程，将OS绑在指定核上运行；针对SMP对称多处理系统，使CPU尽量使用所在NUMA非统一内存访问系统节点的内存，减少内存刷写；使用大页面，减少访问；采用无锁技术解决多核或多线程的竟争问题。

由于原有数据链路的负载均衡和路由不对称等原因，同一个会话的多个报文，可能被负载均衡到多条链路上。所谓负载均衡就是将负载分摊到多个执行单元上进行执行。对应网络流量而言，就是将数据包处理分发到多条链路或是多个CPU核上。这样同一个会话的报文就会分发到不同的端口，服务器从不同网卡端口收到同一个会话的报文，这样不同CPU之间就存在报文的交互，这必须会影响性能。业界通常采用分流设备，可通过针对所有链路的会话交换汇聚完美地解决这个问题。这就是所谓的同源同宿，就是把属于同一个会话的所有报文，都汇聚到同一个端口，以便完成数据处理。简单来说，同源同宿即保障不同输入线路上，相同会话的流量，能够在同一接口输出。

流水线模型借鉴于工业上的流水线模型，将一个功能分解成多个独立的阶段，不同阶段间通过队列传递产品。这样，对于一些CPU密集与I/O密集的应用，通过流水线模型，可以把CPU密集的任务放在一个CPU核上执行，将I/O密集的任务放在另外一个CPU核上执行。通过绑定不同的CPU核可以为不同的任务分配不同的线程，连接两者的队列匹配两者的处理速度，从而达到最好的并发性能。

现有技术中DPDK开启RSS功能，虽说同一个会话的报文会分发到同一个CPU，但是同一个会话的双向报文会被分发到两个不同的CPU，因为DPDK 自带的RSS key不是对称的，这样两个CPU就存在这个会话信息的交互，必然会影响性能。需要把同一个会话的双向报文都分发到同一个CPU上。

本发明提出了一种基于流水线转发模型的负载均衡方法及装置，利用简易信息聚合RSS技术分发到一些CPU核上，专门做数据包的接收；再通过二次哈希分发到另外一些CPU核上专门做业务处理。利用流水线模型，解决了不需要分流设备就可以做到同源同宿，同时业务处理不影响数据包的接收。充分利用CPU多核，提高服务器整体性能。

现有技术说明