[发明专利]一种数据中心网络流负载均衡的方法

说明书

本发明公开了一种数据中心网络流负载均衡的方法，其利用网络设备中广泛部署的ECMP方法，在主机发送方和主机接收方分别对同一条网络流中的每个数据包进行处理，使包均匀分散在等价的不同链路上，以实现更细粒度的负载均衡；所述的主机发送方的处理方法是为每个包生成随机数，以此修改唯一确定元组，并把随机数嵌入在包头的某个字段中；所述的主机接收方的处理方法是从包头的字段中提取随机数，并把唯一确定元组还原。本发明能有效地缓解ECMP方法在不同大小的网络流同时共存时或发生哈希碰撞时负载均衡能力较差的缺陷，从而达到最佳的负载均衡效果，具有实现方法简单、运行高效的特点。

技术领域

本发明属于计算机网络领域，尤其涉及一种能使计算机数据中心部署的网络流负载均衡的方法，具体地说是一种数据中心网络流负载均衡的方法。

背景技术

随着社会的不断发展，数据中心已经成为了我们日常生活中不可或缺的一部分。数据中心为Web应用和手机应用提供了后端支撑，服务了云计算、社交、支付、娱乐等领域。网络流是指使用网络协议栈(通常是TCP/IP协议栈)传输的数据包序列，每条流可以通过数据包中的某个元组唯一确定，最常见的元组是(源IP，目的IP，源端口，目的端口)。网络流负载均衡一直是数据中心的重要问题之一，因为数据中心内有为各种不同应用服务的服务器，它们对网络流的需求经常不一致，比如搜索、直播要求低时延；存储备份要求高吞吐量。所谓负载均衡就是这些应用都能得到适量的网络服务，不会出现应用过多占用网络资源，或者得不到网络资源而饥饿的情况。

目前最常用的网络流负载均衡方法是“等价多路径路由”(ECMP，Equal-costMulti-path Routing)，这里简要介绍其主要思想。由于数据中心网络通常是“胖树”(FatTree)结构，两台服务器之间存在多条代价相同而路径不同的通信链路，它们有互相冗余备份的关系。如果把这两台服务器之间的网络流比较均匀的分散在这些链路中，即不会出现某条链路过载而其他链路空闲的现象，就达到了负载均衡的目的。ECMP采用的均匀分散的方法是哈希算法。哈希算法的基本思想是把一个任意大小的输入数据映射到固定大小的输出范围中。如果把某条网络流的唯一确定元组作为哈希算法的输入，可用发送链路的全体编码组成的集合作为哈希算法的输出范围，那么就形成了一种映射关系。只要所选的哈希算法的性质足够好，就能保证不同的网络流均匀分散在各个链路中。ECMP是一种主动的、无状态的方法，可以在路由器、交换机中逐跳(per-hop)运行，实现简单，因此得到广泛应用。

ECMP方法存在两个主要问题。其一，如果网络流大小不一，则负载均衡的效果会受到影响。由于ECMP方法针对不同的网络流做负载均衡，假如一条流传输量大而另一条流传输量小，即使它们分散在不同链路上，显然也是不均衡的。其二，哈希碰撞问题。发生哈希碰撞时，不同的网络流不能被均匀分散。这个问题尽管可以靠选择性质更好的哈希算法缓解，但是并不能根除。

网络流负载均衡的实现往往需要依靠网络数据包处理技术，比如提取、修改数据包包头中的字段信息以影响包的转发链路。目前常用的数据包处理方法有三种：在虚拟机监控程序中；在虚拟交换机Open vSwitch中；在Linux内核网络协议栈中。网卡卸载(offloading)是当前数据中心网络中广泛应用的一个技术。当网卡开启这个功能时，Linux内核网络协议栈最多能一次性处理近64KB大小的数据包，而不是传统的最大报文段长度(MSS，Max Segment Size)1460字节的包。分包和计算校验码将交给网卡完成，减轻了CPU的负载，有利于整个系统在高速数据中心网络中的可扩展性。

如果把一条网络流按某种方式分割成各个小段，每个小段都可以称为原网络流的一条子流(sub-flow)。在本发明中，将开启网卡卸载后Linux内核网络协议栈一次性处理的大包以及后续网卡将这个大包分割后的数个包称作子流。

发明内容

本发明所要解决的技术问题是针对上述现有技术现状，而提供能在很大程度上缓解当不同大小的网络流同时共存时或发生哈希碰撞时的缺陷，且具备在数据中心中实际部署的能力的一种数据中心网络流负载均衡的方法。