[发明专利]一种利用InfiniBand网络进行通信的方法及系统

说明书

技术领域

本发明涉及InfiniBand网络，尤其涉及一种利用InfiniBand网络进行通 信的方法及系统。

背景技术

由于具有低成本、高性能和良好的可扩展性，1990年代以来，基于以太 网和其它高性能网络连接的计算机集群在高性能计算和企业计算领域得到了 日益广泛的应用。作为计算机集群内部互联的主要技术，系统域网络(SAN， system area networks)同时获得了很快的发展，一些具有高带宽低延迟特性 的系统域网络，如Myrinet，Quadrics，SCI和InfiniBand等由于能够提供比以 太网更高的性能而逐渐成为网络高速通道的主流互联技术。

其中，InfiniBand是目前应用最广的系统域网络之一，它广泛的应用于 高性能计算集群中，并在企业数据中心市场得到认可。在2007年11月公布 的Top500高性能计算机排行榜上，有24.2％的集群计算系统使用了 InfiniBand。InfiniBand具有高带宽、低延迟的性能，它提供了许多高级特性， 如远程直接内存访问(RDMA，Remote Direct Memory Access)和零拷贝等机 制。

RDMA通信机制允许数据在应用程序地址空间和网络之间直接传递，将 操作系统内核从数据传输的关键路径上旁路掉，减少了内存拷贝次数，是一 种高效的数据传输机制。零拷贝机制避免了数据在通信协议栈各层之间的频 繁拷贝，减轻了操作系统内核的负荷，是提高通信性能的有效手段。如何利 用InfiniBand网络的这些高级特性，为应用提供高性能的通信技术成为集群 通信领域的一个研究热点。

目前InfiniBand网络上的通信协议栈主要有IPoIB(IP over IB)和SDP (Socket Direct Protocol)，它们为基于Socket的应用利用InfiniBand网络的高 级特性提供了途径。但它们都是依赖于操作系统内核实现的通信协议，总是 会引入用户/内核空间上下文切换和数据拷贝的开销，并且具有相当的复杂 性。其中，IPoIB借助了TCP/IP仿真技术来实现传统TCP应用到InfiniBand 网络的映射；而SDP则是基于内核态驱动接口(kVerbs)设计的Socket，来 实现InfiniBand编程接口与传统Socket编程接口的适配。由于增加了不必要 的协议层次，IPoIB引入了协议处理的开销；而基于Send/Receive模型和 kernel-bypass消息传输协议实现的SDP虽然可以达到比IPoIB更好的性能， 但同样有用户/内核空间上下文切换和数据拷贝的开销，并且破坏了 InfiniBand的异步模型，协议本身也比较复杂。

虽然一些研究机构和学者提出了针对SDP的改进，通过消除用户/内核 空间的数据拷贝或者提供异步通信模型来改进SDP，但是用户/内核空间上下 文切换的开销以及SDP的复杂性依然存在。测试结果显示，SDP的延迟和带 宽均与底层网络驱动接口(InfiniBand Verbs)的性能有较大差距，SDP的最 小延迟几乎是底层InfiniBand Verbs接口的6倍，而SDP的峰值带宽也仅达 到底层InfiniBand Verbs接口的70％左右。可见，InfiniBand网络高带宽、低 延迟的性能无法通过现有的IPoIB和SDP而被充分利用。

发明内容

为了解决上述的技术问题，提供了一种利用InfiniBand网络进行通信的 方法及系统，其目的在于，利用InfiniBand网络特性，为应用提供比现有的 IPoIB和SDP更高性能的通信方案，使InfiniBand网络高带宽、低延迟的性 能能够充分发挥。

本发明提供了一种利用InfiniBand网络进行通信的方法，包括：

步骤1，发送方和接收方交换握手信息，其中包括用于在InfiniBand网 络中创建一个新的连接的QPN、接收方的RDMA缓冲区地址和接收方的RDMA 缓冲区大小

步骤2，发送方依据所述接收方的RDMA缓冲区地址和所述接收方的RDMA 缓冲区大小将当前数据包直接写到接收方的RDMA缓冲区内；

步骤3，发送方更新发送方保存的接收方缓冲区状态；

步骤4，当应用数据传输完成后，发送方关闭上述连接。