[发明专利]一种高效的面向长消息的计算机网络通信方法

说明书

技术领域

 本发明涉及一种通信方法，尤其涉及一种高效的面向长消息的计算机网络通信方法。

背景技术

为了解决高速网络传输大数据过程中需要很多次拷贝数据到通信缓冲区的问题，目前多数系统采用用户态通信机制与“零拷贝”技术。也就是在数据传输时把用户态的虚拟地址转变为对应的物理地址，并且把它锁定，然后把物理地址传递给网卡，以便进行DMA（Direct Memory Access，直接内存访问）方式的数据传输。

上述这种方式实现了通信过程中数据的零拷贝，去除了数据在内存的拷贝时间。但是，在系统负载很高的情况下（比如CPU与内存利用率均达到90％以上），通信效率大约为72％～80％之间，达不到轻载时的数值（实验测试表明，在两个计算节点没有运行大型任务的情况下，节点间带宽效率最高可以达到90％以上，这实际上是在系统负载很低的情况下获得的），该数值与系统的负载特别是内存的利用率很有关系。通过进一步的仔细分析，我们发现在内存利用率很高的情况下，如果发送的消息较长，则采用用户态通信机制或“零拷贝”技术通信时，需要多次启动DMA，占用的时间很多。其原因在于：当系统内存利用率很高时，整个物理内存的大块连续物理内存空间就非常少，多数是一些零散的页面，这时如果应用程序发送的消息较长，则该消息在物理内存的真实位置非常分散，也就是该消息所在的物理内存页面是不连续的，因此当网卡采用DMA方式发送该消息时，必然需要多次启动DMA从内存读取数据，这在发送方是很耗费时间的；同样的道理，当系统内存利用率很高并且接收的消息比较大时，接收方应用程序也只能提供给网卡绝大多数零散的物理内存页面，因此接受方的网卡也必然需要多次启动DMA把数据写入内存，这在接收方也是很耗费时间的。

发明内容

本发明的目的在于提供了一种高效的面向长消息的计算机网络通信方法，是为了解决长消息在传输过程中需要多次启动DMA的难题，具体地说：在操作系统启动时预留一部分物理内存区；通信时，可由应用程序和网卡共享该物理内存区。为了减小数据拷贝带来的影响，应用程序与网卡对共享内存区的操作采用了流水并行的技术，也就是让应用程序数据拷贝的大部分时间与网卡DMA的时间重叠，因此整个长消息通信过程中，真正耗费在数据拷贝操作上的时间并不多，比“零拷贝” 通信机制多次启动DMA的开销要小得多。

本发明是这样来实现的，一种高效的面向长消息的计算机网络通信方法，其特征在于当不同计算机间的进程需要进行长消息传递时，进行如下步骤的操作：

①为了预留物理内存，在Linux操作系统启动的配置文件中指定系统启动时初始化物理内存的数量，这样在系统重启后就可以预留部分物理内存；

②发送方进程从预留的空闲物理内存申请共享通信缓冲区；

③通信软件从预留的物理内存为发送方进程分配所需共享通信缓冲区，并把分配的该段内存映射到用户空间，这样发送方进程就可以获得该内存的虚拟地址并且访问该共享通信缓冲区，同时把网络接口映射到用户空间，使发送方进程能够直接访问网络接口；

发送方进程把待发数据拷贝到共享通信缓冲区，在部分数据拷贝到共享通信缓冲区后，启动发送操作，这里我们采用了流水并行的技术，使待发数据到共享通信缓冲区的拷贝操作，与共享通信缓冲区数据到网卡发送缓冲区的写入操作同时进行，这样可以把用户态数据拷贝的部分时间隐藏在网卡DMA把数据写入网卡发送缓冲区的时间之中，由于物理内存速度快于PCI速度，这样不会出现速度不匹配的现象；

     发送方网卡通过DMA把发送方共享通信缓冲区的数据写入到网卡发送缓冲区；

接收方网卡通过DMA把网卡接收缓冲区的数据写入接受方共享通信缓冲区，在部分数据写入共享通信缓冲区后，向上层发送数据已接收到的信号，请求通信软件处理；

通信软件对网卡发送的“数据已接收到的信号”作相应处理，然后向上层的接收方进程发送数据已接收到的信号, 请求接收方进程处理；

接收方进程拷贝共享通信缓冲区中的数据到目的地址，类似于发送方，这里接收方也采用了流水并行的技术，使共享通信缓冲区到目的地址的拷贝操作，与网卡接收缓冲区到共享通信缓冲区数据的写入操作同时进行，这样在接收方也可以把用户态数据拷贝的部分时间隐藏在网卡通过DMA把数据写入共享通信缓冲区的时间之中。在接收方，由于内存速度快于PCI速度，因此需要仔细设计，计算好共享通信缓冲区到目的地址的拷贝时间与网卡通过DMA把数据写入共享通信缓冲区的时间，以防止在并行操作过程中出现错误。