[发明专利]基于PIO和DMA混合的网络接口卡描述符提交方法

说明书

技术领域

本发明涉及高性能计算机高速互连网络领域，具体涉及一种基于PIO和DMA混合的网络接口卡描述符提交方法。

背景技术

高性能计算机连接数量众多的主处理器节点（以下简称节点），诸如计算节点、存储节点以及专用处理节点。这些节点中的任何一个都可以用作末端节点，其在此被定义为高性能计算机中产生或最终消费消息的设备。每个节点都包括网络接口卡（NIC），将节点连接到高速互连网络。所述NIC与节点间由通用I/O总线如PCIE总线连接。

节点的用户进程通过端口与NIC进行交互，完成各种用户级通信操作。端口利用队列对发送和接收消息。每个队列对包括发送队列和接收队列。用户进程生成消息的传输请求，以描述符的形式被放置在发送队列。

如图1所示，用户进程10和网络接口卡30之间通过PCIE总线20连接，以DMA(Direct Memory Access)方式提交描述符按以下步骤实行：

第①步，用户进程10把要发送的消息数据准备好，写入数据区101；

第②步，用户进程10构建描述符，将其写入主存发送队列102；

第③步，用户进程10执行PIO（Programmable IO，可编程IO）写，把门铃数据写入门铃数据寄存器301；

第④步，描述符预取逻辑302采取轮转方法确定读哪个端口的描述符；

第⑤步，描述符读取逻辑302启动DMA请求去读主存发送队列102的描述符；

第⑥步，描述符从主存发送队列102被读回描述符处理逻辑303。

第⑦步，描述符处理逻辑303解析描述符，产生DMA读请求去读数据区101的消息数据。

第⑧步，消息数据被读回，写入消息数据FIFO304；

第⑨步，发送逻辑305把消息数据从消息数据FIFO304中读出，进行分片，封装成报文，发往网络。

可以看出，使用DMA方式提交描述符进行一次数据发送需要经过九个步骤，其中5个步骤（③、⑤、⑥、⑦、⑧）跨PCIE总线20，根据我们的实际测试，每跨一次PCIE总线20的访问开销约为300ns，这种复杂的处理过程明显增加了消息发送的启动开销。传统的用户级通信中，发送队列被设置在节点主存中，用户进程构造描述符完毕，将描述符写入发送队列，再向NIC执行一次PIO写，这个PIO写被称为置门铃标志，通知NIC有描述符需要处理。NIC收到门铃标志后，执行一次DMA读，从主存发送队列中将描述符取回，然后分析描述符，再执行多次DMA读回消息数据进行处理。一次PIO写最多只能传输8字节数据，而一个描述符的大小往往大于8字节，例如为128字节，所以不可能用一次PIO写将一个描述符写入NIC。这种NIC使用DMA读回描述符的方式，在读消息数据前有一次读描述符的开销，增加了消息传输的启动延迟。但DMA方式有一个好处，就是发送队列设在节点主存中，可根据需要把容量设置得很大，有能力容纳用户进程短时间内提交大量描述符。

为了减小启动延迟，用户进程可以使用PIO方式向NIC提交描述符。

如图2所示，用户进程10使用PIO方式提交描述符按以下步骤实行：

第①步，用户进程10把要发送的消息数据准备好，写入数据区101；

第②步，用户进程10构建描述符，执行PIO写，将描述符写入硬件发送队列306；

第③步，描述符处理逻辑303顺序从硬件发送队列306中取回描述符；

第④-1步，描述符处理逻辑303解析描述符，产生DMA读请求去读数据区101的消息数据；第④-2步则通知发送逻辑305开始处理消息数据FIFO304中的消息数据；

第⑤步，消息数据被读回，写入消息数据FIFO304；

第⑥步，发送逻辑305把消息数据从消息数据FIFO304中读出，进行分片，封装成报文，发往网络。