[发明专利]数据传输方法及系统

说明书

技术领域

本发明涉及通信技术领域，具体涉及一种数据传输方法及系统。

背景技术

贝奥武夫（Beowulf）集群是一种高性能的并行计算机集群结构，它是由一组独立的计算机系统构建的松耦合的多处理机系统，系统中各进程借助网络实现通信、共享内存传递信息，从而实现分布式并行计算。Beowulf集群的设计目标是使一般大学的计算机系和小型研究机构有能力建立自己的超级计算机系统，每秒可运行上十亿条指令。Beowulf集群技术解决了如何通过使用普通计算机来达到高性能、高实时的计算系统的问题。近年来，Beowulf集群系统迅速发展，主要是因为作为集群节点的工作站系统的处理性能越来越强，更快的处理器和更高效的多CPU机器大量进入市场，以及局域网新技术和新协议的引入，集群节点间的通信能获得更高的带宽和较小的延迟，集群系统比传统的并行计算机更易于融合到已有的网络系统中去。目前，集群系统的开发工具日臻成熟，其价格也愈加便宜并且易于构建。另外，集群系统的可扩展性良好，节点的性能也很容易通过增加内存或改善处理器性能获得提高。

信息传递接口（Message Passing Interface，MPI）是一种消息传递编程接口，它提供了实现其一系列接口的多语言函数集。MPI是Beowulf集群上常用的消息传递机制，并行程序常常使用MPI来进行数据的发送与接收。MPI标准定义了一组函数，使应用程序可以将消息从一个MPI进程传递到另一个MPI进程。

在Beowulf集群系统中，N个节点（如计算机）之间使用MPI进行数据传输时，通常采用顺次传输模型。具体地说，首先给每个节点依次编一个号码，从0开始，直到N-1。图1a示出了现有技术的第1轮数据发送过程的示意图，图1b示出了现有技术的第1轮数据接收过程的示意图，图1a和图1b示出了6个节点的情况。如图1a和图1b所示，在第1轮数据传输过程中，除节点0以外的其它节点都使用MPI发送（MPI Send）函数向节点0发送数据，此时节点0在一个循环语句中使用MPI接收（MPI Recv）函数依次接收从节点1到N-1发送过来的数据。在第2轮数据传输过程中，除节点1以外的其它节点都使用MPI Send函数向节点1发送数据，此时节点1在一个循环语句中使用MPI Recv函数依次接收从节点0、2到N-1发送过来的数据。依次类推，直到第N轮数据传输过程结束后，所有节点都获得了其他节点发送过来的数据，整个数据传输过程完成。

上述采用顺次传输模型的数据传输方法存在如下缺点：在通常情况下，集群系统中所有节点的网卡都是同构的，所以它们的最大传输带宽是相同的。由于在每一轮数据传输过程中，所有节点都会向同一个节点发送数据，在将接收节点的带宽打满的情况下，所有发送节点的带宽是没用满的，这样造成了整体传输带宽的浪费。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的数据传输系统和相应的数据传输方法。

根据本发明的一个方面，提供了一种数据传输方法，包括：

将N个节点的数据传输过程分为N-1轮，N≥2；

对于每个节点，随机选择该节点的数据发送顺序，所述数据发送顺序是在数据传输过程中接收该节点发送的数据的节点按照轮次的排列顺序；

在每一轮数据传输过程中，每个节点都执行一次发送动作，执行发送动作的节点按照自身的数据发送顺序发送数据；执行接收动作的节点根据先到先收的方式接收数据。

根据本发明的另一方面，提供了一种数据传输系统，包括N个节点，所述N个节点的数据传输过程分为N-1轮，N≥2；

其中，每一个节点包括：

发送单元，用于在每一轮数据传输过程中，执行一次发送动作，所述发送动作具体为按照自身的数据发送顺序发送数据；所述数据发送顺序是随机选择的，所述数据发送顺序是在数据传输过程中接收该节点发送的数据的节点按照轮次的排列顺序；

接收单元，用于根据先到先收的方式接收数据。

根据本发明提供的数据传输方法及系统，在每一轮数据传输过程中，执行发送动作的节点按照自身随机选择的数据发送顺序发送数据，这样同时发往同一个节点的概率大大减少，极少出现一个节点同时接收所有其他节点发送的数据的情况，将数据分散传输，保证每个节点的网卡都可以较为充分的利用最大传输带宽工作。执行接收动作的节点根据先到先收的方式接收数据，实现了无延迟的数据接收。