[发明专利]一种云计算多级调度方法、系统及存储介质

说明书

本发明提供一种云计算多级调度方法，包括选择接收节点并通知Coflow的发送节点，以使得发送节点将被调度的Coflow中的流量发送到被选择的接收节点；接收发送节点发送来的每个Coflow已发送的数据流大小信息，根据接收到的信息确定不同Coflow的优先级，将所述Coflow的优先级发送给发送节点，以使得发送节点根据接收到的所述Coflow的优先级在本地的多级队列中对Coflow进行调度。本发明通过优化云计算多级调度，可以提升云环境内部网络通信效率，可以更好的发挥云计算的计算价值。

技术领域

本发明涉及一种云计算多级调度方法、系统及存储介质，属于云计算技术领域。

背景技术

目前，为了提高资源利用率和大规模任务处理的效率，往往通过集群技术将大量多余闲置的计算机连接起来形成云数据中心。在云数据中心中，通常采用MapReduce、Spark等分布式并行计算框架来处理大规模的数据。由于采用了分布式计算框架，一个作业往往会被划分成多个子任务然后交给数据中心中的多台计算机来完成，在对子任务进行分发及子任务结果进行合并时，会产生大量的中间通信数据流。如果其中的某条数据流没能及时完成，依赖这条数据流结果的后续子任务将无法继续，最终导致作业的完成时间延长。

目前的研究中，具有语义相关的一组通信数据流被称为Coflow。Coflow是一组数据流(flow)的集合，以MapReduce并行计算框架为例，Map映射阶段需要对作业的任务进行划分和分发(shuffle)，会产生中间通信数据流，Reduce归并阶段需要读取Map阶段处理完成后的中间结果，也会产生中间通信数据流。为了提高云数据中心的性能，提高其中作业的完成时间，需要对Coflow的完成时间(Coflow Completion Time,CCT)进行优化，而不是对单个数据通信流的完成时间(Flow Completion Time,FCT)进行优化。因为对于一个网络，只有当此阶段的所有流都完成，这个阶段的通信才算真正完成，才可以进行下一个阶段的任务。目前多级调度优化技术还存在Coflow平均完成时间较高和可用性不强的问题，因此目前多级调度优化技术还存在优化的空间。

发明内容

本发明针对目前多级调度优化技术还存在Coflow平均完成时间较高的问题，提供一种云计算多级调度方法和系统。

本发明采用以下技术方案。一方面，本发明提供了一种云计算多级调度方法，包括以下步骤：

选择接收节点并通知Coflow的发送节点，以使得发送节点将被调度的Coflow中的流量发送到被选择的接收节点；

接收发送节点发送来的每个Coflow已发送的数据流大小信息，根据接收到的信息确定不同Coflow的优先级，将所述Coflow的优先级发送给发送节点，以使得发送节点根据接收到的所述Coflow的优先级在本地的多级队列中对Coflow进行调度。

进一步地，选择接收节点的方法为：监测产生Coflow的作业利用Coflow流量放置策略选择待进行Coflow流量放置的接收节点，所述Coflow流量放置策略包括初步筛选已经拥有数据的计算节点，在初步筛选出的计算节点中筛选网络负载小的节点。

再进一步地，在初步筛选出的计算节点中筛选网络负载小的节点的具体方法为：

计算节点j接收端口的累计待处理数据流量表示为其计算公式表示如下:

其中为第t个时间间隔内计算节点j接收到的数据流量，为第t时间间隔结束后计算节点j接收端口的累计待处理数据流量；

网络负载小的节点M_i确定公式为：

进一步地，根据发送节点发送来的每个Coflow已发送的数据流大小信息确定不同Coflow的优先级的具体方法如下：