[发明专利]数据中心网络中动态工作流的高效链路调度方法

说明书

本发明提供一种数据中心网络中动态工作流的高效链路调度方法，所述的方法步骤如下：S1：使用有向无环图神经网络同时处理已到来的n个coflow；S2：构成J个不完整的作业DAG，并将这J个不完整的作业DAG作为一个大的无连通的有向无环图输入有向无环图神经网络，输出得到每一个节点的embedding向量；S3：通过步骤S2得到n个embedding向量，并将n个embedding向量作为深度强化学习中策略网络的输入，得到每一个节点的score，计算得到每一个节点的加权分数值；S4：根据当前不同job的部分DAG图，找到当前所有入度为0的节点，经过一个softmax操作计算基于加权分数值的每一个节点的概率，根据节点的概率排列得到coflow调度优先级列表；S5：基于coflow调度优先级列表进行优先级调度任务。

技术领域

本发明涉及高性能计算领域，更具体地，涉及一种数据中心网络中动态工作流的高效链路调度方法。

背景技术

现代并行计算平台(如Hadoop、Spark、Dryad)已经支持在数据中心处理大数据集。处理通常是由多个计算和通信阶段组成的。计算阶段涉及服务器的本地操作，而通信阶段涉及数据中心网络中的服务器之间的数据传输，以启动下一个计算阶段。这样的中间通信阶段对应用程序延迟有很大的影响。Coflow是一种被提出用来建模此类通信模式的抽象，它表示一组中间并行数据流，并在服务器之间传输，以启动下一个阶段。

对于具有单一通信阶段的作业，最大限度地减少coflow的平均完成时间可以改善作业的延迟。然而，对于多阶段作业，最小化平均Coflow完成时间可能不是正确的度量标准，甚至可能导致更糟糕的性能，因为它忽略了作业中Coflow之间的依赖关系：Starts-After和Finishes-Before。对于多阶段作业而言，每个作业都由多个Coflow组成，通常用DAG(有向无环图)表示，该DAG捕获了Coflow之间的依赖关系(Starts-After)。

虽然对于单阶段作业的Coflow调度研究很多，但对于多阶段作业的Coflow调度以及Coflow之间的依赖关系在很大程度上被忽视了。多阶段作业的Coflow调度问题已经被证明是一个NP难问题。多阶段作业的Coflow调度问题困难在于存在很多处理难点以及内在的因素，包括如何处理不同的作业DAG，如何有效提取作业DAG的特征信息(包括节点信息，边信息，依赖关系等)，以及不同job中的Coflow数量不同，单个Coflow中并行流的数量不同等因素。现有技术主要存在以下局限性：

现有的作业，包括启发式和近似算法，都集中在单阶段作业的Coflow调度。对于多阶段作业的Coflow调度问题，在Aalo中，作者简单讨论了一个直接的启发式方法来减少多阶段作业的完成时间。人工调试的启发式解决方案通过给定一些松弛条件简化了问题，只确保一个粗略近似的NP难问题的最优解决方案。

因此，我们思考，能否构造不出无需人工指导的自适应调度模型，通过直接与环境进行交互，动态地调度来自不同job中的依赖Coflow，优化加权作业完成时间之和，提升作业效率。权重可以为不同的作业捕捉不同的优先级,在所有权重相等的特殊情况下，问题等价于最小化平均作业完成时间。

发明内容

本发明为克服上述现有技术中存在的缺点和不足，提供了一种数据中心网络中动态工作流的高效链路调度方法，其能动态地调度来自不同job中的依赖Coflow，而不需要依靠大量人工调试，使得加权作业完成时间之和最小化。

为解决上述技术问题，本发明的技术方案如下：一种数据中心网络中动态工作流的高效链路调度方法，所述的方法步骤如下：

S1：使用有向无环图神经网络同时处理已到来的n个coflow，若干个依赖关系的任务组成一个作业，采用DAG表示；

S2：构成J个不完整的作业DAG，并将这J个不完整的作业DAG作为一个大的无连通的有向无环图输入有向无环图神经网络，输出得到每一个节点的embedding向量；