[发明专利]数据中心网络中动态工作流的高效链路调度方法有效
申请号: | 202110373804.6 | 申请日: | 2021-04-07 |
公开(公告)号: | CN113127169B | 公开(公告)日: | 2023-05-02 |
发明(设计)人: | 沈鸿;王鑫 | 申请(专利权)人: | 中山大学 |
主分类号: | G06F9/48 | 分类号: | G06F9/48;G06N3/042;G06N3/08 |
代理公司: | 广州粤高专利商标代理有限公司 44102 | 代理人: | 刘俊 |
地址: | 510275 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据中心 网络 动态 工作流 高效 调度 方法 | ||
1.一种数据中心网络中动态工作流的高效链路调度方法,其特征在于:所述的方法步骤如下:
S1:使用有向无环图神经网络同时处理已到来的n个coflow,若干个依赖关系的任务组成一个作业,采用DAG表示;
S2:构成J个不完整的作业DAG,并将这J个不完整的作业DAG作为一个大的无连通的有向无环图输入有向无环图神经网络,输出得到每一个节点的embedding向量;
S3:通过步骤S2得到n个embedding向量,并将n个embedding向量作为深度强化学习中策略网络的输入,得到每一个节点的score,计算得到每一个节点的加权分数值;
S4:根据当前不同job的部分DAG图,找到当前所有入度为0的节点,经过一个softmax操作计算基于加权分数值的每一个节点的概率,根据节点的概率排列得到coflow调度优先级列表;当前入度不为0的节点暂时存放在一个coflow等待列表中;
S5:基于coflow调度优先级列表进行优先级调度任务;每调度完一个coflow,更新coflow调度优先级列表和coflow等待列表,直到n个coflow调度完成,环境反馈reward评估动作的好坏;
步骤S2,构造J个不完整的作业DAG,具体如下:
构造一个容量为m的等待队列W和一个容量为n的待处理队列D,其中m>>n;将任务依次排列在等待队列W中,直到任务数大于等于n时,取出前n个任务放入到待处理队列D中;由于n个任务来自不同的job,且先后到来的顺序满足各自的依赖关系,从而实现构成J个不完整的作业DAG。
2.根据权利要求1所述的数据中心网络中动态工作流的高效链路调度方法,其特征在于:所述的有向无环图神经网络用于计算作业DAG全局信息和节点特征,公式如下:
其中,表示第l层的所有节点v的表示,hg表示整个DAG图的表示;P(v)表示节点v的直接前驱节点集合;T表示没有直接后继的节点集合;Gl,Fl和R都是参数化神经网络。
3.根据权利要求2所述的数据中心网络中动态工作流的高效链路调度方法,其特征在于:每一个节点的加权分数值由该节点所对应任务权重乘上各自的score得到;每一个job对应一个任务权重,同一个job中的任务权重相同。
4.根据权利要求3所述的数据中心网络中动态工作流的高效链路调度方法,其特征在于:步骤S5,具体地:
S1:基于coflow调度优先级列表进行优先级调度任务;每调度完一个coflow,在DAG图中去掉对应的节点和边,更新入度为0的节点集合,进而更新coflow调度优先级列表和coflow等待列表;
S2:不断重复操作,直到n个coflow调度完成,环境反馈reward评估动作的好坏。
5.根据权利要求4所述的数据中心网络中动态工作流的高效链路调度方法,其特征在于:步骤S5,当coflow调度优先级列表执行完毕后,更新待处理队列D,即从等待队列W中再次选出前n个任务放到待处理队列D中,返回步骤2继续执行。
6.根据权利要求5所述的数据中心网络中动态工作流的高效链路调度方法,其特征在于:步骤S5,通过计算出加权作业完成时间之和作为奖励来评估动作的好坏,通过奖励优化智能体,使得加权作业完成时间之和最小化。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中山大学,未经中山大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110373804.6/1.html,转载请声明来源钻瓜专利网。