[发明专利]面向海量工作流任务动态云网络互连方法有效
申请号: | 202110375737.1 | 申请日: | 2021-04-08 |
公开(公告)号: | CN113176933B | 公开(公告)日: | 2023-05-02 |
发明(设计)人: | 沈鸿;蔡倓 | 申请(专利权)人: | 中山大学 |
主分类号: | G06F9/48 | 分类号: | G06F9/48 |
代理公司: | 广州粤高专利商标代理有限公司 44102 | 代理人: | 刘俊 |
地址: | 510275 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 面向 海量 工作流 任务 动态 网络 互连 方法 | ||
1.面向海量工作流任务动态云网络互连方法,其特征在于,包括以下步骤:
S1:构造可执行节点集合S,所述可执行节点集合S由调度中心负责维护;
S2:利用强化学习算法对可执行节点集合S内的所有节点进行重要度排序,选出排序后重要度最高的节点,作为下一时刻即将被调度的节点;
具体过程为:
向排序节点的智能体Agent中输入当前拓扑网络信息与可执行节点集合S,得到的是输出可执行节点集合S中的每个节点的被选中概率,挑选出概率最大的一个节点,并在网络中作调度,调度动作发出后,更新拓扑网络信息;
其中,需要调度的任务集记为 ,任务集中包含了n个DAG任务,每个DAG任务可以表示为,其中代表了第i个DAG任务含有的节点数,执行每个节点需消耗的计算资源用进行表示,将拓扑网络记为,其中,表示网络中有w台主机可以处理计算节点,表示边e在网络中相连的两个主机之间的带宽;
S3:遍历当前网络中符合资源约束条件的所有主机,根据评估函数,选出当前调度节点将被执行的主机,节点在主机上执行完毕后,立即向调度中心发送通知,并更新可执行节点集合S;
所述的评估函数表达式为:
其中 表示节点的所有父节点的处理结果传输到主机所耗费的传输时间,表示的所有父节点,表示从节点所在的主机到主机 所耗费的时间;表示节点在主机上执行耗费的计算时间,是节点需要消耗的计算资源,表示主机的计算频率;
其中,采用双优先级队列分别进行可执行节点集合S的更新、选取可执行序列中的节点,其中第一队进行可执行节点集合S的更新,第二队列选取可执行序列中的节点,第一个队列的优先级高于第二个队列;
S4:重复S2-S3,直到所有DAG任务的所有节点执行完毕,得到并行分布式作业调度耗费总时间。
2.一种计算机系统,包括存储器、处理器以及存储在存储器上并可在处理器上运行的面向海量工作流任务动态云网络互连方法的程序,其特征在于:所述的面向海量工作流任务动态云网络互连方法程序被处理器执行时,实现如下步骤:
S1:构造可执行节点集合S,所述可执行节点集合S由调度中心负责维护;
S2:利用强化学习算法对S内的所有节点进行重要度排序,选出排序后重要度最高的节点,作为下一时刻即将被调度的节点;
具体过程为:
向排序节点的智能体Agent中输入当前拓扑网络信息与可执行节点集合S,得到的是输出可执行节点集合S中的每个节点的被选中概率,挑选出概率最大的一个节点,并在网络中作调度,调度动作发出后,更新拓扑网络信息;
其中,需要调度的任务集记为 ,任务集中包含了n个DAG任务,每个DAG任务可以表示为,其中代表了第i个DAG任务含有的节点数,执行每个节点需消耗的计算资源用进行表示,将拓扑网络记为,其中,表示网络中有w台主机可以处理计算节点,表示边e在网络中相连的两个主机之间的带宽;
S3:遍历当前网络中符合资源约束条件的所有主机,根据评估函数,选出当前调度节点将被执行的主机,节点在主机上执行完毕后,立即向调度中心发送通知,并更新可执行节点集合S;
所述的评估函数表达式为:
其中 表示节点的所有父节点的处理结果传输到主机所耗费的传输时间,表示的所有父节点,表示从节点所在的主机到主机 所耗费的时间;表示节点在主机上执行耗费的计算时间,是节点需要消耗的计算资源,表示主机的计算频率;
其中,采用双优先级队列分别进行可执行节点集合S的更新、选取可执行序列中的节点,其中第一队进行可执行节点集合S的更新,第二队列选取可执行序列中的节点,第一个队列的优先级高于第二个队列;
S4:重复S2-S3,直到所有DAG任务的所有节点执行完毕,得到并行分布式作业调度耗费总时间。
3.一种计算机可读存储介质,其上存储有计算机程序,其特征在于:所述
的计算机程序被处理器执行时,实现如权利要求 1所述的方法的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中山大学,未经中山大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110375737.1/1.html,转载请声明来源钻瓜专利网。