[发明专利]边缘计算环境中基于深度Q神经网络的工作流调度方法

说明书

本发明主要公开了在边缘计算环境中基于深度强化学习的工作流调度方法SAWS。本发明实施的主要过程是先把问题构建成马尔可夫决策过程，定义边缘计算环境中工作流调度问题所对应的奖励、状态和动作，然后根据工作流中任务结点的执行时长、传输时长和依赖情况计算任务结点的权重进行排序，再基于深度Q网络对任务结点的调度作出决策。SAWS策略的主要目标是在保障用户信息安全的前提下找到能使工作流的长期执行时延最短的任务调度策略。本发明通过Q神经网络的学习和决策在大大提升在移动边缘网络环境中工作流的执行效率的同时还保证了用户的信息安全。

技术领域

本发明主要涉及深度强化学习和边缘计算领域，特别是涉及到一种边缘计算环境中基于深度Q神经网络的工作流调度方法。

背景技术

基于移动边缘计算(MEC)的移动边缘网络可以为流行的移动应用程序(如虚拟/增强现实，移动游戏，车载网络应用程序等)提供低延迟和高计算量。在移动边缘网络中，带有计算和存储功能的边缘云服务器部署在移动用户附近，对于移动设备而言，将服务卸载到边缘服务器上可以为移动用户提供最佳的服务质量，即最小的响应延迟。

对于移动应用可以定义为一系列任务的执行，而这些任务的执行顺序由任务之间对结果数据的依赖性得到。通常可由有向无环图(DAG)表示移动设备生成的工作流，工作流中的任务节点集合对应图中的节点集合，而任务节点间存在数据依赖的关系则被表示为图中的有向边。除了调度工作流任务带来的难点外，还存在两个难点：(1)移动边缘计算场景的动态未知性。(2)用户与边缘服务器之间的信息交互存在着数据泄露和数据被篡改的可能性，给用户造成损失。

因此，如何在移动边缘计算环境中保证移动用户工作流调度的服务质量和信息安全是移动边缘计算研究中的一个重要问题。

发明内容

为了解决上述问题，本发明提供一种边缘计算环境中基于深度Q神经网络的工作流调度方法。

本发明包含以下步骤：

S1.构建边缘计算环境模型：

由U来表示移动设备，由集合eNB＝{eNB₁,…,eNB_i,…,eNB_n}来表示n个边缘服务器；

移动用户的计算能力由C_u表示，每个边缘服务器到计算能力由C_i表示；

移动设备U与n个边缘服务器之间的传输速率为表示在第t个时间片上eNB_i与U之间的传输速率。

S2.生成工作流：

将移动设备生成的工作流中所包含的任务节点个数设为K，对1-K进行随机排列，并以此排列顺序作为有向无环图的拓扑排序结果来生成对应的有向无环图G＝V,E，作为移动设备U产生的工作流；有向无环图中节点的集合V＝{v₁,…,v_k,…,v_K}作为工作流中任务节点的集合，有向无环图中的有向边集合E＝{e_kl|v_k∈V,v_l∈V}作为工作流中任务节点之间依赖关系的集合；

有向边e_kl表明只有当执行任务v_k的边缘服务器将任务v_k的结果数据发送至准备执行任务v_l的边缘服务器上，任务v_l才能被执行；而且工作流中只有一个开始节点v_start作为工作流中最先被执行的任务节点，也只有一个结束节点v_end，而且结束节点执行完成的时间即为工作流执行完成的时间。

S3.任务结点优先级排序：