[发明专利]边缘计算环境中基于深度Q神经网络的工作流调度方法

权利要求书

1.边缘计算环境中基于深度Q神经网络的工作流调度方法，其特征在于该方法包含以下步骤：

S1.构建边缘计算环境模型：

由U来表示移动设备，由集合eNB＝{eNB₁，...，eNB_i，...，eNB_n}来表示n个边缘服务器；

移动用户的计算能力由C_u表示，每个边缘服务器到计算能力由C_i表示；

移动设备U与n个边缘服务器之间的传输速率为表示在第t个时间片上eNB_i与U之间的传输速率；

S2.生成工作流：

将移动设备生成的工作流中所包含的任务节点个数设为K，对1-K进行随机排列，并以此排列顺序作为有向无环图的拓扑排序结果来生成对应的有向无环图G＝V，E，作为移动设备U产生的工作流；有向无环图中节点的集合V＝{v₁，...，v_k，...，v_K}作为工作流中任务节点的集合，有向无环图中的有向边集合E＝{e_kl|v_k∈V，v_l∈V}作为工作流中任务节点之间依赖关系的集合；

有向边e_kl表明只有当执行任务v_k的边缘服务器将任务v_k的结果数据发送至准备执行任务v_l的边缘服务器上，任务v_l才能被执行；而且工作流中只有一个开始节点v_start作为工作流中最先被执行的任务节点，也只有一个结束节点v_end，而且结束节点执行完成的时间即为工作流执行完成的时间；

S3.任务结点优先级排序：

为每个任务节点v_k分配一个权重Pr(v_k)来实现任务节点优先级的排序；权重Pr(v_k)计算如下：

其中表示v_k在所有边缘服务器上执行的平均时间；R_c为一个固定的常量，表示所有边缘服务器之间互相传输数据的速率，succ(v_k)表示任务节点v_k所有前驱节点，表示计算结果的数据大小；

通过从结束节点向其前驱节点一步步计算得到所有工作流中任务节点的权重后，按照权重大小进行降序排序作为工作流中任务节点的执行顺序；

S4.风险约束：

在移动设备将任务节点v_k的数据传输至第i个边缘服务器的过程中任务数据被泄露或者修改的概率为type∈{cf，ig}；

任务数据被攻击的风险概率为而且其风险概率P(v_k)必须要小于等于场景设置的风险概率P_max；

S5.构建移动边缘环境中的马尔可夫决策过程模型，具体如下：

S51.定义系统的状态其中W_c(τ)＝{W_c，1(τ)，...，W_c，i(τ)，，...，W_c，n(τ)}表示卸载到对应边缘服务器上的任务节点的集合；表示移动设备和对应边缘服务器之间的传输速率；

S52.定义系统的动作其中a_c(τ)＝{a_c，1(τ)，...，a_c，i(τ)，，...，a_c，n(τ)}表示将工作流中任务节点卸载到某个边缘服务器；表示调度工作流中的任务节点时移动设备所选择加密服务的安全等级，表示调度工作流中的任务节点时移动设备所选择保证数据完整性服务的安全等级；

S53.定义系统的奖励R(τ)＝-T_end(v_k)，其中T_end(v_k)表示结点v_k的最晚完成时间；最晚完成时间包括了任务节点v_k的开始时间T_start(v_k)、加密时间传输时间等待时间解密时间以及执行时间

S6.搭建深度Q网络：

所述深度Q神经网络包括估计Q神经网络、target神经网络和经验池；

Q神经网络与目标Q神经网络具有一样的网络结构，而且Q神经网络会定期的将网络参数传递给target神经网络；

经验池用于存放每个时间片中与环境交互得到的状态转移样本，每次学习需要从经验池中随机抽取固定批量的四元组对估计Q神经网络进行训练；

S7.算法实现：

给定一个常量episode作为学习时间，学习并调度完工作流中所有任务节点视为一次学习完成；在工作流调度过程中，先设置当前时间片为0；在第τ个时间片的开始，通过观察移动边缘环境的当前状态s(τ)选择并执行动作a(τ)，计算执行完动作后的奖励R(s(τ)，a(τ))和观测执行完动作后系统的状态s(τ′+1)，并将其存储到经验池中；当经验池中存放了足够的数据之后，开始进行抽样学习。