[发明专利]一种基于深度强化学习的工业物联网图任务卸载方法及系统

权利要求书

1.一种基于深度强化学习的工业物联网图任务卸载方法，其特征在于，包括以下步骤：

S1、基于工业物联网中卸载任务场景构建移动边缘计算系统；

S2、基于移动边缘计算系统设定图任务卸载的优化目标，所述优化目标为最小化任务完成时间与数据交换消耗的权重之和；

S3、根据移动边缘计算系统中的环境状态和图任务卸载的优化目标，基于预构建深度Q网络进行强化学习，在动态时变环境下学习对计算密集型图任务进行卸载，得到最优动作；

所述预构建深度Q网络包括结构相同的train Q-网络和target Q-网络。

2.根据权利要求1所述一种基于深度强化学习的工业物联网图任务卸载方法，其特征在于，所述基于工业物联网中卸载任务场景构建移动边缘计算系统这一步骤，其具体包括：

S11、基于工业物联网中卸载任务场景构建移动边缘计算系统，所述卸载任务场景中包括一个任务发起者和多个任务执行者；

S12、将任务之间的依附关系用无向非循环图G＝{V，E}表示，其中包含一组任务V＝{Vi|i∈W}，以及一组边E＝{e_ij|(i，j)∈w，i≠j}，其中W表示任务总数，G中的每个边e_ij用作二进制指示符变量指示v_i和v_j之间是否存在数据交换；

对移动边缘计算系统中进行图任务卸载，所述图任务卸载存在传输时间消耗、执行时间消耗和数据交换消耗。

3.根据权利要求2所述一种基于深度强化学习的工业物联网图任务卸载方法，其特征在于，所述基于预构建深度Q网络进行强化学习的具体步骤包括：

状态空间，在t时刻的状态表示为其中代表着t时刻任务执行者i的通道收益，f_t＝{f_t，i|i∈m}代表着t时刻任务执行者i的cpu频率，u_t＝{u_t，i|i∈m}代表着t时刻任务执行者i的空闲间隙数量，G_t代表任务图的拓扑关系，d_t＝{d_t，i|i∈m}代表着t时刻任务执行者i与任务发起者的距离；

动作空间，当前任务v_i的动作表示为a_i{a_i，1，a_i，2，…a_i，m|i∈m}，其中，a_i，j被设置为二进制指示符；

回报函数，系统的奖励设置为其中，T(u)表示时间消耗，E(b)表示数据交换消耗，α和(1-α)分别表示时间消耗和数据交换消耗的权重。

4.根据权利要求3所述一种基于深度强化学习的工业物联网图任务卸载方法，其特征在于，所述根据移动边缘计算系统中的环境状态和图任务卸载的优化目标，基于预构建深度Q网络进行强化学习，在动态时变环境下学习对计算密集型图任务进行卸载，得到最优动作这一步骤，其具体包括：

S31、根据移动边缘计算系统中的环境状态和图任务卸载的优化目标，在动态的环境下计算产生的时间消耗与数据交换消耗；

S32、确定动作a对应的回报r，将新的观测的环境状态s’输入到预构建深度Q网络中，并利用回报r来计算损失函数loss，进而通过反向梯度传递的方式对train Q-网络的参数进行更新；

S33、重复执行步骤S32，直至判断到回报r收敛并趋近最大化，则当前的动作为最优动作。