[发明专利]一种基于深度强化学习的工业物联网图任务卸载方法及系统

说明书

本发明公开了一种基于深度强化学习的工业物联网图任务卸载方法及系统，该方法包括：基于工业物联网中卸载任务场景构建移动边缘计算系统；基于移动边缘计算系统设定图任务卸载的优化目标，所述优化目标为最小化任务完成时间与数据交换消耗的权重之和；根据移动边缘计算系统中的环境状态和图任务卸载的优化目标，基于预构建深度Q网络进行强化学习，在动态时变环境下学习对计算密集型图任务进行卸载，得到最优动作。该系统包括：系统模型构建模块、优化目标设定模块和强化学习模块。通过使用本发明，能够制定在时变条件和有限资源下图形任务的卸载策略。本发明可广泛应用工业物联网领域。

技术领域

本发明涉及工业物联网领域，尤其涉及一种基于深度强化学习的工业物联网图任务卸载方法及系统。

背景技术

在中国智能制造的大背景下，工厂的各环节正逐步向智能化发展，无人叉车作为智能厂内物流的主要实现方式，被广泛应用与各类工厂。它们能够自动地在工厂中高效地运送物料，解决了人工搬运劳动强度过高的问题。无人叉车(UF)具有计算处理器和各种传感设备(如无人机摄像头和高质量传感器)，可以承载具有创新和计算密集型特性的感知相关应用(如人员识别、障碍识别、异常识别与预警等)。

一些感知应用会包含大量的复杂任务，由于单个UF计算能力和能耗的限制，在UF本地进行一些复杂任务的处理是不现实的，因此需要将任务卸载到临近的设备或基站处理。由于复杂任务通常由相互依赖的子任务组成，这将使任务卸载复杂化，并使合理的任务卸载成为挑战。图任务是用来表示各种计算密集型任务之间的依赖关系，其中任务和数据流分别由图的顶点和边表示，因此根据任务图进行任务的卸载是一种有效的方法。

对于通信条件复杂的工业物联网来说，由于无线信道条件频繁变化以及每个设备的计算资源存在波动，现有的图形任务卸载方法不能很好地执行。在高度动态的环境下，必须频繁求解优化问题，这可能会导致计算资源的浪费。

发明内容

为了解决上述技术问题，本发明的目的是提供一种基于深度强化学习的工业物联网图任务卸载方法及系统，考虑到通信环境的复杂性，最小化任务完成时间与数据交换消耗的权重(WETC)之和，制定在时变条件和有限资源下图形任务的卸载策略。

本发明所采用的第一技术方案是：一种基于深度强化学习的工业物联网图任务卸载方法，包括以下步骤：

S1、基于工业物联网中卸载任务场景构建移动边缘计算系统；

S2、基于移动边缘计算系统设定图任务卸载的优化目标，所述优化目标为最小化任务完成时间与数据交换消耗的权重之和；

S3、根据移动边缘计算系统中的环境状态和图任务卸载的优化目标，基于预构建深度Q网络进行强化学习，在动态时变环境下学习对计算密集型图任务进行卸载，得到最优动作；

所述预构建深度Q网络包括结构相同的train Q-网络和target Q-网络。

进一步，所述基于工业物联网中一个任务发起者和多个任务执行者卸载任务场景构建移动边缘计算系统这一步骤，其具体包括：

S11、基于工业物联网中卸载任务场景构建移动边缘计算系统，所述卸载任务场景中包括一个任务发起者和多个任务执行者；

S12、将任务之间的依附关系用无向非循环图G＝{V，E}表示，其中包含一组任务V＝{Vi|i∈W}，以及一组边E＝{e_ij|(i，j)∈w，i≠j}，其中W表示任务总数，G中的每个边e_ij用作二进制指示符变量指示v_i和v_j之间是否存在数据交换；

对移动边缘计算系统中进行图任务卸载，所述图任务卸载存在传输时间消耗、执行时间消耗和数据交换消耗。

进一步，所述预构建深度Q网络的强化学习如下：