[发明专利]基于强化学习的无人机任务卸载策略的确定方法和装置

说明书

本申请提供基于强化学习的无人机任务卸载策略的确定方法和装置，所述方法包括：S1:将无人机的计算任务建模为DAG模型，计算任务由多个不可再拆分且有序执行的子计算任务组成；S2:确定无人机产生的每个计算任务的任务卸载策略以最小化无人机工作期间内所有计算任务的平均计算代价，所述任务卸载策略用于确定计算任务的所有子计算任务中需要卸载到边缘服务器计算处理的子计算任务和在无人机本地计算处理的子计算任务。本申请所提出的基于强化学习的无人机用户自适应任务卸载策略，能够有效地降低无人机用户在时变通信信道条件下任务卸载的计算代价。

技术领域

本申请涉及无人机与边缘计算技术领域，具体而言，涉及基于强化学习的无人机任务卸载策略的确定方法和装置。

背景技术

近年来，无人机由于高移动性、易于部署、低成本和独特的空中视角特性被广泛地应用在生活中的各个领域，例如公共安全监控、石油与天然气领域等。在这些领域中无人机可以替代人类做一些繁冗或危险的服务应用任务，例如对一片区域内的物体或场景进行探测、分类和识别。在这些应用中，无人机通过高分辨率摄像头对作业区域实时地采集图片，并立即执行图像特征识别算法对采集到的图片中的特征进行检测、分类和识别。这类计算任务是计算密集型的，需要专用的、功能强大的处理器。尽管近几年无人机的计算能力和本地车载电池能量技术有所提高，但是无人机本地的车载能量和计算能力依旧是十分有限的，在无人机本地执行计算密度大的计算任务会导致任务的响应时间和无人机的电池使用寿命大大受损。

为了解决上述问题，研究者们考虑将无人机用户计算密集的任务卸载到云服务器处理，然而由于云服务器距离用户端较远且近几年移动用户设备呈爆炸式增长，将无人机计算任务卸载到云服务器可能会导致服务延时比较大。移动边缘计算的出现解决了云服务器距离用户端较远的问题，边缘计算将云服务器的计算资源下降到用户端附近，用户通过边缘接入网络即可利用到额外的计算资源辅助计算，这样可以大大降低用户的服务延时。

然而，由于移动边缘网络的动态性和复杂性，无人机用户和边缘网络接入点的无线通信信道受干扰、路径损耗、阴影和衰落现象的影响，通信信道状态通常是时变的，时变的通信信道给无人机用户的任务卸载带来一定的挑战性。当信道状态较好时，无人机将计算任务直接卸载到边缘服务器所需要的传输能量较少，可能是一种比较好的卸载策略；但当信道状态较差时，将计算任务直接卸载到边缘服务器处理会导致无人机传输能量损耗和任务服务延时会很大。

因此，在时变通信信道环境下，如何确定任务卸载策略以减小无人机传输能量损耗和任务服务延时具有重要意义。

发明内容

有鉴于此，本申请提供基于强化学习的无人机任务卸载策略的确定方法和装置，以克服现有技术的缺陷。

为实现上述目的，本申请采用的技术方案如下：

第一方面，本申请提供基于强化学习的无人机任务卸载策略的确定方法，所述方法应用于移动边缘网络系统，所述移动边缘网络系统包括基站，以及在移动边缘网络区域执行应用服务并生成计算任务的无人机，所述基站配置了用于为无人机提供边缘计算服务的边缘服务器，所述任务卸载策略包括任务卸载决策和本地资源分配决策，所述方法包括：

S1:将无人机的计算任务建模为DAG模型，计算任务由多个不可再拆分且有序执行的子计算任务组成；

S2:确定无人机产生的每个计算任务的任务卸载策略以最小化无人机工作期间内所有计算任务的平均计算代价，所述任务卸载策略用于确定计算任务的所有子计算任务中需要卸载到边缘服务器计算处理的子计算任务和在无人机本地计算处理的子计算任务。

可选的，所述步骤S2中确定无人机产生的每个计算任务的任务卸载策略之前还包括为无人机产生的每个计算任务搭建任务卸载模型，具体为：