[发明专利]一种基于深度确定性策略梯度的无人机辅助计算迁移方法

说明书

本发明针对计算密集型和延迟敏感型移动业务需求，提出了一种基于深度强化学习的计算任务卸载算法。考虑多架无人机飞行范围、飞行速度和系统公平效益等约束条件，最小化网络平均计算延时与无人机能耗的加权和。将该非凸性、NP难问题转化为部分观测马尔可夫决策过程，利用多智能体深度确定性策略梯度算法进行移动用户卸载决策和无人机飞行轨迹优化。仿真结果表明，所提算法在移动服务终端的公平性、系统平均时延和多无人机的总能耗等方面的性能均优于基线算法。

技术领域

本发明属于移动边缘计算(Mobile Edge Computing，MEC)领域，涉及一种多无人机辅助移动边缘计算方法，更具体地说，涉及一种基于多智能体深度确定策略梯度(Multi-Agent Deep Deterministic Policy Gradient，MADDPG)的计算迁移方法。

背景技术

随着5G技术的发展，运行在用户设备上的计算密集型应用，如网络游戏、VR/AR、远程医疗等将变得更加繁荣和流行。这些移动应用程序通常需要大量的计算资源，消耗大量的能量，而且由于服务器的覆盖范围有限，用户在移动的时候可能会中断与服务器的连接。原先请求卸载的服务器无法在用户的下一位置及时发送计算结果，会引起服务器计算资源的浪费，增加用户再次上传卸载计算任务的时延和能耗。对于用户的可卸载任务，许多研究都会采取全部卸载到MEC服务器中执行的方式，但是当用户数量较多或卸载任务量较大时，有限的服务器计算资源会导致任务排队，卸载计算时延增长。由于高机动性和灵活性，无人机(Unmanned Aerial Vehicle，UAV)可不依靠基础设施在军事和民用领域中辅助移动边缘计算，特别是在偏远地区或自然灾害地区。当受到自然灾害导致网络基础设施不可用或移动设备的突然增多超出了网络服务能力，无人机就可以作为临时的通信中继站或边缘计算平台在通信中断或流量热点地区增强无线覆盖，提供计算支持。但是无人机的计算资源与电量受限，为提高MEC系统的性能，有许多关键问题还需解决，包括安全性^[8]、任务卸载、能量消耗、资源分配和各种信道情况下的用户延迟性能等。

在无人机MEC网络中，可以优化多种类型的变量(如无人机的轨迹、任务卸载策略、计算资源分配)以实现期望的调度目标，传统的优化方法由于需要大量的迭代和先验知识来获得一个近似最优解，因此不适用于动态环境中的实时MEC应用。随着机器学习在研究中的广泛应用，许多研究人员也在探索基于学习的MEC调度算法，鉴于机器学习的最新进展，深度强化学习现已成为研究热点。随着网络规模的增长，多智能体深度强化学习为多无人机MEC网络的资源管理提供了分布式的视角。

本发明提出了一种无人机辅助移动边缘计算系统，利用无人机提供的计算资源为附近的用户设备提供卸载服务。通过多智能体深度强化学习的方法来求解无人机轨迹和卸载优化问题，从而获得可扩展和有效的调度策略，终端将计算任务的一部分卸载给UAV，而其余的任务在该终端本地执行，通过联合优化用户调度、任务卸载比、无人机飞行角和飞行速度来最小化系统处理延迟和无人机能耗。

发明内容

发明目的：考虑到该问题的非凸性、高维状态空间和连续动作空间，我们提出了一种基于MADDPG的深度强化学习算法，该算法可以在动态环境下得到最优计算卸载策略，从而实现最低系统延时和无人机能耗的联合优化。

技术方案：在考虑同一时刻多用户计算任务卸载的场景，以合理高效的无人机路径规划和卸载决策达到联合优化系统时延和无人机能耗的目的。将每架无人机看作智能体，采用分布式执行和集中式训练的方式，基于本地观察到的状态信息和每个时隙得到的任务信息来选择关联用户。通过建立深度强化学习模型，利用MADDPG算法优化深度强化学习模型。根据优化后的MADDPG模型，得到最优的飞行轨迹和卸载策略。完成上述发明通过以下技术方案实现：一种基于MADDPG的无人机辅助计算迁移方法，包括步骤如下：

(1)，传统MEC服务器都是部署在基站或其他固定设施中，本次采用可移动式MEC服务器，将无人机技术与边缘计算相结合；

(2)，用户设备通过无线通信将计算任务卸载到无人机端从而降低计算延时；