[发明专利]多智能体协作的卫星边缘计算卸载和资源分配方法

说明书

多智能体协作的卫星边缘计算卸载和资源分配方法，涉及卫星通信及边缘计算技术领域。是为了在卸载策略下优化资源分配问题，本发明中，每台设备在无需知道其它设备的先验知识前提下可以独立的产生任务的卸载决策。在得到任务卸载决策后，基于拉格朗日方法得到最优的资源分配。实验结果表明，所提算法能够更好的适应信道条件变化和边缘节点的处理能力，能够有效的降低任务时延和任务丢弃率。

技术领域

本发明涉及卫星通信及边缘计算技术领域。

背景技术

受经济成本和技术水平的限制，目前5G通信网络的覆盖范围是局限性，无法实现真正意义上的全区域覆盖。特别是在沙漠、极地、海洋等难以建立基站的恶劣环境中缺乏网络覆盖，且地面通信网络易受自然灾害的影响。由于其广泛的覆盖范围和通信强大，卫星通信成为6G的有力补充。

近年来，智能设备的计算能力有了显着提升，但也将面临更高的计算需求，如增强现实(AR)、虚拟现实(VR)等。在传统非地面网络的透传模式下，卫星充当地面网关与用户设备之间的中继节点。通过卫星中继请求地面云中心的服务模式占用大量带宽，导致难以承受的响应延迟和能耗。受地面多接入边缘计算(MEC)的启发，卫星边缘计算将缓存和计算功能下沉到LEO卫星，由多颗LEO卫星组成的计算平台为用户提供计算卸载服务。卫星覆盖范围广，可以为偏远地区的用户提供网络服务。在LEO卫星上部署MEC服务器可以减少卫星和地面之间的链路传输数量、数据传输拥塞和用户响应延迟。

近年来，深度强化学习在卫星边缘计算中得到广泛应用。C.Qiu等人提出了一种软件定义的卫星地面网络，该网络共同管理和编排网络、缓存和计算资源。实验结果表明网络收敛速度快，联合优化策略优于单一优化策略。N.Cheng等人提出了一种边缘云协作架构，用户可以将任务卸载到边缘云或将它们中继到云中心。Y.Wang提出了一个actor-critic深度强化网络，联合优化任务卸载和资源分配。文中提出了无人机辅助边缘计算，为地面用户提供计算卸载服务。值得注意的是，所提算法每个时隙仅服务于一个用户。F.Xu等提出了空、天、地、海多维一体化框架。提出了一种联合任务卸载和资源分配策略，但缺点是他们只考虑了多用户和单个MEC服务器之间的卸载策略。N.Chen提出了一种多智能体协同计算卸载策略，该策略考虑了上行链路和下行链路传输速率以及边缘计算服务器的计算能力。基于专家样本和优先策略加速网络训练，但他们没有考虑可能存在队列延迟导致任务失败。M.Tang提出了一种考虑任务排队时间和最大可容忍延迟的分布式多智能体协作模型。但是他们没有考虑时变信道传输速率和资源分配对系统性能的影响。

基于上述分析，我们考虑多用户多边缘计算卫星的任务卸载场景，该场景不仅考虑了时变信道传输速率，还考虑了任务队列延迟和边缘计算卫星动态负载的影响，这更接近现实情况。任务处理延迟超过最大可容忍延迟将被丢弃。我们提出了一种去中心化的多智能体协作任务卸载和资源分配算法。设备根据其观察到的状态以分布式方式生成卸载决策和最佳资源分配。我们首先提出了一种以加权延迟为优化目标的多用户多边缘计算卫星多智能体协作任务卸载模型。每个智能体都可以根据自己的状态独立生成卸载决策，而无需事先了解其他智能体。我们联合考虑时变信道传输速率、队列延迟和边缘计算卫星的动态负载，以最小化系统延迟。考虑到优化问题的非凸性，我们将原始优化问题解耦为任务卸载和资源分配子问题。提出了一种深度强化学习算法来获得卸载决策。在固定任务卸载决策后，我们证明了资源分配子问题是一个凸优化问题，可以通过拉格朗日乘数法求解。

发明内容

本发明是为了在卸载策略下优化资源分配问题，从而提出一种多智能体协作的卫星边缘计算卸载和资源分配方法。

卫星边缘计算的多智能体间的任务卸载和资源分配方法，它包括以下步骤：

步骤一，移动用户在每个时隙以一定的概率生成任务，对于所述生成任务选择在本地计算或卸载到边缘计算卫星计算，作为用户卸载策略。

步骤二，根据步骤一获得的用户卸载策略，获得每个用户在对应卸载策略下的效用函数，