[发明专利]一种基于深度强化学习的成本最优空地网络任务卸载方法

说明书

本发明公开了一种基于深度强化学习的成本最优空地网络任务卸载方法。所述方案包括：我们首先提出了一种空地一体化异构网络模型，该模型由高空平台站(HAPS)和多个配备边缘服务器的无人机(UAV)组成。每个用户都可以选择在本地执行任务或在边缘执行任务。我们的目标是优化延迟和能耗的权重。该问题是通过联合考虑任务卸载决策和计算资源分配来描述的，但由于优化变量之间的强耦合，这是一个混合整数非线性规划(MINLP)问题。因此，我们将其分解为两个子问题，并设计一种基于深度强化学习的方法来解决计算卸载决策问题。对于第二个计算资源分配子问题，提出了一种基于贪婪的解决方案。基于深度强化学习的卸载方法在与环境交互学习到最佳的卸载策略，可以更好地解决动态复杂的通信场景。

技术领域

本发明涉及无线通信网络与物联网领域，具体为基于深度强化学习的成本最优空地网络任务卸载方法。

技术背景

近年来，物联网(IoT)和5G技术得到了快速的发展，人类正在处于一场数据革命中。新兴的应用程序越来越多，如深度学习、在线3D游戏、人脸识别、基于位置的增强现实或虚拟现实、移动社交媒体、自动驾驶系统和智能服务等。然而，由于物联网设备或者移动智能设备计算的局限性，设备本身已经无法满足各类应用日益增长的计算需求。移动设备的普及与移动互联网流量的爆发式增长推动了无线通信和网络架构的改进。随着计算机科学的发展，特别是移动设备的升级换代，移动设备的功能越来越强大，人们希望移动设备变得更加轻巧，电池续航时间更长，这意味着移动设备对任务的处理能力将受到限制。但是，用户期望移动设备对任务计算和数据处理的能力达到更高的水平，而实现用户期望的操作是以移动设备高能耗和长时延的任务处理方式为代价，这一矛盾是制约移动智能设备发展的重要因素。这些计算密集型应用对终端设备的电池和计算能力提出了巨大的挑战。

云计算需要将计算密集型应用卸载到云服务器上处理，但是由于终端用户和云服务器之间的传输距离较长，往往导致较大的传输延迟，使得无法满足延迟敏感应用的需求，如手机游戏和自动驾驶。为了解决这一问题，移动边缘计算(mobile edge computing，MEC)被广泛研究。MEC通过将计算密集型和延迟敏感的任务转移到无线网络边缘来提高用户的服务质量。然而，MEC服务器的计算能力通常是有限的，因此如何将有限的MEC服务器计算资源有效地分配给终端用户成为一个关键问题。此外，由于终端的电池容量有限，需要探索新的节能方法来延长能量消耗。空地一体化异构网络通过对空中和地面部分的通信、计算和存储资源的互补集成来满足日益增长的计算需求。与传统的云计算架构相比，空地一体化异构网络有许多优势，如无缝覆盖、低延时、提高吞吐量和缓解网络拥挤。

发明内容

为了解决上述问题，本发明公开了一种基于深度强化学习的成本最优空地网络任务卸载方法。所述方案包括：我们首先提出了一种空地一体化异构网络模型，该模型由高空平台站(HAPS)和多个配备边缘服务器的无人机(UAV)组成。每个用户都可以选择在本地执行任务或在边缘执行任务。然后，我们的目标是优化延迟和能耗的权重。通过更多地考虑延迟，可以关注低延迟应用程序的延迟减少。为了降低用户设备的能耗，我们可以更加关注系统功耗的大小。该问题是通过联合考虑任务卸载决策和计算资源分配来描述的，但由于优化变量之间的强耦合，这是一个混合整数非线性规划(MINLP)问题。因此，我们将其分解为两个子问题，并设计一种基于机器学习的方法来解决第一个卸载决策问题。对于第二个计算资源分配子问题，提出了一种基于贪婪的解决方案。