[发明专利]基于强化学习动态多用户无线通信场景下边缘优化方法

说明书

本发明公开了基于强化学习动态多用户无线通信场景下边缘优化方法，包括以下步骤：步骤1：以最大化单位时隙内系统处理数据量为优化目标，建立目标优化问题。对原问题进行数学分析，采用组合优化的方式。步骤2：通过强化学习以及解凸优化问题的方式，对目标优化问题进行求解，先获得各个用户的卸载决策，然后基于该策略求解出单位时隙中无线能量传输时间占比变量和各个用户无线传输时间占比变量。步骤3：不同时隙用户位置有所变动，需要通过多轮迭代训练神经网络参数，直至达到收敛。

技术领域

本发明涉及无线通信资源优化领域，基于强化学习动态多用户无线通信场景下边缘优化方法。

背景技术

随着物联网的不断发展，如今部署着大量能够通信和计算的无线设备。在计算、能耗和内存资源有限的情况下，IoT设备如传感器和可穿戴设备等都存在着计算瓶颈，无法支持高级的应用程序。这一挑战可以通过移动边缘计算(MEC)技术来解决。通过该技术，IoT设备可以将密集的计算任务卸载到边缘服务器，从而减轻其自身计算资源和电池容量的压力。

近年来，基于射频(RF)的无线功率传输(WPT)技术由于其在解决物联网应用的有限电池容量问题方面的潜力而引起了广泛的关注。带有能量采集(EH)模块的IoT设备可以获得无线接入点(AP)发送的能量，并将其用于任务处理和无线传输，从而进一步提高MEC的优势，提高系统的性能。在多用户场景中，很难共同找到每个UE的任务处理模式(即，UE在本地计算或卸载任务)和整个系统的资源分配，例如时间、计算能力和能耗分配。由于二进制卸载变量的存在，这类问题通常是混合整数规划(MIP)问题。为了解决这类问题，有采用凸松弛的方法，需要大量的迭代才能获得令人满意的局部最优解。

强化学习(RL)已被证明是通信和计算系统中资源分配的有效解决方案。通过设置合理的状态空间、动作空间和奖励值，并训练大量的样本，可以得到满足约束条件的数值映射关系，从而解决MIP问题。还可以通过引入复杂的DNN来适应更加复杂的场景。J.Li等人2018发表的“Deep reinforcement learning base computation offloading andresource allocation for mec(基于深度强化学习的计算卸载和资源分配)”的文章，将Q-Learning和DQN算法应用与解决MEC的最小损失问题。结果表明，与传统算法相比，这两种方法都能取得较好的效果，而引入DNN的DQN方法效果更好。另外，DRL算法在云无线接入网络(C-RANs)中的应用，同样是解决了MIP问题，获得了减少能耗，同时满足用户需求的卸载策略。

当前，关于无线功率传输的MECO问题中有关深度强化学习的研究还很少，而且在多用户动态场景中的应用更少。使用传统优化方法解决MIP问题，需要通过大量的迭代过程，无法满足动态场景下对功耗和时延的要求，更无法面对更加复杂的信道模型和高动态场景。我们所提出的算法可以加快结果收敛速度，并能够确保在动态环境中的稳定性。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种基于强化学习动态多用户无线通信场景下边缘优化方法。

为了解决上述技术问题，本发明公开了基于强化学习动态多用户无线通信场景下边缘优化方法，包括以下步骤：

步骤1：建立一个动态的多用户时分系统,以最大化单位时隙内系统处理数据量为优化目标的优化系统；

步骤2：获得各个用户的卸载决策，基于该卸载决策计算单位时隙中无线能量传输时间占比变量和各个用户无线传输时间占比变量；

步骤3：针对不同时隙用户位置的变动，通过多轮迭代训练神经网络参数，直至达到收敛从而实现边缘优化。

本发明中，多用户时分系统包括一个具有单个无线接入点和N个单天线用户设备的无线功率传输的边缘计算卸载系统，一个区域内的基站包含两个组成部分：射频能量发射器和边缘计算服务器。