[发明专利]一种移动边缘计算中分配频谱资源的服务质量优化方法

权利要求书

1.一种移动边缘计算中分配频谱资源的服务质量优化方法，其特征在于，包括如下步骤：

1)构建MEC系统模型：

考虑单小区内的通信卸载场景，其中包含了一个MEC服务器和多个移动设备即MD，在系统中，MEC服务器为通信范围内所有的移动设备提供计算服务，移动设备集合表示为当移动设备的计算资源难以保障应用程序的服务质量时，移动设备将任务通过无线网络卸载至边缘服务器，由MEC服务器协助处理任务，然后将处理结果反馈至移动设备中，系统中的卸载活动持续时间集合设置为其中每个时隙内，每个MD只生成一个计算密集型任务，而且任务是不可分的，所以系统的计算任务选择在边缘计算处理或在本地被处理；当需要同时卸载多个任务时，MEC服务器应根据时变的系统条件、任务的异构性和整个系统的能量开销分配系统的频谱和计算资源，MEC系统中的任务描述为其中表示计算任务的大小，表示完成任务所需的计算资源，能量化为处理任务所需的CPU周期总数，表示任务的最大容忍时间，,表示为任务的资源限制，即无论任务是在本地被处理还是卸载处理任务的执行时间和消耗都不能超过和此外，MEC系统中MD在MEC服务器的通信范围内随机分布，并进行长时间的卸载活动；

在每个时隙内，当MD有新任务到达时，MD会依据系统状态决策任务的处理方式，每一个MD对于到达的新任务利用整数变量来表示任务决策，其中表示任务由MD分配计算资源处理，而表示任务被卸载至MEC服务器，所以，定义MEC系统在时隙t的卸载决策为

2)构建卸载通信模型：

在MEC卸载系统中，当MD计算资源难以继续处理任务时，MD将任务卸载至已部署的MEC服务器中，由服务器提供计算服务；针对任务卸载的链路传输，采用香农模型描述通信模型，因为单小区范围内只有一个MEC服务器，忽略其它所有服务器的干扰，在MEC系统中进行卸载活动时，如何实现通信资源的合理分配将决定应用程序服务质量的优劣，而每一个移动设备卸载时都会抢占频谱资源，这将使得有的移动设备难以实现高性能的任务卸载，定义为频谱资源分配的比率向量，其中表示移动设备i在时隙t分配到的频谱资源比率，那么计算出移动设备i卸载任务的传输速率：

其中，W为可用频谱的带宽，p_i表示信道传输任务的传输功率，g_i为MD和MEC服务器传输时的信道增益，N₀为传输时的信道噪声；

3)构建任务卸载计算模型：

移动设备产生的任务根据卸载环境状态，既能将任务在本地被处理，也能将任务卸载至MEC服务器处理，然后介绍两种计算模型：

3.1)本地计算模型：

针对生成的任务，若其任务量小，使用MD本地的计算资源处理任务，任务就不会卸载而是在本地被处理，即在MEC系统中，不同的移动设备拥有不一样的计算资源能力，所以定义f_i^loc为MD的计算能力，且以每秒CPU周期为单位，并且设置为MD中每个CPU周期的资源消耗，当计算任务在本地被处理后，任务的执行时间计算如下：

任务在本地被处理对应的能耗计算如下：

其中，10^-27表示设备的计算能力参数；

3.2)卸载计算模型：

MD有限的资源难以保障设备的服务质量，为了保障服务质量，MD将计算任务通过无线网络传输至MEC服务器，即任务的卸载处理包含任务传输、任务处理和结果回传三个过程，因为下行链路的数据传输速率高，所以忽略结果回传的消耗，因此，卸载任务的主要消耗包括任务传输和任务处理，即任务传输至MEC服务器的时间，任务在MEC服务器被处理的时间；

针对传输过程的时延消耗，时延成本与数据大小和上行链路的传输速率相关，所以时延计算如下：

对应的任务卸载的传输能耗计算为：

针对卸载计算的另一部分，即MEC服务器的计算处理，MEC服务器会依据任务的计算需求而分配不同的计算资源；定义其中表示MEC服务器分配给在时隙t的计算任务的计算资源的比率，设置f_MEC表示MEC服务器的计算资源，当一个任务分配到过高资源比率的计算资源时，任务的执行时间会缩短，但是其执行能耗却会增加，所以实现合理的资源分配方案对服务质量的改善有帮助；同时，MEC服务器的资源需要满足的约束，即所分配的资源不能超过f_MEC，那么任务在MEC服务器的执行时延成本计算如下：

而任务在时隙t被MEC服务器处理时，处理能耗成本计算如下：

其中，P_MEC表示MEC服务器满载负荷时的计算功率；

结合任务卸载过程的成本开销，MD卸载任务的总时延成本和能耗成本表示为：

4)构建时延成本模型：

在每一个时隙中，当MD有任务生成时，MD会决策任务的处理方式，那么针对任务的卸载方式，每一个任务的执行时间成本表示如下：

相似地，任务完成处理的对应计算能耗成本计算为：

最后，考虑MEC系统中在时隙t内的所有移动设备的计算任务，时隙t的总时延成本表示为：

5)构建多约束下的优化模型：

在MEC卸载系统中，分析整个系统中卸载任务的时延成本和能耗成本，包括本地计算成本和卸载计算成本，并研究MEC系统中的卸载决策和资源分配的联合优化问题；因为，在移动设备中服务质量是影响用户体验质量的重要因素，所以服务质量的改善将使得用户有更好的体验，而且服务质量由时延和任务丢弃率决策，所以实现时延和任务丢弃率的最小化，即能完成服务质量的优化；相应的服务质量优化问题表述为：

其中，表示MEC系统卸载任务的平均时延消耗，C1表示每个MD只能选择在本地处理任务或者卸载处理，C2和C3表示分配给所有MD的频谱资源总量不能超过MEC系统中的频谱资源总量，C4和C5表示分配给卸载任务的MD的资源总量不能超过MEC服务器拥有的资源，C6表示每个任务的处理延迟不超过容忍时间，C7表示任务处理的能耗阈值；

考虑系统中的频谱资源和边缘MEC的计算资源按比率分配，细致的分配方案使得MEC系统中的资源能得到更合理的分配，并且使得应用程序提供更优质的服务，但是要解决多约束下的复杂问题是困难的，需要找到每个时隙内的卸载决策频谱资源分配向量和计算资源分配向量以实现时延最小化的优化目标；其中，卸载决策是二分变量，而频谱资源比率和计算资源分配比率是随MEC环境状态而变化的，所以利用传统的方法求解是困难的，因此提出基于深度强化学习的方法来解决动态环境下的求解问题；

针对深度强化学习方法，需先将问题近似为马尔可夫模型即MDP，实现MDP模型的基础即是定义三个空间元素，即状态空间、动作空间和奖励空间：

马尔可夫决策模型：

(1)状态空间：

MDP中的状态是一个反应MEC卸载环境的空间，而在MEC系统中，频谱资源和边缘的计算资源是最重要的动态因素，所以利用系统中的可用资源定义状态空间，时隙t的频谱资源为而计算资源为观察两者的目的在于保持计算能力和通信的约束，此外，还需要观察每个时隙产生的能耗成本所以定义时隙t的状态空间为：

(2)动作空间：

移动设备作为强化学习中的智能体，其是卸载动作的实施者，目的在于将状态空间映射到动作空间，实现卸载决策还需要确定每个时隙t中分配给移动设备的频谱资源和MEC的计算资源，因此，动作空间的向量由三部分组成，即卸载决策向量频谱资源分配比率向量和计算资源分配向量动作空间定义为：

具体的动作决策表示如下:

其中表示深度强化学习中将s_t和d作为变量神经网络输出的值，其用于衡量动作决策的优劣；

(3)奖励空间：

奖励空间包含的元素与目标函数有关，在提出的优化模型中，制定了最小化系统平均时延的优化问题，这是强化学习方法实现最大奖励的逆目标，所以与强化学习的奖励负相关，移动设备在状态s_t做卸载决策d_t的奖励定义为:

MDP的奖励值应满足优化模型中的约束条件，若不满足约束，那么基于深度强化学习的算法在迭代过程中会将奖励设置为惩罚值，即移动设备卸载任务没满足条件就会失败，通过深度强化学习算法迭代后使任务的卸载失败率降低；

综上分析，设计了一种结合DDQN和Priority replay Buffer的卸载决策和资源分配算法PERDDQN，避免Q-learning维度爆炸的缺点，并利用Priority replay Buffer实现优先级经验存放器，算法具体内容如下：