[发明专利]一种移动边缘计算系统中联合卸载判决和资源分配的方法

摘要

本发明公开了一种移动边缘计算系统中联合卸载判决和资源分配的方法，在移动边缘计算系统中，通过最大化移动边缘计算服务器已执行的卸载任务数，在移动边缘计算服务器端建立队列来存储在一个时隙中没有被执行的任务，在效用函数中利用队列作为一个惩罚来避免严重的时延。面对的挑战包括：下行链路信道的马尔科夫特性、任务队列长度的变化以及小基站的可充电电池状态。为解决上述问题，综合考虑卸载判决和资源分配，将系统建模为马尔科夫决策过程，建立下行链路通信模型、能量收集模型、计算任务队列模型、移动边缘计算服务器执行任务模型和效用函数模型，并采用单资格迹的Actor‑Critic算法。本发明不仅有更快的收敛性能，即更短时延，而且收益更高。

主权项

1.一种移动边缘计算系统中联合卸载判决和资源分配的方法，其特征在于：包括以下步骤：步骤1：移动边缘计算服务器为每个移动用户设置一个先进先出的任务队列，来存储已经卸载到移动边缘计算服务器但在一个时隙内还没有被服务器执行的任务；步骤2：为每个小基站都配有一个能量收集装置，用可充电电池来存储绿色能源，设定一个门限值来保护电池，它满足在一个时隙内移动终端的能量要求；当电池电量低于门限值时，电池的状态值b_n(t)为0，小基站将由传统的电网自动供电；否则b_n(t)为1，小基站将由绿色能源供电；步骤3：将动态系统建模为马尔科夫决策过程，简称为MDP，包括有S、A、P、r，四个参数，S为状态空间、A为动作空间、P为状态转移概率矩阵、r是回报函数，其中的状态空间S包括三部分：1)无线信道环境，用基站到用户的下行链路的信干噪比η_n(t)来表示；2)每个小基站的可充电电池的电量状态b_n(t)，用0或1表示；3)任务队列长度T_n(t)；其中的动作空间A包括三部分：1)移动边缘计算服务器的卸载判决c_n(t)，当c_n(t)＝1时，同意卸载，当c_n(t)＝0时，拒绝卸载；2)下行链路的传输功率p_n(t)；3)移动边缘计算服务器分配给n号移动终端设备的计算资源f_n(t)；步骤4：采用单资格迹的Actor‑Critic算法来解决上述MDP问题；初始化Actor部分的策略参数θ和Critic部分的状态值函数的参数ω；设置一个迭代次数的上限，开始步骤5进行迭代；步骤5：在每一次迭代中，根据动作的概率分布π(a|s_t,θ)，其中μ(s,θ)是正太分布的均值，用μ(s,θ)＝θ^Tφ(s)估计得到，σ是均方差，选择得到一个动作a，在当前状态下该动作，就可以得到这个动作的奖励值，状态从当前状态转换到下一个状态；步骤6：更新状态特征向量φ(s)，用一个线性估计器来学习状态值函数V^π(s)，估计方法为V^π(s)≈V(s,ω)＝ω^Tφ(s)，其中ω是Critic部分的状态值函数的参数，ω^T是ω的转置；步骤7：更新时序差分函数δ，更新方法为δ＝r_t+1+γ_ωV(s_t+1,ω)‑V(s_t,ω)，其中r_t+1+γ_ωV(s_t+1,ω)是下一状态的总奖励值，r_t+1是下一状态的即时奖励值，γ_ω是衰减因子数值在0到1之间，V(s_t,ω)是当前状态下的奖励值；步骤8：更新状态值函数的参数ω(t)，更新方法为其中ω(t)是当前时隙的状态值函数的参数，是ω的梯度,δ是时序差分函数，α_c,t是Critic部分的学习率，满足步骤9：更新下一个时隙的策略参数θ_t+1，更新方法为其中是θ的梯度，α_a,t是Actor部分的学习率，是一个正数，且满足判断迭代是否收敛，或者达到迭代次数的上限，如果没有达到迭代次数的上限而且迭代没有收敛，则返回步骤5继续迭代，如果达到迭代次数的上限或迭代已经收敛，则结束迭代。