[发明专利]移动边缘计算环境中自主学习的服务缓存策略

权利要求书

1.一种移动边缘计算环境中自主学习的服务缓存策略，其特征在于该方法包括以下步骤：

S1.建立系统模型：

设边缘网络由n个边缘服务器eNB＝{eNB₁，...，eNB_i，...，eNB_n}和中心云CL组成；对于移动边缘服务器eNB_i，可由三元组eNB_i＝C_i，B_i，S_i表示，其中C_i表示边缘服务器的计算能力，B_i表示边缘服务器的带宽能力，S_i表示边缘服务器的存储能力；

考虑每个边缘服务器中创建m个虚拟机，边缘服务器eNB_i中创建的虚拟机集合由VM_i＝{VM_i，1，...，VM_i，j，...，VM_i，m}表示；

对于虚拟机VM_i，j，可用二元组VM_i，j＝《C_i，j，B_i，j表示，其中C_i，j表示虚拟机的计算能力，B_i，j表示虚拟机的带宽能力；

S2.建立服务供应商模型：

设移动边缘计算网络中存在K个网络服务供应商SP＝{SP₁，...，SP_k，...，SP_K}，每个服务供应商都为用户提供一项服务；供应商所提供的服务集合用SE＝{SE₁，...，SE_k，...，SE_K}表示；对于服务实例SE_k，由二元组SE_k＝〈W_k，D_k表示，其中W_k表示执行服务的工作负载，D_k表示服务的数据尺寸；

每个服务都部署到中心云CL中，并且每个服务都会收到一组用户请求，需要由对应的服务实例进行处理并返回给用户；如果服务供应商将服务实例SE_k缓存到边缘服务器中，那么需要服务实例SE_k处理的用户请求将会被重定向到缓存其服务实例的边缘服务器中；否则，将由中心云CL中的原始服务实例来满足用户请求；这种将服务实例从中心云缓存至边缘服务器的行为称为服务缓存；

服务缓存会增加服务供应商为用户提供服务的成本；为了降低成本，不同的服务供应商将其服务缓存至同一个边缘服务器的不同虚拟机中，进行资源共享；此外，若服务供应商在某些时候不使用虚拟机，也可选择与其他服务供应商共享虚拟机，从而进一步降低服务缓存的成本；

将在同一个边缘服务器中缓存服务实例的所有服务供应商集合称为联盟，并用g_i表示在边缘服务器eNB_i中的联盟；由于边缘服务器中的存储资源有限，所以联盟中所有服务实例的数据大小之和不能超过边缘服务器的存储空间，即每个服务供应商可申请加入想加入的联盟，由联盟中的代理决定加入请求是否通过，若边缘服务器的存储空间不足，代理也可决定原联盟中成员的去留；同时，根据虚拟机上的资源情况，代理可为服务供应商选择其服务实例在边缘服务器中缓存的位置；

S3.建立成本模型：

S31.定义默认成本：若服务实例独占虚拟机，那么其占用的资源即为虚拟机所能提供的计算资源与带宽资源；用表示服务实例在边缘服务器eNB_i上使用单位计算资源的成本，表示服务实例在边缘服务器eNB_i上使用单位带宽资源的成本；那么服务实例独占虚拟机VM_i，j的使用成本为将其称为默认成本；

S32.定义联盟成本：若服务供应商按照某种规则在边缘服务器中组建成联盟；那么边缘服务器上的计算资源和带宽资源将由联盟中的服务供应商共享；若服务供应商SP_k加入联盟g_i，并将其服务实例缓存在虚拟机VM_i，j上，那么它将付出的使用成本为其中表示联盟中所有服务供应商的默认成本之和，表示使用边缘服务器eNB_i的成本；将加入联盟服务供应商所付出的成本称为联盟成本；

S4.建立效用模型：

将服务响应时延定义为服务执行时间和数据传输时间之和；由于请求对应服务的用户群体所在位置不同和执行服务所需要的计算资源不同，导致中心云中不同的服务实例处理服务的响应时延不一致；

将由中心云CL中的原始服务实例SE_k处理用户请求的服务响应时延表示为对于在边缘服务器中缓存了服务实例的服务供应商，同样由于请求服务的用户群体所在位置的不同和边缘服务器所在位置的不同，使得用户与边缘服务器之间的数据传输时间存在差异，使用表示用户向边缘服务器eNB_i请求服务SE_k的数据传输时间；

另外，用户请求服务SE_k的服务执行时间可由计算得出；为了方便起见，使用表示用户向虚拟机VM_i，j请求由服务实例SE_k所提供服务的请求时延；由于中心云通常位于偏远地区，用户向边缘服务器中缓存的服务实例请求服务的服务响应时延会远小于向中心云上的原始服务实例请求服务的服务响应时延，即另外，由于请求不同服务的用户群体对于服务响应时延的敏感程度不一致，令v_k表示服务供应商SP_k对于服务响应时延的重视程度；

基于以上描述，得到服务供应商独享虚拟机的默认效用和服务供应商加入联盟获得的合作效用

用u_i，i，k表示服务供应商加入联盟g_i获得的额外效用其中为服务供应商SP_k能获取到的最大默认效用；考虑到每个服务供应商在独享虚拟机的情况下有一个默认的资源使用成本c_i’，j’，那么p_k，l(g_i)-v_k·d_i’，j’，k+v_k·d_i，j，k可以体现服务协作的成本，将之称为协作成本，表示为然后将所有服务供应商的协作成本之和表示为社会成本；

S5.自主学习的服务缓存策略：

S51.定义动作空间和奖励函数：将每次学习时，系统的动作a(τ)定义为：a(τ)＝(a₁(τ)，...，a_i(τ)，...，a_n(τ)，其中a_i(τ)＝(a_i，1，1(τ)，...，a_i，j，k(τ)，...，a_n，m，K(τ))表示边缘服务器eNB_i上服务供应商缓存服务实例的情况；a_i，j，k(τ)表示在第τ次学习时，服务实例SE_k是否被缓存到边缘服务器eNB_i的虚拟机VM_i，j上，a_i，j，k(τ)＝1说明服务SE_k在第τ次学习时，被缓存到边缘服务器eNB_i的虚拟机VM_i，j上；a_i，j，k(τ)＝0说明服务SE_k在第τ次学习时，未被缓存到边缘服务器eNB_i的虚拟机VM_i，j上；

通过基础动作的预期奖励得到超级动作的预期奖励，将动作空间的大小减少到基础动作空间的大小；基础动作也就是a_i，j，k(τ)，这也意味着只需要学习得到每个边缘服务器的代理对每个服务实例做出的缓存动作的预期奖励；对于Q值的计算，同样需要用基本动作的Q值Q_i，j，k(a_i，j，k)代替超级动作的Q值Q(a)；更准确来说，Q_i，j，k(a_i，j，k)被定义为由边缘服务器eNB_i的虚拟机VM_i，j缓存服务实例SE_k得到的平均预期奖励；

Q_i，j，k(a_i，j，k)具体的更新方程为(R_i，j，k(τ)-Q_i，j，k(a_i，j，k))，其中C_i，j，k(a_i，j，k)表示由边缘服务器eNB_i的虚拟机VM_i，j缓存服务实例SE_k的次数；R_i，j，k(τ)表示在第τ次学习时，边缘服务器eNB_i的代理对服务实例SE_k做出的缓存动作获得的奖励；并令Q_i，j，k＝Q_i，j，k(1)-Q_i，j，k(0)来说明由边缘服务器eNB_i的虚拟机VM_i，j缓存服务实例SE_k得到的平均预期奖励；由于a_i，j，k＝0时，R_i，j，k(τ)＝0，使得Q_i，j，k(0)＝0，所以Q_i，j，k＝Q_i，j，k(1)；另外，定义奖励函数即所有服务供应商协作成本总和的相反值即社会成本的相反值；

S52.策略实现：将求解最优超级动作a^*的问题转化为如下问题：

a_i，j，k∈{0，1}

选择使用贪婪算法来获取近似最优解：首先计算Q_i，j，k/D_k，其中i＝1，2，...，n，j＝1，2，...，m，k＝1，2，...，K；然后按照非递增顺序对Q_i，j，k/D_k进行排序，在保证解可行的前提下，根据Q_i，j，k/D_k的大小执行相应的服务缓存动作；具体来说，Q_i，j，k/D_k对应的服务缓存动作为将服务实例SE_k缓存至虚拟机VM_i，j中；另外，对于排序后处于后10％的Q_i，j，k/D_k，使用epsilon-greedy算法，以ε的概率执行Q_i，j，k/D_k所对应的动作，以1-ε的概率为服务供应商随机选择服务实例缓存的位置；最后，为了保证服务供应商尽可能参与联盟以减少资源使用成本，让未加入联盟的服务供应商选择能使其协作成本最小的边缘服务器进行服务缓存。