[发明专利]一种针对边缘网络下突发请求的强化学习调度方法及设备

说明书

本发明提出一种针对边缘网络下突发请求的强化学习调度方法及设备，方法包括：建立系统模型，包括通信模型、请求模型和服务器模型；根据系统模型为调度突发请求建立目标函数，将调度突发请求转化为优化问题；采用强化学习求解优化问题，定义状态空间、动作空间和奖赏函数，建立强化学习模型；采用A3C算法训练强化学习模型直至收敛；将训练好的模型用于边缘网络的请求调度。该方法以多服务器协作的方式处理突发请求，相邻的边缘服务器相互协作，从而最大化在deadline之前完成的请求数量。通过将调度问题迁移成强化学习的决策问题，针对每个请求，只需将当前的状态输入到强化学习的actor网络，即可从输出的概率分布图中选择动作，达到快速决策的效果。

技术领域

本发明涉及强化学习和边缘计算领域，具体是一种针对边缘网络下突发请求的强化学习调度方法及设备。

背景技术

5G的兴起极大地加强了人与机器之间的联系。同时，诸如交互式游戏、图像/视频处理、增强/虚拟现实和面部识别之类的计算密集型应用程序在移动设备上变得越来越流行，并且这些应用程序追求低延迟和低能耗。随着移动边缘计算(Mobile Edge Computing,MEC)范式的出现，数据和计算从集中式云计算基础架构推到了网络的逻辑边缘，从而可以使得移动设备快速使用边缘服务器上的资源来处理多样化的任务。在当前的MEC 范式中，边缘云覆盖了较大的服务区域，用户可以在其中向该单个边缘云发送各种请求以进行处理。通常，单个边缘云能快速处理少量请求。然而，当计算密集型任务是突发到来时，单个边缘云处理遇到瓶颈。以多人虚拟现实(Virtual Reality,VR)游戏为例，如From Other Suns或Seeking Dawn，通常，VR具有严格的性能要求，体现在高于60 的fps(即每秒帧数)和低于20ms的motion-to-photon延迟，计算密集型的渲染处理成为满足此类严格要求的关键障碍。而且，在VR交互过程中，许多玩家可能会同时发布渲染请求，这不可避免地导致计算密集型请求的突然到达。对于边缘云，它不仅需要为每个动作渲染前景和背景，而且还需要通过向每个用户发送实时图像来同步整个VR场景，这将导致不可预测的计算和通信成本。显然，单一资源受限的边缘云无法解决突发的请求。

边缘是一个动态变化和设备异构的聚合体，这主要体现在带宽的波动变化，以及移动设备的多样性。同时，用户在局域网中是移动的，并且需求是多样化的，因而很难有统一的规则来实现请求即来即服务。

发明内容

发明目的：针对现有技术的不足，本发明提出了一种针对边缘网络下突发请求的强化学习调度方法及设备，能够实现边缘网络中对突发请求的迅速调度。

技术方案：根据本发明的第一方面，提供一种针对边缘网络下突发请求的强化学习调度方法，包括如下步骤：

S1、建立系统模型，包括通信模型、请求模型和服务器模型；

S2、根据系统模型为调度突发请求建立目标函数，将调度突发请求转化为优化问题；

S3、采用强化学习求解优化问题，定义状态空间、动作空间和奖赏函数，建立强化学习模型；

S4、采用A3C算法训练强化学习模型直至收敛；

S5、将训练好的强化学习模型用于边缘网络的请求调度。

根据本发明的第二方面，提供一种计算机设备，所述设备包括：

一个或多个处理器；

存储器；以及

一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述程序被处理器执行时实现如本发明第一方面所述的步骤。