[发明专利]一种针对边缘网络下突发请求的强化学习调度方法及设备

权利要求书

1.一种针对边缘网络下突发请求的强化学习调度方法，其特征在于，包括以下步骤：

S1、建立系统模型，包括通信模型、请求模型和服务器模型；

S2、根据系统模型为调度突发请求建立目标函数，将调度突发请求转化为优化问题；

S3、采用强化学习求解优化问题，定义状态空间、动作空间和奖赏函数，建立强化学习模型；

S4、采用A3C算法训练强化学习模型直至收敛；

S5、将训练好的强化学习模型用于边缘网络的请求调度；

其中，所述步骤S1包括：

S1-1、建立通信模型：将网络链接分为上行链路和下行链路，假设带宽H被分成|K|个不同频率的子波，移动设备端和服务器端的传输能力分别为p_u和p_s，上行和下行链路有相同的噪声N₀，上行和下行链路的信道衰弱系数分别为h_ul和h_dl，上行和下行链路的目标误码率分别为g_ul和g_dl，用户和基站之间的距离为d，当前可用的的频率子波数量为k，路径损失系数为β_l，可得上行和下行链路的最大容量r_ul和r_dl：

S1-2、建立请求模型：利用输入规模来衡量工作量，设请求R_i的输入大小为B_i，ω代表每字节需要的CPU周期数，则总工作量W_i＝ωB_i；

S1-3、建立服务器模型：根据边缘服务器资源受限，只能配置有限个服务的现实，使用指示变量来指示AP_j是否有服务m_i，使用表示在AP_j为服务m_i分配的核数，那么有：M代表所有的服务集合，C_j表示部署在AP_j上的服务器的总核数；

所述步骤S2根据请求的两阶段处理特征，建立目标函数，包括：

S2-1、第一阶段，移动设备选择一个最优的接入AP，并将请求发送到该AP上的服务器，以表示用户u_i可以连接的AP集合：

其中φ(u_i)表示用户u_i可以直接连接的AP集合，指示AP_j是否为请求配置了相关服务；

用指示变量来指示是否选择了AP_j，那么：

其中表示用户u_i在t时刻发布的请求的输入大小，即为上行数据规模，W_i^t表示请求的工作量，表示请求的上行传输时间，表示用户u_i到AP_j的上行链路容量，表示请求的下行传输时间，为下行数据规模，表示AP_j到用户u_i的下行链路容量，表示请求在AP_j的计算处理时间，表示AP_j的服务器为请求分配的核数，f表示每个核的处理能力，表示请求在AP_j的计算时间，表示AP_j的服务器上与同类的请求的等待队列，W_q表示等待队列中q的工作量；

S2-2、若请求的预测完成时间超过请求允许被完成的最晚时间，则进入第二阶段，将一定比例的工作量卸载到相邻服务器；

以表示与AP_i相邻且配置了相同服务的AP集合：

用l_(j，k)表示AP_j和AP_k之间的传播时延，和表示分配到接入AP_j和邻居AP_k的比例，表示将任务量从AP_j重分配到AP_k的时延，那么：

其中均为AP_i和AP_j之间的传播时延，表示请求在AP_k的计算处理时间，表示请求在AP_k的等待时间；

S2-3、针对在时间T内到达的所有请求，要最大化按时完成的请求数量，同时满足服务器和网络的资源限制，得到如下优化问题Ω：

s.t.

其中表示请求允许被完成的最晚时间，U表示用户集合；

所述步骤S3将AP的选择、相邻服务器的选择、以及工作量的分配方案耦合成动作向量a_t，将网络状态、请求特征、服务器状态组合成状态向量s_t，通过时延和允许被完成的最晚时间定义其奖赏函数reward。