[发明专利]基于计算迁移的云边协同控制系统及迁移决策生成方法

权利要求书

1.一种基于计算迁移的云边协同控制系统，包括：云端、由多个边缘节点构成的边缘计算中心以及多个终端；其中，所述云端与每个边缘节点之间、每个边缘节点与该节点聚集的各终端之间相互连接；其特征在于，所述云端用于从各边缘节点接收该节点的带宽和计算资源的分配情况的状态信息并储存，云端利用储存的当前状态信息及所有历史状态信息，通过云边协同深度强化学习算法生成当前时刻最优的迁移决策，并将该最优的迁移决策返回给边缘计算中心的各个边缘节点；其中，所述迁移决策包括各边缘节点执行各终端发送的计算任务的计算成本，边缘节点分配给各终端的带宽占比和计算资源占比，以及各终端是否选择边缘节点执行计算的指标值；

所述每个边缘节点用于接收该边缘节点聚集的各终端发来的计算任务请求；当收到计算任务请求时，边缘计算中心将当前各边缘节点的带宽和计算资源的分配情况的状态信息发送给云端，然后各边缘节点接收云端生成的最优的迁移决策并将该迁移决策发送给对应的终端；之后边缘节点接收其聚集的各终端按照对应的迁移决策上传的计算任务的数据，该边缘节点接收数据后进行计算，再将对应的计算结果发送回该终端；

所述终端用于进行电力系统各环节的数据采集并通过采集的数据判定是否需要执行计算任务；当终端中需要处理的计算任务数据超出本地的计算能力，该终端向对应的边缘节点发送计算请求，然后各终端接收对应的边缘节点发送的最优的迁移决策并按照该决策上传计算任务的数据，并从边缘节点接收计算的结果。

2.如权利要求1所述的系统，其特征在于，所述云端用于接收每个边缘节点上传的该节点聚集的各终端的自身状态参数，通过存储在云端的电力系统控制模型计算各边缘节点聚集的各终端参与电力系统控制的参数并将该参数发送给对应的边缘节点；每个边缘节点用于接收该边缘节点聚集的各终端发送的自身状态参数，该边缘节点将接收到的所有状态参数发送给云端；每个边缘节点辅助云端进行电力系统控制模型的计算，接收云端发出的该边缘节点聚集的各终端参与电力系统控制的参数，并将该参数发给对应的各终端；各终端用于向对应边缘节点上传自身的状态参数，并接收对应边缘节点发送的该终端参与电力系统控制的参数并执行。

3.一种基于权利要求1所述系统的迁移决策生成方法，其特征在于，该方法包括以下步骤：

1)记i表示第i个终端，其中i∈{1，2，…，N}，N代表终端的总数；j表示第j个边缘节点，其中j∈{0，1，2，…，M}，M代表边缘节点的总数；其中，当j＝0时，其对应的边缘节点为终端本身；

各边缘节点对其聚集的各终端的信息进行同步更新，并对其聚集的每个终端建立一个对应的任务表：其中x_ij表示计算任务在本地执行还是被迁移的0-1变量，当x_ij＝1时，计算任务需要被迁移，当x_ij＝0时，计算任务在本地执行；λ_ij表示边缘节点j分配给终端i的带宽占比，β_ij表示边缘节点j分配给终端i的计算资源占比；T^tol_i表终端i的最大容许延迟；

由所有的任务表可以得到总任务集F：F＝{F_ij|i∈{1,2,3,…,N},j∈{1,2,3,…,M}}；

2)终端i的本地计算延迟为：其中f_i^l表示终端i的算力；

因此终端i在本地计算时产生的能耗为:其中p_i^l表示终端i的计算功率；

终端i的计算成本为：其中α和1-α分别表示时间成本和能耗成本的权重，α∈[0,1]；

3)当终端i的本地计算任务计算时间大于最大容许延迟T^tol_i，则通过迁移计算，由终端i对应的边缘节点j进行迁移计算；

用户端任务i迁移至边缘节点j上下行链路速率分别如下：

其中B_j表示边缘节点j的带宽；P_i^up表示终端i上传数据的传输功率；H_i表示终端i的无线信道的信道增益；N₀表示噪声功率；g_up目标误码率；d(i,j)表示终端i与边缘节点j之间的距离，ξ表示传输信道路径的损耗指数；

终端i的任务迁移到边缘节点j的执行过程总延迟为：

式中，分别代表终端i的任务迁移到边缘节点j的上传时间延迟，在节点j的计算时间以及将计算结果返回用户终端i的时间延迟；

终端i的任务迁移到边缘节点j的执行过程总能耗为：

式中，分别代表终端i的任务迁移到边缘节点j上传传输功率，在节点j的计算功率以及将计算结果返回终端i的传输功率；

最后得到终端i的任务迁移到边缘节点j的传输总成本为：

4)云端执行基于Actor-Critic算法的云边协同深度强化学习算法，得到最优的迁移策略；具体方法如下

定义：

状态空间：S_t＝(C_ij(t)) (5)

动作空间：A_t＝(z_ij(t),λ_ij(t),β_ij(t)) (6)

式中C_ij(t)表示t时刻终端i的任务迁移至边缘节点j计算的总成本；λ_ij(t)、β_ij(t)分别t时刻边缘节点j分配给终端i的带宽和计算资源占比；z_ij(t)表示t时刻终端i选择边缘节点j进行迁移；

定义奖励函数为：

其中v为奖励值；

定义策略函数为：π(s_t，a_t)＝π(a_t|s_t；θ)

其中θ为使用策略迭代更新网络中的权重参数，关于奖励期望E[R_t]的策略梯度更新公式为：

其中，b_t(s_t)为基线函数，基于价值函数的深度神经网络，损失函数定义为：

其中为权重参数，Target Q定义为：

式中，γ为衰减因子；

算法执行过程中，输入设置为：

记需要计算的任务数据大小为D_i,i∈{1,2,…,N}；用户终端i的最大容许延迟为带宽设置为B_j,j∈{1,2,…,M}；计算能力表示为:

输出设置为：

优化得到的计算成本以及边缘节点分配给终端i的带宽占比边缘节点j分配给终端i的计算资源占比以及表示终端i是否选择边缘节点j执行计算的指标

算法具体步骤如下：

1初始化深度神经网络(DNN)权重指标θ,θ',ω,ω'以及每个边缘节点的最大迭代次数；

2设置t＝1；

3设置t₀＝t；同步边缘节点中的参数：θ＝θ',ω＝ω'；

4基于策略π(a_t|s_t；θ')选取动作a_t，记录奖励值r_t以及由动作a_t执行得到的新的状态s_t+1，t＝t+1；重复执行此步骤直到t-t₀＝T；

5设置h＝t-1，通过式(8)优化奖励值；

6根据损失函数式(9)和目标Q值函数式(10)来计算Q值；

7根据计算得到的Q值，得到R＝r_h+γR；

8依据以下函数更新累计梯度：

9判断h是否与t₀相等：如果不相等则返回步骤5；如果相等则进入步骤10；

10更新云端的深度神经网络DNN参数：θ＝θ-ρ₁dθ，ω＝ω-ρ₂dω；

11将更新后的DNN参数θ，ω传递给云端；

12判断是否所以边缘节点均已执行，如果没有执行完，则返回步骤3；如果所以边缘节点均已执行则进入步骤13；

13求解得到当前时刻最优的迁移策略，包括：以及