[发明专利]面向流域大坝安全管控的多服务器协同缓存更新方法和装置

权利要求书

1.一种面向流域大坝安全管控的多服务器协同缓存更新方法，面向流域大坝应急响应系统，其特征在于，包括如下步骤：

(1)构造大坝应急响应系统中用户请求大坝监测内容的缓存模型和时延模型；

(2)构造最大化用户请求节省时延的目标函数；

(3)将最大化用户请求节省时延的协同缓存问题表示为部分可观测马尔科夫决策过程；

(4)将不同水电站的边缘服务器映射为不同的智能体，利用多智能体循环深度确定性策略梯度算法通过智能体收集用户内容请求信息、内容请求特征和边缘服务器的缓存状态，组合成一个系统状态；

(5)随机初始化Actor网络与Critic网络的参数，并将系统状态信息作为每个智能体的输入；

(6)仅在每一训练轮次的最后时间t进行每个智能体之间的缓存信息交互，并利用GRU循环神经网络记忆历史交互的全局状态信息和动作信息，在下一回合的每一时隙t通过GRU网络合理估计其它智能体可能的缓存状态；

(7)每个智能体在每一训练轮次的时隙t根据当前策略和随机探索噪声选择动作，执行动作后得到奖励和下一观测状态；

(8)将交互经验存储到经验回放池中，从中随机抽取若干个经验样本，根据样本数据训练两个网络；

(9)对目标网络参数进行更新；

(10)重复步骤4-9，直到迭代过程结束，找出最优协同缓存更新方案。

2.根据权利要求1所述的面向流域大坝安全管控的多服务器协同缓存更新方法，其特征在于，所述步骤(2)中构造最大化用户请求节省时延的目标函数，节省的传输时延具体是指相对于从流域中央服务器获取内容所节省的时延，在一个运行周期中，平均节省的传输时延为：

其中，终端用户u来自于用户集合D_u,i表示当终端用户u请求的内容从本地服务器i中获取时的节省时延，D_u,j表示当终端用户u请求的内容从邻近服务器j中获取时的节省时延。

3.根据权利要求2所述的面向流域大坝安全管控的多服务器协同缓存更新方法，其特征在于，所述目标函数为在边缘服务器缓存空间约束下最小化用户请求的平均传输时延，将协同缓存问题转化为最大化用户请求的平均节省传输时延问题，即：

其中，约束条件(1)是边缘服务器的覆盖约束，表示所服务的用户均在边缘服务器服务范围内，约束条件(2)是边缘服务器的缓存空间约束，表示边缘服务器内缓存的内容大小不能超过自身最大缓存容量C，约束条件(3)是缓存决策变量的非负性和完整性约束；其中ξ_i,u是一个指示用户u是否在边缘服务器i所覆盖范围内的指示器，具体表示为：

4.根据权利要求1所述的面向流域大坝安全管控的多服务器协同缓存更新方法，其特征在于，所述步骤(3)中将最大化用户请求节省时延的协同缓存问题表示为部分可观测马尔科夫决策过程中的状态空间、动作空间和奖励函数具体表示为：

状态空间：第t时刻的系统状态由每一个边缘服务器所服务用户的内容请求信息内容请求特征和边缘服务器缓存状态组成；用户内容请求信息表示为用户请求内容特征表示为边缘服务器缓存状态是指在边缘服务器在不同时间节点时缓存了哪些内容，表示为则边缘缓存系统的状态空间表示为

动作空间：第t时刻做出的动作包括每个边缘服务器的协同缓存决策；边缘缓存系统的动作空间表示为其中为每个边缘服务器的缓存决策，表示每个智能体的本地观测信息；

奖励函数：由目标函数得到在第t次更新后的奖励r_t具体表示为r_t＝ΔD^t+1，其中ΔD^t+1表示第t次更新后用户的平均节省时延。