[发明专利]一种基于深度强化学习的水文预报模型参数率定方法

权利要求书

1.一种基于深度强化学习的水文预报模型参数率定方法，其特征在于，包括以下步骤：

步骤1、选定水文预报模型及确定所需率定参数；所述的水文预报模型以降雨及蒸发时间序列作为输入，以预报流量的时间序列作为输出；

步骤2、建立水文预报模型参数率定的强化学习模型；所述的强化学习是指智能体Agent与环境交互学习的过程，其强化学习的关键三要素为状态空间、动作空间和奖励值函数；

步骤3、应用深度强化学习方法DQN，优化水文预报模型率定的参数；

在所述步骤1中，选定水文预报模型及确定若干率定参数的过程包括：

根据流域特性选取不同的水文预报模型，确定该水文预报模型所需要率定的参数wⁱ,i＝1,2,...,N，N为水文预报模型所需率定参数的个数；

每个参数的取值范围：

其中，分别为第i个率定参数的最小值和最大值；

所述步骤2中建立水文预报模型参数率定的强化学习模型，其过程包括：

2-1)确定强化学习的状态空间：

定义t时刻强化学习状态值为水文预报模型的数个率定参数组成的一维向量s_t；

其中为当前t时刻水文预报模型率定参数值；

t时刻参数值变化具有两种可能：增大或减小；设参数增大或减小幅度均为Δⁱ，则t+1时刻参数值可能为或

2-2)确定强化学习的动作空间：

定义强化学习动作空间A为各个率定参数变化的所有可能情况：

其中，2^N为强化学习动作空间中动作的个数；矩阵A的每一行为选定的动作，即t时刻动作值a_t的可能值；

2-3)确定强化学习的奖励值函数：

设为M个时段的实测的流量值，其中为第i个时段的实测流量值；

根据t时刻状态t+1时刻通过水文预报模型获取预测流量序列分别为：

其中分别为第i个时段的t时刻、t+1时刻预报流量值；

定义t时刻的均方根误差为RMS_t，t+1时刻的均方根误差为RMS_t+1：

定义在t时刻状态s_t下执行动作a_t到达t+1时刻状态s_t+1获得的奖励值r_t(s_t,a_t,s_t+1)：

其中，C₁为常数，大于0；C₂为常数，小于0；C₃为常数，大于0；

所述步骤3中应用深度强化学习方法DQN，优化水文预报模型率定的参数，其过程包括：

根据所确定的强化学习的关键要素，执行下述深度强化学习方法DQN：

输入：初始化经验池D容量为N；

使用随机权重θ初始化动作值网络Q；

使用权重θ′＝θ初始化目标动作值网络

过程：

For 1,M do

初始化状态s₁；

For t＝1,T do

根据概率ε选择一个随机动作a_t，1-ε概率选择a_t＝argmax_a Q(s_t,a；θ)；

执行动作a_t，并获取奖励r_t，得到下一状态s_t+1；

将(s_t,a_t,r_t,s_t+1)保存在经验池D中；

当经验池D达到一定数量时从中随机取出若干组(s_t,a_t,r_t,s_t+1)为mini-batch；

设置：

执行一个梯度下降步骤(y_j-Q(s_j,a_j；θ))²更新动作值网络参数θ；

每C步重置目标动作值网络

End For

End For

输出：最优状态：

当DQN算法优化曲线达到收敛状态，则此时总奖励值处于轻微抖动状态，最优率定的参数值为