[发明专利]一种基于多重目标神经网络的强化学习值函数更新方法

权利要求书

1.一种基于多重目标神经网络的强化学习值函数更新方法，其特征在于，包含以下步骤：

(1)构建并初始化强化学习智能体：强化学习智能体主要包括1个在线神经网络和K个目标神经网络，其中目标神经网络的编号分别为0，1，……，K-1；

(2)智能体与环境进行交互：智能体在环境的当前状态s_t执行动作a_t，转移到下一时刻状态s_t+1，并得到环境返回的立即奖励值r_t；

(3)更新目标神经网络参数：每隔一定训练次数T_target，将在线神经网络的参数θ复制到编号为mod(T_sum/T_target,K)的目标神经网络中，其中mod()为除法的取余运算，T_sum为当前迭代次数，T_target为目标神经网络的更新周期次数；

(4)使用多重目标神经网络进行值函数更新目标的计算：为消除过大的过估计误差，本发明使用K个目标神经网络输出中小于阈值的值函数来计算一个新的值函数更新目标：

其中，为第k个目标神经网络的输出值，c_k表示该输出值是否超过阈值：

其中，sign()为符号函数，当参数大于0时返回1，小于0时返回-1，等于0时返回0；为K个目标神经网络输出的平均值，α为调节阈值大小的超参数因子；注意，一种不包含于上述公式的特例是直接使用K个目标神经网络中的最小输出值来计算更新目标y_K；

(5)利用基于多重目标神经网络的更新目标来更新在线神经网络参数：在每一次训练中，利用上述更新目标y_K构造损失函数来训练在线神经网络的参数，损失函数为：

L(θ)＝(y_K-Q(s_t，a_t；θ))²，

其中，Q(s_t，a_t；θ)为在线神经网络的输出值；

(6)判断是否达到预定的训练总次数，是则退出训练，否则继续训练。

2.根据权利要求1所述的方法，其特征在于，步骤(4)中所述使用多重目标神经网络进行值函数更新目标的计算：为消除过大的过估计误差，本发明使用K个目标神经网络输出中小于阈值的值函数来计算一个新的值函数更新目标：

其中，为第k个目标神经网络的输出值，c_k表示该输出值是否超过阈值：

其中，sign()为符号函数，当参数大于0时返回1，小于0时返回-1，等于0时返回0；为K个目标神经网络输出的平均值，α为调节阈值大小的超参数因子；注意，一种不包含于上述公式的特例是直接使用K个目标神经网络中的最小输出值来计算更新目标y_K。