[发明专利]一种强化学习中受意愿控制的策略学习方法

权利要求书

1.一种强化学习中受意愿控制的策略学习方法，其特征在于包括以下步骤：

步骤1、在原始的累计期望回报基础上，加入意愿变量与动作的互信息正则约束，使得累积期望回报最大的同时，隐变量与产生动作之间的互信息最大化，其目标函数表示为：

Φ(θ)＝J(θ)+λ·I(c；π_θ(a_t|s_t,c))

其中，J(θ)为强化学习方法中的原始的累积期望回报；I(c；π_θ(a_t|S_t,c))表示隐变量c与动作变量A_t之间的互信息，π_θ(A_t|s_t,c)表示策略模型，c表示意愿变量或可解释的隐变量，λ表示正则化超参数，θ表示策略参数；

学习最终目标是找到最优参数θ^*：

θ^*＝argmax_θΦ(θ)；

步骤2、在求解最优解的过程中，使用下述的变分的方法来逼近真实的最优解：

定义Q(c|a_t)来逼近p(c|a_t)，从而获得互信息的变分下解为：

将目标函数在实际优化过程中，等价为

MAx_θ,QJ(θ)+λ·L(π,Q)

其中Q为隐变量后验概率的逼近，π为策略。

2.根据权利要求1所述的强化学习中受意愿控制的策略学习方法，其特征在于：所述策略模型使用高度非线性的递归型神经网络。