[发明专利]一种强化学习中受意愿控制的策略学习方法

摘要

本发明涉及一种强化学习中受意愿控制的策略学习方法，其主要技术特点是：在原始的累计期望回报基础上，加入意愿变量与动作的互信息正则约束，使得累积期望回报最大的同时，隐变量与产生动作之间的互信息最大化，在求解最优解的过程中，使用变分的方法来逼近真实的最优解。本发明设计合理，能够实现可受意愿控制功能，其与人类采取行动的模式一致，更加符合智能化的标准，且在特定任务情况下，可以加快学习速度；同时，在实际求解过程中，利用变分方法提供了与原目标函数等价的可以求解的目标函数，使难解的目标函数求解问题可解。

主权项

1.一种强化学习中受意愿控制的策略学习方法，其特征在于包括以下步骤：步骤1、在原始的累计期望回报基础上，加入意愿变量与动作的互信息正则约束，使得累积期望回报最大的同时，隐变量与产生动作之间的互信息最大化，其目标函数表示为：Φ(θ)＝J(θ)+λ·I(c；πθ(at|st,c))其中，J(θ)为强化学习方法中的原始的累积期望回报；I(c；πθ(at|St,c))表示隐变量c与动作变量At之间的互信息，πθ(At|st,c)表示策略模型，c表示意愿变量或可解释的隐变量，λ表示正则化超参数，θ表示策略参数；学习最终目标是找到最优参数θ*：θ*＝argmaxθΦ(θ)；步骤2、在求解最优解的过程中，使用下述的变分的方法来逼近真实的最优解：定义Q(c|at)来逼近p(c|at)，从而获得互信息的变分下解为：将目标函数在实际优化过程中，等价为MAxθ,QJ(θ)+λ·L(π,Q)其中Q为隐变量后验概率的逼近，π为策略。