[发明专利]基于一致性约束建模的强化学习机器人控制方法及系统

权利要求书

1.一种基于一致性约束建模的强化学习机器人控制方法，其特征在于，包括：

步骤1、初始化环境和各网络参数；

步骤2、利用与真实环境的交互数据训练环境模型；

步骤3、利用策略网络π_φ与训练后的环境模型交互，将交互数据存放在数据存放器D_model中；

步骤4、根据环境模型，采用Soft Actor-Critic方法进行策略训练；

步骤5、重复执行步骤2至步骤4，直至收敛；

所述步骤4中，训练方法包括以下步骤：

步骤41、Critic部分对状态动作进行评估，Actor部分为选择动作的策略；

Critic的损失函数J_Q(ψ)为：

其中，α表示调节因子，r表示奖励值，s表示状态信息，a表示动作信息，γ表示折扣因子，H表示策略的熵函数；

Actor部分的损失函数J_π(φ)为：

J_π(φ)＝E[(D_KL(π_φ(·|s_t)||exp(Q_ψ(s_t，·)-log Z(s_t)))]

其中，Z函数为配分函数，对Q值进行归一化分布；D_KL表示计算和两个分布之间的KL距离；

步骤42、更新Q函数网络Q_ψ和策略网络π_φ的参数，并每隔预先设定时间更新Q-target函数网络参数；

更新方法为：

其中，表示Q-target函数网络参数，φ表示策略网络参数，ψ表示Q网络参数，表示对J_Q的参数ψ求梯度，表示对J_π的参数φ求梯度，ω,ω_π和ω_Q分别相应的更新步长，D_model为预测环境模型的数据存放器。

2.如权利要求1所述强化学习机器人控制方法，其特征在于，所述步骤1中，初始化构建策略网络π_φ，Q函数网络Q_ψ，Q-target函数网络及环境模型以及构建真实环境的数据存放器D_env←φ和预测环境模型的数据存放器D_model←φ。

3.如权利要求1所述强化学习机器人控制方法，其特征在于，所述步骤2中，环境模型的训练方法包括以下步骤：

步骤21、利用策略π_φ与真实环境交互，将交互数据存放在真实环境的数据存放器D_env；

步骤22、从真实环境的数据存放器D_env中自助采样N批数据{D₁,D₂,…,D_N}，并在N批数据中随机采样一批数据{D_s}；

步骤23、根据步骤22中的自助采样数据和随机采样数据，通过极大似然和一致性约束训练环境模型。

4.如权利要求3所述强化学习机器人控制方法，其特征在于，所述步骤23中，在N批数据{D₁,D₂,…,D_N}上通过极大似然方法分布训练N个环境模型同时，将随机采样数据{D_s}复制N份，通过一致性约束训练N个环境模型。

5.如权利要求4所述强化学习机器人控制方法，其特征在于，所述N个环境模型的更新方式为：

式中，ω_L表示更新步长的调节因子，表示对L_total的θ求梯度，L_total为整体的环境模型训练损失函数。