[发明专利]一种超越专家演示的阻抗控制模仿学习训练方法

权利要求书

1.一种超越专家演示的阻抗控制模仿学习训练方法，其特征在于步骤如下：

步骤1：收集专家演示轨迹

阻抗控制模型表达式为

其中，e＝x-x₀，x为实际位置，x₀为初始位置，e、和分别为末端执行器的位移、速度和加速度，M、B和K分别为惯性矩阵、阻尼矩阵和刚度矩阵，F为实际接触力；

定义s_t为当前状态，即当前跟踪位置误差e_t，速度跟踪误差和接触力F_t，a_t为当前动作，即阻抗参数M，B，K的值；奖励函数r_t可根据任务进行设置；

将(s_t，a_t，r_t，s_t+1)定义为演示轨迹的一个点，专家演示轨迹即为若干个点组成的一串连续轨迹；进行训练之前需要收集尽量多的专家演示轨迹；

步骤2：建立重放缓冲区

将步骤1所获得的所有专家演示轨迹归入专家演示区E；建立重放缓冲区R，同样将专家演示轨迹归入，即此时专家演示区与重放缓冲区相同；

对于多目标设置，期望状态由目标g∈G描述，不同的轨迹可以有不同的目标，并且每个目标对应一个声明f_g，用来代表目标是否已经实现；所训练智能体的真正目标即达到状态s_t+1，使得f_g(s_t+1)＝1；

从目标集合G中采样目标g，并在目标为g的情况下应用当前策略π，获得若干采样轨迹，加入重放缓冲区中；

步骤3：基于生成性对抗模仿学习通过占用度量匹配更新鉴别器

利用下式在专家演示区和重放缓冲区采样，得到在专家演示区采样，得到(s_t，a_t)_E；在重放缓冲区采样，得到(s_t，a_t)_R；

生成性对抗模仿学习是通过占用度量匹配来学习参数化策略的一种方法，生成性对抗模仿学习包括鉴别器和生成器，生成器产生一系列状态-动作对，在步骤4中产生，鉴别器D(s_t，a_t)是一个二进制分类器，试图区分状态-动作对是来自专家还是来自经过训练的策略；鉴别器参数可以通过下式更新：

其中H(π_β)是熵正则项；

步骤4：通过深度确定性策略梯度获得目标策略

演员网络π_β(s_t)的目的是学习使动作价值函数最大的策略，用参数β控制；批评家网络Q_α(s_t，a_t)的目的是评估当前状态下动作的价值，从而指导演员采取最佳行动，由参数α控制；二者相互促进，最终获得目标策略；为了使学习过程稳定，采用参数分别为α′和β′的批评家网络和演员网络作为目标网络；

1)批评家网络参数更新

通过最小化损失函数来更新批评家网络Q_α(s_t，a_t)；批评家网络的损失函数为

其中，Q_α(s_t，a_t)为预测的动作价值函数，y为时间差分目标；y可由目标网络计算；

y＝r_t+γQ_α′(s_t+1，π_β′(s_t+1))

γ是一个预定义的折扣因子，奖励r_t由鉴别器奖励和额外的后见之明奖励构成，k₁和k₂为其对应系数；

因此可用下式更新批评家网络和目标网络：

α′＝τα+(1-τ)α′

2)演员网络参数更新

类似于批评家网络，演员网络π_β(s_t)也通过最小化损失函数来更新；演员网络的损失函数为

其中，是用于加速学习的退火奖励；

因此可用下式更新演员网络和目标网络：

β′＝τβ+(1-τ)β′

获得期望结果通常需重复执行一定次数，需要重新采样并扩充重放缓冲区进行进一步循环；循环若干次之后演员网络π_β(s_t)所代表的策略即为最终所得目标策略。