[发明专利]不确定环境接触下的可重构机器人分散学习最优控制方法

权利要求书

1.不确定环境接触下的可重构机器人分散学习最优控制方法，其特征是，首先建立可重构机器人系统动力学模型，通过对可重构机器人关节子系统间的耦合力矩交联项的分析，然后构建代价函数与HJB方程，通过基于策略迭代的学习算法，来求HJB方程的解，接下来采用神经网络对代价函数进行近似，最后通过仿真验证所提出控制方法的有效性；

该方法包括以下步骤：

步骤一，建立可重构机器人系统动力学模型如下：

上式中，下标i代表第i个模块，I_mi是转动轴的转动惯量，γ_i是齿轮传动比，θ_i，和分别是关节位置，速度和加速度，是关节摩擦项，是关节子系统间的耦合力矩交联项，τf_i是关节输出转矩，τ_i是电机输出转矩；

定义系统的状态向量控制输入u_i＝τ_i；

则子系统的状态空间的形式可以表示为：

上式中，B_i＝(I_miγ_i)^-1，代表已建模的动力学模型部分，是模型不确定项，包括摩擦模型误差和关节子系统间的耦合力矩交联项，x是关节的位置向量，是关节的速度向量，是关节的加速度向量；

步骤二，考虑式(11)，构建代价函数如下：

其中，s_i(e_i)定义为且e_i＝x_i1-x_id和分别代表第i个关节的位置和速度跟踪误差，x_id与分别是第i个关节的期望位置和速度，α_ei为确定常数，为效用函数，和是确定的正常数矩阵，D_i∈R⁺为已知的上界函数；

构建哈密顿方程和最优代价函数如下：

其中，是第i个关节期望的加速度，为代价函数J_i(s_i)的梯度；

在最优控制设计下，满足如下HJB方程：

令满足式(16)的分散最优控制律定义为如下形式：

其中，u_i1是反馈控制律，是最优补偿控制律；

处理式(11)中的和和将(16)式的HJB方程改写成：

接下来，定义反馈控制律u_i1为

其中，u_i1是利用第i个关节模块的已知局部信息设计，设计分散最优控制的律的问题可以转化为找到一个最优补偿控制律来处理可重构机器人系统的不确定项；分别为给定的摩擦参数的估计值，τ_fi为柔轮转矩。

步骤三，通过神经网络来近似代价函数J_i(s_i)，定义如下：

其中，W_ci是理想的权值向量，σ_ci(s_i)是激活函数，ε_ci是神经网络的逼近误差，J_i(s_i)的梯度通过神经网络近似为：

▽J_i(s_i)＝(▽σ_ci(s_i))^TW_ci+▽ε_ci (21)；

将式(21)带入式(18)可得：

理想权值W_ci是未知的，用近似权值来建立一个评价神经网络去估计代价函数：

根据哈密顿方程(14)和HJB方程(16)，哈密顿方程可以进一步改写为：

其中，u_i2是补偿控制律，e_cHi是由神经网络逼近误差而得到的残差，它可以定义为：

以同样的方式近似哈密顿方程，可得：

定义误差方程为权值估计误差为结合式(24)与式(26)，可以得到一个用表示e_ci的方程为：

训练和调整评价网络的权值信息，采用目标函数它可以被训练来取到最小值，且神经网络的权值可以通过下式进行更新：

其中，α_ci＞0表示评价神经网络的学习速率；

推导出神经网络权值的动态误差，引入下式：

通过式(27)，(28)和(29)，得到评价神经网络的动态误差如下所示：

在实现在线策略迭代算法来对策略进行改进时，得到了近似最优控制律如下所示：

结合式(19)与(31)，得到本发明的分散学习最优控制律为：