[发明专利]基于增强学习的小型无人直升机定高控制方法

权利要求书

1.一种基于增强学习的小型无人直升机定高控制方法，其特征是，首先构建基于马尔科夫序列的直升机模型和回报函数，再采用随机逼近的方法训练迭代得到优化的控制器参数，最后将训练后的控制器带入真实的直升机系统实施控制。

2.如权利要求1所述的基于增强学习的小型无人直升机定高控制方法，其特征是，具体步骤如下：

步骤1)定义马尔科夫(Markov)决策过程：

马尔科夫过程表示为一个六元组(S,J,A,{P_sa(·)},γ,R)，其中S表示环境所有可能的状态集合；J为决策时的目标函数；A表示动作空间中的动作集合；P_sa:S×A→S'表示状态转移函数，意为对于每一个时刻状态s(t)∈S，动作a(t)∈A，在该状态下采取该动作，到达下一时刻状态s(t+1)的概率分布；γ为折扣因子，范围在0到1之间；R为采取相应动作获得的回报函数，在获知了各状态下P_sa(·)和R的环境模型条件下，应用动态规划的方法求得最优策略；

步骤2)数据处理与建模：

在基于强化学习的高度控制器中，将直升机控制看做马尔科夫随机序列，选择为系统的状态，依次表示高度，垂直方向的速度和加速度，变量z代表高度方向。离线数据的获取通过手动模拟定高控制过程获取，共采集三组期望高度的各两分钟飞行数据，包括系统状态中的三个变量和对应的舵机垂直方向的控制量；采集完成后，进行数据处理过程，当前状态s(t)和控制量u(t)的对应数据对存储在数据矩阵中，其中，t代表离散系统中的当前时刻，m表示训练的数据样本数量，n_s表示状态的维数，n_u表示控制量的维数，加1是用于表示拟合公式中的截距的系数，系统输出的数据即为下一时刻的状态s(t+1)存储在矩阵中，具体的表达式如式(1),(2)：

进行局部加权线性回归，将当前状态s(t)和控制量u(t)映射为下一个时刻的状态s(t+1)，根据定义，定义权重矩阵W∈R^m×m为对角矩阵，这里采用最常用的高斯核函数，且是一个对角矩阵，矩阵的权重值表达式如式(3)：

式子中x⁽ⁱ⁾是先验数据X矩阵中的第i行，x为当前时刻的状态控制向量[1 s(t)^T u(t)^T]；参数τ为高斯核的尺度衡量量，决定了权重值ω_ii受先验数据影响的范围，在上述处理完成后，根据回归拟合误差最小二乘思路的求导数过程，建立的数据系统模型表达如式(4)：

式中的v为与真实系统间的噪声偏差补偿量，就是建模过程中没有考虑到的其他因素，令v＝0；

步骤3)连续鲁棒控制律设计：

首先要确定当前时刻的回报函数，采用状态变量的二次型函数构造回报函数R(t)如式(5)：

其中，Q为正定参数矩阵，的表达式如式(6)：

该式中r_z,ref(t),表示直升机在垂直方向上的期望高度，期望速度和加速度；

确定了回报函数后进行控制迭代算法的设计，利用参考输入和当前状态得到控制量u(t)的值，即u(t)＝π(s(t),ω),实现表达式如式(7)：

利用强化学习的最终目的就是找到最优的控制策略π(s(t),ω)，使得一段时间内的总回报值R_total取得最大值，此时的控制量表达式权重即是期望得到的最优权重向量ω_best，这里采用随机逼近策略作为参数迭代的策略。

3.如权利要求1所述的基于增强学习的小型无人直升机定高控制方法，其特征是，随机逼近策略具体步骤是，首先初始化状态、动作、控制权重初值，根据离线数据得到的LWLR模型获得下一时刻的状态和此时的回报函数值，根据下一时刻状态和控制权重得到下一时刻的动作，不断循环该过程，记录每一个状态时刻的回报值，对该序列产生的回报值求和。并据此对控制权重进行迭代更新，不断寻找直到找到最小回报函数和对应的控制权重，即为训练所得。