[发明专利]基于增强学习的小型无人直升机定高控制方法

说明书

本发明涉及室内小型无人直升机智能高度控制方法，为提出一种基于离线增强学习的连续控制方法，实现小型无人直升机在有外界扰动的情况下，在室内定位环境中的定高飞行。为此，本发明采取的技术方案是，基于增强学习的小型无人直升机定高控制方法，首先构建基于马尔科夫序列的直升机模型和回报函数，再采用随机逼近的方法训练迭代得到优化的控制器参数，最后将训练后的控制器带入真实的直升机系统实施控制。本发明主要应用于室内小型无人机设计制造场合。

技术领域

本发明涉及一种室内小型无人直升机高度控制的智能控制方法，具体为一种基于离线飞行数据的的增强学习控制方法。

背景技术

在小型无人直升机执行如悬停、低速前进飞行和巡航飞行时，需要具备稳定自身高度的能力，定高控制也是直升机稳定飞行和其他许多复杂控制的实现基础。但是，高度控制器的设计也面临着许多严峻的问题。第一，飞机的高度保持不能通过俯仰角的控制来完成目标。当飞机在纵向通道上受到常值干扰力矩时，飞行速度向量会逐渐偏离原方向，因此会诱导高度产生漂移。第二，在俯仰角趋于稳定的动态过程中，当航行轨迹倾斜角的变化量平均值不为零时，也会引起飞行高度的改变。第三，直升机在定高状态下，由于主旋翼自身能够产生较大的空气流作用，对机身的稳定状态会产生较大的漂移干扰。第四，地面效应、飞机电量等因素也会使得直升机在高度方向发生改变。第五，从控制操作性上分析,虽然可通过控制升降舵或控制发动机推力的大小来控制飞行高度，但借助于控制推力来控制飞行高度惯性很大，反应缓慢。

因此，基于确定模型设计的观测器和控制器在实际控制中和真实系统存在着较大的偏差，控制效果不佳。通过直接采集和分析飞行数据的方式表述系统的性能特性并以此基础设计控制器是一个比较有效的思路，数据驱动便是一种被广泛采取的方法。候忠生等人对此方法做出了详细的理论说明和实验验证(期刊：自动化学报；著者：许建新，候忠生；出版年月：2009；文章标题：数据驱动系统方法概述；页码：668-675)。该方法虽然能够实现系统的稳定控制，但是对于误差收敛的速度和精度没有约束限制，控制效果比较一般。而同样是基于系统自身数据的强化学习策略控制方法通过通过观察系统的回报函数，使得系统沿着整体最优的方式实现稳定控制，能取得更加精确的控制效果。

近年来，增强学习控制技术在无人机控制领域得到了一定的应用。吴恩达等人采集直升机的姿态和控制量离线飞行数据，设计离线增强学习控制方法。并采用局部线性规划方法构建出系统的马尔科夫模型，通过梯度下降的迭代方法，最终收敛到高度控制器的最佳控制参数(期刊：Communications of the Acm；著者：Coates A,Abbeel P,Ng A Y；出版年月：2009；文章标题：Apprenticeship learning for helicopter control；页码：97-105)。该方法不需要已知模型的先验信息，对于复杂的小型无人直升机系统是一种理想的控制方法选择。

发明内容

为克服现有技术的不足，本发明旨在提出一种基于离线增强学习的连续控制方法，实现小型无人直升机在有外界扰动的情况下，在室内定位环境中的定高飞行。为此，本发明采取的技术方案是，基于增强学习的小型无人直升机定高控制方法，首先构建基于马尔科夫序列的直升机模型和回报函数，再采用随机逼近的方法训练迭代得到优化的控制器参数，最后将训练后的控制器带入真实的直升机系统实施控制。

具体步骤如下：

步骤1)定义马尔科夫(Markov)决策过程：