[发明专利]一种基于强化学习和迁移学习的无人机自主飞行训练方法

说明书

本发明公开一种基于强化学习和迁移学习的无人机自主飞行训练方法(1)创建无人机仿真模拟器环境；(2)构建基于深度学习的环境转移模型，并随机初始化其中的映射；(3)构建强化学习的A3C算法，并随机初始化其飞行策略；(4)构建基于深度学习的环境逆转移模型；(5)收集无人机操作员和策略在现实环境下操作无人机进行飞行得到的飞行数据；(6)基于现实飞行数据，更新环境转移模型；(7)使用和进行基于动作校正的迁移学习，校正飞行策略，并在模拟器执行得到模拟飞行数据；(8)基于模拟飞行数据，使用A3C算法更新飞行策略，同时更新环境逆转移模型。直至策略收敛。最终得到策略作为的现实无人机的初始飞行策略。

技术领域

本发明涉及一种基于强化学习和迁移学习的无人机自主飞行训练方法，属于无人机自主飞行控制技术领域。

背景技术

在多样、复杂、快速变化的环境下无人机的自主飞行控制一直是无人机飞行控制领域的难点。传统的飞行控制通过手工方式编写飞行控制规则，即事先考虑无人机飞行过程中所有可能遇到的情形，再结合无人机领域专家的专业知识和经验，通过反馈控制、编写规则等方式一一处理列举出的情形。但，首先规则编写需要花费大量的人力成本；其次，各种情形间的相互影响，若未能考虑到某些情形或情形间相互的影响，就会导致飞行控制失败；最后，无人机自主飞行控制需要考虑雷达、摄像头等高维度的感知信息，这些高维信息的处理对于传统的无人机飞行控制是巨大的挑战。

近年来强化学习在电子游戏等模拟环境和机械臂等现实环境的自主控制都取得了令人瞩目的成功。强化学习训练需要大量的样本，在现实环境中获取样本，具有危险性高、速度慢、设备成本高等不利因素，因此需要模拟器对现实环境进行仿真。一些无人机领域的相关研究，也通过强化学习算法，在构建对现实环境进行模拟的仿真模拟器上，让模拟无人机在模拟环境中进行大量试错，学习得到自主飞行策略。

然而模拟器环境和模拟无人机不可避免的与现实环境和现实无人机存在差异，导致在模拟器中学习得到的飞行策略并不很可能给无人机在现实环境下的表现带来提升。针对上述传统自主飞行控制中的人力成本问题和强化学习中的模拟器与现实环境存在差异的问题，一种方法是结合强化学习和迁移学习。无人机通过强化学习的方式在模拟器环境中进行大量的试错学习，并通过迁移学习的方式减小模拟器环境和现实环境的差异带来的不利影响。针对特定的问题选用何种迁移学习算法是关键。常用的迁移学习算法是域适应(Domain Adaption)，其需要现实环境中的最优飞行数据，在模拟器中对无人机飞行策略进行训练时，要求无人机的模拟飞行轨迹与现实环境中的最优飞行轨迹具有相同的分布。域适应的迁移学习无法充分利用其余大量的非最优飞行数据，而现实环境的最优飞行数据并不容易获取。

发明内容

发明目的：对于无人机自主飞行控制问题，针对手工规则控制无法处理复杂多变的环境的情况，以及强化学习算法进行无人机飞行策略训练的模拟环境与现实环境不可避免存在的差异，导致飞行策略无法应用到现实环境中的问题，本发明提供一种基于强化学习和迁移学习的无人机自主飞行训练方法。基于强化学习，并结合基于动作校正的迁移学习减小模拟器和现实差异给飞行策略带来的不利影响。本发明学习得到飞行策略与现实环境的最优飞行策略差异较小，并且飞行动作流畅，可以作为现实无人机中较好的初始飞行策略或者辅助飞行策略。

技术方案：一种基于强化学习和迁移学习的无人机自主飞行训练方法，采集现实环境中飞行数据，学习得到现实环境的状态转移模型；在模拟器中同时训练无人机飞行策略和模拟器环境的逆转移模型，并使用现实环境的转移模型和模拟环境的逆转移模型对将要在模拟器执行的飞行动作进行校正。包括如下步骤：