[发明专利]基于深度强化学习的无人机自主避障系统及方法

说明书

本发明公布了基于深度强化学习的无人机自主避障系统和方法，通过新颖的系统架构，将训练与决策分离，能够大幅降低训练时耗，提升飞行器决策时效；该自主避障方法采用基于策略迭代的深度强化学习模型，以无人机单目摄像机拍摄的以原始的RGB图像为训练数据，无需复杂的点云等其他3D信息，通过完全卷积神经网络对原始RGB图形进行训练获得深度图像信息，再通过基于策略迭代的强化学习方法对图像进行分析预测，提前预判出无人机下一时刻的飞行动作，实现自主避障。本发明提出的避障方法训练时耗比现有典型的基于值迭代的方法都更加高效、时耗更低，可实现灵活自主地避障，适用于变电站自动巡检、无人机巡航等高要求的自主避障场景。

技术领域

本发明涉及一种无人机避障系统及方法，具体涉及一种基于深度强化学习的无人机自主避障系统及方法；属于无人机飞行控制技术领域。

背景技术

避障是无人机的核心问题之一，其目标是让无人机自主探索未知环境以避免与其他物体发生碰撞，以获得一条能够避开威胁安全到达目标的飞行路径。传统的避障技术是通过检测可穿越的空间和障碍物，再进行路径规划，其使用的数据信息是通过RGB-D相机、光检测、测距传感器(LIDAR)、甚至声呐等捕获的。这些传统的避障技术能够较好地适用于地面机器人的自主避障，但是在无人机这类空中飞行器的自主避障中进行应用时存在较大难度。具体表现在测距传感器只能捕获有限的信息，并且对无人机而言，其重量过大又耗电，且价格昂贵。相对而言，单目摄像机能捕获环境的丰富信息，且成本低、重量轻，适用于各种平台。但是，当通过单目摄像机捕获距离感知时（即RGB图像），3-D世界被扁平化为一个2-D图像，消除了像素和距离之间的直接对应关系，避障问题变得异常困难。

随着深度学习在机器人和计算机视觉中的广泛应用，将深度学习应用于避障路径规划也变得越来越流行。现有技术中有技术采用卷积神经网络(CNN)训练方法使飞行器能够在复杂的森林环境中巡航。有的技术则通过使用3D点云数据训练卷积神经网络来标记轨迹类型。这些方法可分为监督学习半监督学习两大类，前者需要耗费大量的人力进行类型标记，后者的学习策略某种程度上受标签生成策略的限制。

深度强化学习 (DRL)方法最近已被证明，在充分利用原始图像的基础上，在游戏中可实现超人的表现。因此，近年来人们开始关注利用DRL研究实现基于视觉的自主避障，这些工作的一个共同点就是模型训练的数据并不是原始图像。有的使用激光扫描仪和深度图像数据进行网络训练，有的则提出完全在3D CAD模型模拟器中训练网络以预测碰撞。尽管这些工作可以将训练的网络扩展到真实世界，但仍需要大量的计算资源来生成庞大的数据集并对其进行训练。基于上述原因，有必要提出一种更加实用便捷的无人机自主避障技术。

发明内容

为解决现有技术的不足，本发明的目的在于提供一种基于深度强化学习的无人机自主避障系统及方法，通过单目摄像机采集的原始RGB图像即可实现灵活、高效地自主避障。

为了实现上述目标，本发明采用如下的技术方案：

本发明首先公布了一种基于深度强化学习的无人机自主避障系统，包括：

服务器，用于完成数据训练与计算；

基站，与所述服务器连接；

飞行器，与所述基站通联，接受由基站反馈的服务器训练结果，做出飞行决策；

所述服务器包括本地服务器和云端服务器，两者通过互联网实现连接。

优选地，前述飞行器为无人机，安装有用于拍摄原始RGB图像的单目摄像机。

本发明还公布了采用前述的基于深度强化学习的无人机自主避障系统的避障方法，包括如下步骤：

S1、获取无人机单目摄像机采集的原始RGB图像；

S2、采用完全卷积神经网络，对原始RGB图像进行训练，获得深度信息；