[发明专利]一种基于双目视觉和深度学习的无人机人机交互方法

说明书

本发明涉及一种基于双目视觉和深度学习的无人机人机交互方法，在无人机上搭载嵌入式图像处理平台及双目摄像头，该嵌入式图像处理平台通过接口连接飞行控制器，无人机与地面通过该平台通信，平台带有图形处理器，运行卷积神经网络深度学习算法，在摄像头捕捉视频的同时对图像进行并行计算。本发明将卷积神经网络移植到配置了具有专用图形处理器(GPU)的嵌入式平台上，通过并行计算进行加速从而加快了运行速度。

技术领域

本方法属于多媒体信息处理领域，具体涉及计算机视觉、深度学习、人机交互等技术，尤其是一种基于双目视觉和深度学习的无人机人机交互方法。

背景技术

人机交互技术伴随着着计算机的诞生而产生并且随着计算机软硬件的发展而逐渐发展，新技术的出现，不断的简化着人机交互的流程。近年来，随着人工智能技术的出现和发展，相关软硬件技术的不断进步和创新，如何实现更为便利的人机交互成为研究热点，各种新型人机交互技术不断涌现。与此同时，低成本小型无人机(UAV)等相关行业的兴起与普及，迫切需要一些更为便捷的人与无人机的交互控制方式降低无人机操作的门槛，使得无人机得到越来越广泛的应用。

无人机的人机交互表现在主要利用遥控器、摇杆、地面站软件等专用设备进行控制。其中最为主要的是利用遥控器进行操作，虽然遥控器的操作难度随着无人机技术的发展大大被降低，然而，笨重的遥控器仍然给操作者带来了非常大的不便。由手机、电脑和专用软件构成的地面站在许多情况下，从一定层度上使得人机交互更方便。近年来，新的人机交互方法层出不穷，出现了佩戴特殊辅助设备，利用身体部位运动的测量值或是脑电信号作为控制信号，来简化无人机的控制方式。然而依赖特殊辅助设备的控制方式仍然面临花费高、使用麻烦的问题。

在市面上普及的无人机当中，大多都搭载了摄像头。摄像头的价格低廉，使得视觉解决方案成为航拍，计算机视觉导航，视觉避障的首选。充分利用这些摄像头的功能，利用计算机视觉，通过图像识别手势进行无人机交互方法更具有普适性。现有的基于计算机视觉人机交互方法，由于软硬件的限制，往往不能够在足够远的范围内进行交互，并且容易受到环境干扰，无法在室外场景中应用。为了提高在室外环境无人机的手势识别算法的识别精度，本发明首次利用深度学习的方法进行手势识别，用手势控制无人机的运动，简化了无人机操控难度。

传统的动作识别算法计算复杂度高、由于缺少必要的加速算法，识别速度慢、准确率低。

发明内容

本发明基于双目摄像头，通过在无人机上搭载嵌入式平台，构建了一个基于计算机视觉及深度学习的无人机人机交互系统，系统提供了可以根据在地面上指定的领航员的手势控制飞机的飞行方向。

1.硬件系统构成

本系统由搭载地理位置获取模块的无人机平台、嵌入式图像处理平台、摄像头、地面站4个部分构成。

无人机平台为多旋翼无人机，无人机通过地理位置获取模块进行定位，飞行控制器可以控制无人机在室外自主悬停。无人机上搭载嵌入式图像处理平台和摄像头，本系统中的摄像头捕捉用来后续处理的高分辨率图像。

嵌入式平台为带有图形处理器(GPU)，能够为图像处理提供足够运算能力的平台。此平台负责图像的采集处理和动作识别，实际应用当中，可由高性能移动终端处理器充当，该系统通过接口连接飞行控制器，无人机与地面的通信由此平台充当。平台搭载操作系统运行处理程序。

地面站负责监测四轴飞行器的状态，用于指定领航员并且查看实时运算的结果，可由笔记本或智能终端充当。

2.动作识别框架

动作识别框架主要包括：视频预处理、生成彩色纹理图和卷积神经网络模型的训练及分类。

1)根据无人机回传的单视点图像，选择无人机领航员，方法为利用鼠标或者触摸屏幕，将领航员的身体(上身)所在区域圈出来；