[发明专利]一种基于手势和眼动的无人机操控方法、装置和系统

说明书

本申请公开了一种基于手势和眼动的无人机操控方法、装置和系统，包括：手戴设备采集手势信号，发送至头戴设备；头戴设备处理手势信号，得到控制指令；头戴设备采集眼动信号并处理，得到模式指令；头戴设备发送所述控制命令与模式命令至无人机，控制无人机飞行。基于手势和眼动相结合，简化了无人机的操控方法，实现多模态的无人机操控。通过增强现实技术，并在增强现实系统中实现手势与无人机交互、眼动与无人机交互、无人机图像实时显示，为无人机控制呈现一个场景更加立体的、信息更加丰富的、环境更加自然亲切的无人机交互界面。

技术领域

本申请涉及无人机技术领域，尤其涉及一种基于手势和眼动的无人机操控方法、装置和系统。

背景技术

无人机是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞行器，或者由车载计算机完全地或间歇地自主地操作。伴随科技的发展，面对人类无法胜任的高难度、高风险与高含量的任务，无人机应运而生。它替代有人驾驶的飞机去执行这些任务。无人机是一种用无线电来操控的设备，遂有人称其为遥控驾驶航空器。它能够趋于完美的利用人工智能、信号处理和自动驾驶等精尖技术，并由于它具有体积小、无人驾驶和航程远等优势被广泛应用，在自然环境考察、科普研究、农业领域、维护国家主权与公共卫生安全等等许多方面都有所应用。目前这种趋于多元化的应用使得各国都加快探索、开发的步伐。

目前，市面上的消费级无人机产品大小种类繁多，操作方式也各有不同，最常使用的无人机控制需要配备双手操控的双杆遥控器。随着无人机技术的不断成熟，现在的无人机智能化步伐十分迅速，无人机自动避障、路径规划、自动巡航、智能跟随、一键返航等功能改进创新层出不穷，无人机的功能越多越完善，这使得无人机操控方法也是越来越复杂、不可避免的无人机的零部件也会越来越多，在丰富功能体验的同时，也使得操作十分不便，无人机炸机坠毁的事也屡见不鲜。尤其是对于对无人机不熟悉的新手而言，一本厚厚的说明书以及繁复的控制程序是不太友好的，而且一旦发生事故，伤及人员，更是得不偿失。因此在无人机功能如此复杂多样化的前提下，简化用户操作，实现多模态的无人机控制方式是十分钟重要的。

综上所述，需要提供操作方法简单的多模态无人机控制方法、装置和系统。

发明内容

为解决以上问题，本申请提出了一种基于手势和眼动的无人机操控方法、装置和系统。

一方面，本申请提出一种基于手势和眼动的无人机操控方法，包括：

手戴设备采集手势信号，发送至头戴设备；

头戴设备处理手势信号，得到控制指令；

头戴设备采集眼动信号并处理，得到模式指令；

头戴设备发送所述控制命令与模式命令至无人机，控制无人机飞行。

优选地，所述处理手势信号，得到控制指令，包括：

对所述手势信号进行预处理、特征提取和特征处理，得到手势识别结果；

根据手势识别结果得到对应的控制指令。

优选地，所述采集眼动信号并处理，得到模式指令，包括：

采集眼动信号，对所述眼动信号进行预处理、特征提取和特征处理，得到眼动识别结果；

根据眼动识别结果得到对应的模式指令。

优选地，还包括：

头戴设备接收无人机所采集的周围环境的视频流数据和深度数据，处理所述视频流数据和深度数据，生成周围环境的全息影像并显示。

优选地，还包括：

头戴设备接收无人机所获取的自身的位姿数据，解算所述位姿数据，得到姿态样式并显示。