[发明专利]一种基于手势人机交互的无人机集群控制方法及系统

说明书

本发明公开一种基于手势人机交互的无人机集群控制方法及系统，所述方法包括：先获取操作者的手部图像；然后根据所述手部图像进行手势识别，获得手势识别动作；最后将所述手势识别动作与无人机行为进行匹配，并将匹配后的无人机行为发送至无人机集群进行控制。本发明基于手部图像先识别出手势识别动作，相比于现有识别方法识别速度快以及准确度高，因此基于手势识别动作匹配出无人机行为也就更加准确，进一步提高了对无人机集群进行控制的准确性。

技术领域

本发明涉及无人机集群智能协同控制技术领域，特别是涉及一种基于手势人机交互的无人机集群控制方法及系统。

背景技术

面对未来无人化、网络化、信息化、智能化的高速发展，各国势必要与时俱进，利用相关技术研究对等甚至更加先进的作战武器、作战平台、作战方法。智能无人集群作为一种颠覆性技术，一直被视为各国无人系统人工智能的核心，是未来智能无人系统的突破口，也是形成非对称武器装备，实现弯道超车的杀手锏技术。许多应用项目纷纷利用人工智能技术赋能作战中的无人平台和系统，提升蜂群的智能自主化能力水平，各个项目从不同侧重点进行关键技术攻关，其中便包括人机协同与人机交互技术。

无人机集群相对单机作战，有无可取代的优势。由于反无人机系统和技术近些年来飞速的发展，对“低小慢”无人机的杀伤和拦截效果很好，杀伤概率提升非常快。面对反无人机系统，单机作战的无人机一旦被捕获，不仅会造成装备损失，也会对战术侦察任务造成巨大影响。而集群式无人机则不同，它构成一个任务编队，即便一架、两架无人机被防空系统或反无人机系统击落，集群内其它无人机也能成功执行侦察任务。而且与单兵侦察无人机相比，集群无人机具有编队侦察的优势，可以对更广阔的区域进行编队搜索，探测能力强于单架无人机；此外集群无人机还可以对某一区域进行反复多次地毯式搜索，避免单次搜索造成的侦察遗漏或错漏，进一步提高侦察成功率；而且，对于运动中的作战平台目标，单兵无人机往往难于跟踪监视，而对于集群无人机而言，对移动目标进行接力侦察跟踪是非常轻松的事；此外，多架无人机侦察同一个目标，可以从不同角度对同一目标有不同的观察，对目标的观察更为立体和细致，侦察效果更好，细节更为突出。

然而，与单兵无人机相比，“集群人机系统”在技术上难度更大，需要解决任务协同、智能编队等技术瓶颈，用更合理高效的方式完成无人机的自组队和对同一目标的协同探测，在人机交互方面也提出了更高要求。

目前，随着新兴人机交互技术的兴起，国内外对各类基于语音、视觉、手势、复合体感的人机交互方式的研究都有了较大进展，而将各种交互方式用于无人机集群控制的研究则相对缺乏。在《新一代人工智能发展规划》中多次提到“人机协同”，把人机共融协同作为发展新一代人工智能关键共性技术体系的重点任务之一。目前，手势识别在教育界、商务界、医疗界、计算机应用和机器人视觉控制等方面都有很多的成果，但在无人机控制问题上的研究还不充分，已有的研究有：用Kinect传感器作为用户肢体采集的核心部件，通过对用户动作的采集，用程序来识别出用户的当前动作，传输指令到地面站，再发送给无人机，实现无人机的体感控制，但上述识别方法存在识别速度慢和识别性差，因此存在无人机集群控制误差大的问题。

发明内容

本发明的目的是提供一种基于手势人机交互的无人机集群控制方法及系统，以提高无人机集群控制的准确性。

为实现上述目的，本发明提供了一种基于手势人机交互的无人机集群控制方法，所述方法包括：

获取操作者的手部图像；

根据所述手部图像进行手势识别，获得手势识别动作；

将所述手势识别动作与无人机行为进行匹配，并将匹配后的无人机行为发送至无人机集群进行控制。

可选地，所述根据所述手部图像进行手势识别，获得手势识别动作，具体包括：

利用人手检测框架MediaPipe从所述手部图像中提取手部骨架节点的三维坐标和手部数目N；