[发明专利]基于视觉的人-无人机交互用人体姿态指令识别方法

说明书

本发明属于人机交互领域，公开了基于视觉的人‑无人机交互用人体姿态指令识别方法。本方法包括图像采集、人体姿态估计、特征提取、姿态分类和指令查询五个步骤。通过神经网络处理摄像头获取的视频流，获取图像中人体的关节点坐标；计算关节点间的距离作为姿态的特征向量；对特征向量进行分类，识别出对应的类别；根据人体姿态识别的结果，查询该人体姿态所对应的指令，完成对无人机的控制；若为目标跟踪指令，则捕获当前帧人体所在区域，并在之后的视频流中将该区域截取出来作为输入数据。本发明实现了一种更加自然的人‑无人机交互方式，具有实时性、鲁棒性和较高精度的特点，可以实时地运行在无人机等低功耗嵌入式平台。

技术领域

本发明属于人机交互领域，更具体的涉及机器视觉和目标跟踪的相关技术，尤其是神经网络、支撑向量机等技术在嵌入式低功耗平台上的使用。

背景技术

人机交互是一个充满活力、具有巨大应用前景的高新技术领域，有许多有待解决与突破的问题。随计算机技术的发展和人类生活方式的改变，人机交互方式也在发生着改变。当前的人机交互的媒介已不仅仅局限于用户界面、鼠标、键盘等，而是越来越多地使用人体本身的固有特征，比如人体姿态、手势等，来使得人机交互更加自然。

人体姿态识别已广泛应用于人机交互、医疗辅助、汽车工业和公共安全等领域。目前，人体姿态识别是一个非常活跃的研究课题。人类希望机器能够理解人类的需求，准确地解释人类命令，并与人类合作。为了满足这些要求，除了正确解释语音命令外，机器还应准确理解人类手势、姿势和动作等非语言指令。尤其是外界的背景噪声可能显著地影响语音命令传输的有效性，对于人类和微型无人机之间的直接通信，非语言指令可能更为重要。然而，使用人体姿势对微型无人机平台进行控制面临着巨大的挑战，主要表现在两个方面：

1：微型无人机平台的载荷能力低，计算资源有限。因此，许多需要依赖较重的传感器或需要较多计算资源的方法难以应用于无人机平台。

2：大多数时候，微型无人机与人保持着较远的距离，因而导致拍摄的图像背景比较复杂，图像质量低劣，人像不清晰。

当前有较多的人体姿势识别技术被应用于人机交互。然而，这些方法难以在微型无人机平台上取得效果。原因在于，一些方案需要使用深度相机来获取人体的数据。然而，这种相机在严苛的条件下获取的数据不准确。例如，当人和无人机之间的距离较远的时候，深度相机获取的深度信息误差较大。此外，这类相机的体积和重量通常远大于单目相机，会增加无人机的负重。另外一些方法对计算资源有较高的要求，无法实时地在微型无人机平台上运行。

要使得人与无人机自然交互，还需要无人机能长时间“关注”操控者，即，无人机应当能检测和跟踪图片中的操控者。虽然当前有很多目标跟踪(Object Tracking)的方法，但是想要应用于无人机平台仍然有许多难点需要解决，包括并不限于复杂背景干扰、计算的有效性等。

针对无人机场景的特点，结合人体姿态识别和目标跟踪的相关方法，实现一种更加自然的人-无人机交互方式有重要意义。

发明内容

本发明要实现一种更加自然的人-无人机交互方式。当前人-无人机交互主要是通过遥控器或者手机应用实现，这种方式并不便捷自然，也影响操控者的使用体验。针对这一现状，本发明提出基于机器视觉获取人体姿态来实现对无人机的控制，并通过目标跟踪实时跟踪操作者，进而有效降低操控者的操作负担、提升操作体验。

本发明的技术方案是：

基于视觉的人-无人机交互用人体姿态指令识别方法，包括以下步骤：

第一步：使用无人机搭载的相机采集视频流，并且将其作为初始输入数据；