[发明专利]基于视觉的人-无人机交互用人体姿态指令识别方法

权利要求书

1.基于视觉的人-无人机交互用人体姿态指令识别方法，其特征在于，包括以下步骤：

第一步：使用无人机搭载的相机采集视频流，并且将其作为初始输入数据；

第二步：首先，通过神经网络处理步骤一传入的图像数据，获取图像中人体关节点坐标；其次，使用卷积神经网络提取图片中所有的可能关节点集合，包括并不限于人体左耳、右耳、左眼、右眼、鼻尖、锁骨中央、左肩、右肩、左肘、右肘、左手腕、右手腕、左胯、右胯、左膝、右膝、左脚踝、右脚踝等，再根据关节点相关关系拼接为完整的单独的人，完成姿态估计；最后，将每一个人体的关节点在图中的坐标按照固定顺序组织形成数据集合，数据组织的顺序可自行定义，但需要固定；

第三步：对上一步形成的数据集合进行异常检测，针对数据集合中没有人体姿态信息或者目标操控者的关节点不完整的情况，做出异常反馈并且舍弃当前数据返回步骤一重新开始执行；

第四步：将步骤二中的姿态估计结果进行进一步处理，通过去除冗余数据，对数据进行归一化的操作形成对应姿态的特征向量，具体操作如下：

(1)计算关节点两两之间的距离，构造特征向量，其中，关节点之间的距离表征方式包括但不限于欧氏距离、曼哈顿距离、余弦距离等；

(2)去除特征向量中冗余数据，降低特征向量的维度，其中，在第(1)步的计算中，关节点之间的距离会重复计算，通过去除重复的数据降低特征向量的维度；

(3)对特征向量进行归一化计算，通过线性计算将特征向量的数值进行归一化，归一化之后的数值范围按照实际情况确定；

第五步：使用有监督学习模型，对特征向量进行分类，可选的分类模型包括但不限于支撑向量机、决策树等模型，本步骤包含离线学习和在线分类两个过程：

(1)离线学习过程需要获取带标签的数据，提前采集包含选定姿态的照片，选定的姿态包括但不限于：站立、行走、跨立、双臂展开等，将采集到的图片分类并按类别打标签，通过所述步骤二、三、四的处理，将获得的特征向量和对应的标签用于模型训练；

(2)对于在线识别，将实时采集的照片处理得到的特征向量送至训练好的分类器中即可获得对应人体姿态的类别；

第六步：根据人体姿态识别的结果，查询该人体姿态所对应的指令，其中，姿态的具体数量和具体的样式取决于控制无人机的具体需求，根据具体情况进行设计，且当人体姿态间存在较大差异时，分类的准确性更高；

第七步：若第六步查询的指令为目标跟踪指令，系统捕获当前帧的有效区域，即当前人体姿态所在区域，并且在之后的视频流中的每一帧跟踪该区域，将该区域图像截取出来作为输入数据。

2.根据权利要求1所述的基于视觉的人-无人机交互用人体姿态指令识别方法，其特征在于，所述步骤四中关节点两两之间的距离表征方式是欧氏距离。

3.根据权利要求1所述的基于视觉的人-无人机交互用人体姿态指令识别方法，其特征在于，所部步骤五中选用SVM分类器作为姿态分类器。

4.根据权利要求1所述的基于视觉的人-无人机交互用人体姿态指令识别方法，其特征在于，所述步骤六中能够通过人体姿态的不同组合来拓展指令的数量。