[发明专利]无人飞行器的控制方法、装置、无人飞行器及存储介质有效
| 申请号: | 201811574717.1 | 申请日: | 2018-12-21 |
| 公开(公告)号: | CN109613930B | 公开(公告)日: | 2022-05-24 |
| 发明(设计)人: | 张一帆;陆鑫 | 申请(专利权)人: | 中国科学院自动化研究所南京人工智能芯片创新研究院 |
| 主分类号: | G05D1/10 | 分类号: | G05D1/10 |
| 代理公司: | 北京华夏泰和知识产权代理有限公司 11662 | 代理人: | 孟德栋 |
| 地址: | 211135 江苏省南*** | 国省代码: | 江苏;32 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 无人 飞行器 控制 方法 装置 存储 介质 | ||
1.一种无人飞行器的控制方法,其特征在于,包括:
获取拍摄图像;
识别所述拍摄图像,获取所述拍摄图像的跟踪目标,以及获取所述拍摄图像的跟踪目标的手势信息;
其中,所述识别所述拍摄图像,获取所述拍摄图像的跟踪目标,具体包括:将所述拍摄图像划分为多个子图像帧;识别所述多个子图像帧中的第一子图像帧中的跟踪目标,并根据第一子图像帧中的跟踪目标对其它子图像帧进行目标跟踪,以获取所述拍摄图像的跟踪目标;
其中,所述获取所述拍摄图像的跟踪目标的手势信息,具体包括:识别每个所述子图像帧中的跟踪目标的手势动作,并对每个所述子图像帧中的跟踪目标的手势动作进行分类,得到每个所述子图像帧的手势类别;将数量最多的手势类别作为所述手势信息;
根据所述手势信息控制所述无人飞行器飞行;
所述方法还包括:
获取对任一子图像帧的跟踪目标的跟踪响应信息;
根据所述跟踪响应信息判断是否对所述拍摄图像的跟踪目标跟踪失败;
在对所述拍摄图像的跟踪目标跟踪失败的情况下,重新获取所述拍摄图像的跟踪目标;
其中,重新获取所述拍摄图像的跟踪目标,包括:
利用特征提取网络提取输入图片的语义信息,得到卷积网络特征图;
将提取得到的所述卷积网络特征图送入预测候选框网络;所述预测候选框网络包含3×3卷积网络和1×1卷积网络;
将所述3×3卷积网络和所述1×1卷积网络映射到所述卷积网络特征图进行ROIPooling后的固定长度特征送入识别网络,所述识别网络输出固定2048维的特征向量;
将所述2048维的特征向量映射到低维子空间的256维特征,再与已经存储好的目标人群特征进行余弦相似度比较,得到比较结果,对所述比较结果进行升序排列,设定经验阈值0.1,若所述比较结果中排名第一的相似度小于所述经验阈值,确定所述比较结果中排名第一的目标为所述跟踪目标。
2.一种无人飞行器的控制装置,其特征在于,包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的计算机指令,所述处理器执行所述计算机指令时实现:
获取拍摄图像;
识别所述拍摄图像,获取所述拍摄图像的跟踪目标,以及获取所述拍摄图像的跟踪目标的手势信息;
其中,所述识别所述拍摄图像,获取所述拍摄图像的跟踪目标,具体包括:将所述拍摄图像划分为多个子图像帧;识别所述多个子图像帧中的第一子图像帧中的跟踪目标,并根据第一子图像帧中的跟踪目标对其它子图像帧进行目标跟踪,以获取所述拍摄图像的跟踪目标;
其中,所述获取所述拍摄图像的跟踪目标的手势信息,具体包括:识别每个所述子图像帧中的跟踪目标的手势动作,并对每个所述子图像帧中的跟踪目标的手势动作进行分类,得到每个所述子图像帧的手势类别;将数量最多的手势类别作为所述手势信息;
根据所述手势信息控制所述无人飞行器飞行;
所述处理器执行所述计算机指令时还实现:
获取对任一子图像帧的跟踪目标的跟踪响应信息;
根据所述跟踪响应信息判断是否对所述拍摄图像的跟踪目标跟踪失败;
在对所述拍摄图像的跟踪目标跟踪失败的情况下,重新获取所述拍摄图像的跟踪目标;
其中,重新获取所述拍摄图像的跟踪目标,包括:
利用特征提取网络提取输入图片的语义信息,得到卷积网络特征图;
将提取得到的所述卷积网络特征图送入预测候选框网络;所述预测候选框网络包含3×3卷积网络和1×1卷积网络;
将所述3×3卷积网络和所述1×1卷积网络映射到所述卷积网络特征图进行ROIPooling后的固定长度特征送入识别网络,所述识别网络输出固定2048维的特征向量;
将所述2048维的特征向量映射到低维子空间的256维特征,再与已经存储好的目标人群特征进行余弦相似度比较,得到比较结果,对所述比较结果进行升序排列,设定经验阈值0.1,若所述比较结果中排名第一的相似度小于所述经验阈值,确定所述比较结果中排名第一的目标为所述跟踪目标。
3.一种无人飞行器,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机指令,其特征在于,所述处理器执行所述计算机指令时实现如权利要求1所述的无人飞行器的控制方法的步骤。
4.一种计算机可读存储介质,其上存储有计算机指令,其特征在于,所述计算机指令被处理器执行时实现如权利要求1所述的无人飞行器的控制方法的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院自动化研究所南京人工智能芯片创新研究院,未经中国科学院自动化研究所南京人工智能芯片创新研究院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811574717.1/1.html,转载请声明来源钻瓜专利网。





