[发明专利]基于局部特征的飞行器姿态跨视场估计方法及装置

说明书

本发明公开了一种基于局部特征的飞行器姿态跨视场估计方法及装置，对输入的RGB图像进行Tag识别，检测到Tag后，识别其位置，进行飞行器中心定位，基于深度信息，得到飞行器中心位置坐标。接着计算最大帧得分选择最佳输入图像，然后对输入的RGB图像提取特征点，并且结合深度图将特征点转化为三维点。使用光束平差法求得相机姿态后，再对相机姿态进行转换。最后，初始相机与飞行器之间的转换矩阵，将相机姿态转化为飞行器姿态，并将飞行器姿态转化为六自由度姿态输出。本发明满足了飞行器姿态估计的实时性需求，实时性好而且精度高。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于局部特征的飞行器姿态跨视场估计方法及装置。

背景技术

在计算机视觉的工作中，飞行器姿态估计可被视作一项物体姿态估计的任务。物体姿态识别任务在计算机视觉中已经得到了广泛的研究。传统的物体姿态测量方法主要可分为模板匹配与特征匹配两种。模板匹配的方法通常应用于弱纹理场景。这种方法首先需要对三维物体进行建模，然后通过将真实场景与三维模型做匹配来寻找最佳姿态。比如经典的ICP算法与RANSAC算法就是通过最小化真实场景与模型之间的对应点的距离来求解当前姿态。特征匹配的方法，通常使用对象描述子进行识别，描述子又有全局和局部描述子两种。全局描述子是对物体整体状态的描述，通过描述子的匹配就可以得到当前姿态。而局部描述子则是基于点的匹配，计算得到当前物体相对于初始状态的位姿。也有一部分研究者认为在多数的计算机视觉应用场景中，由于基于特征或者模板的识别方法都有可能失效，对象的轮廓才是最可靠的信息。

在风洞场景中，对自由飞的飞行器进行实时姿态估计需要克服很多难题。首先，飞行器在自由飞状态下很容易飞离单个相机的视场范围，因而需要多台相机协作，覆盖更大的视场。其次，在高动态的飞行状态下，模板和轮廓匹配的方法很难达到实时性需求，而且精度不高。

发明内容

本发明的目的是提供一种基于局部特征的飞行器姿态跨视场估计方法及装置，来解决跨视场问题并实时估计飞行器的姿态，该方法仅需获取多个相机的RGB-D输入，通过飞行器与初始相机的相对位置关系，就可以将相机的相对姿态转化为飞行器的相对姿态并且输出。

为了实现上述目的，本发明技术方案如下：

一种基于局部特征的飞行器姿态跨视场估计方法，所述飞行器上设置有对称的标签，在初始时飞行器位于初始相机的视场范围内，所述基于局部特征的飞行器姿态跨视场估计方法，包括：

对场景内的所有深度相机进行标定，得到所有深度相机的内参、及各个深度相机相对于初始相机的转换矩阵；

采用初始相机的视频图像作为输入，进行标签识别，根据标签在图像坐标系中的位置确定飞行器与初始相机的相对位置关系；

以所有深度相机的视频图像作为输入，进行跨视场相机选取，将选取的深度相机的视频图像作为当前输入帧；

对当前输入帧进行特征点提取，计算当前相机姿态；

将当前相机姿态转换为初始相机姿态；

根据飞行器与初始相机的相对位置关系，将相机姿态转化为飞行器姿态。

进一步地，所述以所有深度相机的视频图像作为输入，进行跨视场相机选取，包括：

对于所有深度相机集合N中的深度相机n，相应的有RGB图像和深度图前溯M帧，计算每帧时，各个深度相机的帧得分，帧得分表达为：

其中，

p[(x,y)是深度图在(x,y)位置满足深度阈值H的深度得分，表示深度图在(x,y)位置的深度值，h和w分别是当前帧的高和宽；

将每帧最大帧得分对应的深度相机，放入一个集合