[发明专利]相机重定位方法及装置

说明书

本公开涉及一种相机重定位方法及装置。该相机重定位方法包括：通过共享层从相机获取的图像中提取图像特征；通过第一专门层根据图像特征确定并输出相机在第一坐标系中的位移；通过第二专门层根据图像特征确定并输出相机在第一坐标系中的姿态。本公开的相机重定位方法及装置，通过对神经网络进行分支，能够较好地处理相机重定位任务中的位移预测和姿态预测两个子任务之间的关系，达到位移预测和姿态预测两个子任务互不干扰的目的，能够大大地提高相机重定位的精度。

技术领域

本公开涉及计算机视觉技术领域，尤其涉及一种相机重定位方法及装置。

背景技术

近年来，除了通过GPS(Global Position System，全球定位系统)、基站、蓝牙和Wi-Fi(Wireless Fidelity，无线保真技术)进行定位外，越来越多的定位系统使用了视觉传感器。视觉传感器是指利用光学元件和成像装置获取外部环境图像信息的仪器。视觉传感器获取的视觉图像中包含底层的颜色、纹理特征以及高层的物体、场景特征，且视觉传感器价格低廉、使用广泛，越来越多地受到定位系统的青睐。近年来，借助计算机视觉技术的高速发展，基于视觉图像的定位技术得到了广泛的应用。

相机重定位是指通过对相机拍摄的图像进行分析，计算相机在图像拍摄场景坐标系的位移和姿态。图1是相关技术示出的相机重定位的坐标系示意图。如图1所示，相机的位移可以通过向量r＝[X,Y,Z]来表示，相机的姿态可以通过xyz坐标系(全局坐标系)与x’y’z’坐标系(局部坐标系)之间的关系来表示。相关技术中，主要的相机重定位方法可以分为基于点特征的相机重定位方法和基于全图特征的相机重定位方法。基于点特征的相机重定位方法通过像素点特征来进行点坐标匹配，例如通过卷积神经网络进行点匹配，从而计算相机的姿态。基于全图特征的相机重定位方法通过将全图特征映射到高维特征空间来获得更好的对于相机位移、姿态的连续映射。利用卷积神经网络也可以不进行点匹配，直接处理图像回归得到相机的姿态。这类基于神经网络的相机重定位方法就是基于全图特征的相机重定位方法。

相关技术中，基于神经网络实现端到端学习的相机重定位方法可以包括PoseNet网络结构(例如GoogLeNet、VGG-16网络结构等)，即可以通过在输入端读取一张相机拍摄的图像，而在输出端直接输出相机的位移和姿态。图2是相关技术中的GoogLeNet网络结构的示例性的框图。图3是相关技术中的VGG-16网络结构的示例性的框图。如图2和图3所示，GoogLeNet网络结构和VGG-16网络结构的每一层均以前一层的输出为输入，最终的表示位移和姿态的向量由同一个全连接层生成并输出。

相机重定位方法可以认为是解决相机的位移预测和相机的姿态预测两个子任务。通过计算不同图像的位移和姿态，例如计算不同图像的3个位移变量和3个姿态变量之间的相关程度，可以发现两组变量(一组为位移变量，另一组为姿态变量)中，组内相关性要显著高于组间相关性。由此可以说明，尽管相机的位移和姿态之间是有关联的，但是位移和姿态之间也是有显著的差异性的。采用同一个全连接层同时预测相机的位移和姿态，这使得在神经网络的训练过程中，位移和姿态两组变量的训练效果的均衡变得非常重要，提高其中之一的预测效果往往使得另一者的效果降低。

发明内容

有鉴于此，本公开提出了一种相机重定位方法及装置，以准确地预测相机的位移和姿态。

根据本公开的第一方面，提供了一种相机重定位方法，所述方法基于卷积神经网络，所述卷积神经网络包括共享层、第一专门层和第二专门层，所述方法包括：

通过所述共享层从相机获取的图像中提取图像特征；

通过所述第一专门层根据所述图像特征确定并输出所述相机在第一坐标系中的位移；

通过所述第二专门层根据所述图像特征确定并输出所述相机在所述第一坐标系中的姿态。

对于所述的相机重定位方法，在一种可能的实现方式中，所述共享层包括图像特征卷积层、图像特征池化层和图像特征生成模块中的至少一项。