[发明专利]用于相机重定位的训练集优化方法及装置

说明书

本公开涉及一种用于相机重定位的训练集优化方法及装置。该用于相机重定位的训练集优化方法包括：从第一图像中选取第一点，第一点不为第一图像的几何中心；根据第一图像和第一点，确定第一点对应的第二图像对应的中心图像块和标签参数，其中，第二图像的几何中心为第一点，标签参数包括第二图像对应的相机姿态参数和相机位移参数；将第二图像对应的中心图像块和标签参数加入训练集，训练集用于对相机重定位模型进行训练。本公开的用于相机重定位的训练集优化方法及装置，能够实现扩展相机重定位模型的训练集，从而在相机重定位模型的训练过程中，降低相机重定位模型的过拟合现象，提高相机重定位模型的精度。

技术领域

本公开涉及计算机视觉领域，尤其涉及一种用于相机重定位的训练集优化方法及装置。

背景技术

近年来，除了通过GPS(Global Position System，全球定位系统)、基站、蓝牙和Wi-Fi(Wireless Fidelity，无线保真技术)进行定位外，越来越多的定位系统使用了视觉传感器。视觉传感器是指利用光学元件和成像装置获取外部环境图像信息的仪器。视觉传感器获取的视觉图像中包含底层的颜色、纹理特征以及高层的物体、场景特征，且视觉传感器价格低廉、使用广泛，越来越多地受到定位系统的青睐。近年来，借助计算机视觉技术的高速发展，基于视觉图像的定位技术得到了广泛的应用。

相机重定位是指通过对相机拍摄的图像进行分析，计算相机在图像拍摄场景坐标系的位移和姿态。图1是根据现有技术示出的相机重定位的坐标系示意图。如图1所示，相机的位移可以通过向量r＝[X,Y,Z]进行表示，相机的姿态可以通过xyz坐标系(全局坐标系)与x’y’z’坐标系(局部坐标系)之间的关系进行表示。相关技术中，主要的相机重定位方法可以分为基于点特征的相机重定位方法和基于全图特征的相机重定位方法。基于点特征的相机重定位方法通过像素点特征来进行点坐标匹配，例如通过卷积神经网络进行点匹配，从而计算相机的姿态。基于全图特征的相机重定位方法通过将全图特征映射到高维特征空间来获得更好的对于相机位移、姿态的连续映射。利用卷积神经网络也可以不进行点匹配，直接处理图像回归得到相机的姿态。这类基于神经网络的相机重定位方法就是基于全图特征的相机重定位方法。

基于全图特征的相机重定位方法存在数据集的稀疏分布问题。不同于一般的图像分类问题，相机重定位由于需要对相机的位移和方向进行回归，每一张图像都对应于位移的三维空间和对应于方向的三维特殊正交群(SO(3)，the Special Orthogonal Group inDimension 3)空间中的一个点。很多数据集中训练集的采样十分稀疏，例如七场景数据集(7-Scenes Dataset)。图2是根据现有技术示出的七场景数据集中头部场景(HeadsScenes)下图像姿态的分布示意图。图3是根据现有技术示出的七场景数据集中头部场景下图像位移的分布示意图。如图2和图3所示，测试集与训练集分布差异极大。在训练过程中，模型非常容易出现过拟合的现象。

相关技术中，通常采用两种方法解决基于全图特征的相机重定位方法中存在的训练样本稀疏，测试集与训练集分布差异较大的问题。第一种方法为对场景进行密集采样，采用该种方法使得数据集的规模变得极为庞大，并且密集采样提高了数据集的构建成本。第二种方法为利用高精度的RGBD(Red，红；Green，绿；Blue，蓝；Depth，深度)图像来构建场景的三维模型，并生成虚拟图像，采用该种方法在很大程度上依赖于数据集的质量。由于虚拟图像来自于场景的三维模型，要使得虚拟图像和实际图像较为一致，必须要有非常高精度的三维模型，而高精度的三维模型则对数据集的图像质量以及深度图提出了要求。

发明内容

有鉴于此，本公开提出了一种用于相机重定位的训练集优化方法及装置，以解决基于全图特征的相机重定位方法中存在的训练样本稀疏，测试集与训练集分布差异较大的问题。

根据本公开的第一方面，提供了一种用于相机重定位的训练集优化方法，包括：

从第一图像中选取第一点，所述第一点不为所述第一图像的几何中心；