[发明专利]一种基于RGBD数据的局部描述子学习方法

说明书

本发明公开了一种基于RGBD数据的局部描述子学习方法，包括设计卷积神经网络模型，使用随机梯度下降方法训练卷积神经网络，使用训练完成的卷积神经网络构造描述子。其中卷积神经网络模型包含两部分：第一部分为特征提取层，第二部分为特征融合层；其中特征提取层分为两个子网络：二维卷积子神经网络和三维卷积子神经网络；特征融合层为全连接神经网络；二维卷积子神经网络和三维卷积子神经网络是平行网络。本发明解决了RGBD数据融合方式提取特征点描述子的问题，相对于其他同类方法，本方法鲁棒性更强，匹配准确率更高。

技术领域

本发明属于计算机视觉领域，涉及一种基于RGBD数据的局部描述子学习方法，特别适用于RGBD数据序列的相机位姿估计。

背景技术

计算特征点描述子是计算机视觉中一个非常基础而重要的任务，通常视角剧烈变化、光照变化、重复纹理等因素都会影响描述子的质量，进而会影响特征点之间匹配的准确率，最终可能导致诸如SFM(Structure from Motion)，图像匹配，SLAM(SimultaneousLocalization and Mapping)等计算机视觉任务的失败。

现有计算特征点描述子的方法主要分为两类：人工设计的方法和基于神经网络技术的方法。

人工设计的方法中典型代表有：SIFT(Scale Invariant Feature Transform)，SURF(Speeded Up Robust Features)，BRIEF(Binary Robust Independent ElementFeature)，ASIFT(Affine SIFT)。当出现重复纹理，图像模糊，视角剧烈变化等情况时，这些计算特征点描述子方法的性能就会明显下降。

基于神经网络技术的方法中典型代表有：Guo et al[2]使用二维卷积神经网络学习特征点局部几何描述子，但是该方法需要手工数据和完整的三维模型；SergeyZagoruyko[6]使用不同分辨率的彩色图像块对作为siamese net[10]网络的输入来学习特征点的描述子。3DMatch[3]利用卷积神经网络在三维点云上计算描述子，但没有利用图像的纹理和颜色信息。

上述两类方法在计算特征点描述子的时候只使用了单一类型数据。如果只使用彩色图像数据，当出现重复纹理、光照剧烈变化，运动模糊时上述方法计算的描述子质量就会下降；另外如果只使用三维数据，当出现三维几何结构类似时上述方法计算的描述子质量同样也会下降。

发明内容

为了同时利用彩色图像信息和三维几何结构信息解决上述问题，最终提高图像描述子质量，本专利提出了一种基于RGBD数据的局部描述子学习方法。

具体技术方案如下：

一种基于RGBD数据的局部描述子学习方法，包括以下步骤：

1)设计卷积神经网络模型；

卷积神经网络模型包含两部分：第一部分为特征提取层，第二部分为特征融合层；其中特征提取层分为两个子网络：二维卷积子神经网络和三维卷积子神经网络；特征融合层为全连接神经网络；二维卷积子神经网络和三维卷积子神经网络是平行网络；

二维卷积子神经网络由12层结构组成，如图4，从输入开始依次为第一Inception层、第二Inception层、第一最大池化层、第三Inception层、第四Inception层、第二最大池化层、第一卷积层、第三最大池化层、第二卷积层、第四最大池化层、第三卷积层、第四卷积层，则二维卷积子神经网络的结构表示如下：

第一Inception层：Inception₁[ince11,ince21,ince 22,ince 31,ince32,ince41,ince 42,ince 51]