[发明专利]一种基于RGBD数据的局部描述子学习方法

摘要

本发明公开了一种基于RGBD数据的局部描述子学习方法，包括设计卷积神经网络模型，使用随机梯度下降方法训练卷积神经网络，使用训练完成的卷积神经网络构造描述子。其中卷积神经网络模型包含两部分：第一部分为特征提取层，第二部分为特征融合层；其中特征提取层分为两个子网络：二维卷积子神经网络和三维卷积子神经网络；特征融合层为全连接神经网络；二维卷积子神经网络和三维卷积子神经网络是平行网络。本发明解决了RGBD数据融合方式提取特征点描述子的问题，相对于其他同类方法，本方法鲁棒性更强，匹配准确率更高。

主权项

1.一种基于RGBD数据的局部描述子学习方法，其特征在于包括以下步骤：

1)设计卷积神经网络模型；

卷积神经网络模型包含两部分：第一部分为特征提取层，第二部分为特征融合层；其中特征提取层分为两个子网络：二维卷积子神经网络和三维卷积子神经网络；特征融合层为全连接神经网络；二维卷积子神经网络和三维卷积子神经网络是平行网络；

二维卷积子神经网络由12层结构组成，从输入开始依次为第一Inception层、第二Inception层、第一最大池化层、第三Inception层、第四Inception层、第二最大池化层、第一卷积层、第三最大池化层、第二卷积层、第四最大池化层、第三卷积层、第四卷积层，则二维卷积子神经网络的结构表示如下：

第一Inception层：Inception₁[ince11,ince21,ince 22,ince 31,ince 32,ince 41,ince 42,ince 51]

第二Inception层：Inception₂[ince11,ince21,ince 22,ince 31,ince 32,ince 41,ince 42,ince 51]

第一最大池化层：Maxpool₁[2D，k′,s′]

第三Inception层：Inception₃[ince11,ince21,ince 22,ince 31,ince 32,ince 41,ince 42,ince 51]

第四Inception层：Inception₄[ince11,ince21,ince 22,ince 31,ince 32,ince 41,ince 42,ince 51]

第二最大池化层：Maxpool₂[2D，k′,s′]

第一卷积层：Conv₁[2D,c,k,s,p,act]

第三最大池化层：Maxpool₃[2D，k′,s′]

第二卷积层：Conv₂[2D,c,k,s,p,act]

第四最大池化层：Maxpool₄[2D，k′,s′]

第三卷积层：Conv₃[2D,c,k,s,p,act]

第四卷积层Conv₄[2D,c,k,s,p,act]；

其中，每个Inception层结构相同，均由五条并行路径组成，五条并行路径的输出叠加作为Inception层的输出，这五条并行路径表示如下：

路径1：Conv[2D,ince11,k,s,p,act]

路径2：Conv[2D,ince21,k,s,p,act]

Conv[2D,ince22,k,s,p,act]

路径3：Conv[2D,ince31,k,s,p,act]

Conv[2D,ince32,k,s,p,act]

路径4：Conv[2D,ince41,k,s,p,act]

Conv[2D,ince42,k,s,p,act]

路径5：Maxpool[2D,k′,s′]

Conv[2D,ince51,k,s,p,act]

最大池化层即Maxpool[mdim，k′,s′]，其中，mdim＝2D表示二维最大池化核，mdim＝3D表示三维最大池化核；k′为正整数，表示最大池化核的大小；s′为正整数，表示最大池化核移动的步长；

卷积层即Conv[cdim,c,k,s,p,act]，其中，此处cdim＝2D表示二维卷积核，cdim＝3D表示三维卷积核；c为正整数，表示输出的通道数；k为正整数，表示卷积核的大小；s为正整数，表示卷积核移动的步长；p为正整数，表示边界的大小；act表示激活函数；

三维卷积子神经网络由9层结构组成，从输入开始依次为第一卷积层、第二卷积层、第一最大池化层、第三卷积层、第四卷积层、第五卷积层、第六卷积层、第七卷积层、第八卷积层，则三维卷积子神经网络的结构表示如下：

第一卷积层：Conv₁[3D,c,k,s,p,act]

第二卷积层：Conv₂[3D,c,k,s,p,act]

第一最大池化层maxpool₁[3D,k′,s′]

第三卷积层：Conv₃[3D,c,k,s,p,act]

第四卷积层：Conv₄[3D,c,k,s,p,act]

第五卷积层：Conv₅[3D,c,k,s,p,act]

第六卷积层：Conv₆[3D,c,k,s,p,act]

第七卷积层：Conv₇[3D,c,k,s,p,act]

第八卷积层：Conv₈[3D,c,k,s,p,act]

最后将第八卷积层的输出向量化，作为三维卷积子神经网络的最终输出；

特征融合层为三层全连接网络，从输入开始依次为第一全连接层，第二全连接层，第三全连接层；全连接层记为dense[imp,act],其中imp表示隐含层节点个数，act表示激活函数，则特征融合层的网络结构表示如下：

第一全连接层：dense₁[imp,act]

第二全连接层：dense₂[imp,act]

第三全连接层：dense₃[imp,act]；

2)使用随机梯度下降方法训练卷积神经网络，具体如下：

(1)构建训练样本：每个训练样本包括两组数据和一个标签，每组数据由一个彩色图像块和一个TDF数据块组成，他们存在对应或者不对应的关系；如果两组数据都存在对应关系则标签为1，否则为0；

(2)系统训练：将一个训练样本中的两个彩色图像块分别输入到两个结构相同且共享参数的二维卷积子神经网络中并得到两个特征向量，分别记为f_c1，f_c2；将另外两个TDF数据块输入到两个结构相同且共享参数的三维卷积子神经网络中