[发明专利]一种基于图像的同时检测平面结构和生成平面描述的方法及应用

权利要求书

1.一种基于图像的同时检测平面结构和生成对应平面描述的方法，其特征在于，包括：

针对单张图像，利用平面检测和描述网络SuperPlane，生成图像的多个3D平面以及每个平面对应的描述子；

所述的平面检测和描述网络SuperPlane包括平面检测子网络和平面描述子网络，所述的平面检测子网络由骨干网络和两个分支构成，第一分支采用Unet网络，第二分支包括区域生成网络RPN+RoIAlign层、卷积层、激活函数层构成；

首先通过骨干网络提取图像特征，得到第一特征图；

在第一分支中，利用Unet网络获取第一特征图的深度图；

在第二分支中，利用区域生成网络RPN和RoIAlign层提取第一特征图中的局部区域信息，获得感兴趣区域；经卷积层提取感兴趣区域的特征，得到第二特征图，再经激活函数层输出每一个平面的分割蒙板图；

由深度图和分割蒙板图合成3D平面；

所述的平面描述子网络由掩码感知模块、卷积层、平均池化层、全连接层、内部正则化层和L2范数层构成；

将由平面检测子网络输出的第二特征图和分割蒙板图进行逐个像素相乘，以获得掩码感知的第三特征图，然后将第三特征图与第二特征图拼接作为第四特征图；将第四特征图依次经卷积层、平均池化层、全连接层后生成矩阵，通过内部正则化层转换为向量，最后使用L2范数层进行整体归一化，得到每一个3D平面对应的描述子。

2.根据权利要求1所述的基于图像的同时检测平面结构和生成对应平面描述的方法，其特征在于，利用一个平面描述基准来训练网络，具体为：

获取图像对，采用PlaneRCNN生成的平面索引；每对图像样本都包含一组对应的匹配项、图像对之间的相对位姿和相机内参，所述的匹配项为平面索引-平面索引，构成三元组；

构建平面基准，通过相对位姿将图像对中的一张图像扭曲到另一张图像，然后计算交集IOU，来选择三元组，筛选出IOU值处于0.4-0.7的三元组作为训练集。

3.根据权利要求2所述的基于图像的同时检测平面结构和生成对应平面描述的方法，其特征在于，在训练过程中引入循环扭曲优化网络，根据两张视图对应的深度图进行优化，具体为：

将第一张视图中的3D点P_c利用相对姿态信息投影到第二张视图中，然后利用双线性插值从第二张视图中读取对应的3D点P_n；利用拍摄不同视角的相机姿态，将P_n转换到第一张视图的坐标系，并计算转换后的坐标与转换前的坐标P_n之间的3D距离；

将第二张视图中的3D点P_n利用相对姿态信息投影到第一张视图中，然后利用双线性插值从第一张视图中读取对应的3D点P_c；利用拍摄不同视角的相机姿态，将P_c转换到第一张视图的坐标系，并计算转换后的坐标与转换前的坐标P_c之间的3D距离；

通过保持两张图像之间重建的3D平面的一致性来提升平面检测和深度估计的质量。

4.根据权利要求3所述的基于图像的同时检测平面结构和生成对应平面描述的方法，其特征在于，两张不同视角的视图需存在交叠，且两张视图的相对姿态、拍摄不同视角的相机姿态已知。

5.根据权利要求3所述的基于图像的同时检测平面结构和生成对应平面描述的方法，其特征在于，在训练过程中引入平面实例级三重态损失，随机选择一组图像的不同平面匹配对进行监督，负样本的平面对是随机选择的，将平面实例级三重态损失的计算式表示为：

其中，i表示匹配平面的索引，而j是正样本之外的随机索引，m表示一组图像平面匹配对的数量，k表示一对匹配平面正负样本的数量，A_i表示锚定输入，P_i表示匹配平面的正输入，N_j表示不同平面的负输入，f(·)表示编码的描述子，α表示正负样本对之间的边距。