[发明专利]一种基于图像的同时检测平面结构和生成平面描述的方法及应用

说明书

本发明公开了一种基于图像的同时检测平面结构和生成对应平面描述的方法及应用，属于计算机视觉和图像处理领域。本发明能够针对单张图像，同时提取3D平面和生成对应平面的描述，为了提升平面描述子的辨别能力，本发明提出一个掩码感知的模块和一个实例三元组的损失函数，能够很好的应用在AR场景中。此外，本发明还可以将SuperPlane应用到基于图像定位的任务上(图像检索)，由于提取平面的面积不同，本发明提出了一个面积感知的Kullback‑Leibler散度方法来召回相似的图像。通过基于图像检索和增强现实等应用，本发明展示了在挑战场景中的平面匹配的强大能力和显著的泛化能力。

技术领域

本发明涉及计算机视觉和图像处理领域，尤其涉及一种基于图像的同时检测平面结构和生成平面描述的方法及应用。

背景技术

查找不同视图之间的对应关系是3D视觉任务，例如增强现实(AR)应用和基于图像的定位(IBL)或图像检索的关键问题。在AR应用程序中，某些虚拟对象通常放置在提取的平面上。传统的平面提取通常遵循以下范式：先进行特征点提取和描述(如SIFT，ORB，SuperPoint等)，将匹配的特征点从多个视图中三角化为3D坐标点，然后通过对3D点进行聚类和扩展来估计平面的参数。但是，在具有挑战性的条件下(例如，弱纹理的场景)获得足够的匹配特征点并非易事。一些方法直接执行深度估计，然后对平面进行三角剖分，以便可以将虚拟对象放置在平面上，但它们不能区分语义上不同的区域。例如，墙壁和门可以具有相同的深度，并且将仅检测到一个平面，这不足以实现将帽子悬挂在门上的AR效果。人造场景通常包含丰富的平面结构，人类对世界的感知可能基于单个平面特征，而不是基于低级特征点或全局图像特征。诸如平面结构之类的中层特征可以在某种程度上模拟人类感知世界的方式。鉴于此，本发明强调平面检测和描述值得更多关注。

基于图像的定位(IBL)任务也可认为是场景识别。基于图像的定位任务是：给定查询图像，从具有地理标记的数据库中的相同位置捕获的参考图像。现有作品可以分为基于图像检索的方法和基于按位置分类方法等，而本发明的关注点在于能够生成多个平面描述子，用于检索相似图像。传统的NetVLAD通过提出可学习的VLAD层，将CNN特征转换为具有可学习的语义中心的本地描述子，以进行本地化，它用的是全局或语义特征，这些特征受显着区域的影响很大，并且对动态对象敏感(例如，移动人)导致模糊的匹配。SFRS引入了图像到区域的监督机制，以挖掘困难的阳性样本，从而更有效地进行局部特征学习，尽管SFRS引入了图像到区域监督以自我监督的方式训练图像特征，但它忽略了多区域到多区域监督。与SFRS不同，本发明利用多区域到多区域的监督来增强特征向量的可识别性。

由于存在许多挑战性问题，同时检测平面结构和生成平面描述仍是一个值得研究的问题。

发明内容

本发明针对现有技术的不足，提出了一种基于图像的同时检测平面结构和生成平面描述的方法及应用。本发明在应对上述问题，进行了以下分析：平面检测应与现实世界中的物体实例相关，随着获得的不同图像，检测到的平面数量也应改变。对于平面描述子，它应该具有处理视角变化，甚至是光照变化等的分辨能力。本发明可以遵循诸如PlaneRCNN之类的平面检测网络来检测平面，并构造三元组样本作为对相应平面描述子的监督，三元组样本需要由检测到的平面组成，而不是完整的图像。

基于上述分析，本发明提出了一个名为SuperPlane的网络结果，用于检测3D平面并从单个图像生成相应的描述，并将其应用于AR场景、图像检索任务等。

为了实现上述目的，本发明采用如下技术方案：

本发明的第一个目的在于提出一种基于图像的同时检测平面结构和生成对应平面描述的方法，包括：

针对单张图像，利用平面检测和描述网络SuperPlane，生成图像的多个3D平面以及每个平面对应的描述子；