[发明专利]一种基于二维图像的无监督多视角三维目标检索方法及装置

说明书

本发明公开了一种基于二维图像的无监督多视角三维目标检索方法及装置，方法包括：利用特征提取器对二维图像域和多视角三维目标域分别进行特征提取，得到二维图像和多视角三维目标的视觉特征；根据二维图像的视觉特征及其标签信息、多视角三维目标的视觉特征，通过域对抗学习得到跨域分布对齐后的视觉特征；根据对比学习和上述所获取到的视觉特征，得到更具有类别差异性的多视角三维目标的视觉特征；通过迭代加权更新的用于存储代表性视图特征的记忆库，得到高质量的负样本，用于上述的对比学习。装置包括：特征提取模块、域对抗学习模块、获取模块及更新模块。本发明优化了检索框架的检索性能，为对比学习提供足够高质量的负样本。

技术领域

本发明涉及多视角目标，基于图像的多视角三维目标检索、自监督学习、对比学习、及域适应领域，尤其涉及一种基于二维图像的无监督多视角三维目标检索方法及装置。

背景技术

近年来，多视角目标检索任务逐步成为一个契合高速信息时代发展的具有前景的研究课题，并吸引了越来越多的兴趣，因为它连接了当下海量产生和传播的二维图像数据和未来海量三维目标数据，并涉及两种不同的模态。虽然许多方法在多视角三维目标检索任务中取得了很大的进展，但由于二维和三维两种模态之间的差距，它仍然具有挑战性。

多视角三维目标检索任务旨在从图库中搜索给定查询模型的相似模型。一般来说，现有的多视角三维目标检索方法可以分为三类：基于模型的方法^[1][2]，基于视图的方法^[3][4]以及上述两种类型的特征融合^[5]。基于模型的方法直接以多视角三维目标为输入，生成包含多视角三维目标空间和结构信息的三维特征。这些方法的三维表示主要有三种形式：网格、点云和体素。

为了减轻域间隙的负面影响，已经提出了许多域适应方法。减少两个领域差异的典型方法可分为两类：基于度量距离^[6]和基于领域对抗学习^[7]。第一种类型通过最小化特征分布的统计距离来减小域差异。第二类采用起源于GAN^[8]的生成性对抗训练来限制两个领域之间的差异。

自监督学习首先通过构建称为代理任务的相对简单的辅助任务来学习一般的视觉表示，然后将所学习的表示应用于现实的下游任务中，例如：对象检测、分类和语义分割。如何设计一个有效的代理任务对下游任务起到推动作用是至关重要的。可以简单地根据任务类型将现有的代理任务分为两类，例如：在预设损失下恢复输入图像^[9][10]，以及形成输入图像的伪标签^[11][12]。

虽然已经有人在基于图像的多视角三维目标检索领域做了很多工作，但是对于更好的拉近两个模态域间距离和类间距离的研究上目前还有一些欠缺。基于此现状，目前面临的挑战主要有以下两个方面：

1、如何更好的利用无监督多视角三维目标的结构信息；

2、如何更精准的进行三维域和二维域之间的域间对齐和类间对齐。

发明内容

本发明提供了一种基于二维图像的无监督多视角三维目标检索方法，本发明通过视觉特征学习、对抗域适应、对比学习和检索模块来构建多视角目标检索网络框架，提取多视角三维目标的多视角视图，对二维图像和多视角三维目标提取视觉特征；利用二维图像的标签信息和域对抗学习来实现跨域分布对齐；并利用对比学习加强多视角三维目标视图的表征能力，及不同多视角三维目标的异质性，详见下文描述：

第一方面，一种基于二维图像的无监督多视角三维目标检索方法，所述方法包括：

利用特征提取器对二维图像域和多视角三维目标域分别进行特征提取，得到二维图像和多视角三维目标的视觉特征；

根据二维图像的视觉特征及其标签信息、多视角三维目标的视觉特征，通过域对抗学习得到跨域分布对齐后的视觉特征；