[发明专利]基于组对深度特征学习的多视图三维模型检索方法及系统

说明书

本发明公开了基于组对深度特征学习的多视图三维模型检索方法及系统，包括：获取待检索三维模型不同角度的二维视图，提取每一个二维视图的初始视图描述符；对上述的多个初始视图描述符进行聚合，获得最终的视图描述符；分别提取最终的视图描述符的潜在特征和类别特征；将所述潜在特征和类别特征进行加权组合，形成形状描述符；将得到的形状描述符与数据库中三维模型的形状描述符进行相似性计算，实现多视图三维模型的检索。本发明提出多视图三维模型检索框架GPDFL，融合了模型的潜在特征和类别特征，能够提高特征的识别能力和模型的检索性能。

技术领域

本发明涉及三维模型检索技术领域，尤其涉及一种基于组对深度特征学习的多视图三维模型检索方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

随着计算机图形处理能力和三维建模技术的不断提高，三维模型在游戏、虚拟现实环境、医学诊断、计算机辅助设计等领域得到了广泛的应用，成为继图像、声音、文本之后的新一代多媒体数据。面对庞大的三维模型数据库，三维模型检索已成为计算机视觉和计算机图形学领域的一个重要研究课题，近年来引起了人们的极大关注。随着深度学习的普及，各种深度网络被用于三维模型识别。如今，研究趋势已经从设计手工制作的特征转移到直接通过深层结构学习三维形状表示。

根据采用的数据类型不同，三维模型检索方法大致可分为两大类：基于模型的方法和基于视图的方法。基于模型的方法直接从原始三维表示中获得三维形状特征，如多边形网格或曲面、体素网格和点云等。基于视图的方法通常首先用一组二维视图表示一个三维模型，然后提取或学习每个视图的特征，最后将它们聚合成一个紧凑的三维形状描述符。与基于模型的方法相比，基于视图的方法对三维模型的识别能力更强，并且可以从二维图像分析的最新发展中获益，这将导致更好的模型检索性能。

识别描述符的设计是优化三维模型检索的基础问题。尽管近年来对二维图像的深度学习方法已经有了很好的研究，但是对于基于多视图的三维模型的描述还处于起步阶段。在最近的文献中，基于多视图的方法，如多视图卷积神经网络(MVCNN和MVCNNMultiRes)通常采用视图池操作从多个视图中生成形状描述符。这些方法在三维模型识别方面具有里程碑意义，并取得了目前最先进的性能。然而，发明人发现，在现有方法中所有视图都被同等对待以生成一种单一的形状描述符。视图之间的潜在关系和类别信息尚未被挖掘出来，这大大限制了形状描述符的性能，导致无法充分利用三维模型特征表示的能力。一方面，有些视图彼此相似，而另一些视图则不同。这些类似的视图对形状描述符的贡献应该类似。另一方面，视图的类别信息对形状识别的判别能力更强。在这种情况下，进一步研究视图之间的潜在关系，从这些视图中挖掘类别信息是非常重要的。

发明内容

本发明目的是为了解决上述问题，提出了一种基于组对深度特征学习的多视图三维模型检索方法及系统，首先使用可扩展的卷积神经网络(CNN)来提取三维模型的初始视图描述符，并且利用最大值视图池进行特征选择，得到最终的视图描述符。然后，引入一个自编码器对不同视图之间的关系进行建模，以挖掘它们的潜在特征。此外，采用生成对抗网络的判别器来进一步提取二维视图的类别特征。最后，根据潜在特征和类别特征的判别性权值，将其组合成最终的形状描述符。

在一些实施方式中，采用如下技术方案：

基于组对深度特征学习的多视图三维模型检索方法，包括：

获取待检索三维模型不同角度的二维视图，提取每一个二维视图的初始视图描述符；

对上述的多个初始视图描述符进行聚合，获得最终的视图描述符；

分别提取最终的视图描述符的潜在特征和类别特征；

将所述潜在特征和类别特征进行加权组合，形成形状描述符；

将得到的形状描述符与数据库中三维模型的形状描述符进行相似性计算，实现多视图三维模型的检索。