[发明专利]基于全景图及多通道CNN的三维模型分类和检索方法

说明书

本发明公开了一种基于全景图和多通道CNN的三维模型视图提取方法，包括：将3D模型投影到满足预设条件的圆柱体的侧面上，以3D模型的原点为中心，将3D模型的轴线平行于X、Y、Z的主轴之一来获得初始全景图；分别以某一预设速率对三维空间中3D模型表面的角度和y坐标进行采样，获取初始全景图中的每个点的两组值，以此用来表示三维空间中3D模型表面的位置特征、以及3D模型表面的方向特征；构建多尺度网络与多通道卷积神经网络，将3D模型表面的位置特征、以及3D模型表面的方向特征作为输入，进行网络的训练和两种不同3D模型之间的相似性度量。本发明保留了三维模型的结构和视觉的局部和全局信息，自动计算2D全景视图的特征，用于处理分类和检索问题。

技术领域

本发明涉及三维模型分类和检索领域，尤其涉及一种基于全景图及CNN多通道CNN的三维模型分类和检索方法。

背景技术

随着计算机视觉技术的发展，3D技术被广泛应用在影视行业，机械设计，建筑业，基础设施，娱乐业，医疗等领域方面。越来越多的人开始在某些网站上上传自己设计的3D模型，3D模型的数量呈增长趋势。这导致3D模型检索成为计算机视觉领域的热门话题。与二维图像信息的传统视觉表现不同，三维模型不仅具有视觉信息，而且具有结构信息。因此，传统的计算机视觉技术很难用来表示3D模型。近年来，已经提出了许多方法来处理3D模型表示的问题。

一般来说，3D模型检索方法主要分为两类，基于模型的方法和基于视图的方法^[1]。

早期的方法通常属于基于模型的方法，这需要明确的3D模型数据进行检索。流行的基于模型的方法通常利用几何矩^[2]，表面分布^[3]，三维模型^[4]表示的形状描述。然而，结构信息的提取在计算上是昂贵的，并且其性能受到采样结构点的高度限制。因此，基于模型的方法的实际应用受到严重限制。

近年来基于视图的方法已经引起了更多的关注，因为它利用一组2D图像来表示一个3D模型。许多成熟的计算机视觉技术可以直接用于处理3D模型的表示，也提出了许多经典方法^[5][6]。然而，基于视图的方法最大的问题是它忽略了三维模型的结构和空间信息。

近年来，随着深度学习的发展，许多研究人员开始利用一些经典的深度学习方法来处理三维模型检索问题。提出了许多热门话题。Maturana等^[7]提出了一种基于CNN经典架构的新型三维卷积神经网络。它可以根据结构信息提取有效的特征向量。Su等人^[8]提出了一种新颖的CNN网络(MVCNN)来处理基于多视图信息的3D模型表示。在网络处理中，它可以融合多视图信息以提供强健功能。Kanezaki等人^[9]提出了一种改进的CNN网络来处理三维模型分类和检索问题，该模型被设计为仅使用部分多视点图像集来进行推理和特征学习。Charles等^[10]提出了一种直接消耗点云的新型神经网络(PointNet)。但是，这种方法只适用于点云类型，这会限制其应用范围。Wu等^[11]对离散化为303体素网格的形状训练了一个深度信念网络，用于对象分类，形状完成和次最佳视图预测。Sedaghat等人^[12]介绍了一种辅助定向损失，与原来的VoxNet相比，分类性能提高^[7]。一般而言，所有这些方法通常关注结构信息或视觉信息，而忽略另一个，影响分类和搜索精度。

发明内容

本发明提供了一种基于全景图和多通道CNN的三维模型分类和检索方法，本发明保留了三维模型的结构和视觉的局部和全局信息，自动计算2D全景视图的特征，用于处理分类和检索问题，详见下文描述：

一种基于全景图和多通道CNN的三维模型视图提取方法，所述方法包括以下步骤：

将3D模型投影到满足预设条件的圆柱体的侧面上，以3D模型的原点为中心，将3D模型的轴线平行于X、Y、Z的主轴之一来获得初始全景图；