[发明专利]基于非局部图卷积网络的多视图三维模型检索方法

摘要

该发明属于计算机视觉及深度学习领域，针对当前基于视图的深度学习方法不能捕获三维模型全面的空间信息的缺点，基于非局部图卷积网络的多视图三维模型检索方法挖掘融合多视图的高响应特征，从而得到单一紧凑的高辨别性模型描述符。其优越性能在三维模型检索中得到验证。该发明具体包含以下步骤：（1）获取模型的多视角图像，（2）多视角图像预处理，（3）设计非局部图卷积网络，（4）非局部图卷积网络训练，（5）提取模型深度特征，（6）三维模型的检索匹配。

主权项

1.基于非局部图卷积网络的多视图三维模型检索方法，其特征在于包括如下几个步骤：/n第一步、获取模型的多视角图像/n通过设置多个多角度摄像头来捕捉物体的各个角度视图，计算机三维模型通过软件的模拟相机设置好多角度来捕捉其各个角度视图；/n第二步、多视角图像预处理/n对多视角图像进行预处理，包括图像裁剪，图像尺寸重置，图像翻转以及图像归一化等；/n第三步、设计非局部图卷积网络/n设计非局部图卷积网络来挖掘融合多视图的高响应特征，非局部图卷积网络包含以下几个模块：卷积模块一，图卷积模块，卷积模块二，图卷积模块，卷积模块三，特征融合模块，模型分类模块；/n第四步、非局部图卷积网络训练/n通过以上三步，得到训练非局部图卷积网络需要的数据以及其网络架构，使用pytoch深度学习框架来训练网络模型，使用语言为python3.6，该网络同时可同时输入多张图像，随着迭代次数的增多，其损失函数随之下降直到收敛，收敛条件为稳定在1×10^(-3)左右；/n第五步、提取模型深度特征/n在提取模型深度特征时仍然使用pytorch深度学习框架，训练好非局部图卷积网络后，得到训练好的非局部图卷积网络模型参数，然后将检索匹配要用到的所有三维模型输入预训练好的非局部图卷积网络中，通过前面的卷积模块与图卷积模块挖掘到多视图的高响应特征，使用max-pooling操作来对多视图融合，进而得到单一紧凑的高辨别性模型描述符；/n第六步、三维模型的检索匹配/n对三维模型检索时主要是其模型相关性的度量方法，使用基于L2范数的欧几里得度量方法来计算两个模型的距离，使用其距离大小来表示三维模型之间的相关性，其计算公式如下：/n (1)/n a,b分别代表两个不同的模型，其中为计算所得的两模型间的距离，分别表示a的i维特征及b的i维特征。/n