[发明专利]基于多环路视图卷积神经网络的立体视觉检索方法与系统

说明书

本申请公开了基于多环路视图卷积神经网络的立体视觉检索方法与系统，其中，该方法包括：步骤1，获取视觉对象在所处空间内至少两个相交平面上的环路视图，其中，环路视图包括至少三张对象视图；步骤2，根据视图卷积神经网络和长短时记忆网络模型，对环路视图进行特征提取，得到环路视图对应的环路描述子；步骤3，采用拼接算法，对环路描述子进行拼接处理，得到全局特征标识，记作检索特征；步骤4，根据样本空间中的样本与检索特征之间的欧氏距离的排序，依次输出样本。通过本申请中的技术方案，实现了从不同平面获取立体视觉对象的视图，提高了视图中立体视觉对象之间的可区分性，优化了对立体视图对象的检索性能和检索过程中的鲁棒性。

技术领域

本申请涉及立体视觉检索的技术领域，具体而言，涉及基于多环路视图卷积神经网络的立体视觉检索方法以及基于多环路视图卷积神经网络的立体视觉检索系统。

背景技术

立体视觉对象检索在近年来已经能到了极大的关注，在计算机视觉领域中已经成为了热门话题，立体视觉对象检索的目的是为了可以在给定数据库中寻找到被查询立体视觉对象最类似的物体。立体视觉对象有很多种视觉表示模态，如视图投影、网格、点云等模态，其中，视图投影模态较为常用，基于多视图的表示学习即将三维视觉立体物体投影成二维图像，然后从多张二维图像中学习三维物体的特征表示。通常而言，立体视觉对象有着复杂多变的几何形状，因此，从不同的角度获取视觉对象的视图，有利于完整的表示一个立体视觉对象。

而现有技术中，通常是将相机固定于一个特定的水平面上，然后水平均匀呈环形摆放，或者将相机设置于二十面体的各个顶点上，使用预设置相机进行二维图像投影，使用特定的特征抽取器如卷积神经网络或者传统手工特征进行视图特征抽取，最后再对多视图的不同特征进行融合得到三维立体视觉特征表示。在融合时，并没有考虑到各个视图之间的特征关联信息，如视图前后出现的客观联系与视图间像素移动、变化本身包含的信息，同时，获取视觉对象的视图的空间角度相对单一，导致立体视觉检索系统的检索性能和鲁棒性偏低。

发明内容

本申请的目的在于：提高立体视觉对象的检索性能和鲁棒性，有利于避免相似立体视觉对象的混淆。

本申请第一方面的技术方案是：提供了基于多环路视图卷积神经网络的立体视觉检索方法，该方法包括：步骤1，获取视觉对象在所处空间内至少两个相交平面上的环路视图，其中，环路视图包括至少三张对象视图；步骤2，根据视图卷积神经网络和长短时记忆网络模型，对环路视图进行特征提取，得到环路视图对应的环路描述子；步骤3，采用拼接算法，对环路描述子进行拼接处理，得到全局特征标识，记作检索特征；步骤4，根据样本空间中的样本与检索特征之间的欧氏距离的排序，依次输出样本。

上述任一项技术方案中，进一步地，步骤21，根据视图卷积神经网络中的残差神经网络模型，对任一张对象视图进行特征向量处理，记作第一特征向量；步骤22，采用视图卷积神经网络中的环路正则化模型，根据第一特征向量和对象视图中的环路统计信息，抽取第二特征向量；步骤23，根据第二特征向量和长短时记忆网络模型，采用平均池化算法，生成环路描述子。

上述任一项技术方案中，进一步地，长短时记忆网络模型的计算公式为：