[发明专利]基于深度卷积神经网络的三维模型检索方法

摘要

本发明公开了基于深度卷积神经网络的三维模型检索算法，该方法采用度量学习算法得到一个欧氏嵌入空间,将手绘草图与模型投影嵌入同一特征空间，在该特征嵌入空间中的欧氏距离可以直接代表草图和模型投影之间的相似度，解决了草图与模型投影图之间的跨域匹配问题。同时设计一种排序机制，使得在该特征空间中同类别图像之间的距离小于不同类别图像之间的距离，可以区分不同类别间的细微差异并且适应同类别不同风格的变体；并且本发明采用卷积神经网络来学习超完备的特征过滤器组组成特征提取器，提取出高级抽象特征，有效的解决了手工设计的低级几何特征描述子的算法泛化能力弱，难以扩展到未知数据集的问题。

主权项

1.基于深度卷积神经网络的三维模型检索方法，其特征在于，包括以下步骤：步骤1，设三维模型数据库M＝{m₁,m₂,...,m_n}；步骤11，设单位球面三角网格U＝{V,T}，V是三角形顶点集合，T是三角形集合；步骤12，从三角形顶点集合V中随机选择d个顶点作为种子顶点，所述d个种子顶点组成种子顶点集合Seeds，步骤131，以Seeds中所有种子顶点作为劳埃德松弛算法的种子，得到d个沃罗诺伊原胞，所述d个沃罗诺伊原胞的中心分别为Cent₁,Cent₂,...,Cent_d；步骤132，将Seeds中的每个种子顶点分别移动到对应的沃罗诺伊原胞的中心，即令vertex₁＝Cent₁,vertex₂＝Cent₂,...,vertex_d＝Cent_d,所述Seeds中的所有种子顶点移动到对应的沃罗诺伊原胞的中心的距离记为D＝{distance₁,distance₂,...,distance_d},且将D中的最大值记为Max_distance；步骤133，重复步骤131至步骤132,直到Max_distance<0.01，执行步骤14；步骤14，将沃罗诺伊原胞的中心Cent_j,j＝1...d作为视角v_j，得到视角集合Views＝{v₁,v₂,...,v_j,...v_d}；任选三维模型数据库M＝{m₁,m₂,...,m_n}中的任一个三维模型m_i，i＝1,2，…，n，n为大于等于1的自然数；将m_i做归一化处理后，依次采用视角集合Views中的所有视角对三维模型m_i进行线渲染得到的投影图集合其中，为选用视角集合Views中的任一视角v_j，对三维模型m_i进行线渲染得到投影视图，j＝1,2,...d；步骤15，重复步骤14得到三维模型数据库M＝{m₁,m₂,...,m_n}中所有模型的投影图数据集步骤2，设手绘草图数据集为S＝{s¹,s²,...,s^a,...,s^k}，a＝1,2，…，k；步骤21，将S∪P作为GoogLeNet网络的输入，将GoogLeNet网络中的全连接层节点个数设置为模型类别数，将学习率设置为0.01,权重衰减设置为0.0001,动量设置为0.95，以随机梯度下降法作为优化算法，迭代训练GoogLeNet网络得到分类器C(x)；步骤22，将投影图数据集中的每一个投影图作为分类器C(x)的输入，得到投影图数据集P中所有图像的索引I(key,value)，所述key为投影图数据集P中所有投影图所属类别的编号；设key＝c，c为大于等于1的自然数，投影图数据集P中属于类别c的投影图集合为value为在分类器global pool层的特征向量组成的集合步骤3，生成三元组数据集合，包括：步骤31，任取手绘草图数据集S中的任一手绘草图作为当前手绘草图s^a；将当前手绘草图s^a输入分类器C(x)得到分类预测分数向量其中，当前手绘草图s^a的预测类别向量为绘草图s^a的预测类别编号，b＝1，2，…,C，C为预测类别总数，C为大于等于1的自然数，表示手绘草图s^a属于类别的概率，步骤31，设当前手绘草图s^a的类别标签为l^a，l^a∈C^a，将类别标签l^a作为正类标签p^a，从当前手绘草图s^a的预测类别向量中任选5个不同于p^a的标签作为负类标签集合步骤32，从索引I中得到标记为正类标签p^a的所有投影图的特征向量集合计算当前手绘草图s^a的特征向量C_gp(s^a)与所有正类投影图特征向量的欧氏距离选取其中距离最小的5个投影图作为正样本，得到5个正样本；步骤331，任选负类标签集合n^a中的任一负类标签作为当前负类标签从索引I中得到标记为当前负类标签的所有投影图的特征向量集合计算当前手绘草图s^a的特征向量C_gp(s^a)与所有负类投影图特征向量的欧氏距离选取其中距离最小的5个投影图作为负样本；步骤332，重复步骤331，直至负类标签集合n^a中所有的负类标签都被作为当前负类标签，共得到25个负样本，执行步骤34；步骤34，将5个正样本和25个负样本组成125个三元组对组成的集合Triplet_a；步骤35，重复步骤31至步骤34，直至手绘草图数据集S中所有的手绘草图都被作为当前手绘草图，得到三元组集合步骤4，设三元组集合中的任一三元组其中为三元组中的正样本图片，为三元组中的手绘草图，为三元组中的负样本图片；步骤41，将三元组中的正样本输入Net^p得到将三元组中的负样本输入Netⁿ得到将三元组中的手绘草图输入Net^g得到其中，Net^p,Net^g,Netⁿ为构建用于度量学习的卷积神经网络G中包含的三个子卷积神经网络；步骤42，通过式(1)得到卷积神经网络G的损失函数值L：式(1)中，N为三元组的数量，α为正样本和负样本之间的间隔；步骤43，采用随机梯度下降法作为最优化算法，以损失函数值L为目标训练卷积神经网络G，所述卷积神经网络G输出嵌入函数E(x)；步骤5，包括：步骤51，将三维模型mi的投影图集合中的任一张模型投影图作为当前模型投影图采用嵌入函数E(x)将当前模型投影图嵌入到欧式特征空间中，得到欧式特征空间中的特征点步骤52，重复步骤51，得到三维模型mi的投影图集合中所有模型投影图的欧式特征空间中的特征点集合；步骤53，重复步骤51至步骤52，将三维模型数据库M＝{m₁,m₂,...,m_n}中的所有三维模型都嵌入到欧式空间中，得到三维模型数据库中所有模型投影图的欧式特征空间中的特征点集合。