[发明专利]一种基于嵌入空间的单幅图像三维零件组合式建模方法

权利要求书

1.一种基于嵌入空间的单幅图像三维零件组合式建模方法，其特征在于，包括如下步骤：

步骤1：对象级嵌入空间构建步骤，建立起图像和对象级模型之间的联系，利用图像进行对象级模型检索；

步骤2：零件级嵌入空间构建步骤，建立起图像和零件级模型之间的联系，利用图像进行零件级模型检索；

步骤3：基于嵌入空间的模型检索步骤，利用步骤1检索出对象级模型，再利用步骤2对检索出的对象级模型拆分的零件进行检索和排序，获得一组零件级模型；

步骤4：零件级模型的变形和摆放步骤，对步骤3中检索的零件级模型进行全组合拼接，并对每两个零件进行相对尺度和空间位置的预测，获得多个拼接后的模型；

步骤5：拼接结果选择步骤，将步骤4中的拼接后的模型与原始输入图片进行比较，选择出与原始输入图片中的对象最接近的拼接结果。

2.根据权利要求1所述的一种基于嵌入空间的单幅图像三维零件组合式建模方法，其特征在于，所述步骤1的对象级嵌入空间构建步骤具体如下：

步骤(1.1)使用零件级标记的CAD模型数据集，对模型对象的obj文件进行合成，将所有需要嵌入的类别对象级模型进行环绕角度和指定位姿的渲染，获得无背景的所有渲染图片；

步骤(1.2)对每个模型的渲染后的所有角度的图片进行梯度直方图HoG特征提取，将同一模型的所有特征进行拼接，获得一个高维的模型描述特征向量；

步骤(1.3)将所有对象级模型的特征向量进行降维，使用多维尺度分析MDS的方式，保持降维后向量之间的相对距离保持不变，获得所有对象级模型的低维度向量空间，作为对象级模型的空间；

步骤(1.4)然后对每个对象级模型按照随机俯视角或仰视角渲染，并覆盖随机背景，将渲染后的图片作为神经网络的输入，使输出结果尽量贴紧对应的对象级模型在空间中的向量坐标；

步骤(1.5)通过训练该神经网络，将模型与图片嵌入到同一空间中；利用训练后的该网络，实现输入单张图片，检索出最相近的对象级模型。

3.根据权利要求1所述的一种基于嵌入空间的单幅图像三维零件组合式建模方法，其特征在于，所述步骤2的零件级嵌入空间构建步骤具体如下：

步骤(2.1)使用CAD模型数据集，对已经标记的零件进行统一划分和obj文件合成，将所有需要嵌入的类别零件模型进行环绕角度和指定位姿的渲染，获得无背景的所有渲染图片；

步骤(2.2)对每个模型的渲染后的所有角度的图片进行HoG特征提取，将同一模型的所有特征进行拼接，获得一个高维的模型描述特征向量；所有模型的特征向量进行降维，使用MDS的方式，保持降维后向量之间的相对距离保持不变，获得所有零件级模型的低维度向量空间，作为零件级模型的空间；

步骤(2.3)然后对每个零件所对应的对象级模型按照随机俯视角或仰视角渲染，并覆盖随机背景，将渲染后的图片作为神经网络的输入，将输出结果通过该零件对应层次的投影函数，获得的结果尽量贴紧对应零件级模型在空间中的向量坐标；

步骤(2.4)通过训练该神经网络，将零件级模型与对象图片嵌入到同一空间中；利用训练后的该网络，实现输入单张图片，检索出最相近的零件级模型。

4.根据权利要求2或3所述的一种基于嵌入空间的单幅图像三维零件组合式建模方法，其特征在于，所述步骤3的基于嵌入空间的模型检索步骤具体如下：

步骤(3.1)对于输入图片，首先使用步骤1.5的神经网络搜索出最接近的前30个空间坐标最接近的对象级模型；

步骤(3.2)然后将对象级模型按照标记的零件进行拆分，再利用步骤2.4的神经网络，获得一组图像对象的预测零件级模型的坐标，并与所有拆分获得的零件在空间中的坐标进行距离度量，将各类别前5个接近的零件作为筛选结果；

步骤(3.3)对于部分类别零件不存在的模型，在进行对象检索时，根据该零件存在的情况，筛选掉出现频率较少的零件，使检索结果更加准确；

步骤(3.4)最终得到一组检索后的零件级模型，其中若有m个类别的零件，则总共会检索出5m个零件。