[发明专利]一种多区域空间对齐的细粒度草图检索三维模型方法

说明书

本发明涉及基于草图的三维模型细粒度检索领域，提供一种多区域空间对齐的细粒度草图检索三维模型方法，包括：渲染所有三维模型3个视角投影下的深度图，对深度图和草图数据进行空间对齐预处理；构建同时提取草图特征和三维模型深度图的多区域特征提取网络，利用身份一致性损失、区域一致性相似度损失、批次内难样本损失联合监督训练，得到训练好的草图和三维模型深度图特征提取网络；利用训练完成的草图和三维模型深度图多区域特征提取网络，分别提取查询草图和待检索的三维模型深度图特征，采用余弦距离进行特征相似度排序，得到检索的三维模型结果。本发明方法充分考虑了同一实例的草图和三维模型渲染图像的多区域差异，有效提高了检索精度。

技术领域

本发明涉及基于草图的三维模型细粒度检索领域，尤其是涉及一种多区域空间对齐的细粒度草图检索三维模型方法。

背景技术

实例级的三维模型检索可以有效服务于VR、AR和3D打印等领域。相比文字信息，草图更适合表征细节信息。基于草图的三维模型检索主要关注类别级检索，而基于草图的三维模型细粒度检索更关注实例级检索，即与草图一致的三维模型个体。

基于草图的三维模型细粒度检索面临的挑战主要包括：1）二维草图和三维模型的域分离问题，二维草图仅能表达某个视角下的轮廓，三维模型具有深度信息包含了所有视角的信息；2）视角差异，不同视角下的草图和三维模型具有较大的外观差异；3）同一视角下草图和三维模型的差异往往分布在多个区域，仅通过全局特征难以区分。

由于缺少数据集，基于草图的三维模型细粒度检索相关研究还相对较少。Qi等公开了第一个草图细粒度检索三维模型数据集，并对已有的基于草图的三维模型检索方法进行了性能对比。在细粒度检索任务中，基于投影的方法显著优于非投影的方法，可以有效降低域差异。Qi等重点关注草图与三维模型投影视角匹配的问题，而同一视角下的多区域差异问题还未解决。

发明内容

针对草图和三维模型投影图像的多区域差异问题，本发明提出了一种多区域空间对齐的细粒度草图检索三维模型方法，有效提高了检索精度。

本发明提供一种空间对齐的细粒度草图检索三维模型方法，包括以下步骤：

步骤1，渲染所有三维模型3个视角投影下的深度图，对深度图和草图数据进行空间对齐预处理；

步骤2，构建同时提取草图特征和三维模型深度图的多区域特征提取网络，利用身份一致性损失、区域一致性相似度损失、批次内难样本损失（Batch Hard Triplet Loss）联合监督训练，通过反向传播更新网络参数，得到训练好的草图和三维模型深度图多区域特征提取网络；

步骤3，利用步骤2训练完成的草图和三维模型深度图多区域特征提取网络，分别提取查询草图和待检索的三维模型深度图特征，采用余弦距离进行特征相似度排序，得到检索的三维模型结果。

在上述技术方案中，所述步骤1包括以下子步骤，

步骤1.1，利用mesh_to_sdf库将三维模型按方位角0度、45度、90度三个角度渲染三张深度图；

步骤1.2，利用OpenCV库读取草图或深度图图像，将RGB图像转变为灰度图；

步骤1.3，对灰度图所有的像素值进行遍历，找出灰度值小于250的所有像素，比较这些像素对应的最小行列号和最大行列号；

步骤1.4，根据得到的最小行列号和最大行列号，利用OpenCV库对原始图像进行裁剪，得到裁剪后图像；

步骤1.5，计算裁剪后图像的宽高比，将宽和高中最大的值缩放至250像素，宽、高中较小的值保持同样的宽高比进行缩放，得到缩放后图像；

步骤1.6，利用OpenCV库对缩放后图像填充白色边界，使最后图像的大小为。

在上述技术方案中，所述步骤2包括以下子步骤，