[发明专利]一种多区域空间对齐的细粒度草图检索三维模型方法

权利要求书

1.一种多区域空间对齐的细粒度草图检索三维模型方法，其特征在于，包括以下步骤：

渲染所有三维模型3个视角投影下的深度图，对深度图和草图数据进行空间对齐预处理；

构建同时提取草图特征和三维模型深度图的多区域特征提取网络，利用身份一致性损失、区域一致性相似度损失、批次内难样本损失联合监督训练，通过反向传播更新网络参数，得到训练好的草图和三维模型深度图多区域特征提取网络；

利用训练完成的草图和三维模型深度图多区域特征提取网络，分别提取查询草图和待检索的三维模型深度图特征，采用余弦距离进行特征相似度排序，得到检索的三维模型结果；

其中，上述“渲染所有三维模型3个视角投影下的深度图，对深度图和草图数据进行空间对齐预处理”包括以下步骤，

利用mesh_to_sdf库将三维模型按方位角0度、45度、90度三个角度渲染三张深度图；

利用OpenCV库读取草图或深度图图像，将RGB图像转变为灰度图；

对灰度图所有的像素值进行遍历，找出灰度值小于250的所有像素，比较这些像素对应的最小行列号和最大行列号；

根据得到的最小行列号和最大行列号，利用OpenCV库对原始图像进行裁剪，得到裁剪后图像；

计算裁剪后图像的宽高比，将宽和高中最大的值缩放至250像素，宽、高中较小的值保持同样的宽高比进行缩放，得到缩放后图像；

利用OpenCV库对缩放后图像填充白色边界，使最后图像的大小为256*256；

上述“构建同时提取草图特征和三维模型深度图的多区域特征提取网络，利用身份一致性损失、区域一致性相似度损失、批次内难样本损失联合监督训练，通过反向传播更新网络参数”包括以下步骤，

构建提取草图特征和三维模型深度图的结构相同参数不同的两个网络分支，每个分支以Resnet50作为基准网络，在Resnet50的layer4后面增加自适应池化层，池化层的参数为（3,1），得到池化后的上、中、下三部分；

草图上、中、下三个区域和三维模型深度图上、中、下三个区域，在每一部分后面增加1x1卷积层、BatchNorm层和LeakyReLU层，得到256维特征向量；

草图上面区域的256维特征向量和三维模型深度图上面区域的256维特征向量连接同一个分类层，同样地，草图和三维模型深度图的中间区域、下面区域也分别连接分类层，共3个分类层；

利用身份一致性损失、相似度一致性损失和批次内难样本损失共同监督训练，得到训练后的草图和三维模型深度图特征提取网络。

2.根据权利要求1所述的多区域空间对齐的细粒度草图检索三维模型方法，其特征在于：所述“利用训练完成的草图和三维模型深度图多区域特征提取网络，分别提取查询草图和待检索的三维模型深度图特征，采用余弦距离进行特征相似度排序，得到检索的三维模型结果”包括以下步骤，

将所有待检索的三维模型渲染成3个视角下的深度图 并进行空间对齐处理，将查询草图进行空间对齐处理；

将空间对齐处理后的所有待检索的三维模型深度图输入到训练好的三维模型深度图提取网络中提取三维模型深度图上、中、下三个区域的合并特征，将空间对齐处理后的查询草图输入到训练好的草图特征提取网络中提取查询草图上、中、下三个区域的合并特征；

计算查询草图特征和所有待检索三维模型深度图特征的余弦距离，按余弦距离从大到小进行排序，采用三维模型三个视角下深度图中余弦距离最大值作为该三维模型与草图的相似度，对排序结果进行去重处理，得到三维模型的检索结果。