[发明专利]三维重建方法、网络模型训练方法、装置及电子设备

说明书

本申请涉及一种三维重建方法、网络模型训练方法、装置及电子设备，属于计算机技术领域。该三维重建方法包括：获取双目相机采集的图像对，图像对包括第一图像和第二图像；利用预先训练好的识别模型对第一图像中的目标物进行识别，得到目标物所在的矩形区域；将目标物所在的矩形区域作为识别点，在第二图像中找到与矩形区域对应的目标矩形区域；根据目标物所在的矩形区域以及目标矩形区域，得到目标物的三维坐标。本申请实施例中，利用识别模型对第一图像中的目标物进行识别，以便在二维空间上将所需要重建的物体范围确定，从而缩小了三维空间下的重建计算量，进而解决了现有三维重建速度过慢，计算成本过高的问题。

技术领域

本申请属于计算机技术领域，具体涉及一种三维重建方法、网络模型训练方法、装置及电子设备。

背景技术

在物料分拣，零件抓取等工业场景，往往需要获取所抓取物块的三维模型，无论是基于飞行时间(Time Of Flight，TOF)的主动光识别，还是基于深度学习的立体视觉，都会面临三维重建速度过慢，计算成本过高的问题。

发明内容

鉴于此，本申请的目的在于提供一种三维重建方法、网络模型训练方法、装置及电子设备，以改善现有三维重建速度过慢，计算成本过高的问题。

本申请的实施例是这样实现的：

第一方面，本申请实施例提供了一种三维重建方法，包括：获取双目相机采集的图像对，所述图像对包括第一图像和第二图像；利用预先训练好的识别模型对所述第一图像中的目标物进行识别，得到所述目标物所在的矩形区域；将所述目标物所在的矩形区域作为识别点，在所述第二图像中找到与所述矩形区域对应的目标矩形区域；根据所述目标物所在的矩形区域以及所述目标矩形区域，得到所述目标物的三维坐标。本申请实施例中，利用识别模型对第一图像中的目标物进行识别，以便在二维空间上将所需要重建的物体范围确定，然后在将目标物所在的矩形区域作为识别点，在第二图像中找到与矩形区域对应的目标矩形区域，最后再根据目标物所在的矩形区域以及目标矩形区域，便可确定目标物的三维坐标，通过减少三维空间下的重建计算量，进而解决了现有三维重建速度过慢，计算成本过高的问题。

结合第一方面实施例的一种可能的实施方式，将所述目标物所在的矩形区域作为识别点，在所述第二图像中找到与所述矩形区域对应的目标矩形区域，包括：基于双目三维重建算法，将所述目标物所在的矩形区域的各个角的坐标作为识别点，在所述第二图像中找到与所述矩形区域的各个角的坐标各自对应的目标点坐标。本申请实施例中，基于双目三维重建算法，将目标物所在的矩形区域的各个角的坐标作为识别点，在第二图像中找到与矩形区域的各个角的坐标各自对应的目标点坐标，以便于后续基于多个识别点以及对应的多个目标点坐标，计算目标物的多个三维坐标，从而提高目标物的定位精度。

结合第一方面实施例的一种可能的实施方式，在利用预先训练好的识别模型对所述第一图像中的目标物进行识别之前，所述方法还包括：获取训练样本集，所述训练样本集包括：已标注所述目标物的图像以及仅包含所述目标物的图像；利用所述训练样本集对SSD识别网络进行训练，得到所述训练好的识别模型，其中，在训练时，将所述仅包含所述目标物的图像作为标准，对所述SSD识别网络从所述已标注所述目标物的图像中识别出的所述目标物所在的区域图像进行相似度评分，并根据相似度评分更新所述SSD识别网络的模型参数。本申请实施例中，利用已标注目标物的图像以及仅包含目标物的图像的样本集来训练SSD识别网络，并在训练时，将仅包含目标物的图像作为标准，对SSD识别网络从已标注目标物的图像中识别出的目标物所在的区域图像进行相似度评分，并根据相似度评分更新SSD识别网络的模型参数，从而使得该SSD模型能准确、快速的将所需的目标物识别出来。