[发明专利]一种基于三维重建的图像标注方法及装置

说明书

本发明实施例公开一种基于三维重建的图像标注方法及装置，能够利用三维重建原理，根据自动驾驶车辆中图像采集设备采集的初始图像构建得到特征地图，人工在特征地图的一次操作，即一次标注，就可以投影到多张二维图像上得到标注图像，从而可以大大提高标注的效率。并且，利用高精度的三维重建，人工的一次标注可以准确地投影到多张二维图像上，实现标注的一致性，避免了错误标注的产生，从而可以提高图像标注的准确性。另外，利用训练好的目标检测模型进行元素感知时，可以基于三维重建的结果将感知到的当前目标元素投影在二维图像上，并将目标检测模型感知结果和投影结果进行对比，确定目标检测模型的感知结果，从而可以对模型的准确性进行评估。

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种基于三维重建的图像标注方法及装置。

背景技术

基于深度学习的图像识别需要大量的样本图像来训练模型，而在模型训练之前，需要首先对各样本图像进行标注得到标注结果。

已知的样本标注方法，通常会使用一个预训练的模型辅助，即在待标注图像上使用预训练的模型产生标注框，再由人工去调整。但预训练模型产生的标注框稳定性较差，会有错漏等情况，需要人工逐一核实，从而导致样本标注过程在数量巨大时人力成本高，标注效率较低。因此，为了提高图像标注的效率，亟需一种图像标注方法。

发明内容

本发明提供了一种基于三维重建的图像标注方法及装置，以提高图像标注效率。具体的技术方案如下。

第一方面，本发明实施例提供一种基于三维重建的图像标注方法，所述方法包括：

获取各自动驾驶车辆中图像采集设备采集的初始图像；

针对每帧所述初始图像，对该初始图像进行已知对象检测，得到该初始图像中所包括各所述已知对象的类别信息和坐标信息；

针对每辆自动驾驶车辆，根据该自动驾驶车辆中图像采集设备采集的部分图像，各所述部分图像中所包括各所述已知对象的类别信息和坐标信息进行三维重建，得到该自动驾驶车辆对应的三维重建结果，所述三维重建结果包括：各所述已知对象的观测关系、各所述部分图像的位姿、以及各所述部分图像中所包括已知对象在世界系的三维坐标；任一所述已知对象的观测关系包括：该已知对象和包含该已知对象的各部分图像的对应关系；

将各自动驾驶车辆对应的三维重建结果进行融合，得到特征地图；

展示所述特征地图，并接收针对所述特征地图中存在的目标元素的标注结果；任一所述目标元素的标注结果包括该目标元素的三维坐标和类别信息；

针对所述特征地图中任一目标元素，在所述特征地图的已知对象中识别该目标元素预设距离范围内的目标对象，根据各所述目标对象的观测关系，在各所述初始图像中查找存在该目标对象的候选图像，根据该目标元素的三维坐标以及各所述候选图像的位姿，计算该目标元素在各候选图像中的坐标信息，并根据该目标元素在各候选图像中对应的坐标信息确定包含该目标元素的目标图像，构建包含各目标元素坐标信息和类别信息的标注图像。

可选的，所述方法还包括：

构建初始网络模型；并将所述标注图像输入所述初始网络模型中，对所述初始网络模型进行训练，得到目标检测模型；

获取待识别图像，以及所述待识别图像的位姿；将所述待识别图像输入所述目标检测模型中，得到所述待识别图像的识别结果，所述识别结果包括所述待识别图像中包括的当前目标元素的坐标信息和类别信息；

根据所述当前目标元素的坐标信息，以及所述待识别图像的位姿，计算所述当前目标元素在所述特征地图中的三维坐标；