[发明专利]一种基于三维重建的图像标注方法及装置

权利要求书

1.一种基于三维重建的图像标注方法，其特征在于，所述方法包括：

获取各自动驾驶车辆中图像采集设备采集的初始图像；

针对每帧所述初始图像，对该初始图像进行已知对象检测，得到该初始图像中所包括各所述已知对象的类别信息和坐标信息；

针对每辆自动驾驶车辆，根据该自动驾驶车辆中图像采集设备采集的部分图像，各所述部分图像中所包括各所述已知对象的类别信息和坐标信息进行三维重建，得到该自动驾驶车辆对应的三维重建结果，所述三维重建结果包括：各所述已知对象的观测关系、各所述部分图像的位姿、以及各所述部分图像中所包括已知对象在世界系的三维坐标；任一所述已知对象的观测关系包括：该已知对象和包含该已知对象的各部分图像的对应关系；

将各自动驾驶车辆对应的三维重建结果进行融合，得到特征地图；

展示所述特征地图，并接收针对所述特征地图中存在的目标元素的标注结果；任一所述目标元素的标注结果包括该目标元素的三维坐标和类别信息；

针对所述特征地图中任一目标元素，在所述特征地图的已知对象中识别该目标元素预设距离范围内的目标对象，根据各所述目标对象的观测关系，在各所述初始图像中查找存在该目标对象的候选图像，根据该目标元素的三维坐标以及各所述候选图像的位姿，计算该目标元素在各候选图像中的坐标信息，并根据该目标元素在各候选图像中对应的坐标信息确定包含该目标元素的目标图像，构建包含各目标元素坐标信息和类别信息的标注图像。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

构建初始网络模型；并将所述标注图像输入所述初始网络模型中，对所述初始网络模型进行训练，得到目标检测模型；

获取待识别图像，以及所述待识别图像的位姿；将所述待识别图像输入所述目标检测模型中，得到所述待识别图像的识别结果，所述识别结果包括所述待识别图像中包括的当前目标元素的坐标信息和类别信息；

根据所述当前目标元素的坐标信息，以及所述待识别图像的位姿，计算所述当前目标元素在所述特征地图中的三维坐标；

根据所述当前目标元素在所述特征地图中的三维坐标，在所述特征地图的已知对象中识别所述当前目标元素预设距离范围内的当前目标对象，根据各所述当前目标对象的观测关系，在各所述初始图像中查找存在所述当前目标对象的当前候选图像，根据所述当前目标元素的三维坐标以及各所述当前候选图像的位姿，计算所述当前目标元素在各当前候选图像中对应的坐标信息，并根据所述当前目标元素在各所述当前候选图像中对应的坐标信息确定包含所述当前目标元素的当前目标图像，得到所述待识别图像的标准结果，所述标准结果包括各所述当前目标图像中包括的所述当前目标元素的坐标信息和类别信息；

将所述待识别图像的识别结果和标准结果进行对比，确定所述识别结果中的类别信息是否正确。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

获取识别结果正确的待识别图像，并根据所识别出的待识别图像对所述目标检测模型进行优化。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述针对每帧所述初始图像，对该初始图像进行已知对象检测，得到该初始图像中所包括各所述已知对象的类别信息和坐标信息之后，所述方法还包括：

针对每辆自动驾驶车辆中图像采集设备采集的每帧初始图像，判断该初始图像的已知对象检测结果是否与该初始图像前后预设数量帧初始图像的已知对象检测结果均不同，且该初始图像前后预设数量帧初始图像的已知对象检测结果均相同；如果是，删除该初始图像。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述根据该目标元素的三维坐标以及各所述候选图像的位姿，计算该目标元素在各候选图像中的坐标信息，并根据该目标元素在各候选图像中对应的坐标信息确定包含该目标元素的目标图像的步骤包括：

根据该目标元素的三维坐标以及各所述候选图像的位姿，对该目标元素进行投影，得到该目标元素在各候选图像中的坐标信息；

针对任一所述候选图像，判断该目标元素在该候选图像中的坐标信息是否位于该候选图像的坐标范围内，如果是，将该候选图像确定为包含该目标元素的目标图像。