[发明专利]一种深度估计方法、装置、电子设备及存储介质

说明书

本申请提供一种深度估计方法、装置、电子设备及存储介质，用于改善获得的深度信息的精确度难以满足驾驶要求的问题。该方法包括：获取待推理图像，待推理图像是使用单目摄像头采集的；使用神经网络模型对待推理图像进行推理，获得待推理图像中的预测目标框和预测目标框对应的估计深度信息，神经网络模型是使用单目图像进行训练后获得的，单目图像是对双目摄像头采集的图像进行单目化处理获得的，预测目标框表征待推理图像中的目标对象所在位置区域，估计深度信息为目标对象与单目摄像头之间的距离。

技术领域

本申请涉及图像处理和自动驾驶的技术领域，具体而言，涉及一种深度估计方法、装置、电子设备及存储介质。

背景技术

在辅助驾驶、自动驾驶或无人驾驶领域中，通常使用单目摄像头采集汽车的正前方图像，并对正前方图像进行目标检测，从而识别出目标对象在正前方图像中的区域位置，再使用激光雷达和毫米波雷达等测距传感器来测量目标对象与单目摄像头之间的距离。由于该目标对象是该正前方图像的深度方向(可以理解为与XY坐标垂直的Z坐标方向)上，因此，该目标对象与单目摄像头之间的距离通常也被称为目标对象的深度信息。

在具体的实践过程中发现，在单目摄像头相对于地面的高度、光轴与地面的夹角保持不变的情况下，使用上述的测距传感器确定出的深度信息较为准确。然而，如果汽车始终在山路或者颠簸路面等环境运动过程中，就会出现刹车、启动、加速、减速和上下坡等情况，这些情况导致使用上述的测距传感器确定出的深度信息出现的误差迅速变大，获得的深度信息的精确度难以满足驾驶要求。

发明内容

本申请实施例的目的在于提供一种深度估计方法、装置、电子设备及存储介质，用于改善获得的深度信息的精确度难以满足驾驶要求的问题。

本申请实施例提供了一种深度估计方法，包括：获取待推理图像，待推理图像是使用单目摄像头采集的；使用神经网络模型对待推理图像进行推理，获得待推理图像中的预测目标框和预测目标框对应的估计深度信息，神经网络模型是使用单目图像进行训练后获得的，单目图像是对双目摄像头采集的图像进行单目化处理获得的，预测目标框表征待推理图像中的目标对象所在位置区域，估计深度信息为目标对象与单目摄像头之间的距离。在上述的实现过程中，通过使用神经网络模型对单目摄像头采集的待推理图像进行推理，由于该神经网络模型是使用精度更高的双目图像单目化处理的图像训练的，且在单目化处理过程中筛选出表征真实距离的像素点，使得训练出的神经网络模型的正确率更高。该深度估计方法不依赖于外部的测距传感器等，减少了测距传感器和单目摄像头在时间上不同步或在空间上没对齐导致的误差，从而提高了估计深度信息的精确度。

可选地，在本申请实施例中，在使用神经网络模型对待推理图像进行推理之前，还包括：获取第一图像和第二图像，第一图像和第二图像是双目摄像头针对目标对象采集的不同图像，双目摄像头的光圈中心点之间的距离等于预先计算出的基线值；对第一图像和第二图像进行单目化处理，获得多个单目图像，以及单目图像对应的目标框和深度信息；以多个单目图像为训练数据，以多个单目图像对应的目标框和深度信息为训练标签，对神经网络进行训练，获得神经网络模型。在上述的实现过程中，由于采集时的训练数据是使用双目摄像头来采集的，因此，在同样的时间内，能够获得相对于获取单目数据两倍的数据量，并对第一图像和第二图像进行单目化处理，从而获得更多的训练数据，然后使用更多的训练数据对神经网络进行训练，使得获得的神经网络模型在推理时的准确率更高。

可选地，在本申请实施例中，对第一图像和第二图像进行单目化处理，包括：在第一图像上标注出目标对象的第一目标框，并在第二图像上标注出目标对象的第二目标框，目标框表征目标对象在图像中的位置区域；根据第一目标框和第二目标框计算目标对象的深度信息。在上述的实现过程中，通过使用基线值的双目摄像头来获取目标对象的第一图像和第二图像，该基线值是事先计算出的最佳基线值，在双目摄像头光圈中心点之间的距离设置为最佳基线值的情况下，该双目摄像头能够采集到更多表示真实距离的像素点，从而获得精度更高的图像。