[发明专利]深度估计方法和装置、电子设备、程序和介质

说明书

本发明实施例公开了一种深度估计方法和装置、电子设备、程序和介质，其中，方法包括：以单张图片作为双目图像中的第一图像，经第一神经网络，基于所述第一图像获取所述双目图像中的第二图像；经第二神经网络，通过对所述第一图像与所述第二图像进行双目立体匹配，获取所述第一图像对应的深度信息。本发明实施例基于单张图片实现了深度估计，而不需要双目相机，避免了双目相机产生的额外硬件开销，降低了成本；并且，可以避免双目相机设定不准确导致获得的深度信息错误，提高了深度估计的准确性。

技术领域

本发明涉及计算机视觉技术，尤其是一种深度估计方法和装置、电子设备、程序和介质。

背景技术

深度估计是计算机视觉领域内的重要问题。准确的深度估计方法在许多领域，例如自动驾驶、三维场景重建以及增强现实等领域，有着重要的利用价值。

在卷积神经网络发展的驱动下，深度估计的相关技术得到了快速发展。

发明内容

本发明实施例提供一种深度估计技术方案。

根据本发明实施例的一个方面，提供的一种深度估计方法，包括：

以单张图片作为双目图像中的第一图像，经第一神经网络，基于所述第一图像获取所述双目图像中的第二图像；

经第二神经网络，通过对所述第一图像与所述第二图像进行双目立体匹配，获取所述第一图像对应的深度信息。

可选地，在本发明上述各实施例的方法中，经第一神经网络，基于所述第一图像获取所述双目图像中的第二图像，包括：

经第一神经网络对所述第一图像进行处理，输出N个通道的视差概率图；其中，每个通道的视差概率图表示所述第一图像上像素向第一水平方向偏移i个视差的概率，i＝0,1，…，N-1，N的取值为大于1的整数；

根据所述N个通道的视差概率图，将所述第一图像分别向第一水平方向偏移i个像素，得到N张偏移图；

将所述N张偏移图中的各偏移图分别点乘对应通道的视差概率图，得到N个点乘结果；

将所述N个点乘结果基于像素进行叠加，得到所述第二图像。

可选地，在本发明上述各实施例的方法中，所述经第一神经网络对所述第一图像进行处理，输出N个通道的视差概率图，包括：

分别通过第一神经网络中的两个或以上网络深度的网络层对所述第一图像进行特征提取，获得两个或以上尺度的特征图；

基于所述两个或以上尺度的特征图分别获取两个或以上分辨率的、N个通道的初步视差概率图；

分别针对每个通道，将所述两个或以上分辨率的初步视差概率图放大至所述第一图像的分辨率下进行叠加，得到所述N个通道的视差概率图。

可选地，在本发明上述各实施例的方法中，所述第一图像中对应前景对象的像素在所述N个通道的视差概率图中的对应像素位置，在对应较大视差的通道的视差概率图中具有较大的概率值；所述第一图像中对应背景对象的像素在所述N个通道的视差概率图中的对应像素位置，在对应较小视差的通道的视差概率图中具有较大的概率值。

可选地，在本发明上述各实施例的方法中，通过对所述第一图像与所述第二图像进行双目立体匹配，获取所述第一图像对应的深度信息，包括：

获取用于表示所述双目图像中一个图像相对于另一个图像中像素的位置关系的相关系数；所述双目图像中一个图像包括所述第一图像或所述第二图像，所述另一个图像对应包括所述第二图像或所述第一图像；

基于所述另一个图像与所述相关系数，生成所述第一图像与所述第二图像的视差图；

基于所述视差图获取所述第一图像对应的深度信息。