[发明专利]深度估计方法和装置、电子设备、程序和介质

权利要求书

1.一种深度估计方法，其特征在于，包括：

以单张图片作为双目图像中的第一图像，经第一神经网络，基于所述第一图像获取所述双目图像中的第二图像；所述经第一神经网络，基于所述第一图像获取所述双目图像中的第二图像，包括：经第一神经网络对所述第一图像进行处理，输出N个通道的视差概率图；根据所述N个通道的视差概率图，得到N张偏移图；基于所述N个通道的视差概率图和所述N张偏移图，得到所述第二图像；

经第二神经网络，通过对所述第一图像与所述第二图像进行双目立体匹配，获取所述第一图像对应的深度信息。

2.根据权利要求1所述的方法，其特征在于，每个通道的视差概率图表示所述第一图像上像素向第一水平方向偏移i个视差的概率，i＝0,1，…，N-1，N的取值为大于1的整数；

所述根据所述N个通道的视差概率图，得到N张偏移图，包括：

根据所述N个通道的视差概率图，将所述第一图像分别向第一水平方向偏移i个像素，得到N张偏移图；

所述基于所述N个通道的视差概率图和所述N张偏移图，得到所述第二图像，包括：

将所述N张偏移图中的各偏移图分别点乘对应通道的视差概率图，得到N个点乘结果；

将所述N个点乘结果基于像素进行叠加，得到所述第二图像。

3.根据权利要求2所述的方法，其特征在于，所述经第一神经网络对所述第一图像进行处理，输出N个通道的视差概率图，包括：

分别通过第一神经网络中的两个或两个以上网络深度的网络层对所述第一图像进行特征提取，获得两个或两个以上尺度的特征图；

基于所述两个或两个以上尺度的特征图分别获取两个或两个以上分辨率的、N个通道的初步视差概率图；

分别针对每个通道，将所述两个或两个以上分辨率的初步视差概率图放大至所述第一图像的分辨率下进行叠加，得到所述N个通道的视差概率图。

4.根据权利要求2所述的方法，其特征在于，所述第一图像中对应前景对象的像素在所述N个通道的视差概率图中的对应像素位置，在对应较大视差的通道的视差概率图中具有较大的概率值；所述第一图像中对应背景对象的像素在所述N个通道的视差概率图中的对应像素位置，在对应较小视差的通道的视差概率图中具有较大的概率值。

5.根据权利要求1-4任一所述的方法，其特征在于，通过对所述第一图像与所述第二图像进行双目立体匹配，获取所述第一图像对应的深度信息，包括：

获取用于表示所述双目图像中一个图像相对于另一个图像中像素的位置关系的相关系数；所述双目图像中一个图像包括所述第一图像或所述第二图像，所述另一个图像对应包括所述第二图像或所述第一图像；

基于所述另一个图像与所述相关系数，生成所述第一图像与所述第二图像的视差图；

基于所述视差图获取所述第一图像对应的深度信息。

6.根据权利要求5所述的方法，其特征在于，所述获取用于表示所述双目图像中一个图像相对于另一个图像中像素的位置关系的相关系数，包括：

分别对所述一个图像与所述另一个图像进行特征提取；

基于提取的所述一个图像的特征与所述另一个图像的特征，获取所述一个图像与所述另一个图像中像素的位置关系，并输出用于表示所述双目图像中一个图像相对于另一个图像中像素的位置关系的所述相关系数。

7.根据权利要求6所述的方法，其特征在于，基于所述另一个图像与所述相关系数，生成第一图像与所述第二图像的视差图，包括：

将所述另一个图像的特征与所述相关系数进行叠加，生成所述第一图像与所述第二图像的视差图。

8.根据权利要求7所述的方法，其特征在于，将所述另一个图像的特征与所述相关系数进行叠加，生成所述第一图像与所述第二图像的视差图，包括：

将所述另一个图像的特征与所述相关系数进行叠加，得到叠加结果；

提取所述叠加结果的特征，并将提取的所述叠加结果的特征与所述叠加结果进行融合，获得所述第一图像与所述第二图像的视差图。