[发明专利]双目图像的深度估计方法及装置、设备、程序及介质

说明书

本发明实施例公开了一种双目图像的深度估计方法及装置、设备、程序及介质，其中，方法包括：将待处理双目图像输入预定神经网络，得到视差图像及其置信度图像，其中，所述视差图像中各像素在预设分布的离散参数与该像素的置信度呈负相关关系；根据所述视差图像得到所述待处理双目图像的深度图像。本发明实施例可以在得到视差图像的同时得到对应的置信度图像，利用置信度图像来对视差图像进行检测，从而获得更加精确的深度图像。

技术领域

本发明涉及计算机视觉技术，尤其是一种双目图像的深度估计方法及装置、电子设备、计算机程序及存储介质。

背景技术

随着机器学习技术的发展，深度学习网络已经应用于众多现实场景中，例如自动驾驶等。在这些应用中，预测结果是十分重要的，特别是在基于深度学习的回归任务中，例如双目立体匹配，通常预测结果都被假设为准确的。然而这样的假设并不够合理，若预测错误的像素出现在十分重要的区域，例如：比较细小的障碍物，可能会造成基于深度学习的避让系统失灵。另外，将这些深度学习网络部署于其他场景中时也有可能出现较差甚至不合理的结果。

发明内容

本发明实施例提供一种双目图像的深度估计方案。

根据本发明实施例的一个方面，提供一种双目图像的深度估计方法，包括：

将待处理双目图像输入预定神经网络，得到视差图像及其置信度图像，其中,所述视差图像中各像素在预设分布的离散参数与该像素的置信度呈负相关关系；

根据所述视差图像得到所述待处理双目图像的深度图像。

可选地，在本发明上述方法实施例中，所述将待处理双目图像输入预定神经网络，得到置信度图像，包括：

将所述待处理双目图像经过双目立体匹配神经网络后，依次经过两个卷积层和一个归一化层得到所述置信度图像。

可选地，在本发明上述任一方法实施例中，还包括：

利用损失函数训练所述预定神经网络，其中，所述损失函数由所述视差图像中各像素的置信度及该像素在所述预设分布的离散参数计算得到。

可选地，在本发明上述任一方法实施例中，所述损失函数包括：正则化项和调整所述视差图像中各像素在所述损失函数中的权重的聚焦损失项。

可选地，在本发明上述任一方法实施例中，所述正则化项包括：与置信度相关的正则化项和与预定神经网络参数相关的正则化项。

可选地，在本发明上述任一方法实施例中，所述损失函数由所述视差图像中各像素的置信度及该像素在所述预设分布的离散参数计算得到，包括：

基于所述视差图像及其所述置信度图像、所述预定神经网络参数和真实视差图像，得到关于所述预定神经网络参数的似然函数；

基于所述视差图像中各像素服从的所述预设分布，得到所述视差图像中各像素的置信度与该像素在所述预设分布的离散参数之间的负相关关系；

基于所述视差图像中各像素的置信度与该像素在所述预设分布的离散参数之间的负相关关系，所述预定神经网络参数服从所述预设分布，所述视差图像中各像素的置信度服从非递减的分布，对所述似然函数取负对数，得到所述损失函数。

可选地，在本发明上述任一方法实施例中，所述预设分布包括拉普拉斯分布或者高斯分布。

可选地，在本发明上述任一方法实施例中，响应于所述预设分布为拉普拉斯分布的情况，所述损失函数包括：由所述视差图像与真实视差图像中各像素的视差值的差值的绝对值与该像素的置信度的比值的平均值得到的聚焦损失项，由所述视差图像中各像素的置信度的平均值得到的正则化项，和由所述预定神经网络参数得到的正则化项。