[发明专利]图像场景深度的估计方法、装置、终端设备和存储介质

说明书

本申请涉及图像处理技术领域，提出一种图像场景深度的估计方法、装置、终端设备和存储介质。本申请采用的深度估计网络在优化更新参数时，会结合相机姿态估计网络预测输入的样本图像序列的相机姿态向量，该样本图像序列包含目标帧图像和参考帧图像；然后，根据该深度估计网络预测得到的该目标帧图像的场景深度图像、该相机姿态向量、该参考帧图像和对应相机的内参生成与该目标帧图像对应的重建图像；接着，根据该目标帧图像和该重建图像计算得到重建图像时对应的损失函数，最后基于该损失函数构建目标函数并基于该目标函数更新该深度估计网络的参数。通过这样设置，能够充分挖掘目标帧图像和参考帧图像包含的图像信息，降低样本数据采集的成本。

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像场景深度的估计方法、装置、终端设备和存储介质。

背景技术

图像的场景深度估计是机器人导航和自动驾驶领域的重要研究方向。随着高性能计算设备的发展，人们通常会使用深度神经网络来对图像的场景深度进行预测。然而，为保证对图像进行场景深度预测的准确性，在训练该深度神经网络时需要大量的样本数据，导致数据采集的成本较高。

发明内容

有鉴于此，本申请实施例提供了一种图像场景深度的估计方法、装置、终端设备和存储介质，能够降低样本数据采集的成本。

本申请实施例的第一方面提供了一种图像场景深度的估计方法，包括：

获取待测图像；

将所述待测图像输入预先构建的深度估计网络，得到所述待测图像的场景深度图像；

其中，所述深度估计网络的参数通过以下方式更新：

获取样本图像序列，所述样本图像序列包含目标帧图像和参考帧图像，所述参考帧图像为所述样本图像序列中处于所述目标帧图像之前或之后的一帧以上的图像；

将所述目标帧图像输入所述深度估计网络，得到预测的第一场景深度图像；

将所述样本图像序列输入预先构建的相机姿态估计网络，得到预测的所述目标帧图像和所述参考帧图像之间的相机姿态向量；

根据所述第一场景深度图像、所述相机姿态向量、所述参考帧图像以及拍摄所述样本图像序列采用的相机的内参，生成与所述目标帧图像对应的第一重建图像；

根据所述目标帧图像和所述第一重建图像计算第一图像重建损失，所述第一图像重建损失用于衡量所述目标帧图像和所述第一重建图像之间的差异；

基于所述第一图像重建损失构建目标函数；

根据所述目标函数更新所述深度估计网络的参数。

本申请实施例采用的深度估计网络在优化更新参数时，会结合相机姿态估计网络预测输入的样本图像序列的相机姿态向量，该样本图像序列包含目标帧图像和参考帧图像；然后，根据该深度估计网络预测得到的该目标帧图像的场景深度图像、该相机姿态向量、该参考帧图像和对应相机的内参生成与该目标帧图像对应的重建图像；接着，根据该目标帧图像和该重建图像计算得到重建图像时对应的损失函数，最后基于该损失函数构建目标函数并基于该目标函数更新该深度估计网络的参数。通过这样设置，能够充分挖掘目标帧图像和参考帧图像包含的潜在图像信息，也即采样较少的样本图像即可获得足够的图像信息以完成该深度估计网络的训练，从而降低样本数据采集的成本。

在本申请的一个实施例中，在获取样本图像序列之后，还可以包括：

将所述参考帧图像输入所述深度估计网络，得到预测的第二场景深度图像；

根据所述第二场景深度图像、所述相机姿态向量、所述目标帧图像以及拍摄所述样本图像序列采用的相机的内参，生成与所述参考帧图像对应的第二重建图像；