[发明专利]图像场景深度的估计方法、装置、终端设备和存储介质

权利要求书

1.一种图像场景深度的估计方法，其特征在于，包括：

获取待测图像；

将所述待测图像输入预先构建的深度估计网络，得到所述待测图像的场景深度图像；

其中，所述深度估计网络的参数通过以下方式更新：

获取样本图像序列，所述样本图像序列包含目标帧图像和参考帧图像，所述参考帧图像为所述样本图像序列中处于所述目标帧图像之前或之后的一帧以上的图像；

将所述目标帧图像输入所述深度估计网络，得到预测的第一场景深度图像；

将所述样本图像序列输入预先构建的相机姿态估计网络，得到预测的所述目标帧图像和所述参考帧图像之间的相机姿态向量；

根据所述第一场景深度图像、所述相机姿态向量、所述参考帧图像以及拍摄所述样本图像序列采用的相机的内参，生成与所述目标帧图像对应的第一重建图像；

根据所述目标帧图像和所述第一重建图像计算第一图像重建损失，所述第一图像重建损失用于衡量所述目标帧图像和所述第一重建图像之间的差异；

基于所述第一图像重建损失构建目标函数；

根据所述目标函数更新所述深度估计网络的参数；

在获取样本图像序列之后，还包括：

将所述参考帧图像输入所述深度估计网络，得到预测的第二场景深度图像；

根据所述第二场景深度图像、所述相机姿态向量、所述目标帧图像以及拍摄所述样本图像序列采用的相机的内参，生成与所述参考帧图像对应的第二重建图像；

根据所述参考帧图像和所述第二重建图像计算第二图像重建损失，所述第二图像重建损失用于衡量所述参考帧图像和所述第二重建图像之间的差异；

所述基于所述第一图像重建损失构建目标函数，包括：

根据所述第一图像重建损失和所述第二图像重建损失，计算双向图像重建损失；

基于所述双向图像重建损失构建所述目标函数；

其中，所述根据所述第一场景深度图像、所述相机姿态向量、所述参考帧图像以及拍摄所述样本图像序列采用的相机的内参，生成与所述目标帧图像对应的第一重建图像，包括：

根据所述相机姿态向量确定所述目标帧图像转换到所述参考帧图像的第一变换矩阵；

根据所述相机的内参和所述第一场景深度图像，计算所述目标帧图像在世界坐标系下的第一坐标；

基于所述第一变换矩阵对所述第一坐标进行变换，得到所述目标帧图像经转换后在世界坐标系下的第二坐标；

将所述第二坐标转换为在图像坐标系下的第三坐标；

基于所述参考帧图像，以所述第三坐标作为网格点，通过双线性采样机制重建出所述参考帧图像经仿射变换后的图像，并将重建得到的图像确定为所述第一重建图像；

所述根据所述第二场景深度图像、所述相机姿态向量、所述目标帧图像以及拍摄所述样本图像序列采用的相机的内参，生成与所述参考帧图像对应的第二重建图像，包括：

根据所述相机姿态向量确定所述参考帧图像转换到所述目标帧图像的第二变换矩阵；

根据所述相机的内参和所述第二场景深度图像，计算所述参考帧图像在世界坐标系下的第四坐标；

基于所述第二变换矩阵对所述第四坐标进行变换，得到所述参考帧图像经转换后在世界坐标系下的第五坐标；

将所述第五坐标转换为在图像坐标系下的第六坐标；

基于所述目标帧图像，以所述第六坐标作为网格点，通过双线性采样机制重建出所述目标帧图像经仿射变换后的图像，并将重建得到的图像确定为所述第二重建图像；

所述方法还包括：

获取所述目标帧图像在图像坐标系下的第七坐标；

对所述第三坐标和所述第七坐标执行对应元素作差的处理，得到第一前向流坐标；

获取所述参考帧图像在图像坐标系下的第八坐标；

对所述第六坐标和所述第八坐标执行对应元素作差的处理，得到第一后向流坐标；

以所述第三坐标作为网格点，采用双线性采样机制对所述第一后向流坐标进行仿射变换，以合成第二前向流坐标；

以所述第六坐标作为网格点，采用双线性采样机制对所述第一前向流坐标进行仿射变换，以合成第二后向流坐标；

根据所述第一前向流坐标和所述第二前向流坐标计算前向流遮挡掩码，所述前向流遮挡掩码用于衡量所述第一前向流坐标和所述第二前向流坐标之间的匹配程度；

根据所述第一后向流坐标和所述第二后向流坐标计算后向流遮挡掩码，所述后向流遮挡掩码用于衡量所述第一后向流坐标和所述第二后向流坐标之间的匹配程度；

所述根据所述第一图像重建损失和所述第二图像重建损失计算双向图像重建损失，包括：

根据所述第一图像重建损失、所述第二图像重建损失、所述前向流遮挡掩码和所述后向流遮挡掩码计算所述双向图像重建损失。