[发明专利]场景深度的确定方法、装置、设备及存储介质

权利要求书

1.一种场景深度的确定方法，其特征在于，所述方法应用于电子设备，所述电子设备与双目视觉传感器进行通信，所述方法包括：

获取所述双目视觉传感器采集的第一左右图像；

采用第一视差网络模型对所述第一左右图像进行立体匹配，以获得第一视差图，所述第一视差网络模型是以计算每对第二左图像和对应的第一伪图像中除遮挡区域外的有效区域的第一图像相似性损失，以对第二视差网络模型训练至收敛后得到的；

利用双目视觉传感器的参数将所述第一视差图转换为对应场景的深度；

所述利用双目视觉传感器的参数将所述第一视差图转换为对应场景的深度，包括：

确定所述第一视差图的遮挡区域；

采用遮挡区域的邻域视差值替换所述遮挡区域，以得到修复后的视差图；

利用双目视觉传感器的参数将所述修复后的视差图转换为对应场景的深度；

所述采用第一视差网络模型对所述第一左右图像进行立体匹配，以获得第一视差图之前，还包括：

确定各第一训练样本中第二左图像中的遮挡区域，所述第一训练样本包括第二左右图像；

将所述各第一训练样本输入至所述第二视差网络模型中，以输出各第一训练样本对应的第二视差图；

根据各所述第二视差图和对应的第二右图像确定对应的第一伪左图像，确定各第一伪左图像中的遮挡区域；

计算每对第二左图像和第一伪左图像中除遮挡区域外的有效区域的第一图像相似性损失；

根据各所述第一图像相似性损失对所述第二视差网络模型进行训练至收敛，以得到所述第一视差网络模型。

2.根据权利要求1所述的方法，其特征在于，所述确定各第一训练样本中第二左图像中的遮挡区域，包括：

将各所述第一训练样本输入至第三视差网络模型中，以输出各第一训练样本对应的第三视差图；

根据所述第二左图像、对应的第三视差图及第二右图像确定所述遮挡区域。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第二左图像、对应的第三视差图及第二右图像确定所述遮挡区域，包括：

获取所述第二左图像中的各第一像素点坐标值对应的第三视差图中的视差坐标值和第二右图像中的第二像素点坐标值；

若多个第一像素点坐标值对应的视差坐标值不同且第二像素点坐标值相同，则将该多个第一像素点确定为遮挡点；

将所述遮挡点构成的区域确定为所述遮挡区域。

4.根据权利要求2所述的方法，其特征在于，所述将各所述第一训练样本输入至第三视差网络模型中，以输出各第一训练样本对应的第三视差图之前，还包括：

获取第二训练样本，所述第二训练样本包括第三左右图像；

采用初始视差网络模型对所述第三左右图像进行立体匹配，以输出各第二训练样本对应的第四视差图；

根据各所述第四视差图和对应的第三右图像确定对应的第二伪左图像；

计算每对第三左图像和第二伪左图像中的第二图像相似性损失；

根据各所述第二图像相似性损失对所述初始视差网络模型进行训练至收敛，以得到所述第三视差网络模型。