[发明专利]场景深度的确定方法、装置、设备及存储介质

说明书

本发明实施例提供一种场景深度的确定方法、装置、设备及存储介质，该方法包括：获取双目视觉传感器采集的第一左右图像；采用第一视差网络模型对第一左右图像进行立体匹配，以获得第一视差图，第一视差网络模型是以计算每对第二左图像和对应的第一伪图像中除遮挡区域外的有效区域的第一图像相似性损失，以对第二视差网络模型训练至收敛后得到的；利用双目视觉传感器的参数将第一视差图转换为对应场景的深度。第一视差网络模型能够避免遮挡区域影响到有效区域的损失和整个视差网络模型的训练结果，使第一视觉网络模型更加适用于存在遮挡区域的第一视差图，使得到的第一视差图更加清晰平滑，更加符合真实视差，进而使确定的场景深度更加准确。

技术领域

本发明实施例涉及计算机视觉领域，尤其涉及一种场景深度的确定方法、装置、设备及存储介质。

背景技术

三维视觉场景中的深度能够度量三维视觉场景中的被测物体到成像平面的垂直距离。在计算机视觉中，确定三维视觉场景的深度在视频监控、机器人导航、自动驾驶等领域中具有重要的意义。

现有技术中，在确定三维视觉场景中的深度时，为了提高精度，普遍采用双目视觉传感器采集左右图像，然后采用视差网络模型计算左右图像间的视差图，并利用相机参数对视差图进行转换，得到视差图对应的场景的深度。

由于在采用视差网络模型确定视差图时，视差图中会存在遮挡区域，导致视差图不够清晰平滑，进而导致确定的场景深度的准确性较低。

发明内容

本发明实施例提供一种场景深度的确定方法、装置、设备及存储介质，解决了现有技术中采用视差网络模型确定视差图时，视差图中会存在遮挡区域，导致视差图不够清晰平滑，进而导致确定的场景深度的准确性较低的技术问题。

第一方面，本发明实施例提供一种场景深度的确定方法，所述方法应用于电子设备，所述电子设备与双目视觉传感器进行通信，所述方法包括：

获取所述双目视觉传感器采集的第一左右图像；

采用第一视差网络模型对所述第一左右图像进行立体匹配，以获得第一视差图，所述第一视差网络模型是以计算每对第二左图像和对应的第一伪图像中除遮挡区域外的有效区域的第一图像相似性损失，以对第二视差网络模型训练至收敛后得到的；

利用双目视觉传感器的参数将所述第一视差图转换为对应场景的深度。

进一步地，如上所述的方法，所述利用双目视觉传感器的参数将所述第一视差图转换为对应场景的深度，包括：

确定所述第一视差图的遮挡区域；

采用遮挡区域的邻域视差值替换所述遮挡区域，以得到修复后的视差图；

利用双目视觉传感器的参数将所述修复后的视差图转换为对应场景的深度。

进一步地，如上所述的方法，所述采用第一视差网络模型对所述第一左右图像进行立体匹配，以获得第一视差图之前，还包括：

确定各第一训练样本中第二左图像中的遮挡区域，所述第一训练样本包括第二左右图像；

将所述各第一训练样本输入至所述第二视差网络模型中，以输出各第一训练样本对应的第二视差图；

根据各所述第二视差图和对应的第二右图像确定对应的第一伪左图像；

确定各第一伪左图像中的遮挡区域；

计算每对第二左图像和第一伪左图像中除遮挡区域外的有效区域的第一图像相似性损失；

根据各所述第一图像相似性损失对所述第二视差网络模型进行训练至收敛，以得到所述第一视差网络模型。

进一步地，如上所述的方法，所述确定各第一训练样本中第二左图像中的遮挡区域，包括：