[发明专利]可学习超像素引导的视差优化方法及装置

说明书

本发明提供一种基于可学习超像素引导的视差优化方法及装置，其中方法包括：获取用户输入的第一图和第二图；将第一图和第二图输入至视差优化模型，获得视差优化模型输出的视差图；其中，第一图和第二图是由双目摄像机对同一拍摄对象拍摄获得的；视差优化模型是基于数据集进行训练后得到的，用于在超像素引导下对视差进行优化；数据集包括图片样本以及对应的真实语义图、空间位置图和真实视差图；真实语义图、空间位置图和真实视差图是根据图片样本预先确定的，并与图片样本一一对应。本发明实施例提供的基于可学习超像素引导的视差优化方法及装置，实现了超像素网络和视差网络之间的有效交互。

技术领域

本发明涉及计算机技术领域，尤其涉及一种可学习超像素引导的视差优化方法及装置。

背景技术

立体匹配，也称为视差估计，根据校准后的双目相机拍摄的两张图像，计算表示参考图像的视差图。视差图可以通过相机焦距以及两相机基线转换为场景深度图，在自动驾驶、活体检测、三维重建等领域具有广泛的应用。超像素是由具有相似纹理、颜色、亮度等特征的相邻像素构成的有一定视觉意义的不规则像素块。超像素广泛应用于视差估计方法中。

然而现有技术中采用的超像素分割算法不可微，不能与视差估计任务进行有效交互，从而不能充分探究超像素内丰富的局部信息来有效提升立体匹配性能，并且，针对不同应用场景的视差估计任务，现有的超像素算法适应性差。

发明内容

本发明提供一种基于可学习超像素引导的视差优化方法及装置，用以解决现有技术中超像素分割算法不能与视差估计任务进行有效交互的缺陷，实现基于可学习超像素引导的视差优化。

第一方面，本发明提供一种基于可学习超像素引导的视差优化方法，包括：

获取用户输入的第一图和第二图；

将所述第一图和所述第二图输入至视差优化模型，获得所述视差优化模型输出的视差图；

其中，所述第一图和所述第二图是由双目摄像机对同一拍摄对象拍摄获得的；所述视差优化模型是基于数据集进行训练后得到的，用于在超像素引导下对视差进行优化；所述数据集包括图片样本以及对应的真实语义图、空间位置图和真实视差图；所述真实语义图、所述空间位置图和所述真实视差图是根据所述图片样本预先确定的，并与所述图片样本一一对应。

可选地，所述视差优化模型包括超像素分支网络、视差分支网络和超像素引导视差优化网络；

所述将所述第一图和所述第二图输入至视差优化模型，获得所述视差优化模型输出的视差图，包括：

将所述第一图输入至所述超像素分支网络，获得所述超像素分支网络输出的像素超像素关联图；

将所述第一图和所述第二图输入至所述视差分支网络，获得所述视差分支网络输出的初始视差图；

将所述像素超像素关联图和所述初始视差图输入至所述超像素引导视差优化网络，获得所述超像素引导视差优化网络输出的优化视差图。

可选地，所述超像素引导视差优化网络包括：超像素重构模块、误差图生成模块和视差优化模块；

所述将所述像素超像素关联图和所述初始视差图输入至所述超像素引导视差优化网络，获得所述超像素引导视差优化网络输出的优化视差图，包括：

将所述像素超像素关联图和所述初始视差图输入至所述超像素重构模块，获得所述超像素重构模块输出的重构视差图；

将所述重构视差图和所述初始视差图输入至所述误差图生成模块，获得所述误差图生成模块输出的误差图；

将所述重构视差图、所述初始视差图、所述误差图和所述第一图输入至所述视差优化模块，获得所述视差优化模块输出的所述优化视差图。