[发明专利]一种基于深度学习的自适应视点融合方法及系统

说明书

本公开公开的一种基于深度学习的自适应视点融合方法及系统，包括：获取左参考视点深度图和彩色图、右参考视点深度图和彩色图；将左参考视点深度图和彩色图、右参考视点深度图和彩色图分别经过三维映射，获得左合成图像、右合成图像、左几何位置偏差、右几何位置偏差和合成深度图；用左合成图像的信息填补右合成图像的空洞，获取校正后右合成图像，用右合成图像的信息填补左合成图像的空洞，获取校正后左合成图像；将校正后右合成图像、校正后左合成图像、左几何位置偏差、右几何位置偏差和合成深度图输入训练好的神经网络模型中，获得合成彩色图。获得了高质量的合成彩色图。

技术领域

本发明涉及视点合成技术领域，尤其涉及一种基于深度学习的自适应视点融合方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

基于深度图像的渲染(Depth-image-based rendering,DIBR)是3D视频应用中生成新视图的主要基本技术之一。不同视点下的图像存在三维几何映射关系，利用DIBR技术可以将虚拟视点的彩色图映射到其他视点下的彩色图。然而在映射过程中，根据深度图计算出的映射位置并不是整数，整数点位置目前只能通过取整或插值得到，这就导致了合成图像出现几何失真，严重降低了合成图像的图像质量。而且，由于遮挡问题，即在参考图像中被遮挡的物体由于视角转化会在新视角下变得可见，这就导致了合成图像中经常会出现空洞，进一步降低了合成图像的图片质量。

故发明人认为，现有的视点融合技术，均不能获得高质量的合成图像。

发明内容

本公开为了解决上述问题，提出了一种基于深度学习的自适应视点融合方法及系统，通过对合成图像进行失真校正，获得了高质量的合成图像。

为实现上述目的，本公开采用如下技术方案：

第一方面，提出了一种基于深度学习的自适应视点融合方法，包括：

获取左参考视点深度图和彩色图、右参考视点深度图和彩色图；

将左参考视点深度图和彩色图、右参考视点深度图和彩色图分别经过三维映射，获得左合成图像、右合成图像、左几何位置偏差、右几何位置偏差和合成深度图；

用左合成图像的信息填补右合成图像的空洞，获取校正后右合成图像，用右合成图像的信息填补左合成图像的空洞，获取校正后左合成图像；

将校正后右合成图像、校正后左合成图像、左几何位置偏差、右几何位置偏差和合成深度图输入训练好的神经网络模型中，获得合成彩色图。

第二方面，提出了一种基于深度学习的自适应视点融合系统，包括：

参考视图获取模块，用于获取左参考视点深度图和彩色图、右参考视点深度图和彩色图；

合成图像及位置偏差获取模块，用于将左参考视点深度图和彩色图、右参考视点深度图和彩色图分别经过三维映射，获得左合成图像、右合成图像、左几何位置偏差、右几何位置偏差和合成深度图；

校正图像获取模块，用于用左合成图像的信息填补右合成图像的空洞，获取校正后右合成图像，用右合成图像的信息填补左合成图像的空洞，获取校正后左合成图像；

合成彩色图像获取模块，用于将校正后右合成图像、校正后左合成图像、左几何位置偏差、右几何位置偏差和合成深度图输入训练好的神经网络模型中，获得合成彩色图。

第三方面，提出了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成一种基于深度学习的自适应视点融合方法所述的步骤。

第四方面，提出了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成一种基于深度学习的自适应视点融合方法所述的步骤。