[发明专利]一种基于深度学习的自适应视点融合方法及系统

权利要求书

1.一种基于深度学习的自适应视点融合方法，其特征在于，包括：

获取左参考视点深度图和彩色图、右参考视点深度图和彩色图；

将左参考视点深度图和彩色图、右参考视点深度图和彩色图分别经过三维映射，获得左合成图像、右合成图像、左几何位置偏差、右几何位置偏差和合成深度图，其中，通过左参考视点深度图获得左几何位置偏差，通过右参考视点深度图获得右几何位置偏差，通过参考视点深度图获得相应几何位置偏差的具体过程为：将参考视点深度图代入三维映射公式中，获得参考视点深度图在合成图像的精确投影位置坐标，对精确投影位置坐标进行取整，获取取整后映射坐标，通过精确投影位置坐标和取整后映射坐标，获得几何位置偏差信息；

用左合成图像的信息填补右合成图像的空洞，获取校正后右合成图像，用右合成图像的信息填补左合成图像的空洞，获取校正后左合成图像；

将校正后右合成图像、校正后左合成图像、左几何位置偏差、右几何位置偏差和合成深度图输入训练好的神经网络模型中，获得合成彩色图。

2.如权利要求1所述的一种基于深度学习的自适应视点融合方法，其特征在于，根据参考视点深度图、参考视点相机投影矩阵、合成视点相机投影矩阵计算出参考视点到合成视点的精确投影位置坐标，对精确投影位置坐标进行取整，获取取整后映射坐标，根据取整后映射坐标和参考视点彩色图获得合成图像。

3.如权利要求1所述的一种基于深度学习的自适应视点融合方法，其特征在于，通过逻辑融合操作，用左合成图像的信息填补右合成图像的空洞，获取校正后右合成图像，用右合成图像的信息填补左合成图像的空洞，获取校正后左合成图像。

4.如权利要求1所述的一种基于深度学习的自适应视点融合方法，其特征在于，将校正后右合成图像、校正后左合成图像输入训练好的神经网络模型前，分别进行中值滤波和闭运算，获得初始空洞填充后右合成图像和初始空洞填充后左合成图像，将初始空洞填充后右合成图像和初始空洞填充后左合成图像输入训练好的神经网络模型中。

5.如权利要求1所述的一种基于深度学习的自适应视点融合方法，其特征在于，神经网络模型采用UNet网络，UNet网络中使用残差网络模型的结构。

6.如权利要求1所述的一种基于深度学习的自适应视点融合方法，其特征在于，采用梯度下降法对神经网络模型进行训练，获得训练后的神经网络模型。

7.一种基于深度学习的自适应视点融合系统，其特征在于，包括：

参考视图获取模块，用于获取左参考视点深度图和彩色图、右参考视点深度图和彩色图；

合成图像及位置偏差获取模块，用于将左参考视点深度图和彩色图、右参考视点深度图和彩色图分别经过三维映射，获得左合成图像、右合成图像、左几何位置偏差、右几何位置偏差和合成深度图，其中，通过左参考视点深度图获得左几何位置偏差，通过右参考视点深度图获得右几何位置偏差，通过参考视点深度图获得相应几何位置偏差的具体过程为：将参考视点深度图代入三维映射公式中，获得参考视点深度图在合成图像的精确投影位置坐标，对精确投影位置坐标进行取整，获取取整后映射坐标，通过精确投影位置坐标和取整后映射坐标，获得几何位置偏差信息；

校正图像获取模块，用于用左合成图像的信息填补右合成图像的空洞，获取校正后右合成图像，用右合成图像的信息填补左合成图像的空洞，获取校正后左合成图像；

合成彩色图像获取模块，用于将校正后右合成图像、校正后左合成图像、左几何位置偏差、右几何位置偏差和合成深度图输入训练好的神经网络模型中，获得合成彩色图。

8.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-6任一项所述的一种基于深度学习的自适应视点融合方法的步骤。

9.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-6任一项所述的一种基于深度学习的自适应视点融合方法的步骤。