[发明专利]基于深度卷积神经网络与深度信息的全景图像融合方法

摘要

本发明公开了基于深度卷积神经网络与深度信息的全景图像融合方法，包括如下步骤S1构建深度学习训练数据集；选取作为训练使用的两幅待融合鱼眼图像的重叠区域xe1和xe2以及由这两幅鱼眼图像融合之后形成的全景图像的理想融合区域ye，构建待融合图像与全景图像块对的训练集{xe1，xe2，ye}；S2构建卷积神经网络模型；S3基于测试数据集和训练好的深度卷积神经网络模型，得到测试数据集的融合区域。本发明能够更加全面深层地表达图像，实现多个抽象层次上的图像语义表征，提高了图像融合的精度。

主权项

基于深度卷积神经网络与深度信息的全景图像融合方法，其特征在于，包括如下步骤：S1：构建深度学习训练数据集；选取作为训练使用的两幅待融合鱼眼图像的重叠区域xe1和xe2以及由这两幅鱼眼图像融合之后形成的全景图像的理想融合区域ye，构建待融合图像与全景图像块对的训练集{xe1，xe2，ye}；S2：构建卷积神经网络模型；S3：基于测试数据集和训练好的深度卷积神经网络模型，得到测试数据集的融合区域；所述S1包括S101、S102、S103、S104；S101：生成图像金字塔：对给定的两幅待融合鱼眼图像以及全景图像进行高斯函数平滑、下采样操作生成一系列具有不同分辨率的图像集合，即图像高斯金字塔；获取层级为Gn+1层的高斯金字塔图像的具体实现如下：第一步：对输入图像I进行高斯内核卷积；第二步：将第一步得到的图像中所有偶数行和列去除，得到的图像即为Gn+1层的图像，计算公式如下：Gn+1(i,j)=Σm=-22Σn=-22w(m,n)Gn(2i+m,2j+n)]]>其中，w(m,n)＝w(m)*w(n)，并且a是常量；第三步：通过对输入图像Gn层，不停迭代以上第一步和第二步就会得到整个高斯金字塔图像；S102：得到给定的两幅待融合鱼眼图像重叠区域的立体信息；S103：根据深度图中深度值计算重叠区域内两幅图像上每对对应像素之间的视差；S104：生成训练数据集；所述S2包括S201、S202、S203；S201：构建一个深度卷积神经网络模型；S202：设置卷积采样层参数；S203：利用训练数据集训练深度卷积神经网络。