[发明专利]一种基于深度学习的全景拼接图像质量评价方法

说明书

本发明公开了一种基于深度学习的全景拼接图像质量评价方法，其在训练阶段对失真、参考全景拼接图像进行视口提取，得到失真、参考视口图像，然后将失真、参考视口图像输入到失真校正网络中进行训练，输出伪参考视口图像，训练得到失真校正网络训练模型；接着将失真、参考视口图像以及平均主观评分值输入到质量评价网络中进行训练，输出质量预测分数，训练得到质量评价网络训练模型；在测试阶段失真校正网络训练模型对失真视口图像进行失真校正生成伪参考视口图像，最后将失真视口图像和伪参考视口图像输入到质量评价网络训练模型中进行质量估计，获得失真全景拼接图像的质量预测分数；优点是其有效提高了客观评价结果与人眼主观感知之间的相关性。

技术领域

本发明涉及一种图像质量评价技术，尤其是涉及一种基于深度学习的全景拼接图像质量评价方法。

背景技术

随着3D技术的不断发展和对真实视觉体验追求的日益增强，计算机视觉的研究兴趣逐渐从传统的2D平面图像转向全景图像。全景图像，也称为360°图像、全向图像或者球形图像，其具有360°×180°的视场，可以反映整个周围空间的信息，因此其被广泛应用于增强现实、虚拟现实、自动驾驶和机器人导航等领域。通常来说，普通相机的视角通常小于180°，最多只能拍摄一个半球的视图，因此无法直接获得全方位的场景信息。通过图像拼接技术，多张具有不同位置信息但又有一定重叠区域的窄视场图像可以生成一张宽视场图像，从而为用户提供更加全面、真实的视觉信息。但是，窄视场图像之间有限的重叠区域给图像拼接技术带来了很大的挑战。例如，弱纹理区域不能检测出足够数量的特征点，导致配准出现误差；窄视场图像间不同的曝光参数，导致拼接后的图像中出现颜色缝。这些失真会严重影响用户的沉浸式体验，降低视觉舒适度。因此，针对图像拼接过程中引入的失真进行质量评价可以指导图像拼接技术的设计，进而生成更高质量的全景拼接图像以推动相应产业的发展，具有重要的研究意义和广阔的应用前景。

与一般的矩形图像相比，鱼眼图像具有更为广泛的视角范围。理论上讲，通过相反方向的两个鱼眼镜头可以完整地记录整个场景的信息。采用该方式进行全景内容的生成可以有效地减少图像拼接的次数，既能提高效率又能减少复杂度，更适合应用于实际场景之中。因此，目前主要是对由鱼眼图像拼接得到的全景拼接图像进行质量评价。

与一般的图像质量评价方法相比，全景拼接图像质量评价主要存在以下难点：1)全景拼接图像的参考图像通常是一组单视点图像，它们和全景拼接图像之间并不满足像素点一一对应的关系，因此，现有的大部分有参考图像的质量评价方法不能直接应用于全景拼接图像质量评价任务之中；2)拼接失真的特性和类型是复杂多样的，比如，光学失真通常表现为视点间的颜色差异，几何失真通常表现为物体的形变或鬼影，这些失真与传统的编码失真是有很大差异的，因此，现有的图像质量评价方法并不能对拼接失真进行有效地评估；3)全景拼接图像具有较高的分辨率和全方位的场景内容，而传统的图像质量评价方法通常具有较高的计算复杂度，因此，很难在全景拼接图像中得到实时的预测分数。综上，有必要针对全景拼接图像中的失真进行分析，研究一种高效、准确的全景拼接图像质量评价方法。

发明内容

本发明所要解决的技术问题是提供一种基于深度学习的全景拼接图像质量评价方法，其能够有效地提高客观评价结果与主观感知分数之间的相关性。

本发明解决上述技术问题所采用的技术方案为：一种基于深度学习的全景拼接图像质量评价方法，其特征在于包括以下步骤：

步骤一：构建一个视口图像提取功能模块，利用视口图像提取功能模块实现从失真全景拼接图像到失真视口图像的转换及从参考全景拼接图像到参考视口图像的转换，具体过程为：