[发明专利]深度图像质量评价方法、装置、电子设备及存储介质

说明书

本申请涉及一种深度图像质量评价方法、装置、电子设备及存储介质，其中，方法包括：获取待评估的深度图像和对应的参考RGB图像，均以相同的预设分块方式对深度图像和参考RGB图像进行分块处理，得到多个不重叠的深度图块和RGB图块；分别提取深度图块和RGB图块的特征向量；基于映射特征向量构建超图；计算超图的关联矩阵并基于每个图块的局部质量分数生成深度图像的整体质量分数。由此，解决了相关技术中，深度图像质量评价工作缺失，在无法获得参考深度图像的情况下，无法为失真深度图像计算较为准确的质量分数，只考虑简单特征、缺乏通用性、计算效率低下以及忽视深度图像内部高阶关联等问题。

技术领域

本申请涉及质量评价技术领域，特别涉及一种深度图像质量评价方法、装置、电子设备及存储介质。

背景技术

现如今，硬件和计算技术的飞速发展促进了许多深度图像的应用，如3D视频，同时，作为RGB数据的一种补充，深度图像也帮助解决了许多有挑战性的工作，如场景中的显著物体检测。通常而言，深度图像可以通过深度相机(主动)和立体匹配(被动)两种方式获取，然而，现有的立体匹配方法往往受到遮挡或是缺少纹理等因素的影响而生成不准确的深度图像，尽管使用深度相机可以捕捉到到更准确的深度图像，但是固有的传感器噪声同样也会影响深度图像的质量，这些深度图像中的失真会进一步影响下游所有相关任务的性能。因此，深度图像质量评价是十分必要且重要的。

相关技术中，可以将待预测图像质量的数据集图像通过底层纹理特征提取网络、低级轮廓特征提取网络和高级全局语义特征提取网络，采用基于注意力机制的特征融合方法，对提取出的多层次特征进行融合，设计适应于整体模型的损失函数，以此获得最优的质量评价预测分数。

然而，相关技术中，深度图像质量评价工作缺失，在无法获得参考深度图像的情况下，无法为失真深度图像计算较为准确的质量分数，只考虑简单特征、缺乏通用性、计算效率低下以及忽视深度图像内部高阶关联，亟待解决。

发明内容

本申请提供一种深度图像质量评价方法、装置、电子设备及存储介质，以解决相关技术中，深度图像质量评价工作缺失，在无法获得参考深度图像的情况下，无法为失真深度图像计算较为准确的质量分数，只考虑简单特征、缺乏通用性、计算效率低下以及忽视深度图像内部高阶关联等问题。

本申请第一方面实施例提供一种深度图像质量评价方法，包括以下步骤：获取待评估的深度图像和对应的参考RGB图像，均以相同的预设分块方式对所述深度图像和所述参考RGB图像进行分块处理，得到多个不重叠的深度图块和RGB图块；分别提取所述深度图块和所述RGB图块的特征向量；将所述深度图块和所述RGB图块的特征向量映射至同一欧式空间，并基于映射特征向量构建超图；以及计算所述超图的关联矩阵，并利用所述关联矩阵对所有图块向量进行超图卷积，得到每个图块的局部质量分数，并基于所述每个图块的局部质量分数生成所述深度图像的整体质量分数。

可选地，在本申请的一个实施例中，所述将所述深度图块和所述RGB图块的特征向量映射至同一欧式空间，包括：通过线性变换将所述深度图块和所述RGB图块的特征向量进行映射，得到所述映射特征向量。

可选地，在本申请的一个实施例中，所述基于映射特征向量构建超图，包括：利用预设Sigmoid函数将所有所述映射特征向量内积放缩至预设区间之间，以表征图块落在超边中的概率，并基于所述概率生成所述超图。

可选地，在本申请的一个实施例中，所述基于所述每个图块的局部质量分数生成所述深度图像的整体质量分数，包括：基于预设的超图卷积的质量预测器，利用所述关联矩阵对所有特征向量做超图卷积，并经过多次传播后得到一维向量；基于所述一维向量得到对应图块的局部质量分数。

可选地，在本申请的一个实施例中，所述基于所述每个图块的局部质量分数生成所述深度图像的整体质量分数，还包括：对所述所有图块的局部质量分数取平均，得到平均值；由所述平均值得到所述深度图像的整体质量分数。