[发明专利]基于单目深度估计的深度图压缩方法、装置、设备及介质

说明书

本发明适用图像处理技术领域，提供了一种基于单目深度估计的深度图压缩方法，该方法包括：根据接收到的彩色图像和与其对应的原始深度图，通过预设对称结构的、且由单目深度估计模块、深度压缩模块以及掩膜生成与处理模块组成的深度图压缩模型对原始深度图进行压缩，得到对应的压缩深度图，从而在低码率的情况下降低了数据失真程度，提高了深度图的压缩性能和压缩效果。

技术领域

本发明属于图像处理技术领域，尤其涉及一种基于单目深度估计的深度图压缩方法、装置、设备及介质。

背景技术

近年来，随着传感器领域的不断发展，大量新颖的3D相机正在被发明和应用。深度信息是通过3D相机所获取的空间信息，其能够反映当前场景物体与相机的距离关系，并通常以深度图像的形式保存和应用。深度图的数据分布与常见的自然图像存在差异，一方面，深度图的内容主要包含物体的边缘信息和平滑的物体表面区域信息，另一方面，深度图的数据位深一般高于传统的自然图像。深度信息的引入拓宽了传统摄像机获取的二维信息的维度，已被广泛应用于自动驾驶，增强现实等领域中。在实际应用中，海量的深度信息从收集到应用往往需要经过传输，受到带宽等因素的限制，这些深度信息需要进行压缩，而数据压缩要么存在压缩率有限的问题，要么存在数据失真的问题。

现有的深度图压缩方法主要是对深度图进行一系列的调整以应用于技术成熟的图像编码器中。由于同一场景的彩色图和深度图之间存在相关性，使用彩色图信息引导深度图压缩的方法也受到研究人员的关注。例如，Forster等人提出在深度图的解码过程中引入彩色图辅助信息以提升深度图的重建效果；Uruma等人则对彩色图进行一系列超像素的划分，并根据超像素设置掩膜，将深度图转化为一个稀疏矩阵进行压缩，并在解码端重新利用该部分信息对深度图进行重建。近年来，基于深度学习模型例如卷积神经网络等强大的特征提取能力，研究人员开始聚焦于使用深度学习模型从彩色图中提取深度信息。例如，Eigen等人首先进行从粗粒度到细粒度的全局深度特征预测，再对局部区域的深度信息进行优化；Alhashim等人采用迁移学习的方法，利用经过预训练的模型作为深度特征提取器，设计了一个简单的编码器-解码器结构网络来预测深度图；Bhat等人提出将transformer结构应用到单目深度估计中，他们将预测的深度范围划分到宽度根据图像特征可变的数个容器中，并对每个容器的中心值进行线性组合得到最终的预测深度值。

现有的深度图压缩方法主要针对完整的深度图进行压缩，尽管这些方法采用了一系列措施来提升压缩的性能，但在低码率的情况，全局的深度图压缩方法仍然会有严重的失真情况。此外，传统图像编码器的优化目标主要是通过消除一些对人类视觉不敏感的信息以达到压缩的效果，而深度图主要应用于机器视觉任务而非人类视觉任务。因此，直接使用传统图像编码器对深度图压缩可能会破坏某些不可视的信息，如空间结构信息，进而影响下游任务的效果。另一方面，直接使用深度学习模型对彩色图进行深度预测的结果与真实的深度图相比仍存在失真情况，其具体表现在深度值存在差异，以及部分物体无法正常取得预测深度值。因此，深度预测结果目前在许多应用场景中难以替代真实的深度信息。

发明内容

本发明的目的在于提供一种基于单目深度估计的深度图压缩方法、装置、设备及介质，旨在解决由于现有技术无法提供一种有效的深度图压缩方法，导致深度图压缩后数据失真严重、压缩性能低、压缩效果不佳的问题。

一方面，本发明提供了一种基于单目深度估计的深度图压缩方法，所述方法包括下述步骤：

接收输入的彩色图像和与所述彩色图像对应的原始深度图；

根据接收到的所述彩色图像和所述原始深度图，通过预设的深度图压缩模型对所述原始深度图进行压缩，得到对应的压缩深度图，其中，所述深度图压缩模型为对称结构，由单目深度估计模块、深度压缩模块以及掩膜生成与处理模块组成。

优选地，

所述通过预设的深度图压缩模型对所述原始深度图进行压缩的步骤，包括：