[发明专利]一种基于学习的超先验边信息补偿图像压缩方法

说明书

本发明涉及一种基于学习的边信息补偿图像压缩方法，用于解决图像和视频的压缩问题，具体包括本发明通过引入多尺度表示提取两层边信息作为浅层超先验和深层超先验，从而实现更准确和灵活的熵模型。此外，浅层超先验可以捕获潜在表示的空间依赖，同时也可以微调潜在表示来提升重建质量。其次，本发明提取的深层超先验作为浅层超先验的超先验，可以提升浅层超先验的有效性和准确性。最后，本发明设计了一种有效的残差通道注意力块，可以增强潜在表示通道之间的交互关系以及适用于我们基于残差的网络结构。

技术领域

本发明属于计算机视觉领域，具体涉及深度学习，注意力机制，图像压缩等技术。

背景技术

在大数据时代背景下，互联网数据出现爆炸式增长，以及自媒体时代的来临，不仅图片和视频传输的数量在急剧的增加，而且人们对图像视觉质量的要求也不断地提高。随着图像质量的不断提高，图像所包含的数据量不断增大，对图像压缩技术的性能提出了越来越高的要求。

在过几十年，大量的公司和科研机构投入到研所方法的研究，并取得了一系列成果。传统图像压缩方法仍然遵循变换、量化和熵编码的混合编码框架，如 JPEG、JPEG2000和BPG。JPEG采用离散余弦变换(DCT)压缩能量，消除像素相关性，使频域压缩更加有效。JPEG2000中的离散小波变换(DWT)通过将多分辨率图像表示引入交叉尺度去相关来提高编码性能。BPG是高效视频编码(HEVC) 标准的静态图像版本，它使用帧内预测来进一步减少空间冗余并提高重建帧的质量。

此外，边信息在传统方法中也可以用来提升编码效率。例如，JPEG方法将图像建模为8*8像素的独立固定大小块。然而，一些较大的同质区域，可以通过一次考虑更大的块来有效表示。因此，HEVC的帧内模式BPG将图像分割成可变大小得块，将分割结构作为边信息传递给解码器，然后使用该分割压缩块表示。 JPEG的熵模型总是被分解成64个元素，然而BPG的分解是可变的。BPG解码器需要先对边信息进行解码，由于编码器可以自由选择一个分区，以优化每个图像的熵模型，该方案可以用于实现更有效的压缩。然而，传统方法使用复杂的人工设计和分别优化不同的模块，这限制了整体性能的提升。近年来，深度卷积神经网络的快速发展为图像压缩提供了一种新颖而有前途的方法。由于基于深度学习的图像压缩方法可以联合优化整个框架，展现出可以超越传统压缩方法的潜能。

近些年，基于CNN的图像压缩方法被广泛使用，从最初的自编码器结构，到超先验结构的变分自编码器结构，以及近年来的自回归模型，性能逐步得到了显著提升。但是他们都存在不足，即仅仅将边信息用于熵模型参数的估计，没有充分将编码的边信息用于图像重建，因此边信息未能有效利用。此外，使用因式分解的熵模型不能有效编码边信息。通道注意力对于改善卷积神经网络性能方面具有巨大潜力，然而现有的端到端图像压缩方法并没有关注潜在表示之间的信息交互。

发明内容

本发明针对上述问题，设计了一种基于学习的超先验边信息补偿图像压缩方法。首先，本发明通过引入多尺度表示提取两层边信息作为浅层超先验和深层超先验，从而实现更准确和灵活的熵模型。此外，浅层超先验可以捕获潜在表示的空间依赖，同时也可以微调潜在表示来提升重建质量。其次，本发明提取的深层超先验作为浅层超先验的超先验，可以提升浅层超先验的有效性和准确性。最后，为了增强潜在表示通道之间的交互关系以及适用于我们基于残差的网络结构，本发明设计了一种有效的残差通道注意力方法。实验结果表明，本发明的模型在优化过程中可以很好的权衡边信息的大小和精确熵模型带来的性能增益，相比于基线模型，我们的模型节省了大约13.44％的码率。

本发明的整体框架如图1所示，包括主分析变换和主合成变换，多尺度特征提取，浅层分析变换和浅层合成变换，深层分析变换、深层合成变换，潜在表示上下文模型，潜在表示熵参数模型，浅层超先验上下文模型，浅层超先验熵参数模型，因式分解熵参数模型，基于学习的超先验补偿模块以及算术编器、算数解码器。

主分析变换和主合成变换用于学习图像的潜在表示；