[发明专利]一种基于Transformer的图像压缩方法

说明书

本发明提供了一种基于Transformer的图像压缩方法，主要包括如下步骤：构建基于Transformer的深度图像压缩模型；建立用于深度压缩模型的训练集、验证集和测试集；最后将处理好的深度图像压缩数据集送入构建好的基于Transformer深度图像压缩模型进行训练；通过预设方式对基于Transformer深度图像压缩模型进行优化，并重复迭代训练及优化的过程，直至损失函数趋近于恒定值时停止迭代训练并输出优化后的基于Transformer深度图像压缩模型；利用训练好的Transformer深度图像压缩模型对图像进行压缩和重建并对压缩结果进行评价或进一步对其进行分析和理解。本发明所述方法使用了先进的Transformer特征提取网络显著提升压缩图像的质量，并在很大程度上节省图像存储开销。本发明在图像存储、传输、分析等领域具有重要的应用价值。

技术领域

本发明涉及图像处理技术领域，进一步涉及图像处理技术领域中一种基于Transformer的图像压缩方法。

背景技术

随着科学技术的飞速发展，数据压缩一直是一门重要的研究课题，对数据传输、数据存储有重大的影响。图像压缩是数据压缩技术在数字图像上的应用,其目的是减少图像数据中的冗余,实现更加高效的格式存储和传输数据。在传统的图像压缩方法中,图像压缩分为预测、变换、量化、熵编码等步骤,每一步均采用人工设计的算法分别进行优化，复杂度较高，不能够有针对性的对图像进行压缩，且效率不高。深度学习的出现使得图像压缩方法有了突破性的进展，特别是基于端到端的深度图像压缩，相比传统方法，端到端图像压缩可以进行联合优化,能够取得比传统方法更高的压缩效率。近两年，随着Transformer 的提出，带来了一种新的特征提取机制，将其用于端到端图像压缩是一种新的尝试。

湖北工业大学其拥有的发明专利技术申请“一种基于Attention多特征融合的图像压缩感知重建方法”(专利申请号：202010479734.8，公开号：CN 111667445A)中公开了一种基于Attention多特征融合的图像压缩和重建方法，用于图像压缩。该发明在网络的每个通道加入了残差块，构成残差网络，在得到多个尺度特征信息后，使用Attention 机制对输出的不同特征进行加权，更好的利用特征中更多有用信息，然后将多个特征信息进行融合完成图像的深度重建这种方法在图像重建的质量上取得了一定的提升，但距离实际应用还有一定的差距。

朱俊、高陈强在论文“基于注意力机制和离散高斯混合模型的端到端图像压缩方法”(重庆邮电大学学报(自然科学版)2020年32卷 5期第770页到778页)中提出一种基于注意力机制和离散高斯混合模型的端到端图像压缩方法。将全局上下文注意力模块嵌入到编码器，旨在构造紧凑的潜在表示特征。同时，将潜在表示特征建模为参数化的离散高斯混合模型，用于提高码率估计的准确度，图像重建的质量有所提升，但模型整体特征提取能力有限。

发明内容

本发明的目的在于克服上述已有技术的不足，提供一种基于 Transformer的图像压缩方法，以解决现有的深度图像压缩方法存在的压缩效率不高等问题。

为了实现上述目的，本发明采用以下技术方案：

一种基于Transformer的图像压缩方法，包括以下步骤：

步骤1：构建基于Transformer的深度图像压缩模型，具体的：

步骤1.1：将被压缩图像输入由卷积模块和TF-SPP模块交替堆叠形成的主编码器，进行非线性变换处理，生成被压缩图像的潜在表示；

步骤1.2：结合窗口自注意力机制构建通道自回归熵模型，主要包括超先验编码器、通道调节器，具体的：

步骤1.2.1：将步骤1.1所述的生成的潜在表示送入由卷积模块与窗口自注意力模块交替堆叠形成的超先验编码器进行下采样处理，得到被压缩图像的超潜在表示；

步骤1.2.2：将步骤1.2.1所述的生成的被压缩图像的超潜在表示进行量化、压缩得到被压缩图像的边界表示；